0引言获取高清的水下彩色图像对海洋研究具有重要意义，但由于水下环境复杂多变，获取的水下图像往往存在模糊、色偏和低对比度等问题，给海洋生物探索和海洋生态保护等海洋工程带来了一定阻碍，所以水下彩色图像视觉效果的增强是很必要的图像处理步骤，主要目的是解决图像色偏等问题，提高图像的对比度和清晰度，最终获取高质量的水下图像。目前，解决水下图像存在问题的方法主要分为基于传统的水下图像增强与复原方法和基于深度学习的水下图像增强方法。基于传统的方法分为基于物理模型的水下图像复原方法和基于非物理模型的图像增强方法(郭继昌等，2017a)。基于物理模型的水下图像复原方法是基于水下图像成像机理，根据退化过程进行推导估计，建立对应的数学模型，反演退化过程，从而获取水下清晰图像。由于水下图像成像特性与雾天相似，He等人(2011)提出了暗通道先验方法，能够有效去雾，已广泛用于水下图像复原。Lu等人(2013)基于暗通道方法的水下模型提出了利用导向双边三角滤波器和一种快速色彩校正的方法来增强水下彩色图像，能够降低水下图像的噪声，提高全局对比度，具有较强的色彩平衡能力，但是无法解决图像色偏和红色阴影问题。Galdran等人(2015)提出一种自动红通道水下恢复方法来恢复水下图像丢失的对比度，并实现了自然的颜色校正和对比度改善，但得到的图像红通道并不能很好地体现图像细节，且图像的部分区域会产生偏红和红色阴影问题。Li等人(2016)先通过暗通道去雾算法恢复蓝绿通道，然后根据灰色世界假设理论对红色通道进行修正，提出了一种有效的水下图像可见性恢复算法，能够有效去除彩色阴影，提高图像的对比度和能见度，恢复退化水下图像的自然外观，但是鲁棒性不强，并且校正图像中存在红色阴影。传统的非物理模型水下图像增强方法最常见的是直方图拉伸和直方图均衡化。Iqbal等人(2007)提出了一种基于滑动拉伸的方法，针对水下图像低对比度问题，首先在RGB(red，green，blue)颜色空间拉伸衰减严重的红绿通道，然后在HIS(hue，saturation，intensity)颜色空间拉伸图像的饱和度和亮度，解决图像低对比度问题。随后，Iqbal等人(2010)提出一种用于水下图像增强的无监督色彩校正方法，可以有效去除偏蓝的颜色，改善红通道信息，但是处理后的图像有明显的红色阴影。Ancuti等人(2012)基于融合的原理增强水下图像质量，通过有效的边缘保持和降噪策略，提高了图像的黑暗区域和局部对比度，细节和边缘也得到显著增强，但是融合过程中未考虑红通道细节信息的完整性，导致结果图像产生模糊且出现红色阴影，鲁棒性不高。Li和Guo(2015)提出一种基于去雾和颜色校正算法的水下图像增强算法，利用去雾算法去除水下图像的雾霾影响，然后使用颜色补偿、直方图均衡化、对比度拉伸等方法提高图像的对比度、亮度和颜色，但是引入了过量的红色信息，导致产生红色阴影。黄冬梅等人(2018)提出两种不同颜色模型下自适应直方图拉伸的方法，能够有效增强图像的对比度和饱和度，降低噪声和伪影的引入，但是有一定的局限性，在人造光源区域可能产生过饱和现象，算法的适用性不高。Ancuti等人(2018)在融合的基础上，为了弥补图像红通道的颜色损失，通过颜色补偿方法，提出了一种新的水下白平衡算法解决色偏问题。基于深度学习的水下图像增强方法开始出现。徐岩和孙美双(2018)提出一种用于增强水下图像的卷积神经网络模型，通过卷积神经网络提取图像特征，对水下图像进行恢复，能够有效减少噪声，提高图像清晰度。Wang等人(2019)提出了一种基于卷积神经网络的水下图像增强模型，利用传输估计网络和全局环境光估计网络两个分支产生的估计进行水下场景恢复，能够提升图像亮度和清晰度。但深度学习水下图像增强方法仍然存在缺陷，主要在于需要水下图像数据集既要有水下失真图像又有水下清晰图像，而大多数水下图像数据集通过人工合成，与真实环境获取的水下图像具有一定的差异性，图像数据集获取存在困难，并且得到的结果受到模型优化和参数的限制，同时模型方法比较单一，对红通道信息较差的图像，并不能很好地解决图像色偏和红色阴影问题。综上所述，无论是基于传统的方法还是基于深度学习的方法，现有的水下彩色图像增强算法在解决图像色偏、红色阴影和低对比度问题上无法兼顾。本文提出一种基于双尺度图像分解的水下彩色图像增强算法，复杂度低且适用性强，能够有效解决图像色偏并减少红色阴影的引入，恢复图像的对比度和清晰度。1双尺度分解彩色图像增强水下拍摄的图像往往产生色偏，这是由于光线进入水体后，受到水体的吸收和散射的影响，波长较长的红光最先消失，接着是绿光和蓝光，导致图像红通道灰度值较低，图像产生色偏。研究发现，与红通道和蓝通道相比，绿通道信息在水下保存相对较好(Ancuti等，2018)。因此，为弥补红通道图像的损失，可以通过提取绿通道图像细节来补偿红通道图像，并据此提出了一种双尺度图像分解的水下彩色图像增强算法。图 1为算法结构流程图，分为4步：1)分解水下原图像I，对3通道分别进行对比度拉伸，得到色偏减弱图像I1；2)利用中值滤波减弱对比度拉伸后红通道引入的噪声，得到图像R2；3)分解双尺度图像，得到绿通道图像G1的细节层$ {\mathit{\boldsymbol{D}}_{\rm{g}}}$以及红通道图像R2的基础层$ {\mathit{\boldsymbol{C}}_{\rm{r}}}$，然后融合得到红通道图像${\mathit{\boldsymbol{R}}_{{\rm{out}}}} $；4)合并通道，获得水下增强图像Iout。本文算法各步骤产生的图像如图 2所示。 图1 算法流程图 Algorithm flow chartFig 1 图2 本文算法各步骤产生的图像 The images of each steps in our algorithm((a)original image; (b)image after contrast stretched; (c)original red channel image; (d)red channel image after contrast stretched; (e)green channel image after contrast stretched; (f)blue channel image after contrast stretched; (g)red channel image after median filtered; (h)red channel image by the proposed method; (i)output image)Fig 21.1基于均值和均方差的对比度拉伸为解决水下图像的色偏问题，首先利用一种基于灰度世界假说的对比度拉伸方法，通过独立计算获得每个通道的均值和均方差；然后利用每个通道的均值和均方差采用一种新的归一化方法。具体计算为 1 $\left\{ \begin{array}{l}I_{{\rm{max}}}^c = I_{{\rm{mean}}}^c + \lambda I_{{\rm{var}}}^c\\I_{{\rm{min}}}^c = I_{{\rm{mean}}}^c - \lambda I_{{\rm{var}}}^c\\\mathit{\boldsymbol{I}}_1^c = \frac{{{\mathit{\boldsymbol{I}}^c} - I_{{\rm{min}}}^c}}{{I_{{\rm{max}}}^c - I_{{\rm{min}}}^c}}\end{array} \right.$ 式中，$ c$表示红、绿、蓝三通道, $ I_{{\rm{mean}}}^c$和$ I_{{\rm{var}}}^c$分别表示3个通道的均值和方差。$ I_{{\rm{max}}}^c$和$ I_{{\rm{min}}}^c$分别表示最大值和最小值。$ {{\mathit{\boldsymbol{I}}^c}}$是原图像，$\mathit{\boldsymbol{I}}_1^c $是对比度拉伸后的输出图像。$ \lambda $用来控制图像的动态范围，若$ \lambda $过大，则导致图像过度增强，若$ \lambda $过小，则导致图像欠增强。最后根据$ [I_{{\rm{min}}}^c, I_{{\rm{max}}}^c]$范围对图像进行归一化，这里选择$ \lambda $=2。均值和方差的对比度拉伸后，图像各通道的均值和方差趋于相同的平均值(图 2(b))。该方法一定程度上能够减弱图像的色偏问题，但是会出现明显的红色阴影，这是由于红通道本身的灰度值较小(图 2(c))。同时，对比度拉伸导致红通道图像过度补偿并且出现大量的椒盐噪声(图 2(d))，为减轻红通道过度补偿带来的噪声问题，采用中值滤波处理红通道中引入的噪声点。滤波后的图像噪声得到减弱(图 2(g))，但是会导致图像细节退化，图像部分区域仍然存在过度补偿。与中值滤波后的红通道图像以及对比度拉伸后的蓝通道图像(图 2(f))相比，对比度拉伸后的绿通道图像细节表现较好，并且无过度补偿区域(图 2(e))，因此采用双尺度图像分解后的绿通道图像细节补偿红通道图像，从而解决红通道图像细节退化和过度补偿问题，并最终解决图像产生的红色阴影问题。1.2基于双尺度图像分解红通道图像增强1.2.1双尺度图像分解原理图像的双尺度分解是指将原始图像分解为结构和纹理两部分。其中，结构部分是指图像中尺度较大的基础对象，纹理部分是指尺度较小的细节对象。通过大尺度的均值滤波可以将一幅原始图像分解为小尺度的细节层和大尺度的平滑基础层，选择大尺度的目的是为了充分提取图像的细节部分。首先，将原始图像和均值滤波器做卷积运算，得到大尺度变化的平滑基础层图像$ {\mathit{\boldsymbol{C}}_n}$，具体为 2 ${\mathit{\boldsymbol{C}}_n} = {\mathit{\boldsymbol{R}}_n} * \mathit{\boldsymbol{Z}}$ 式中，$ {\mathit{\boldsymbol{R}}_n}$是双尺度图像分解的原始图像，$\mathit{\boldsymbol{Z}} $代表均值滤波器，* 表示卷积运算。滤波器模板大小的选择根据实验图像分辨率可以进行适当调节。滤波器模板选择过小，会导致图像细节信息提取不充分，结果图像会存在红色阴影现象; 滤波器模板选择过大，会导致平滑过度，结果图像部分区域会存在色偏。本文采用的图像分辨率为400×500像素，选择均值滤波的模板为400×400像素，能够较好地平滑图像细节区域，保留图像亮度信息，方便细节提取。然后，用均值滤波前的原始图像减去基础层图像，得到小尺度变化的细节层图像$ {\mathit{\boldsymbol{D}}_n}$，具体为 3 ${\mathit{\boldsymbol{D}}_n} = {\mathit{\boldsymbol{R}}_n} - {\mathit{\boldsymbol{C}}_n}$ 1.2.2双尺度图像分解红通道细节与颜色补偿根据水下成像的特点，利用双尺度图像分解后的绿通道细节补偿红通道可以有效解决红通道图像过度补偿以及细节退化问题。首先通过大尺度的均值滤波器对中值滤波后的红通道图像进行处理，得到红通道的基础层。然后通过双尺度图像分解将对比度拉伸后的绿通道图像进行分解，获取绿通道的细节层。接着，将绿通道的细节层加上红通道的基础层，解决红通道图像过度补偿以及细节退化的问题。但受到大尺度均值滤波的影响，导致红通道本身灰度值较大的像素值丢失，这部分像素值能够反映红通道的颜色信息，所以在完成绿通道细节补偿后，需要弥补红通道自身的颜色损失，具体为 4 ${\mathit{\boldsymbol{R}}_{{\rm{out}}}} = {\mathit{\boldsymbol{C}}_{\rm{r}}} + {\mathit{\boldsymbol{D}}_{\rm{g}}} + \alpha \times {\mathit{\boldsymbol{R}}_3}$ 式中，${\mathit{\boldsymbol{R}}_{{\rm{out}}}} $是经过细节与颜色补偿后的图像红通道，$ {\mathit{\boldsymbol{C}}_{\rm{r}}}$表示均值滤波后红通道的基础层, $ {\mathit{\boldsymbol{D}}_{\rm{g}}}$表示双尺度图像分解后绿通道的细节层。$ {\mathit{\boldsymbol{R}}_3}$是将原图红通道图像灰度值从高到低进行排序，选择灰度值大于0的前80%像素值作为红通道图像有用信息，剩余的像素值认为是图像噪声，均设置为0。$ \alpha $是控制红通道颜色恢复的一个权重系数，取值范围为[0, 1], 若$ \alpha $过小，会使得图像颜色补偿不足，导致丢失部分颜色信息，若$ \alpha $过大，会使得图像补偿过度，出现整体偏红，因此$ \alpha $的取值需要根据原始图像中红通道灰度值均值大小进行适当选择。对于原始图像，若红通道灰度值均值较大，细节信息体现较好，则$ \alpha $设定值较小，相反，$ \alpha $设定值较大，本文实验选择$ \alpha $=0.3，表现较好。图 2(h)是本文算法得到的图像红通道，相比于中值滤波后的图像红通道，能够有效解决图像过度补偿以及细节退化的问题。最后将对比度拉伸后的绿通道G1、蓝通道B1与本文算法得到的红通道${\mathit{\boldsymbol{R}}_{{\rm{out}}}} $合并，得到增强后的水下彩色图像(图 2(i))。2实验及结果分析实验使用的水下图像数据集包括公开的水下图像数据集(Berman等，2020；Ancuti等，2012；Galdran等，2015)和Google网站摄影爱好者拍摄的水下图像。为验证算法解决图像色偏和低对比度问题的优越性，从定性和定量两方面将本文算法与暗通道方法、基于融合策略的水下图像增强方法、自动红通道水下恢复方法和基于卷积神经网络深度学习的方法进行比较。2.1定性分析图 3是8幅不同水下彩色图像经过不同方法增强与复原后的图像对比结果。图 3(b)采用暗通道方法，在去雾方面有较好效果，但是由于水下图像红通道灰度值较低，绿色和蓝色分量偏多，直接采用He等人(2011)的暗通道方法结果图像与输入图像对比无明显变化，因此直接采用暗通道方法并不能复原水下图像。图 3(c)是Ancuti等人(2012)基于融合策略的水下图像增强方法结果，与本文算法相比，图像4、图像6、图像7和图像8在对比度上有明显提高，这是图像融合算法边缘保持的作用，但是图像2和图像3出现了红色阴影。而本文算法能够较好地解决水下图像红色阴影问题，同时在一定程度上可以提高图像的对比度，在图像颜色上表现更加自然。图 3(d)是Galdran等人(2015)拓展了暗通道方法的一种自动红通道恢复方法，与本文算法对比，图像1和图像2的复原结果无论是解决图像的色偏问题还是低对比度问题，本文算法均更加清晰自然。图 3(e)是Wang等人(2019)采用基于深度学习的水下图像增强方法得到的结果，从图像1、图像2、图像5和图像6可以看出，该方法能够在一定程度上提高图像的亮度和清晰度，但在图像红通道信息较差和绿色信息严重偏多的情形下，如图像4和图像7，该方法在解决图像色偏问题上，效果并不理想。图 3(f)是本文基于双尺度图像分解的水下彩色图像增强方法结果，从主观视觉上分析，相比于其他算法，本文算法能够更好地解决水下图像偏色的问题，并且无红色阴影产生，更加符合人眼的视觉感知。 图3 不同算法的实验结果比较 Comparison of experimental results among different algorithms((a)original images; (b)dark channel(He et al., 2011); (c)Ancuti et al.(2012); (d)Galdran et al.(2015); (e)Wang et al.(2019); (f)ours)Fig 32.2定量分析实验采用自然图像质量评价方法(natural image quality evaluation，NIQE)(Mittal等，2013)、水下图像质量评价方法(underwater image quality measurement method，UIQM)(Panetta等，2016)和信息熵(information entropy，IE)(Roberts等，2008)指标对提出的方法与暗通道方法、Ancuti等人(2012)、Galdran等人(2015)和Wang等人(2019)的方法进行比较分析。NIQE是将图像与从自然场景图像计算得到的默认模型进行比较，指标越低，图像感知质量越好，清晰度越高。NIQE与人眼主观质量评价有着更好的一致性，更接近人类视觉系统，能够有效进行实时图像质量评价。UIQM是现有较好的一种水下图像质量评价方法(郭继昌等，2017b)，能够对水下图像的3个重要指标(色彩、清晰度和对比度)进行评价，UIQM值越大，说明图像的清晰度越高，质量越好。IE是衡量一幅图像信息量丰富程度的指标，IE值越大，说明图像包含的细节信息越丰富。实验从图像数据集中选取60幅水下图像，经过无损的图像压缩后，图像的大小为400 × 500像素。本文方法和对比方法经过不同水下彩色图像增强方法处理后的3种评价指标均值如表 1所示。 表1 不同算法的定量结果比较 方法 NIQE UIQM IE 暗通道方法(He等，2011) 3.109 1.410 7.245 Ancuti等人(2012) 3.095 0.812 7.713 Galdran等人(2015) 3.201 0.499 7.541 Wang等人(2019) 3.324 0.972 6.778 本文 3.038 1.883 7.701 Comparison of quantitative results among different algorithmsTable 1 加粗字体表示各列最优结果。从图 3和表 1可以看出，1)本文算法的NIQE指标最低，说明本文算法较其他算法得到的结果更符合人眼视觉感知；2)本文算法的UIQM指标最大，说明了本文算法的优越性；3)Ancuti等人(2012)算法的IE指标最好，与主观定性分析结果较为一致，图像亮度和对比度均有提升，但是出现了明显的红色阴影(图 3(c))。相比Ancuti等人(2012)的结果，本文算法的IE值只差了0.012，说明本文算法结果的图像细节信息也较丰富，而本文算法能够有效解决图像产生的红色阴影问题(图 3(f))，说明本文算法结果较好。定性和定量实验结果表明，本文提出的基于双尺度图像分解的水下彩色图像增强方法能够有效解决水下彩色图像低对比度、色偏以及红色阴影问题，从而获取清晰度高的水下图像。相比于其他算法，本文算法的复杂度低且适用性广。3结论水下图像产生色偏的原因是光线受到水体的吸收和散射的影响，导致图像部分细节与颜色信息丢失。本文通过基于对比度的拉伸方法，用细节保留较好的绿通道弥补红通道细节部分，提出了一种新的双尺度图像分解红通道细节与颜色补偿方法，能够较好地反映红通道细节并且不损失红通道自身的颜色信息。通过与不同方法进行对比，表明本文方法可以有效增强图像的对比度，解决色偏问题，降低噪声和红色伪影的引入。本文方法从水下成像特点出发，提升图像的对比度和清晰度，并且得到了较好的实验结果。但是对红通道和蓝通道信息同时表现较差的水下彩色图像，本文方法效果较差，原因是本文方法的着重点是恢复红通道细节和颜色，适用于红通道信息表现较差、绿通道和蓝通道信息表现相对较好的水下彩色图像，因此仅考虑红通道可能过于局限。在下一步工作中将考虑基于多通道之间关系和图像融合，提出更有效的水下图像增强方法。