水下世界蕴涵着丰富的资源，近些年来围绕水下成像的相关研究和应用越来越吸引人们的关注。然而，受到水下光照散射、吸收以及噪声的影响，获取的水下图像普遍存在颜色偏差、对比度低、清晰度差等问题^[1]。当质量退化的水下图像应用于水下考古、海洋生态研究、水下监视、水下目标跟踪时，往往会影响相关应用的性能^[2]。因此，基于图像处理技术的低成本易操作的特性，通过图像处理技术清晰化获取的水下图像和视频，从而提高水下图像的视觉质量已经成为近些年的研究热点和难点。

目前，水下图像清晰化技术大致可以分为两类：水下图像增强方法^[3-5]和水下图像复原方法^[6-7]。水下图像增强方法并不考虑水下成像原理，主要通过调整图像的像素值来提高其对比度和颜色，从而获得水下图像更多的信息和细节。水下图像复原方法通常是基于水下成像物理模型，分析水下图像退化机理，估计成像模型参数并以反补偿等方式恢复出清晰自然的水下图像。近几年来，水下图像清晰化技术已经取得了显著的效果，并且受到了广泛的应用。然而，水下图像清晰化研究领域还欠缺有效的、鲁棒的、高认可度的水下图像质量评价方法。没有完善的评价体系，会影响实际应用中对原始水下图像和水下图像清晰化算法的选择，从而限制该研究领域的发展和进步。为推动水下图像清晰化研究领域的发展和实际应用中对清晰化算法的选取，设计一种有效的水下图像质量评价方法具有重要研究意义，并且是该研究领域目前所急需的。

目前，导致水下图像质量评价方法较少的原因大致可以分为以下几个方面：1) 水下图像清晰化研究领域的发展历史并不长，研究人员对评价方法的设计和选取还未达成共识；2) 目前缺少公开的水下图像数据集，并且用来参考的清晰水下图像通常难以获得，导致没有理想图像作为评价参考；3) 水下图像清晰化算法效果评价应当符合人类视觉感知，但人类视觉感知能力易受到观测者的个人因素影响，因此设计与之对应的评价体系较为困难；4) 不同于普通图像，水下图像具有特殊的成像环境和光照条件。因此，传统的图像质量评价方法(全参考方法、部分参考方法、无参考方法)^[8-12]无法直接应用到水下图像。

针对建立水下图像质量评价体系所面临的问题，本文受到深度学习理论在视觉任务上应用的启发，尝试将深度学习网络框架与回归模型相结合，采用无参考方式构建符合人类视觉感知的水下图像质量评价方法，以全面准确地衡量水下图像的质量。与现有的评价方法相比，本文方法具有以下3点贡献：1) 据我们所知，本文是首次将深度学习网络框架与回归模型相结合，构建了无参考的水下图像质量评价方法；2) 本文方法从人类直觉感知角度出发，建立的评价方法可以保证输出的水下图像质量分数与人类视觉感知相一致的结果；3) 本文方法无需参考图像、避免参数调整，省去手工设计特征，具有更好的准确性和鲁棒性。

目前，有关水下图像质量评价的文献较少，评价体系还需进一步完善。下面仅就目前最优秀的2种水下图像质量评价方法进行简单介绍和分析。

Karen等人^[13]受到人类视觉系统的启发，提出了一种无参考的水下图像质量评价方法UIQM (underwater image quality measure)。UIQM方法针对水下图像的退化机理和成像特点，采用色彩测量UICM (underwater image colorfulness measure)、清晰度测量UISM (underwater image sharpness measure)和对比度测量UIConM (underwater image contrast measure)作为评价水下图像质量的依据。该方法与传统的无参考图像质量评价方法相似，通过图像的测量分量或特征来表征图像的视觉质量。最终，文中提出的UIQM水下图像质量评价方法表示为上述3个测量分量的线性组合，即

$ \begin{array}{l} \;\;\;{\rm{UIQM}} = {c_1} \times {\rm{UICM}} + \\ {c_2} \times {\rm{UISM}} + {c_3} \times {\rm{UIConM}} \end{array} $

(1)

式中，c₁，c₂和c₃为权重因子。文中指出，权重因子的选择需根据具体应用而定。例如，评价水下图像的颜色偏差修正结果时，需分配色度测量分量UICM更大的权重值；当评价对比度和清晰度时，需要分配清晰度测量分量UISM和对比度测量分量UIConM更大的权重值。

Yang和Arcot以色度、饱和度和对比度为测量分量，通过线性的方式将测量分量线性组合，从而提出一种量化水下图像非均匀颜色偏差、模糊以及对比度的质量评价方法UCIQE (underwater colour image quality evaluation)^[14]。首先，将水下图像从RGB颜色空间转换到更加符合人类视觉感知的CIELab颜色空间；然后，计算各代表水下图像质量的测量分量；最终，UCIQE方法可以表示为

$ {\rm{UCIQE}} = {c_1} \times {\sigma _c} + {c_2} \times co{n_l} + {c_3} \times {\mu _s} $

(2)

式中，σ_c为色度的标准方差，con_l为亮度的对比度，μ_s为饱和度的平均值，c₁，c₂和c₃分别为线性组合的权重值。

本文观察与分析上述水下图像质量评价方法发现，这两种方法存在一定的共性和特性。共性：这两种方法都是通过设计测量分量并以线性的方式进行组合，为测量分量分配不同的权重以获得更好的评价效果。特性：设计测量分量的出发角度不同，UICM方法以色彩、清晰度和对比度作为衡量水下图像质量的依据，而UCIQE是以色度、饱和度和对比度作为依据；权重参数的计算方式不同，UICM方法采用手工赋值的方式，而UCIQE使用预测的方式估计针对某一数据集最优化的权重参数。

虽然现有水下图像质量评价方法可以某种程度上给出图像的质量分数，但也存在明显的不足。目前，水下图像质量评价方法存在的问题大致可以分为以下几个方面：1) 由于水下图像的退化类型较多(颜色偏差、对比度降低、噪声、模糊等)，手工设计的测量分量或特征仅仅针对退化的某个或者某几个方面有效，这导致评价结果不够客观、准确性不理想，同时也限制评价方法的实际应用；2) 现有方法或者手工分配线性组合的权重值或者通过预训练的方式来预测最优化的权重值，这导致结果易受到人类的主观因素(研究人员倾向选择对自己结果有利的权重值)和预训练数据集的影响；3) 评价结果易出现与人类视觉感知不一致的现象。因此，急需一种新的水下图像质量评价方法，完善水下图像质量评价体系、解决目前存在的问题、弥补现阶段的不足。

鉴于深度学习理论技术已在学术界和工业界取得了令人瞩目的成绩^[15]，本文尝试将深度神经网络(VGG16 Net)^[16]与随机森林回归模型^[17]相结合，设计一种无需参考图像省去手工设计测量分量和特征，并且符合人类视觉感知的水下图像质量评价方法。提出的评价模型整体结构如图 1所示，主要包括训练阶段和测试阶段。

VGG16 Net最初在图像识别、定位和分类等视觉任务上取得了显著的成绩，鉴于其强大的学习和表征能力以及灵活的网络结构，被广泛应用于不同类型的视觉任务。该网络总共包含5个堆栈式的卷积神经网络(ConvNet)，每个ConvNet又由多个卷积层(Conv)组成，Conv层之后紧跟着非线性映射层(ReLU), 每个ConvNet后为池化层(Pooling), 最后为3个全连接层和1个soft-max层，其中每个全连接层具有4 096个通道，soft-max层具有1 000个通道(根据具体的任务，可以选择不同的输出数目)。该网络引入较小的卷积核(3×3)，增加了ReLU层，卷积层和全连接层的输入都直接连接ReLU层，同时在全连接层fc6和fc7使用了一种正则化方法(Dropout), 这样的网络结构大大缩短了训练时间，增大了网络的灵活性，同时防止出现过拟合现象。本文综合考虑网络模型的学习和表征能力、结构的灵活性以及训练时间等因素，选取VGG16 Net作为本文的特征提取器。VGG16 Net结构如图 2所示。

为训练随机森林回归模型，本文收集了一个总共包含400幅图像并且拥有多种退化类型的水下图像数据集。此外，还邀请了20位观察者(大多数观察者具有图像处理相关研究背景)，以色彩、对比度、清晰度、噪声、亮度为判断依据，凭借人类的视觉感知能力为该数据集400幅图像的质量依次打分。具体打分方式如下：20位观察者分别对该数据集中的400幅图像打分。分数从0.1到1分以0.1为步长分为10个等级，分数越高代表该幅图像越符合人类视觉感知，具有越好的视觉质量。针对每一幅图像，去掉最高和最低分数，剩下18位观察者给出分数的平均值记作有效分数。这样的打分方式一方面保证了结果与人类主观感知的一致性，另一方面保证最终分数不受个别观察者的主观因素影响，同时增加了结果的可靠性。图 3给出该水下图像数据集的部分图像以及对应的主观质量分数。

观察图 3可以发现，退化严重的水下图像具有较低的质量分数(如第2行第1列的图像)，而清晰自然并且色彩丰富的图像具有较高的分数(如第1行第5列的图像)，这样的结果完全符合人类的视觉感知。

为省去手工设计特征和测量分量，采用深度神经网络提取的高维特征来表征水下图像的质量。为提高VGG16 Net的兼容性，使用海量数据集Image Net初始化该深度网络的参数。输入图像的预处理以及网络的详细配置见文献[16]。由于本文仅仅需要采用该网络提取水下图像的特征(未涉及分类和识别等问题)，因此将其最后的soft-max transform层去掉，以倒数第2个全连接层4 096个通道的输出作为特征。本文仅尝试使用深度学习网络框架提取水下图像特征，因此暂时并没有使用参数调优(fine-tuning)等进一步处理。接下来，将收集到的水下图像数据集中的300幅图像分别送入VGG16 Net进行特征提取。输入的图像经过网络中的卷积、池化以及非线性映射等处理，逐步从具体的图像转变为具有更强表征能力的抽象特征，图像独特的部分由此凸显。限于篇幅有限，在图 4中仅给出输入图像经过第1层卷积处理后的可视化特征。仔细观察图 4，仍可以看到原始图像内容，后续提取的特征逐步淡化内容，突出特征。

接下来，将VGG16 Net提取每幅图像的4 096维特征和对应的符合人类视觉感知的质量分数送入随机森林回归模型进行训练。本文的随机森林回归模型选用800棵树进行预测。值得注意的是，其他类型的回归模型应该也可以完成相应的预测工作。本文只是试验性工作，因此选择了最为简单的随机森林回归模型。

测试阶段，本文将数据集中剩下的100幅图像分别送入VGG16 Net深度神经网络，再将提取的特征送入已经训练好的随机森林回归模型，最终输出预测的水下图像质量分数。

为了验证提出的水下图像质量评价方法，本文分别在自己建立的水下图像数据集以及真实的水下图像清晰化算法的结果上开展实验。为证明本文方法可以取得与目前最优秀的水下图像质量评价方法相同甚至更好的结果，分别与目前最优秀的2种水下图像质量评价方法(UIQM^[13]和UCIQE^[14])进行了比较，其中线性权重选用原文中的参数(UIQM：c₁=0.028 2，c₂=0.295 3，c₃=3.575 3；UCIQE: c₁=0.468 0，c₂=0.274 5，c₃=0.257 6)。此外，本文方法还与1种经典的普通图像质量评价方法(NIQE^[10])进行了比较，以说明普通图像质量评价方法应用于水下图像所展现的局限性。

建立了一个包含400幅图像的水下图像数据集，该数据集包含的图像具有人工标定的质量分数。该分数符合人类视觉感知，并且归一化到[0, 1]范围内，其中1表示质量最好，0.1表示质量最差。文中训练阶段使用了300幅图像来训练随机森林回归模型。测试阶段，本文预测剩下的100幅水下图像的质量分数。图 5给出部分测试图像，表 1呈现预测结果与实际分数的比较。

观察图 5和表 1发现，预测结果与实际分数十分接近。预测结果与人类视觉感知相一致证明了本文方法的有效性，同时也证明了采用预训练的深度学习网络框架提取的特征可以用来衡量水下图像的质量。为了进一步验证预测结果的准确性、鲁棒性和一致性，图 6给出100幅测试图像的预测结果与实际分数的比较，其中，纵坐标为质量分数的log运算表示。

从图 6中可以看出，100幅测试图像的预测结果与实际质量分数同样保持较好的一致性。由此进一步证明了本文方法的准确性和鲁棒性。

目前，虽然水下图像清晰化算法很多，但有效的并且高认可度的清晰化结果评价方法匮乏。为验证提出的评价方法在实际应用中的能力和表现，开展了以下实验：选取一组退化的水下图像，采用水下图像清晰化算法(Carlevaris-Bianco^[3], Serikawa^[4], Galdran^[5], Ancuti^[6], Chiang^[7])分别进行处理，使用本文提出的评价方法与现有最优秀的2种水下图像质量评价方法(UIQM^[13]和UCIQE^[15])和1种普通图像质量评价方法(NIQE^[10])对清晰化的结果进行评价。图 7-图 9给出图像清晰化算法对退化的一组水下图像的处理结果。表 2呈现各水下图像质量评价方法对图 7-图 9结果的评价，其中UIQM^[13]、UCIQE^[14]和本文方法的分数越高代表图像质量越好，NIQE^[10]方法的分数越低代表图像质量越好。

分析图 7-图 9和表 2发现，包括本文方法在内的3种水下图像质量评价方法都可以相对有效地给出图像质量分数。例如，3种方法一致认为图 7(d)(e)、图 8(d)(e)、图 9(c)(f)具有更好视觉质量。此外，3种方法同时认为3组比较实验中的原始输入图像具有相对低的视觉质量。本文方法与主观分数和UCIQE方法的评价结果保持一致。从主观角度分析3组实验结果，本文方法和UCIQE方法一致认为具有更好的清晰度、对比度和亮度，更加丰富的色彩和自然的表面，并且远景目标得到更好揭示的图像具有更高的质量分数，这一点符合人类的视觉感知。与本文提出的评价方法相比，由于忽略水下图像成像特点和光照条件，普通图像质量评价方法NIQE并不能有效地给出符合人类视觉感知的水下图像质量分数。例如，NIQE方法认为图 7(c)具有最好的视觉质量。然而，从主观角度分析，图 7(c)具有严重绿色调的颜色偏差，局部区域过度曝光并且对比度较差。

本文还采用UIQM^[13]、UCIQE^[15]和NIQE^[10]方法评价收集的100幅用于测试的水下图像，并与主观结果和本文方法的评测结果进行比较。此外，斯皮尔曼秩相关系数SROCC (Spearman rank order correlation coefficient)和皮尔森线性相关系数PLCC (pearson linear correlation coefficient)被用来比较各评价方法与主观结果之间的相关性，评价方法的结果与主观分数相关性越大，上述2个相关系数值越接近于1。表 3呈现对100幅水下图像评价结果的平均值以及各方法评价结果与主观分数之间的相关性。

观察表 3，在100幅水下图像的测试数据集下，本文方法与UCIQE方法和主观分数具有较好相关性。此外，本文方法的结果更接近主观分数。此结果证明了本文方法的鲁棒性和与人类视觉感知的一致性。为进一步比较本文方法与目前最优秀的2种水下图像质量评价方法的鲁棒性，本文使用UIQM、UCIQE和本文方法同时评价一组严重退化的水下图像。测试图像如图 10所示，表 4给出这3种方法的评价结果。

分析表 4发现，针对严重退化的水下图像，本文方法与主观分数相一致，都给出其较低的质量分数。然而，UIQM和UCIQE方法给个别退化较严重的水下图像以较高的分数。例如，UIQM方法给图 10(d)以2.810 2的分数，相比图 7(e)的UIQM分数仅为1.935 7。同样，UCIQE方法给图 10(c)以0.602 7的分数，相比与图 9(f)的UCIQE分数仅为0.579 2。但从主观角度分析，图 7(e)和图 9(f)的视觉质量分别优于图 10(d)和图 10(c)。上述实验结果表明，本文方法具有相对较好的鲁棒性，可以准确和鲁棒地给出符合人类视觉感知的图像质量分数。

上述一系列实验表明，本文方法可以较准确地给出符合人类视觉感知的水下图像质量分数，其评价结果与目前优秀的水下图像质量评价方法基本一致，甚至具有更好的鲁棒性，更加符合人类的视觉感知，可以应用于实际的水下图像清晰化算法性能比较。此外，本文方法给出的是归一化的质量分数，这样的结果可以令使用者更加方便地判断水下图像的质量。

本文基于深度学习技术理论，结合随机森林回归模型，通过建立具有符合人类视觉感知质量分数的水下图像数据集，实现对水下图像质量的无参考评价。该方法克服了现有方法的不足，无需参考图像，无需手工设计特征和测量分量，不受水下图像的退化类型所限制，准确性高，鲁棒性强，结果符合人类视觉感知。实验结果表明，本文方法具有较高的预测准确度和鲁棒性，预测结果符合人类视觉感知。由于该方法需要采用深度学习网络提取高维的图像特征，因此如何提高该方法的处理速度以及优化网络结构是下一步研究的重点。