0引言近年来，随着计算机视觉技术的发展，图像显著性目标检测技术成为图像处理领域的热点研究问题(Zhao等，2019；Hou等，2019；Tang等，2019)。从该技术的发展历史来看，传统方法(Itti等，1998；Parkhurst等，2002；Bruce和Tsotsos，2005；Liu等，2007；Achanta等，2008；Liu等，2011)开启了图像显著性目标检测的先河。这类方法尽管有着很好的理论支撑，但在模型参数调整的灵活性以及检测效果方面均有待提升。随着深度学习方法的快速发展及其在各领域的成功应用，基于数据驱动的深度神经网络模型(Wang等，2019；Zhang等，2019；Liu等，2020；Li和Yu，2018；Liu等，2019a；Hu等，2021；Huang等，2018；Qin等，2019；Chen等，2020)逐步应用于图像的显著性目标检测领域，这类方法通过参数的自适应学习，实现了显著性目标检测性能大幅度提升。当前，显著性目标检测方法主要针对高质量图像，但在实际应用中，不利的天气、环境(如雾霾、水下等)因素会导致图像质量退化，使获取的图像出现模糊、颜色失真、对比度低和细节缺失等问题(麦嘉铭等，2016；陈丹丹等，2017；Yeh等，2020；郭继昌等，2017；Li等，2020)。对此，若直接采用当前的显著性目标检测方法将难以获得理想的检测结果。一般认为，对低质图像进行增强处理可以提高其显著性目标检测的效果，但事实确实如此吗？针对该问题，本文系统地研究低质图像增强方法对显著性目标检测性能的影响问题。首先对当前典型的低质图像增强方法及典型的显著性目标检测方法进行介绍，在此基础上，为了研究低质图像增强方法对于显著性目标检测方法性能的影响，设计了以不同图像增强方法作为预处理步骤的低质图像显著性目标检测实验方案，并在真实的低质图像数据集上进行实验。最后，通过实验分析和效果评估，总结了图像增强方法对低质图像显著性目标检测性能的影响规律。1典型图像增强方法图像增强原理可从两方面进行描述。1)根据观察者关注的图像内容确定图像增强规则，以突出观察者感兴趣的图像信息；2)加强对观察者不感兴趣内容的约束，从而相对地突出感兴趣特征。图像增强的目的是提升图像质量，使图像更加符合人类视觉感官或机器视觉需求。图像增强方法主要分为传统方法和基于深度学习的方法两类，表 1列举了一些典型的及最新的图像增强方法。 表1 典型图像增强方法列表 方法 网络结构 训练数据集 应用场景 发表年份 Retinex - - 水下/雾霾 1971 CLAHE - - 水下/雾霾 1994 传统方法 Gamma校正 - - 水下/雾霾 2004 DCP - - 水下/雾霾 2009 Li’s - - 水下 2016 UGAN GAN ImageNet 水下 2018 UIE-DAL 编解码器 watertype 水下 2019 深度学习方法 WaterNet CNN watertype 水下 2020 Cycle-Dehaze CycleGAN NYU-Depth 雾霾 2018 GCANet CNN RESIDE/SOTS 雾霾 2019 FFANet CNN RESIDE/SOTS 雾霾 2020 List of typical image enhancement methodsTable 1 “-”表示无。1.1传统图像增强方法传统方法是图像增强中最基础的分支之一，典型方法如下：1) Retinex(Land和McCann，1971)方法是建立在科学实验和科学分析基础上的基于人类视觉系统的图像增强方法。不同于只能增强图像的某一类特征(压缩图像的动态范围、增强图像的边缘等)的线性变换、非线性变换和图像锐化等方法，Retinex以颜色恒常性为基础，能够实现图像的动态范围压缩、边缘增强和颜色恒常3方面的平衡，因此可以对不同类型的图像进行自适应性增强。Retinex方法示意如图 1所示，其中，L代表入射光图像，R代表物体的反射性质图像，S代表人眼能接收到的反射光图像。 图1 Retinex(Land和McCann，1971) Retinex(Land and McCann, 1971)Fig 12) 限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization，CLAHE)(Zuiderveld，1994)方法是基于自适应直方图均衡化(adaptive histogram equalization，AHE)方法的改进。AHE方法的主要特性是：所处理图像区域的对比度强弱与该区域的大小呈反向关系。即对于AHE处理的局部矩形区域，若矩形区域小，则局部对比度强；若矩形区域大，则局部对比度弱。此外，若矩形区域内的图像块信息平坦、灰度接近，则其灰度直方图呈尖状，在直方图均衡化过程中可能会出现过度放大噪声的情况。CLAHE方法在AHE方法的基础上进行对比度限制，将大于一定阈值的像素点信息平均分配到直方图的其他位置，通过限制累积分布函数的斜率来限制对比度，以实现降噪目的。CLAHE的原理示意如图 2所示。 图2 限制对比度自适应直方图均衡(Zuiderveld，1994) Contrast limited adaptive histogram equalization(Zuiderveld, 1994)Fig 23) Gamma校正(Gamma correction)(Guo等，2004)方法是对输入图像灰度值进行非线性操作，使得输出图像与输入图像的灰度值呈指数关系的图像增强方法。该方法的理论依据是：人眼对外界光源的感光值与输入光强不是呈线性关系，而是呈指数型关系，然而，摄像机感光与输入光强呈线性关系，因此为提高人眼对图像的辨识度就需要进行图像校正。Gamma校正能有效提取图像亮度信息，实现图像增强的目的，其示意如图 3所示，其中CRT Gamma(cathode ray tube Gamma)表示响应曲线。 图3 Gamma校正(Guo等，2004) Gamma correction(Guo et al., 2004)Fig 34) 暗通道先验(dark channel prior，DCP)(He等，2009)方法基于一个基本假设：在绝大多数的非天空局部区域中，某一些像素点总会有至少一个颜色通道具有很低的值。实际生活中很多场景都验证了这个假设，比如汽车、建筑物的阴影，色彩鲜艳或颜色较暗的物体表面等，这些图像总有一个颜色通道较暗。DCP取图像每一个像素点中3个颜色通道的最小值组成灰度图，然后进行最小值滤波得到暗通道图像。该方法示意图如图 4所示，其中，A代表大气背景光，P和Q代表先验向量。 图4 暗通道先验(He等，2009) Dark channel prior(He et al., 2009)Fig 45) Li等人(2016)的方法是针对水下图像质量退化问题提出的一种水下图像增强方法。首先基于最小信息损失原理，提出了一种水下图像去噪方法，以恢复水下图像的可见度、颜色和外观。与此同时，提出了一种简单有效的基于直方图分布先验的对比度增强方法，以提高水下图像的对比度和亮度。因此，该方法产生了两个版本的增强结果，一个颜色较真实、外观较自然，适合人眼观测；另一个具有较高的对比度和亮度，能够用来提取图像中有价值的信息和细节。该方法示意图如图 5所示。 图5 Li等人(2016)的方法 Li et al. (2016)methodFig 51.2基于深度学习的图像增强方法随着人工智能技术的迅速崛起及其应用领域的发展，基于深度学习驱动的图像增强方法不断涌现并且取得了显著效果。典型方法如下：1) UGAN(underwater imagery using generative adversarial networks)(Fabbri等，2018)采用生成对抗网络结构增强水下图像质量。生成器部分采用CycleGAN(cycle generative adversarial networks)结构生成足够数量的数据集；鉴别器部分使用PatchGAN结构提取图像特征。UGAN的主要作用是提高图像的视觉质量，产生更具视觉吸引力的图像效果，网络结构如图 6所示, 图中，DX和DY表示鉴别器，X和Y表示数据域，G和F表示映射函数。 图6 UGAN(Fabbri等，2018) UGAN(Fabbri et al., 2018)Fig 62) UIE-DAL(underwater image enhancement domain-adversarial learning)(Uplavikar等，2019)通过基于编码器—解码器的网络结构增强水下图像，并采用基于分类器的网络结构作为干扰分类器对Jerlov水类型进行分类。此外，UIE-DAL的编码器会丢弃表示水类型的特征并仅保留与场景相关的特征，提高干扰分类器预测的不确定性。UIE-DAL的主要作用是能够学习水类型的不可知特征，以便处理增强过程中水的多样性问题。UIE-DAL在真实数据集上具有良好的泛化能力，网络结构如图 7所示。 图7 UIE-DAL(Uplavikar等，2019) UIE-DAL(Uplavikar et al., 2019)Fig 73) Water-Net(underwater image enhancement network)(Li等，2020)是一个端到端的水下图像增强网络，基于作者提出的水下图像增强数据集(underwater image enhancement benchmark dataset，UIEBD)构建。此数据集包含各个水下场景以及各种水下退化特征情况下拍摄的图像，弥补了当前水下图像数据集较少的局限，其网络结构如图 8所示, FTU为特征转换单元。 图8 Water-Net(Li等，2020) Water-Net(Li et al., 2020)Fig 84) Cycle-Dehaze(Engin等，2018)是面向雾天图像的增强网络。该网络基于不成对的清晰和模糊图像进行训练，并且不需要依赖大气散射模型的参数估计。该网络的主要优势是不需要成对的训练数据集就能够提高图像纹理信息的恢复质量，生成视觉效果良好的无雾图像，其网络结构如图 9所示。 图9 Cycle-Dehaze(Engin等，2018) Cycle-Dehaze(Engin et al., 2018)Fig 95) GCANet(gated context aggregation network)(Chen等，2019)是直接恢复无雾图像的端到端门控上下文聚合网络。该网络采用平滑扩张技术消除由于广泛使用空洞卷积产生的网格伪影，并利用门控子网融合不同层次的图像特征，避免了利用低层图像特征或手工制作的图像优先级作为恢复约束的问题。该网络的主要作用是提高图像去雾质量，并应用于图像去噪等领域，其网络结构如图 10所示。 图10 GCANet(Chen等，2019) GCANet(Chen et al., 2019)Fig 106) FFANet(feature fusion attention network)(Qin等，2020)是一个端到端的特征融合注意力网络，主要包括特征注意(feature attention, FA)模块、基本块和不同层次特征融合(attention-based different levels feature fusion, FFA)结构。其中，FA模块用来对不同的图像特征进行不均衡处理，加强卷积神经网络的表示能力；基本块由局部残差学习结构和特征注意结构组成，其中局部残差学习结构通过多个局部残差连接来绕过薄雾或低频信息，从而使主网络结构集中在更有效的图像信息上；FFA结构通过FA模块自适应地学习特征权重，从而赋予重要特征更大的权重。FFANet的主要优势在于可以直接恢复无雾图像，其网络结构如图 11所示。 图11 FFANet(Qin等，2020) FFANet(Qin et al., 2020)Fig 112典型显著性目标检测方法人类视觉系统具有一套有效的注意机制，可以从视觉场景中选择最重要的信息。显著性目标检测就是模拟人类的这种视觉注意机制，检测出人类在视觉场景中可能聚焦的区域或对象。因此，显著性目标检测的目的是识别出图像中最具视觉特征的物体或区域并将其从背景中分割出来，这使得显著性目标检测成为计算机视觉领域的关键技术。当前，基于深度学习的显著性目标检测方法主要包括基于编译码器的方法和基于多分支结构的方法。近几年一些性能优良的代表性方法如表 2所示。 表2 典型显著性目标检测方法列表 方法 网络结构 网络骨干 训练数据集 发表年份 基于分支结构的方法 DSS FCN+多分支 ResNet MARS-B 2017 PiCANet FCN+多分支 VGGNet DUTS 2018 R3Net FCN+多分支 VGGNet MSKA10K 2018 CPD FCN+多分支 VGGNet DUTS 2019 基于编译码器的方法 MINet FCN+多分支 VGGNet/ResNet DUTS 2020 BASNet FCN+编译码器 ResNet DUTS 2019 PoolNet FCN+编译码器 ResNet DUTS 2019 GCPANet FCN+编译码器 ResNet DUTS 2020 List of typical salient object detection methodsTable 22.1基本原理描述对于给定的输入图像I∈RW×H×3，显著性目标检测模型f可以将其映射为连续显著性图S=f(I)∈[0, 1]W×H。因此，通过数据集来训练f的模型参数是保证显著性目标检测准确性的关键。模型f的训练过程可以表示为：给出一组包含N幅静态图像的数据集$\boldsymbol{I}=\left\{\boldsymbol{I}_{n} \in \mathbf{R}^{W \times H \times 3}\right\}_{n=1}^{N} $和其对应的二进制显著性图$ \boldsymbol{g}=\left\{\boldsymbol{G}_{n} \in\{0, 1\}^{W \times H}\right\}_{n=1}^{N}$，通过最小化预测误差$\sum\limits_{n=1}^{N} \ell\left(\boldsymbol{S}_{n}, \boldsymbol{G}_{n}\right) $来不断学习更新f的参数。其中，$\ell $表示距离测量，Sn=f(In)。2.2基于编译码器的显著性目标检测方法在当前显著性目标检测发展中，基于编译码器结构的深度学习网络占据主流地位，典型方法如下：1) BASNet(boundary-aware salient object detection network)(Qin等，2019)由基于密集监督的编译码模块和残差细化模块两部分组成。前者用于预测图像的显著性目标，后者进一步对该目标进行细化。该网络采用由二进制交叉熵(binary cross entropy, BCE)、结构相似性(structural similarity，SSIM)和交并比(intersection-over-union，IoU)损失组成的混合损失函数，在像素级、片块级和图像级3个层次上监督显著性目标检测的训练过程。BASNet的主要作用在于提升显著性目标检测的边界感知能力，进而引导网络学习输入图像与真实显著性图之间的映射，其网络结构如图 12所示。 图12 BASNet(Qin等，2019) BASNet(Qin et al., 2019)Fig 122) PoolNet(Liu等，2019a)在U形特征金字塔网络(feature pyramid networks，FPNs)的基础上搭建了两个主要模块：全局引导模块(global guidance module, GGM)和特征聚合模块(feature aggregation module, FAM)。GGM旨在为具有不同特征水平的网络层提供显著目标的位置信息，FAM用于融合图像的高级语义信息和细节特征。这两个基于池化的模块使得图像的高级语义信息逐步细化，生成细节丰富的显著性映射。PoolNet的主要作用是通过扩展卷积神经网络的池化效果进行显著性目标检测，其网络结构如图 13所示。 图13 PoolNet(Liu等，2019a) PoolNet(Liu et al., 2019a)Fig 133) GCPANet(global context-aware progressive aggregation network)(Chen等，2020)由特征交织聚合模块(feature interweaved aggregation，FIA)、头部注意模块(head attention，HA)、自细化模块(self-refinement，SR)和全局上下文流模块(global context flow，GCF)4部分组成。FIA模块用于集成低级外观特征、高级语义特征和全局上下文特征，并以有监督的方式生成显著性映射；HA模块用于减少信息冗余和增强顶层特征；SR模块用于细化和增强输入特征；GCF模块用于生成不同阶段的全局上下文信息，学习不同显著区域之间的关系，减少高级特征的稀释效应。该网络的主要作用是学习图像综合特征，并着力解决高级特征在自上而下的传递过程中的稀释问题，其网络结构如图 14所示。 图14 GCPANet(Chen等，2020) GCPANet(Chen et al., 2020)Fig 142.3基于多分支结构的显著性目标检测方法用多分支结构融合不同尺度的图像特征也是显著性目标检测的重要思路，其包含的典型方法如下：1) PiCANet(pixel-wise contextual attention network)(Liu等，2018)是一个像素级上下文注意网络，其对图像中每个像素点的信息上下文位置进行选择性关注。PiCANet首先对每一个像素点生成一个注意图，其中每个注意权重对应于每个上下文位置的相关性。然后，通过选择性地聚合上下文信息构造上下文特征。PiCANet可以用全局和局部形式分别表示，以适应全局和局部环境，这两个模型均完全可微，可以嵌入到神经网络中进行联合训练。PiCANet的主要作用是通过对图像像素点的不同上下文信息赋予不同的注意权重来提升显著性目标检测的性能，其网络结构如图 15所示。 图15 PiCANet(Liu等，2018) PiCANet(Liu et al., 2018)Fig 15((a)global model; (b)local model) 2) R3Net (recurrent residual refinement network)(Deng等，2018)由特征提取模块(feature extraction network，FEN)和残差细化模块(residual refinement block，RRB)两部分组成。FEN在输入图像的多个尺度上产生特征映射，并连接为低级集成特征和高级集成特征。RRB将这些特征分别送入全卷积网络(fully convolutional networks，FCN)交替利用，进而学习网络中间预测的显著性图与真实显著性图的残差。由此该模块在利用低级集成特征捕捉显著细节的同时，利用高级集成特征减少中间预测的非显著区域。此外，RRB可以获得中间预测的互补显著性信息，并加入残差来细化预测的显著性图。R3Net的主要作用是通过递归式的残差细化来提高显著性目标检测的准确性，其网络结构如图 16所示。 图16 R3Net(Deng等，2018) R3Net(Deng et al., 2018)Fig 163) CPD(cascaded partial decoder)(Wu等，2019)是一个级联部分解码器框架，用于快速、准确检测显著性目标。一方面，该框架构造了部分解码器减少网络参数，提升网络运行速度；另一方面，该框架直接利用生成的显著图细化主干网的特征，有效抑制特征中的干扰因素，显著提高了特征的表现能力。CPD的主要作用是摒弃低级特征以降低模型的复杂度，并利用生成的注意映射来细化高级特征以提高检测性能，其网络结构如图 17所示。 图17 CPD(Wu等，2019) CPD(Wu et al., 2019)Fig 17((a)traditional framework; (b)CPD framework) 4) DSS(deeply supervised salient object detection)(Hou等，2017)通过在HED(holistically-nested edge detector)结构中引入短连接来结合多级特征。DSS中的高级特征可以转换为较浅的侧输出层，更好地定位显著性区域，与此同时浅层侧输出层可以学习丰富的低级特征，细化从深层侧输出层得到的稀疏和不规则的预测图。DSS的主要作用是获得精确的显著性目标，其网络结构如图 18所示。 图18 DSS(Hou等，2017) DSS(Hou et al., 2017)Fig 185) MINet(multi-scale interactive network)(Pang等，2020)由聚合交互模块(aggregate interaction modules，AIM)和自交互模块(self-interaction modules，SIMs)两部分组成。AIM通过互学习的方式有效整合相邻层的特征，SIMs使网络自适应地从数据中提取多尺度信息，从而更好地处理尺度变化。此外，MINet利用一致性增强损失作为辅助，用于保持显著性图预测前后的空间一致性。MINet的主要作用是解决显著性目标的尺度变化和类别未知问题，其网络结构如图 19所示。 图19 MINet(Pang等，2020) MINet(Pang et al., 2020)Fig 193实验方案、数据集及评价指标基于以上对于图像增强和显著性目标检测的原理描述以及各自典型方法的研究，对基于增强处理的低质图像显著性目标检测设计实验方案，探究增强处理对低质图像显著性目标检测性能的影响，进而分析图像增强在显著性目标检测中的作用。3.1实验方案基于增强处理的低质图像显著性目标检测主要包括两个环节。1)利用图像增强方法对低质图像进行预处理，获得对比度高、细节清晰以及视觉效果优良的增强图像；2)以增强后的图像为输入，以典型的显著性目标检测方法为处理技术，获得图像的显著性目标。实验方案流程如图 20所示。 图20 基于图像增强的显著性目标检测实验流程图 Experimental flow chart of salient object detection based on image enhancementFig 20由图 20可知，本文将增强网络模型与显著性目标检测网络模型进行级联来获得低质图像的显著性目标。在网络模型训练阶段，为避免网络层数过多导致的网络参数多、训练速度慢等问题，采用单独训练方式分别训练增强网络和显著性目标检测网络，实现两阶段网络参数训练和优化。在测试阶段，将训练好的增强网络与显著性目标检测网络级联为一个整体进行测试。基于该实验方案，在低质图像显著性目标检测中对上述11种增强方法进行对比实验，验证有无增强两种条件下8种显著性目标检测方法的效果，以及不同增强方法对显著性目标检测的影响程度。3.2数据集实验中采用的评估数据集选自真实水下图像数据集UFO-120(Islam等，2020)和未标注的真实雾霾图像数据集RESIDE(realistic single image dehazing)(Li和Yu，2018)。本文对UFO-120和RESIDE数据集进行了成对标注。首先从包含1 620幅水下图像的UFO-120数据集和包含1 000幅未标注雾霾图像的RESIDE数据集中分别挑选400幅图像作为候选数据集；然后对候选数据集进行显著性目标的成对标注；最后通过多位观察者主观决议，在成对标注的候选数据集中筛选出391幅水下图像对和391幅雾霾图像对作为本文实验中采用的水下图像和雾霾图像显著性目标检测评估数据集。3.3评价指标采用两种广泛使用的显著性目标检测度量标准F度量值(F-measure，$F_{\beta} $)和平均绝对误差(mean absolute error, MAE)评估实验性能。$F_{\beta} $是一种整体性能度量标准，通过精确率和召回率的加权调和平均值计算得出，具体为 1 $F_{\beta}=\frac{\left(1+\beta^{2}\right) \times P \times R}{\beta^{2} \times P+R}$ 式中，$ P$和$ R$分别表示精确率和召回率，$\beta^{2} $表示调和两者的加权值，本文取0.3(Wang等，2020)。$F_{\beta} $值越大，图像显著性目标检测效果越好。MAE指显著性图S与原始图像G的相似性, 具体为 2 $M A E=\frac{1}{W \times H} \sum\limits_{x=1}^{W} \sum\limits_{y=1}^{H}|S(x, y)-G(x, y)|$ 式中，W和H分别表示S的宽度和高度。$ MAE$值越小，图像显著性目标检测效果越好。此外，为了定量分析增强处理对低质图像显著性目标检测性能的影响，定义了相对性能指标，具体为 3 $F_{\beta}^{\mathrm{r}}=\frac{F_{\beta}^{\mathrm{e}}-F_{\beta}^{\mathrm{d}}}{F_{\beta}^{d}} \times 100 \%$ 4 $M A E_{\mathrm{r}}=\frac{-\left(M A E_{\mathrm{e}}-M A E_{\mathrm{d}}\right)}{M A E_{\mathrm{d}}} \times 100 \%$ 式中，$F_{\beta}^{\mathrm{r}} $和$ M A E_{\mathrm{r}}$表示相对$F_{\beta} $和相对MAE，$ F_{\beta}^{\mathrm{e}}$和$ M A E_{\mathrm{e}}$表示基于增强预处理的显著性目标检测的$F_{\beta} $和MAE，$F_{\beta}^{\mathrm{d}} $和$ M A E_{\mathrm{d}}$表示对低质图像直接进行显著性目标检测的$F_{\beta} $和MAE。4实验及分析为了保证实验的公正性和客观性，实验均采用原文献提供的参数，并在相同实验条件下进行评估。本文所有实验设备环境均为unbuntu18.04，显卡为NVIDIA GTX 2080Ti，11 GB。4.1雾霾图像的显著性目标检测分析对有无增强方法下雾霾图像的显著性目标检测效果进行实验，进而分析图像增强处理对雾霾图像显著性目标检测的影响。4.1.1实验结果以不同的增强方法为预处理技术，雾霾图像的显著性目标检测结果如表 3和表 4所示。图 21为部分图像显著性目标检测的主观图。 表3 不同增强方法下雾霾图像显著性目标检测结果Fβ 检测方法 原图 增强方法 Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet PiCANet 0.899 0.893 0.893 0.884 0.893 0.890 0.899 0.889 R3Net 0.840 0.803 0.806 0.858 0.804 0.849 0.839 0.782 CPD 0.904 0.896 0.897 0.894 0.882 0.889 0.906 0.891 DSS 0.825 0.821 0.818 0.782 0.797 0.809 0.809 0.804 BASNet 0.920 0.909 0.910 0.913 0.906 0.908 0.920 0.916 PoolNet 0.901 0.883 0.883 0.892 0.886 0.881 0.901 0.609 GCPANet 0.915 0.919 0.918 0.913 0.911 0.918 0.915 0.918 MINet 0.914 0.902 0.903 0.907 0.902 0.900 0.916 0.903 Fβ of salient object detection in haze images under different enhancement methodsTable 3 加粗字体表示增强后性能有提升的显著性目标检测结果；原图指对雾霾图像直接进行显著性目标检测。 表4 不同增强方法下雾霾图像显著性目标检测结果 检测方法 原图 增强方法 Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet PiCANet 0.038 0.041 0.040 0.047 0.040 0.041 0.037 0.042 R3 Net 0.057 0.066 0.065 0.053 0.071 0.057 0.058 0.072 CPD 0.033 0.034 0.033 0.038 0.038 0.036 0.032 0.036 DSS 0.063 0.057 0.057 0.064 0.063 0.059 0.059 0.059 BASNet 0.026 0.026 0.026 0.027 0.027 0.029 0.026 0.026 PoolNet 0.037 0.041 0.041 0.042 0.041 0.044 0.036 0.088 GCPANet 0.027 0.027 0.027 0.028 0.029 0.029 0.026 0.029 MINet 0.031 0.033 0.032 0.033 0.034 0.034 0.031 0.033 MAE of salient object detection in haze images under different enhancement methodsTable 4 加粗字体为增强后性能有提升的显著性目标检测结果；原图指对雾霾图像直接进行显著性目标检测。 图21 不同增强方法下雾霾图像显著性目标检测效果 Effect of salient object detection in haze images under different enhancement methodsFig 21((a)R3Net; (b)CPD; (c)BASNet; (d)GCPANet; (e)MINet) 4.1.2性能分析按相对性能公式，根据表 3和表 4的数据，计算得到不同增强方法下雾霾图像显著性目标检测提升的相对结果，如表 5和表 6所示。 表5 不同增强方法下雾霾图像显著性目标检测提升的相对Fβ性能分析 检测方法 增强方法 均值 Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet PiCANet -0.67 -0.67 -1.67 -0.67 -1.00 0.00 -1.11 -0.83 R3Net -4.40 -4.05 2.14 -4.29 1.07 -0.12 -6.90 -2.36 CPD -0.88 -0.77 -1.11 -2.43 -1.66 0.22 -1.44 -1.15 DSS -0.48 -0.85 -5.21 -3.39 -1.94 -1.94 -2.55 -2.34 BASNet -1.20 -1.09 -0.76 -1.52 -1.30 0.00 -0.43 -0.90 PoolNet -2.00 -2.00 -1.00 -1.66 -2.22 0.00 -32.41 -5.90 GCPANet 0.44 0.33 -0.22 -0.44 0.33 0.00 0.33 0.11 MINet -1.31 -1.20 -0.77 -1.31 -1.53 0.22 -1.20 -1.01 Relative Fβ analysis of salient object detection enhancement in haze images under different enhancement methods  /%Table 5 加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性检测结果。 表6 不同增强方法下雾霾图像显著性目标检测提升的相对MAE性能分析 检测方法 增强方法 均值 Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet PiCANet -7.89 -5.26 -23.68 -5.26 -7.89 2.63 -10.53 -8.27 R3Net -15.79 -14.04 7.02 -24.56 0.00 -1.75 -26.32 -10.78 CPD -3.03 0.00 -15.15 -15.15 -9.09 3.03 -9.09 -6.93 DSS 9.52 9.52 -1.59 0.00 6.35 6.35 6.35 5.21 BASNet 0.00 0.00 -3.85 -3.85 -11.54 0.00 0.00 -2.75 PoolNet -10.81 -10.81 -13.51 -10.81 -18.92 2.70 -137.84 -28.57 GCPANet 0.00 0.00 -3.70 -7.41 -7.41 3.70 -7.41 -3.18 MINet -6.45 -3.23 -6.45 -9.68 -9.68 0.00 -6.45 -5.99 Relative MAE analysis of salient object detection enhancement in haze images under different enhancement methods  /%Table 6 加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性检测结果。由表 3和表 5所示的雾霾图像显著性目标检测的$F_{\beta} $可以看出，1)选取图像增强方法对部分显著性目标检测方法具有积极影响。例如，经R3Net增强处理后，Gamma校正和Cycle-Dehaze方法的检测效果分别提升了2.14%和1.07%。经CPD增强处理后，FFANet的检测效果提升了0.22%。经GCPANet增强处理后，Retinex、CLAHE、Cycle-Dehaze和GCANet方法的检测效果分别提升了0.44%、0.33%、0.33%和0.33%。2)这些增强方法对部分显著性目标检测方法存在抑制作用。例如，经R3Net增强处理后，Retinex、CLAHE、DCP、FFANet和GCANet的检测效果分别下降了4.40 %、4.05 %、4.29%、0.12%和6.90%。经GCPANet增强处理后，Gamma校正和DCP方法的检测效果分别下降了0.22%和0.44%。表 4和表 6的$ MAE$数据也表现出了类似的规律。图 21展示的主观效果图进一步验证了以上分析。从该图可知，经过增强处理后，部分显著性目标检测方法的效果有所提升。例如，经过FFANet增强处理后，CPD方法的显著性目标检测结果具有更清晰的边缘信息。然而，也有部分显著性目标检测结果与真实显著性图存在差距。客观来说，受实验条件制约，总体上增强处理对雾霾图像显著性目标检测的提升作用不明显，本文认为主要原因是：1)显著性目标检测方法对边缘信息显著的目标检测效果较好，而增强处理有时会过度平滑低质图像目标边缘，致使不仅难以提升后续显著性目标检测的效果，反而对其带来抑制作用；2)本文选取的数据集为真实图像集，高度依赖合成图像的增强方法可能并不适应于由复杂因素导致的真实低质图像，导致增强处理难以提升显著性目标检测的效果；3)选取的显著性目标检测方法基本采用真实图像数据集训练，对图像存在少许低质现象的反应并不敏感，导致图像增强处理的促进作用不明显；4)当前大多增强方法着重提升图像视觉效果，其增强的特征与显著性目标检测所需特征不对应。4.2水下图像的显著性目标检测分析对有无增强方法下水下图像的显著性目标检测效果进行实验，进而分析增强处理对水下图像的显著性目标检测的影响。4.2.1实验结果以不同的增强方法为预处理技术，水下图像的显著性目标检测的结果如表 7和表 8所示。图 22为部分水下图像显著性目标检测的主观图。 表7 不同增强方法下水下图像显著性目标检测结果Fβ 检测方法 原图 增强方法 Retinex CLAHE Gamma校正 DCP Li等人(2020) UIE-DAL UGAN WaterNet PiCANet 0.873 0.861 0.864 0.862 0.877 0.861 0.850 0.859 0.879 R3Net 0.867 0.860 0.859 0.857 0.860 0.841 0.857 0.858 0.866 CPD 0.885 0.871 0.870 0.888 0.877 0.868 0.871 0.869 0.883 DSS 0.811 0.780 0.805 0.805 0.805 0.795 0.791 0.807 0.810 BASNet 0.889 0.874 0.874 0.894 0.884 0.877 0.882 0.879 0.884 PoolNet 0.861 0.851 0.852 0.865 0.852 0.830 0.852 0.834 0.858 GCPANet 0.919 0.899 0.900 0.920 0.921 0.905 0.899 0.910 0.922 MINet 0.917 0.918 0.916 0.917 0.914 0.909 0.907 0.908 0.922 Fβ of salient object detection in underwater images under different enhancement methodsTable 7 加粗字体表示增强后性能有提升的显著性目标检测结果；原图指对水下图像直接进行显著性目标检测。 表8 不同增强方法下水下图像显著性目标检测结果MAE 检测方法 原图 增强方法 Retinex CLAHE Gamma校正 DCP Li等人(2020) UIE-DAL UGAN WaterNet PiCANet 0.058 0.065 0.065 0.064 0.058 0.062 0.067 0.063 0.055 R3Net 0.057 0.063 0.063 0.060 0.057 0.067 0.067 0.063 0.056 CPD 0.045 0.048 0.048 0.044 0.048 0.045 0.049 0.047 0.042 DSS 0.067 0.083 0.072 0.069 0.072 0.077 0.076 0.068 0.069 BASNet 0.040 0.044 0.044 0.039 0.043 0.040 0.044 0.042 0.041 PoolNet 0.054 0.057 0.056 0.056 0.055 0.062 0.059 0.060 0.054 GCPANet 0.037 0.040 0.040 0.036 0.034 0.037 0.042 0.038 0.037 MINet 0.036 0.036 0.036 0.036 0.037 0.037 0.040 0.038 0.034 MAE of salient object detection in underwater images under different enhancement methodsTable 8 加粗字体表示增强后性能有提升的显著性目标检测结果；原图指对水下图像直接进行显著性目标检测。 图22 不同增强方法下水下图像显著性目标检测效果 Effect of salient object detection in underwater images under different enhancement methodsFig 22 ((a)R3Net; (b)CPD; (c)BASNet; (d)GCPANet; (e)MINet) 4.2.2性能分析不同增强方法下水下图像显著性目标检测的相对性能提升情况如表 9和表 10所示。 表9 不同增强方法下水下图像显著性目标检测提升的相对Fβ性能分析 检测方法 增强方法 均值 Retinex CLAHE Gamma校正 DCP Li等人(2016) UIE-DAL UGAN WaterNet PiCANet -1.37 -1.03 -1.26 0.46 -1.37 -2.63 -1.60 0.69 -1.01 R3 Net -0.81 -0.92 -1.00 -0.81 -3.00 -1.00 -1.04 -0.12 -1.09 CPD -1.58 -1.75 0.34 -0.90 -1.92 -1.58 -1.81 -0.23 -1.18 DSS -3.82 -0.74 -0.74 -0.74 -1.97 -2.47 -0.49 -0.12 -1.39 BASNet -1.69 -1.69 0.56 -0.56 -1.35 -0.79 -1.12 -0.56 -0.90 PoolNet -1.16 -1.05 0.46 -1.05 -3.60 -1.05 -3.14 -0.35 -1.37 GCPANet -2.18 -2.07 0.11 0.22 -1.52 -2.18 -0.98 0.33 -1.03 MINet 0.11 -0.11 0.00 -0.33 -0.87 -1.09 -0.98 0.55 -0.34 Relative Fβ analysis of salient object detection enhancement in underwater images under different enhancement methods  /%Table 9 加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性目标检测结果。 表10 不同增强方法下水下图像显著性目标检测提升的相对MAE性能分析 检测方法 增强方法 均值 Retinex CLAHE Gamma校正 DCP Li等人(2016) UIE-DAL UGAN WaterNet PiCANet -12.07 -12.07 -10.34 0.00 -6.90 -15.52 -8.62 5.17 -7.54 R3Net -10.53 -10.53 -5.26 0.00 -17.54 -17.54 -10.53 1.75 -8.77 CPD -6.67 -6.67 2.22 -6.67 0.00 -8.89 -4.44 6.67 -3.06 DSS -23.88 -7.46 -2.99 -7.46 -14.93 -13.43 -1.49 -2.99 -9.33 BASNet -10.00 -10.00 2.50 -7.50 0.00 -10.00 -5.00 -2.50 -5.31 PoolNet -5.56 -3.70 -3.70 -1.85 -14.81 -9.26 -11.11 0.00 -6.25 GCPANet -8.11 -8.11 2.70 8.12 0.00 -13.51 -2.70 0.00 -2.70 MINet 0.00 0.00 0.00 -2.78 -2.78 -11.11 -5.56 5.56 -2.08 Relative MAE analysis of salient object detection enhancement in underwater images under different enhancement methods  /%Table 10 加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性目标检测结果。由表 7和表 9所示的水下图像显著性目标检测结果可以看出，1)与雾霾图像的显著性目标检测相似，选取图像增强方法对部分水下图像显著性目标检测方法具有积极影响。例如，经PiCANet增强处理后，DCP和WaterNet的检测效果分别提升了0.46%和0.69%。经CPD增强处理后，Gamma校正方法的检测效果提升了0.34%。经GCPANet增强处理后，Gamma校正、DCP和WaterNet方法的检测效果分别提升了0.11%、0.22%和0.33%。2)这些增强方法也对部分显著性目标检测方法存在抑制作用。例如，经PiCANet增强处理后，Retinex、CLA-HE、Gamma校正、Li等人(2016)、UIE-DAL和UGAN方法的检测效果分别下降了1.37%、1.03%、1.26%、1.37%、2.63%和1.60%。经GCPANet增强处理后，Retinex、CLAHE、Li等人(2016)、DAL和UGAN方法的检测效果分别下降了2.18%、2.07%、1.52%、2.18%和0.98%。表 8和表 10的MAE数据也表现出了类似的规律。图 22所示的效果图进一步验证了以上分析。从该图可知，相比于对水下图像直接进行显著性目标检测，具有积极作用的增强预处理能够更好地突出显著性结果的边缘信息，使获得的显著性结果更加接近真实的显著性图。相反，具有抑制作用的增强预处理使得显著性结果的边缘更加模糊，主体清晰度下降，使获得的显著性结果更加远离真实的显著性图。综上可知，增强方法在低质图像的显著性目标检测中表现出不同的作用。总体而言，增强处理对于低质图像的显著性目标检测没有明显的提升作用。经分析认为，这与不同增强方法注重的增强对象、数据集的选取、图像增强和显著性目标检测模型结构的设计等息息相关。进一步地，增强方法与显著性目标检测方法的内在机制的相互影响，以及如何引导增强方向促进显著性目标检测性能的提升仍需要深入研究探讨。5结论本文主要研究增强处理对低质图像显著性目标检测性能的影响。首先总结和归纳了当前的图像增强方法和显著性目标检测方法，详细研究了各自具有代表性的模型，然后以网络级联的方式组织实验，最后通过客观评价和主观评估，分析了增强处理在低质图像显著性目标检测中的效果。实验结果表明，增强方法在低质图像的显著性目标检测中表现出的作用并不是完全一致的，一些增强方法对低质图像的显著性目标检测表现出促进作用，而一些增强方法作用不明显或作用相反。此外，某些增强方法对不同的显著性目标检测方法表现出不同的作用。因此，在未来低质图像增强和显著性目标检测领域的研究中，可以考虑在如下几个方面开展工作：1) 针对低质图像不同的退化原因选择针对性的增强和显著性目标检测方法。不同的低质图像因其退化原因的不同表现出不同的退化表征，例如水下图像的颜色偏移、雾霾图像的细节模糊等，因此应针对不同的退化问题来选择和设计相应的低质图像增强和显著性目标检测方法，并进一步研究这些增强方法对低质图像显著性目标检测的影响。2) 研究增强方法和显著性目标检测方法内在机制的相互影响。从本文分析可知，基于增强处理的低质图像显著性目标检测主要包括图像增强和图像显著性目标检测两部分，但是不同的增强方法对显著性目标检测表现出的作用是不一致的。因此，需进一步研究图像增强方法和显著性目标检测方法的深层次关联关系。3) 设计端到端的低质图像增强与显著性目标检测联合优化网络模型。低质图像因存在退化问题难以直接获得良好的显著性目标检测结果，而利用增强方法进行图像预处理明显步骤复杂、普适性不强，因此将低质图像增强与显著性目标检测的模型进行融合，构建端到端的低质图像增强和显著性目标检测模型是该领域的必然发展方向。