Print

发布时间: 2022-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200735
2022 | Volume 27 | Number 7




    图像分析和识别    




  <<上一篇 




  下一篇>> 




图像增强对显著性目标检测的影响研究
expand article info 郭继昌, 岳惠惠, 张怡, 刘迪, 刘晓雯, 郑司达
天津大学电气自动化与信息工程学院, 天津 300072
收稿日期: 2020-12-14; 修回日期: 2021-01-25; 预印本日期: 2021-02-02
基金项目: 国家自然科学基金项目(62171315)
作者简介: 郭继昌, 1966年生, 男, 教授, 主要研究方向为智能视频、图像分析识别及处理、滤波器理论及设计。E-mail: jcguo@tju.edu.cn
岳惠惠, 女, 博士研究生, 主要研究方向为图像处理、图像显著性目标检测、图像增强。E-mail: yuehuihui@tju.edu.cn
张怡, 男, 博士研究生, 主要研究方向为计算机视觉。E-mail: zhangyi123@tju.edu.cn
刘迪, 女, 硕士研究生, 主要研究方向为图像显著性目标检测。E-mail: liudi@tju.edu.cn
刘晓雯, 女, 硕士研究生, 主要研究方向为图像显著性检测。E-mail: xiaowenliulxw@qq.com
郑司达, 男, 硕士研究生, 主要研究方向为低质量图像处理、深度学习、语义分割、优化算法。E-mail: zhengsida@tju.edu.cn
*通信作者: 郭继昌 jcguo@tju.edu.cn
中图法分类号: TP391.7
文献标识码: A
文章编号: 1006-8961(2022)07-2129-19

摘要

目的 雾霾、雨雪天气和水下等非理想环境因素会引起图像退化，导致出现低质图像，从而影响人类主观视觉感受及机器视觉应用任务的性能，因此，低质图像被利用之前进行图像增强成为惯常的预处理过程。然而，图像增强能否提高图像机器视觉应用任务的性能及影响程度等问题鲜有系统性研究。针对上述问题，本文以图像显著性目标检测这一机器视觉应用为例，研究图像增强对显著性目标检测性能的影响。方法 首先利用包括5种传统方法、6种深度学习方法等共11种典型图像增强方法对图像进行增强处理，然后利用8种典型的显著性目标检测方法对增强前后的图像分别进行显著性目标检测实验，并对比分析其结果。结果 实验表明，图像增强对低质图像显著性目标检测方法性能的促进作用不明显，某些增强方法甚至表现出负面影响，也存在同一增强方法对不同的显著性目标检测方法作用不同的现象。结论 图像增强对于显著性目标检测及其他的机器视觉应用的实际效果值得进一步研究，如何根据图像机器视觉应用的需求来选择和设计有效的增强方法需进一步探讨。

关键词

水下图像; 雾霾图像; 图像增强; 显著性目标检测; 图像处理

The analysis of image enhancement on salient object detection
expand article info Guo Jichang, Yue Huihui, Zhang Yi, Liu Di, Liu Xiaowen, Zheng Sida
School of Electronic Information Engineering, Tianjin University, Tianjin 300072, China
Supported by: National Natural Science Foundation of China (62171315)

Abstract

Objective Image has become an important carrier of information acquisition and dissemination recently. The real scenario images are constrained by low-quality features. It is challenged to resolve contrast degradation, color deviation, and information loss issues for low visibility images related to rain, fog, underwater, and low illumination. Current enhancement processing is beneficial to enhance the high-level application performance of the low-quality images. However, some enhancement methods can enhance the high-level application effects of low-quality image, but some enhancement methods have a weak effect or even negative effect. Therefore, it is vital to systematically develop the enhancement processing effect in high-level applications of low-quality images. Our research is focused on low-quality images (underwater images, haze images) and takes the effect of image high-level application based on salient object detection. Method First, these low-quality images are processed via various current image enhancement approaches. Salient object detection is then performed on the enhanced images. Then, the influence of image enhancement on salient object detection performance is compared and analyzed. We implement a classification in the context of image enhancement and salient object detection methods. We conduct an analysis about those models further. Furthermore, we explore some regularized image enhancement methods and salient object detection approaches. Finally, the applications of image enhancement for salient object detection are verified via scientific objective and/or subjective evaluation. Result The experimental results demonstrate that the image enhancement methods for salient object detection are not clarified in low-quality images. Conclusion Hence, we summarize the same enhancement method to illustrate the different effects for different salient object detection. First, the current existing enhancement methods are mainly designed to meet human visual effects, while images like those are not necessarily consistent with the needs of high-level applications. It is a challenge that the effect of image enhancement on salient object detection. It needs an option for effective enhancement method based on salient object detection. Our research challenge issues should focus on the following aspects as mentioned below: first, it should be refined in the light of the different low-quality image degradation factors. Different low-quality images show different degradation results for different degradation, such as color shift of underwater imaging, and object blur of hazed image. We should pick and exploit corresponding low-quality image enhancement and salient object detection methods towards various degradation issues, as well as probe the influence of these enhancement methods on salient object detection for low-quality images further. Second, the interaction between enhancement methods and salient detection methods should be developed. Generally, Salient object detection for low-quality images by enhancement mainly includes two parts: image enhancement and salient object detection. However, different enhancement methods have different effects on salient object detection for low-quality images. Therefore, it is necessary to study the internal mechanism of different image enhancement methods and different image salient object detection methods, and explore the deeper correlation between the design of the image enhancement model and the construction of the salient object detection model further. Third, we should focus on exploiting an end-to-end framework for it. It is challenging to obtain good salient object detection results on the aspect of the degradation of low-quality images. To develop an end-to-end framework, future work can be based on the fusion of low-quality image enhancement and salient object detection models.

Key words

underwater image; haze image; image enhancement; salient object detection; image processing

0 引言

近年来，随着计算机视觉技术的发展，图像显著性目标检测技术成为图像处理领域的热点研究问题(Zhao等，2019；Hou等，2019；Tang等，2019)。从该技术的发展历史来看，传统方法(Itti等，1998；Parkhurst等，2002；Bruce和Tsotsos，2005；Liu等，2007；Achanta等，2008；Liu等，2011)开启了图像显著性目标检测的先河。这类方法尽管有着很好的理论支撑，但在模型参数调整的灵活性以及检测效果方面均有待提升。随着深度学习方法的快速发展及其在各领域的成功应用，基于数据驱动的深度神经网络模型(Wang等，2019；Zhang等，2019；Liu等，2020；Li和Yu，2018；Liu等，2019a；Hu等，2021；Huang等，2018；Qin等，2019；Chen等，2020)逐步应用于图像的显著性目标检测领域，这类方法通过参数的自适应学习，实现了显著性目标检测性能大幅度提升。

当前，显著性目标检测方法主要针对高质量图像，但在实际应用中，不利的天气、环境(如雾霾、水下等)因素会导致图像质量退化，使获取的图像出现模糊、颜色失真、对比度低和细节缺失等问题(麦嘉铭等，2016；陈丹丹等，2017；Yeh等，2020；郭继昌等，2017；Li等，2020)。对此，若直接采用当前的显著性目标检测方法将难以获得理想的检测结果。一般认为，对低质图像进行增强处理可以提高其显著性目标检测的效果，但事实确实如此吗？针对该问题，本文系统地研究低质图像增强方法对显著性目标检测性能的影响问题。首先对当前典型的低质图像增强方法及典型的显著性目标检测方法进行介绍，在此基础上，为了研究低质图像增强方法对于显著性目标检测方法性能的影响，设计了以不同图像增强方法作为预处理步骤的低质图像显著性目标检测实验方案，并在真实的低质图像数据集上进行实验。最后，通过实验分析和效果评估，总结了图像增强方法对低质图像显著性目标检测性能的影响规律。

1 典型图像增强方法

图像增强原理可从两方面进行描述。1)根据观察者关注的图像内容确定图像增强规则，以突出观察者感兴趣的图像信息；2)加强对观察者不感兴趣内容的约束，从而相对地突出感兴趣特征。图像增强的目的是提升图像质量，使图像更加符合人类视觉感官或机器视觉需求。图像增强方法主要分为传统方法和基于深度学习的方法两类，表 1列举了一些典型的及最新的图像增强方法。

表 1 典型图像增强方法列表
Table 1 List of typical image enhancement methods

下载CSV
方法 网络结构 训练数据集 应用场景 发表年份
Retinex - - 水下/雾霾 1971
CLAHE - - 水下/雾霾 1994
传统方法 Gamma校正 - - 水下/雾霾 2004
DCP - - 水下/雾霾 2009
Li’s - - 水下 2016
UGAN GAN ImageNet 水下 2018
UIE-DAL 编解码器 watertype 水下 2019
深度学习方法 WaterNet CNN watertype 水下 2020
Cycle-Dehaze CycleGAN NYU-Depth 雾霾 2018
GCANet CNN RESIDE/SOTS 雾霾 2019
FFANet CNN RESIDE/SOTS 雾霾 2020
注：“-”表示无。

1.1 传统图像增强方法

传统方法是图像增强中最基础的分支之一，典型方法如下：

1) Retinex(Land和McCann，1971)方法是建立在科学实验和科学分析基础上的基于人类视觉系统的图像增强方法。不同于只能增强图像的某一类特征(压缩图像的动态范围、增强图像的边缘等)的线性变换、非线性变换和图像锐化等方法，Retinex以颜色恒常性为基础，能够实现图像的动态范围压缩、边缘增强和颜色恒常3方面的平衡，因此可以对不同类型的图像进行自适应性增强。Retinex方法示意如图 1所示，其中，L代表入射光图像，R代表物体的反射性质图像，S代表人眼能接收到的反射光图像。



图 1 Retinex(Land和McCann，1971)
Fig. 1 Retinex(Land and McCann, 1971)

2) 限制对比度自适应直方图均衡(contrast limited adaptive histogram equalization，CLAHE)(Zuiderveld，1994)方法是基于自适应直方图均衡化(adaptive histogram equalization，AHE)方法的改进。AHE方法的主要特性是：所处理图像区域的对比度强弱与该区域的大小呈反向关系。即对于AHE处理的局部矩形区域，若矩形区域小，则局部对比度强；若矩形区域大，则局部对比度弱。此外，若矩形区域内的图像块信息平坦、灰度接近，则其灰度直方图呈尖状，在直方图均衡化过程中可能会出现过度放大噪声的情况。CLAHE方法在AHE方法的基础上进行对比度限制，将大于一定阈值的像素点信息平均分配到直方图的其他位置，通过限制累积分布函数的斜率来限制对比度，以实现降噪目的。CLAHE的原理示意如图 2所示。



图 2 限制对比度自适应直方图均衡(Zuiderveld，1994)
Fig. 2 Contrast limited adaptive histogram equalization(Zuiderveld, 1994)

3) Gamma校正(Gamma correction)(Guo等，2004)方法是对输入图像灰度值进行非线性操作，使得输出图像与输入图像的灰度值呈指数关系的图像增强方法。该方法的理论依据是：人眼对外界光源的感光值与输入光强不是呈线性关系，而是呈指数型关系，然而，摄像机感光与输入光强呈线性关系，因此为提高人眼对图像的辨识度就需要进行图像校正。Gamma校正能有效提取图像亮度信息，实现图像增强的目的，其示意如图 3所示，其中CRT Gamma(cathode ray tube Gamma)表示响应曲线。



图 3 Gamma校正(Guo等，2004)
Fig. 3 Gamma correction(Guo et al., 2004)

4) 暗通道先验(dark channel prior，DCP)(He等，2009)方法基于一个基本假设：在绝大多数的非天空局部区域中，某一些像素点总会有至少一个颜色通道具有很低的值。实际生活中很多场景都验证了这个假设，比如汽车、建筑物的阴影，色彩鲜艳或颜色较暗的物体表面等，这些图像总有一个颜色通道较暗。DCP取图像每一个像素点中3个颜色通道的最小值组成灰度图，然后进行最小值滤波得到暗通道图像。该方法示意图如图 4所示，其中，A代表大气背景光，P和Q代表先验向量。



图 4 暗通道先验(He等，2009)
Fig. 4 Dark channel prior(He et al., 2009)

5) Li等人(2016)的方法是针对水下图像质量退化问题提出的一种水下图像增强方法。首先基于最小信息损失原理，提出了一种水下图像去噪方法，以恢复水下图像的可见度、颜色和外观。与此同时，提出了一种简单有效的基于直方图分布先验的对比度增强方法，以提高水下图像的对比度和亮度。因此，该方法产生了两个版本的增强结果，一个颜色较真实、外观较自然，适合人眼观测；另一个具有较高的对比度和亮度，能够用来提取图像中有价值的信息和细节。该方法示意图如图 5所示。



图 5 Li等人(2016)的方法
Fig. 5 Li et al. (2016)method

1.2 基于深度学习的图像增强方法

随着人工智能技术的迅速崛起及其应用领域的发展，基于深度学习驱动的图像增强方法不断涌现并且取得了显著效果。典型方法如下：

1) UGAN(underwater imagery using generative adversarial networks)(Fabbri等，2018)采用生成对抗网络结构增强水下图像质量。生成器部分采用CycleGAN(cycle generative adversarial networks)结构生成足够数量的数据集；鉴别器部分使用PatchGAN结构提取图像特征。UGAN的主要作用是提高图像的视觉质量，产生更具视觉吸引力的图像效果，网络结构如图 6所示, 图中，DX和DY表示鉴别器，X和Y表示数据域，G和F表示映射函数。



图 6 UGAN(Fabbri等，2018)
Fig. 6 UGAN(Fabbri et al., 2018)

2) UIE-DAL(underwater image enhancement domain-adversarial learning)(Uplavikar等，2019)通过基于编码器—解码器的网络结构增强水下图像，并采用基于分类器的网络结构作为干扰分类器对Jerlov水类型进行分类。此外，UIE-DAL的编码器会丢弃表示水类型的特征并仅保留与场景相关的特征，提高干扰分类器预测的不确定性。UIE-DAL的主要作用是能够学习水类型的不可知特征，以便处理增强过程中水的多样性问题。UIE-DAL在真实数据集上具有良好的泛化能力，网络结构如图 7所示。



图 7 UIE-DAL(Uplavikar等，2019)
Fig. 7 UIE-DAL(Uplavikar et al., 2019)

3) Water-Net(underwater image enhancement network)(Li等，2020)是一个端到端的水下图像增强网络，基于作者提出的水下图像增强数据集(underwater image enhancement benchmark dataset，UIEBD)构建。此数据集包含各个水下场景以及各种水下退化特征情况下拍摄的图像，弥补了当前水下图像数据集较少的局限，其网络结构如图 8所示, FTU为特征转换单元。



图 8 Water-Net(Li等，2020)
Fig. 8 Water-Net(Li et al., 2020)

4) Cycle-Dehaze(Engin等，2018)是面向雾天图像的增强网络。该网络基于不成对的清晰和模糊图像进行训练，并且不需要依赖大气散射模型的参数估计。该网络的主要优势是不需要成对的训练数据集就能够提高图像纹理信息的恢复质量，生成视觉效果良好的无雾图像，其网络结构如图 9所示。



图 9 Cycle-Dehaze(Engin等，2018)
Fig. 9 Cycle-Dehaze(Engin et al., 2018)

5) GCANet(gated context aggregation network)(Chen等，2019)是直接恢复无雾图像的端到端门控上下文聚合网络。该网络采用平滑扩张技术消除由于广泛使用空洞卷积产生的网格伪影，并利用门控子网融合不同层次的图像特征，避免了利用低层图像特征或手工制作的图像优先级作为恢复约束的问题。该网络的主要作用是提高图像去雾质量，并应用于图像去噪等领域，其网络结构如图 10所示。



图 10 GCANet(Chen等，2019)
Fig. 10 GCANet(Chen et al., 2019)

6) FFANet(feature fusion attention network)(Qin等，2020)是一个端到端的特征融合注意力网络，主要包括特征注意(feature attention, FA)模块、基本块和不同层次特征融合(attention-based different levels feature fusion, FFA)结构。其中，FA模块用来对不同的图像特征进行不均衡处理，加强卷积神经网络的表示能力；基本块由局部残差学习结构和特征注意结构组成，其中局部残差学习结构通过多个局部残差连接来绕过薄雾或低频信息，从而使主网络结构集中在更有效的图像信息上；FFA结构通过FA模块自适应地学习特征权重，从而赋予重要特征更大的权重。FFANet的主要优势在于可以直接恢复无雾图像，其网络结构如图 11所示。



图 11 FFANet(Qin等，2020)
Fig. 11 FFANet(Qin et al., 2020)

2 典型显著性目标检测方法

人类视觉系统具有一套有效的注意机制，可以从视觉场景中选择最重要的信息。显著性目标检测就是模拟人类的这种视觉注意机制，检测出人类在视觉场景中可能聚焦的区域或对象。因此，显著性目标检测的目的是识别出图像中最具视觉特征的物体或区域并将其从背景中分割出来，这使得显著性目标检测成为计算机视觉领域的关键技术。当前，基于深度学习的显著性目标检测方法主要包括基于编译码器的方法和基于多分支结构的方法。近几年一些性能优良的代表性方法如表 2所示。

表 2 典型显著性目标检测方法列表
Table 2 List of typical salient object detection methods

下载CSV
方法 网络结构 网络骨干 训练数据集 发表年份
基于分支结构的方法 DSS FCN+多分支 ResNet MARS-B 2017
PiCANet FCN+多分支 VGGNet DUTS 2018
R3Net FCN+多分支 VGGNet MSKA10K 2018
CPD FCN+多分支 VGGNet DUTS 2019
基于编译码器的方法 MINet FCN+多分支 VGGNet/ResNet DUTS 2020
BASNet FCN+编译码器 ResNet DUTS 2019
PoolNet FCN+编译码器 ResNet DUTS 2019
GCPANet FCN+编译码器 ResNet DUTS 2020

2.1 基本原理描述

对于给定的输入图像I∈RW×H×3，显著性目标检测模型f可以将其映射为连续显著性图S=f(I)∈[0, 1]W×H。因此，通过数据集来训练f的模型参数是保证显著性目标检测准确性的关键。模型f的训练过程可以表示为：给出一组包含N幅静态图像的数据集$\boldsymbol{I}=\left\{\boldsymbol{I}_{n} \in \mathbf{R}^{W \times H \times 3}\right\}_{n=1}^{N} $和其对应的二进制显著性图$ \boldsymbol{g}=\left\{\boldsymbol{G}_{n} \in\{0, 1\}^{W \times H}\right\}_{n=1}^{N}$，通过最小化预测误差$\sum\limits_{n=1}^{N} \ell\left(\boldsymbol{S}_{n}, \boldsymbol{G}_{n}\right) $来不断学习更新f的参数。其中，$\ell $表示距离测量，Sn=f(In)。

2.2 基于编译码器的显著性目标检测方法

在当前显著性目标检测发展中，基于编译码器结构的深度学习网络占据主流地位，典型方法如下：

1) BASNet(boundary-aware salient object detection network)(Qin等，2019)由基于密集监督的编译码模块和残差细化模块两部分组成。前者用于预测图像的显著性目标，后者进一步对该目标进行细化。该网络采用由二进制交叉熵(binary cross entropy, BCE)、结构相似性(structural similarity，SSIM)和交并比(intersection-over-union，IoU)损失组成的混合损失函数，在像素级、片块级和图像级3个层次上监督显著性目标检测的训练过程。BASNet的主要作用在于提升显著性目标检测的边界感知能力，进而引导网络学习输入图像与真实显著性图之间的映射，其网络结构如图 12所示。



图 12 BASNet(Qin等，2019)
Fig. 12 BASNet(Qin et al., 2019)

2) PoolNet(Liu等，2019a)在U形特征金字塔网络(feature pyramid networks，FPNs)的基础上搭建了两个主要模块：全局引导模块(global guidance module, GGM)和特征聚合模块(feature aggregation module, FAM)。GGM旨在为具有不同特征水平的网络层提供显著目标的位置信息，FAM用于融合图像的高级语义信息和细节特征。这两个基于池化的模块使得图像的高级语义信息逐步细化，生成细节丰富的显著性映射。PoolNet的主要作用是通过扩展卷积神经网络的池化效果进行显著性目标检测，其网络结构如图 13所示。



图 13 PoolNet(Liu等，2019a)
Fig. 13 PoolNet(Liu et al., 2019a)

3) GCPANet(global context-aware progressive aggregation network)(Chen等，2020)由特征交织聚合模块(feature interweaved aggregation，FIA)、头部注意模块(head attention，HA)、自细化模块(self-refinement，SR)和全局上下文流模块(global context flow，GCF)4部分组成。FIA模块用于集成低级外观特征、高级语义特征和全局上下文特征，并以有监督的方式生成显著性映射；HA模块用于减少信息冗余和增强顶层特征；SR模块用于细化和增强输入特征；GCF模块用于生成不同阶段的全局上下文信息，学习不同显著区域之间的关系，减少高级特征的稀释效应。该网络的主要作用是学习图像综合特征，并着力解决高级特征在自上而下的传递过程中的稀释问题，其网络结构如图 14所示。



图 14 GCPANet(Chen等，2020)
Fig. 14 GCPANet(Chen et al., 2020)

2.3 基于多分支结构的显著性目标检测方法

用多分支结构融合不同尺度的图像特征也是显著性目标检测的重要思路，其包含的典型方法如下：

1) PiCANet(pixel-wise contextual attention network)(Liu等，2018)是一个像素级上下文注意网络，其对图像中每个像素点的信息上下文位置进行选择性关注。PiCANet首先对每一个像素点生成一个注意图，其中每个注意权重对应于每个上下文位置的相关性。然后，通过选择性地聚合上下文信息构造上下文特征。PiCANet可以用全局和局部形式分别表示，以适应全局和局部环境，这两个模型均完全可微，可以嵌入到神经网络中进行联合训练。PiCANet的主要作用是通过对图像像素点的不同上下文信息赋予不同的注意权重来提升显著性目标检测的性能，其网络结构如图 15所示。



图 15 PiCANet(Liu等，2018)
Fig. 15 PiCANet(Liu et al., 2018)
((a)global model; (b)local model)

2) R3Net (recurrent residual refinement network)(Deng等，2018)由特征提取模块(feature extraction network，FEN)和残差细化模块(residual refinement block，RRB)两部分组成。FEN在输入图像的多个尺度上产生特征映射，并连接为低级集成特征和高级集成特征。RRB将这些特征分别送入全卷积网络(fully convolutional networks，FCN)交替利用，进而学习网络中间预测的显著性图与真实显著性图的残差。由此该模块在利用低级集成特征捕捉显著细节的同时，利用高级集成特征减少中间预测的非显著区域。此外，RRB可以获得中间预测的互补显著性信息，并加入残差来细化预测的显著性图。R3Net的主要作用是通过递归式的残差细化来提高显著性目标检测的准确性，其网络结构如图 16所示。



图 16 R3Net(Deng等，2018)
Fig. 16 R3Net(Deng et al., 2018)

3) CPD(cascaded partial decoder)(Wu等，2019)是一个级联部分解码器框架，用于快速、准确检测显著性目标。一方面，该框架构造了部分解码器减少网络参数，提升网络运行速度；另一方面，该框架直接利用生成的显著图细化主干网的特征，有效抑制特征中的干扰因素，显著提高了特征的表现能力。CPD的主要作用是摒弃低级特征以降低模型的复杂度，并利用生成的注意映射来细化高级特征以提高检测性能，其网络结构如图 17所示。



图 17 CPD(Wu等，2019)
Fig. 17 CPD(Wu et al., 2019)
((a)traditional framework; (b)CPD framework)

4) DSS(deeply supervised salient object detection)(Hou等，2017)通过在HED(holistically-nested edge detector)结构中引入短连接来结合多级特征。DSS中的高级特征可以转换为较浅的侧输出层，更好地定位显著性区域，与此同时浅层侧输出层可以学习丰富的低级特征，细化从深层侧输出层得到的稀疏和不规则的预测图。DSS的主要作用是获得精确的显著性目标，其网络结构如图 18所示。



图 18 DSS(Hou等，2017)
Fig. 18 DSS(Hou et al., 2017)

5) MINet(multi-scale interactive network)(Pang等，2020)由聚合交互模块(aggregate interaction modules，AIM)和自交互模块(self-interaction modules，SIMs)两部分组成。AIM通过互学习的方式有效整合相邻层的特征，SIMs使网络自适应地从数据中提取多尺度信息，从而更好地处理尺度变化。此外，MINet利用一致性增强损失作为辅助，用于保持显著性图预测前后的空间一致性。MINet的主要作用是解决显著性目标的尺度变化和类别未知问题，其网络结构如图 19所示。



图 19 MINet(Pang等，2020)
Fig. 19 MINet(Pang et al., 2020)

3 实验方案、数据集及评价指标

基于以上对于图像增强和显著性目标检测的原理描述以及各自典型方法的研究，对基于增强处理的低质图像显著性目标检测设计实验方案，探究增强处理对低质图像显著性目标检测性能的影响，进而分析图像增强在显著性目标检测中的作用。

3.1 实验方案

基于增强处理的低质图像显著性目标检测主要包括两个环节。1)利用图像增强方法对低质图像进行预处理，获得对比度高、细节清晰以及视觉效果优良的增强图像；2)以增强后的图像为输入，以典型的显著性目标检测方法为处理技术，获得图像的显著性目标。实验方案流程如图 20所示。



图 20 基于图像增强的显著性目标检测实验流程图
Fig. 20 Experimental flow chart of salient object detection based on image enhancement

由图 20可知，本文将增强网络模型与显著性目标检测网络模型进行级联来获得低质图像的显著性目标。在网络模型训练阶段，为避免网络层数过多导致的网络参数多、训练速度慢等问题，采用单独训练方式分别训练增强网络和显著性目标检测网络，实现两阶段网络参数训练和优化。在测试阶段，将训练好的增强网络与显著性目标检测网络级联为一个整体进行测试。

基于该实验方案，在低质图像显著性目标检测中对上述11种增强方法进行对比实验，验证有无增强两种条件下8种显著性目标检测方法的效果，以及不同增强方法对显著性目标检测的影响程度。

3.2 数据集

实验中采用的评估数据集选自真实水下图像数据集UFO-120(Islam等，2020)和未标注的真实雾霾图像数据集RESIDE(realistic single image dehazing)(Li和Yu，2018)。本文对UFO-120和RESIDE数据集进行了成对标注。首先从包含1 620幅水下图像的UFO-120数据集和包含1 000幅未标注雾霾图像的RESIDE数据集中分别挑选400幅图像作为候选数据集；然后对候选数据集进行显著性目标的成对标注；最后通过多位观察者主观决议，在成对标注的候选数据集中筛选出391幅水下图像对和391幅雾霾图像对作为本文实验中采用的水下图像和雾霾图像显著性目标检测评估数据集。

3.3 评价指标

采用两种广泛使用的显著性目标检测度量标准F度量值(F-measure，$F_{\beta} $)和平均绝对误差(mean absolute error, MAE)评估实验性能。

$F_{\beta} $是一种整体性能度量标准，通过精确率和召回率的加权调和平均值计算得出，具体为

$ F_{\beta}=\frac{\left(1+\beta^{2}\right) \times P \times R}{\beta^{2} \times P+R} $ (1)

式中，$ P$和$ R$分别表示精确率和召回率，$\beta^{2} $表示调和两者的加权值，本文取0.3(Wang等，2020)。$F_{\beta} $值越大，图像显著性目标检测效果越好。

MAE指显著性图S与原始图像G的相似性, 具体为

$ M A E=\frac{1}{W \times H} \sum\limits_{x=1}^{W} \sum\limits_{y=1}^{H}|S(x, y)-G(x, y)| $ (2)

式中，W和H分别表示S的宽度和高度。$ MAE$值越小，图像显著性目标检测效果越好。

此外，为了定量分析增强处理对低质图像显著性目标检测性能的影响，定义了相对性能指标，具体为

$ F_{\beta}^{\mathrm{r}}=\frac{F_{\beta}^{\mathrm{e}}-F_{\beta}^{\mathrm{d}}}{F_{\beta}^{d}} \times 100 \% $ (3)

$ M A E_{\mathrm{r}}=\frac{-\left(M A E_{\mathrm{e}}-M A E_{\mathrm{d}}\right)}{M A E_{\mathrm{d}}} \times 100 \% $ (4)

式中，$F_{\beta}^{\mathrm{r}} $和$ M A E_{\mathrm{r}}$表示相对$F_{\beta} $和相对MAE，$ F_{\beta}^{\mathrm{e}}$和$ M A E_{\mathrm{e}}$表示基于增强预处理的显著性目标检测的$F_{\beta} $和MAE，$F_{\beta}^{\mathrm{d}} $和$ M A E_{\mathrm{d}}$表示对低质图像直接进行显著性目标检测的$F_{\beta} $和MAE。

4 实验及分析

为了保证实验的公正性和客观性，实验均采用原文献提供的参数，并在相同实验条件下进行评估。本文所有实验设备环境均为unbuntu18.04，显卡为NVIDIA GTX 2080Ti，11 GB。

4.1 雾霾图像的显著性目标检测分析

对有无增强方法下雾霾图像的显著性目标检测效果进行实验，进而分析图像增强处理对雾霾图像显著性目标检测的影响。

4.1.1 实验结果

以不同的增强方法为预处理技术，雾霾图像的显著性目标检测结果如表 3和表 4所示。图 21为部分图像显著性目标检测的主观图。

表 3 不同增强方法下雾霾图像显著性目标检测结果Fβ
Table 3 Fβ of salient object detection in haze images under different enhancement methods

下载CSV
检测方法 原图 增强方法
Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet
PiCANet 0.899 0.893 0.893 0.884 0.893 0.890 0.899 0.889
R3Net 0.840 0.803 0.806 0.858 0.804 0.849 0.839 0.782
CPD 0.904 0.896 0.897 0.894 0.882 0.889 0.906 0.891
DSS 0.825 0.821 0.818 0.782 0.797 0.809 0.809 0.804
BASNet 0.920 0.909 0.910 0.913 0.906 0.908 0.920 0.916
PoolNet 0.901 0.883 0.883 0.892 0.886 0.881 0.901 0.609
GCPANet 0.915 0.919 0.918 0.913 0.911 0.918 0.915 0.918
MINet 0.914 0.902 0.903 0.907 0.902 0.900 0.916 0.903
注：加粗字体表示增强后性能有提升的显著性目标检测结果；原图指对雾霾图像直接进行显著性目标检测。

表 4 不同增强方法下雾霾图像显著性目标检测结果
Table 4 MAE of salient object detection in haze images under different enhancement methods

下载CSV
检测方法 原图 增强方法
Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet
PiCANet 0.038 0.041 0.040 0.047 0.040 0.041 0.037 0.042
R3 Net 0.057 0.066 0.065 0.053 0.071 0.057 0.058 0.072
CPD 0.033 0.034 0.033 0.038 0.038 0.036 0.032 0.036
DSS 0.063 0.057 0.057 0.064 0.063 0.059 0.059 0.059
BASNet 0.026 0.026 0.026 0.027 0.027 0.029 0.026 0.026
PoolNet 0.037 0.041 0.041 0.042 0.041 0.044 0.036 0.088
GCPANet 0.027 0.027 0.027 0.028 0.029 0.029 0.026 0.029
MINet 0.031 0.033 0.032 0.033 0.034 0.034 0.031 0.033
注：加粗字体为增强后性能有提升的显著性目标检测结果；原图指对雾霾图像直接进行显著性目标检测。



图 21 不同增强方法下雾霾图像显著性目标检测效果
Fig. 21 Effect of salient object detection in haze images under different enhancement methods
((a)R3Net; (b)CPD; (c)BASNet; (d)GCPANet; (e)MINet)

4.1.2 性能分析

按相对性能公式，根据表 3和表 4的数据，计算得到不同增强方法下雾霾图像显著性目标检测提升的相对结果，如表 5和表 6所示。

表 5 不同增强方法下雾霾图像显著性目标检测提升的相对Fβ性能分析
Table 5 Relative Fβ analysis of salient object detection enhancement in haze images under different enhancement methods  

下载CSV
/%
检测方法 增强方法 均值
Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet
PiCANet -0.67 -0.67 -1.67 -0.67 -1.00 0.00 -1.11 -0.83
R3Net -4.40 -4.05 2.14 -4.29 1.07 -0.12 -6.90 -2.36
CPD -0.88 -0.77 -1.11 -2.43 -1.66 0.22 -1.44 -1.15
DSS -0.48 -0.85 -5.21 -3.39 -1.94 -1.94 -2.55 -2.34
BASNet -1.20 -1.09 -0.76 -1.52 -1.30 0.00 -0.43 -0.90
PoolNet -2.00 -2.00 -1.00 -1.66 -2.22 0.00 -32.41 -5.90
GCPANet 0.44 0.33 -0.22 -0.44 0.33 0.00 0.33 0.11
MINet -1.31 -1.20 -0.77 -1.31 -1.53 0.22 -1.20 -1.01
注：加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性检测结果。

表 6 不同增强方法下雾霾图像显著性目标检测提升的相对MAE性能分析
Table 6 Relative MAE analysis of salient object detection enhancement in haze images under different enhancement methods  

下载CSV
/%
检测方法 增强方法 均值
Retinex CLAHE Gamma校正 DCP Cycle-Dehaze FFANet GCANet
PiCANet -7.89 -5.26 -23.68 -5.26 -7.89 2.63 -10.53 -8.27
R3Net -15.79 -14.04 7.02 -24.56 0.00 -1.75 -26.32 -10.78
CPD -3.03 0.00 -15.15 -15.15 -9.09 3.03 -9.09 -6.93
DSS 9.52 9.52 -1.59 0.00 6.35 6.35 6.35 5.21
BASNet 0.00 0.00 -3.85 -3.85 -11.54 0.00 0.00 -2.75
PoolNet -10.81 -10.81 -13.51 -10.81 -18.92 2.70 -137.84 -28.57
GCPANet 0.00 0.00 -3.70 -7.41 -7.41 3.70 -7.41 -3.18
MINet -6.45 -3.23 -6.45 -9.68 -9.68 0.00 -6.45 -5.99
注：加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性检测结果。

由表 3和表 5所示的雾霾图像显著性目标检测的$F_{\beta} $可以看出，1)选取图像增强方法对部分显著性目标检测方法具有积极影响。例如，经R3Net增强处理后，Gamma校正和Cycle-Dehaze方法的检测效果分别提升了2.14%和1.07%。经CPD增强处理后，FFANet的检测效果提升了0.22%。经GCPANet增强处理后，Retinex、CLAHE、Cycle-Dehaze和GCANet方法的检测效果分别提升了0.44%、0.33%、0.33%和0.33%。2)这些增强方法对部分显著性目标检测方法存在抑制作用。例如，经R3Net增强处理后，Retinex、CLAHE、DCP、FFANet和GCANet的检测效果分别下降了4.40 %、4.05 %、4.29%、0.12%和6.90%。经GCPANet增强处理后，Gamma校正和DCP方法的检测效果分别下降了0.22%和0.44%。表 4和表 6的$ MAE$数据也表现出了类似的规律。图 21展示的主观效果图进一步验证了以上分析。从该图可知，经过增强处理后，部分显著性目标检测方法的效果有所提升。例如，经过FFANet增强处理后，CPD方法的显著性目标检测结果具有更清晰的边缘信息。然而，也有部分显著性目标检测结果与真实显著性图存在差距。

客观来说，受实验条件制约，总体上增强处理对雾霾图像显著性目标检测的提升作用不明显，本文认为主要原因是：1)显著性目标检测方法对边缘信息显著的目标检测效果较好，而增强处理有时会过度平滑低质图像目标边缘，致使不仅难以提升后续显著性目标检测的效果，反而对其带来抑制作用；2)本文选取的数据集为真实图像集，高度依赖合成图像的增强方法可能并不适应于由复杂因素导致的真实低质图像，导致增强处理难以提升显著性目标检测的效果；3)选取的显著性目标检测方法基本采用真实图像数据集训练，对图像存在少许低质现象的反应并不敏感，导致图像增强处理的促进作用不明显；4)当前大多增强方法着重提升图像视觉效果，其增强的特征与显著性目标检测所需特征不对应。

4.2 水下图像的显著性目标检测分析

对有无增强方法下水下图像的显著性目标检测效果进行实验，进而分析增强处理对水下图像的显著性目标检测的影响。

4.2.1 实验结果

以不同的增强方法为预处理技术，水下图像的显著性目标检测的结果如表 7和表 8所示。图 22为部分水下图像显著性目标检测的主观图。

表 7 不同增强方法下水下图像显著性目标检测结果Fβ
Table 7 Fβ of salient object detection in underwater images under different enhancement methods

下载CSV
检测方法 原图 增强方法
Retinex CLAHE Gamma校正 DCP Li等人(2020) UIE-DAL UGAN WaterNet
PiCANet 0.873 0.861 0.864 0.862 0.877 0.861 0.850 0.859 0.879
R3Net 0.867 0.860 0.859 0.857 0.860 0.841 0.857 0.858 0.866
CPD 0.885 0.871 0.870 0.888 0.877 0.868 0.871 0.869 0.883
DSS 0.811 0.780 0.805 0.805 0.805 0.795 0.791 0.807 0.810
BASNet 0.889 0.874 0.874 0.894 0.884 0.877 0.882 0.879 0.884
PoolNet 0.861 0.851 0.852 0.865 0.852 0.830 0.852 0.834 0.858
GCPANet 0.919 0.899 0.900 0.920 0.921 0.905 0.899 0.910 0.922
MINet 0.917 0.918 0.916 0.917 0.914 0.909 0.907 0.908 0.922
注：加粗字体表示增强后性能有提升的显著性目标检测结果；原图指对水下图像直接进行显著性目标检测。

表 8 不同增强方法下水下图像显著性目标检测结果MAE
Table 8 MAE of salient object detection in underwater images under different enhancement methods

下载CSV
检测方法 原图 增强方法
Retinex CLAHE Gamma校正 DCP Li等人(2020) UIE-DAL UGAN WaterNet
PiCANet 0.058 0.065 0.065 0.064 0.058 0.062 0.067 0.063 0.055
R3Net 0.057 0.063 0.063 0.060 0.057 0.067 0.067 0.063 0.056
CPD 0.045 0.048 0.048 0.044 0.048 0.045 0.049 0.047 0.042
DSS 0.067 0.083 0.072 0.069 0.072 0.077 0.076 0.068 0.069
BASNet 0.040 0.044 0.044 0.039 0.043 0.040 0.044 0.042 0.041
PoolNet 0.054 0.057 0.056 0.056 0.055 0.062 0.059 0.060 0.054
GCPANet 0.037 0.040 0.040 0.036 0.034 0.037 0.042 0.038 0.037
MINet 0.036 0.036 0.036 0.036 0.037 0.037 0.040 0.038 0.034
注：加粗字体表示增强后性能有提升的显著性目标检测结果；原图指对水下图像直接进行显著性目标检测。



图 22 不同增强方法下水下图像显著性目标检测效果
Fig. 22 Effect of salient object detection in underwater images under different enhancement methods
((a)R3Net; (b)CPD; (c)BASNet; (d)GCPANet; (e)MINet)

4.2.2 性能分析

不同增强方法下水下图像显著性目标检测的相对性能提升情况如表 9和表 10所示。

表 9 不同增强方法下水下图像显著性目标检测提升的相对Fβ性能分析
Table 9 Relative Fβ analysis of salient object detection enhancement in underwater images under different enhancement methods  

下载CSV
/%
检测方法 增强方法 均值
Retinex CLAHE Gamma校正 DCP Li等人(2016) UIE-DAL UGAN WaterNet
PiCANet -1.37 -1.03 -1.26 0.46 -1.37 -2.63 -1.60 0.69 -1.01
R3 Net -0.81 -0.92 -1.00 -0.81 -3.00 -1.00 -1.04 -0.12 -1.09
CPD -1.58 -1.75 0.34 -0.90 -1.92 -1.58 -1.81 -0.23 -1.18
DSS -3.82 -0.74 -0.74 -0.74 -1.97 -2.47 -0.49 -0.12 -1.39
BASNet -1.69 -1.69 0.56 -0.56 -1.35 -0.79 -1.12 -0.56 -0.90
PoolNet -1.16 -1.05 0.46 -1.05 -3.60 -1.05 -3.14 -0.35 -1.37
GCPANet -2.18 -2.07 0.11 0.22 -1.52 -2.18 -0.98 0.33 -1.03
MINet 0.11 -0.11 0.00 -0.33 -0.87 -1.09 -0.98 0.55 -0.34
注：加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性目标检测结果。

表 10 不同增强方法下水下图像显著性目标检测提升的相对MAE性能分析
Table 10 Relative MAE analysis of salient object detection enhancement in underwater images under different enhancement methods  

下载CSV
/%
检测方法 增强方法 均值
Retinex CLAHE Gamma校正 DCP Li等人(2016) UIE-DAL UGAN WaterNet
PiCANet -12.07 -12.07 -10.34 0.00 -6.90 -15.52 -8.62 5.17 -7.54
R3Net -10.53 -10.53 -5.26 0.00 -17.54 -17.54 -10.53 1.75 -8.77
CPD -6.67 -6.67 2.22 -6.67 0.00 -8.89 -4.44 6.67 -3.06
DSS -23.88 -7.46 -2.99 -7.46 -14.93 -13.43 -1.49 -2.99 -9.33
BASNet -10.00 -10.00 2.50 -7.50 0.00 -10.00 -5.00 -2.50 -5.31
PoolNet -5.56 -3.70 -3.70 -1.85 -14.81 -9.26 -11.11 0.00 -6.25
GCPANet -8.11 -8.11 2.70 8.12 0.00 -13.51 -2.70 0.00 -2.70
MINet 0.00 0.00 0.00 -2.78 -2.78 -11.11 -5.56 5.56 -2.08
注：加粗字体表示各列最优结果，比较的基准是未经增强处理的显著性目标检测结果。

由表 7和表 9所示的水下图像显著性目标检测结果可以看出，1)与雾霾图像的显著性目标检测相似，选取图像增强方法对部分水下图像显著性目标检测方法具有积极影响。例如，经PiCANet增强处理后，DCP和WaterNet的检测效果分别提升了0.46%和0.69%。经CPD增强处理后，Gamma校正方法的检测效果提升了0.34%。经GCPANet增强处理后，Gamma校正、DCP和WaterNet方法的检测效果分别提升了0.11%、0.22%和0.33%。2)这些增强方法也对部分显著性目标检测方法存在抑制作用。例如，经PiCANet增强处理后，Retinex、CLA-HE、Gamma校正、Li等人(2016)、UIE-DAL和UGAN方法的检测效果分别下降了1.37%、1.03%、1.26%、1.37%、2.63%和1.60%。经GCPANet增强处理后，Retinex、CLAHE、Li等人(2016)、DAL和UGAN方法的检测效果分别下降了2.18%、2.07%、1.52%、2.18%和0.98%。表 8和表 10的MAE数据也表现出了类似的规律。图 22所示的效果图进一步验证了以上分析。从该图可知，相比于对水下图像直接进行显著性目标检测，具有积极作用的增强预处理能够更好地突出显著性结果的边缘信息，使获得的显著性结果更加接近真实的显著性图。相反，具有抑制作用的增强预处理使得显著性结果的边缘更加模糊，主体清晰度下降，使获得的显著性结果更加远离真实的显著性图。

综上可知，增强方法在低质图像的显著性目标检测中表现出不同的作用。总体而言，增强处理对于低质图像的显著性目标检测没有明显的提升作用。经分析认为，这与不同增强方法注重的增强对象、数据集的选取、图像增强和显著性目标检测模型结构的设计等息息相关。进一步地，增强方法与显著性目标检测方法的内在机制的相互影响，以及如何引导增强方向促进显著性目标检测性能的提升仍需要深入研究探讨。

5 结论

本文主要研究增强处理对低质图像显著性目标检测性能的影响。首先总结和归纳了当前的图像增强方法和显著性目标检测方法，详细研究了各自具有代表性的模型，然后以网络级联的方式组织实验，最后通过客观评价和主观评估，分析了增强处理在低质图像显著性目标检测中的效果。实验结果表明，增强方法在低质图像的显著性目标检测中表现出的作用并不是完全一致的，一些增强方法对低质图像的显著性目标检测表现出促进作用，而一些增强方法作用不明显或作用相反。此外，某些增强方法对不同的显著性目标检测方法表现出不同的作用。因此，在未来低质图像增强和显著性目标检测领域的研究中，可以考虑在如下几个方面开展工作：

1) 针对低质图像不同的退化原因选择针对性的增强和显著性目标检测方法。不同的低质图像因其退化原因的不同表现出不同的退化表征，例如水下图像的颜色偏移、雾霾图像的细节模糊等，因此应针对不同的退化问题来选择和设计相应的低质图像增强和显著性目标检测方法，并进一步研究这些增强方法对低质图像显著性目标检测的影响。

2) 研究增强方法和显著性目标检测方法内在机制的相互影响。从本文分析可知，基于增强处理的低质图像显著性目标检测主要包括图像增强和图像显著性目标检测两部分，但是不同的增强方法对显著性目标检测表现出的作用是不一致的。因此，需进一步研究图像增强方法和显著性目标检测方法的深层次关联关系。

3) 设计端到端的低质图像增强与显著性目标检测联合优化网络模型。低质图像因存在退化问题难以直接获得良好的显著性目标检测结果，而利用增强方法进行图像预处理明显步骤复杂、普适性不强，因此将低质图像增强与显著性目标检测的模型进行融合，构建端到端的低质图像增强和显著性目标检测模型是该领域的必然发展方向。

参考文献

  • Achanta R, Estrada F, Wils P and Süsstrunk S. 2008. Salient region detection and segmentation//Proceedings of the 6th International Conference on Computer Vision Systems. Santorini, Greece: Springer: 66-75 [DOI: 10.1007/978-3-540-79547-6_7]
  • Bruce N D B and Tsotsos J K. 2005. Saliency based on information maximization//Proceedings of the 18th International Conference on Neural Information Processing Systems. Vancouver, Canada: MIT Press: 155-162
  • Chen D D, Chen L, Zhang Y X, Yan H. 2017. Single-image dehazing algorithm to correct atmosphere veil. Journal of Image and Graphics, 22(6): 787-796 (陈丹丹, 陈莉, 张永新, 严寒. 2017. 修正大气耗散函数的单幅图像去雾. 中国图象图形学报, 22(6): 787-796) [DOI:10.11834/jig.160616]
  • Chen D D, He M M, Fan Q N, Liao J, Zhang L H, Hou D D, Yuan L and Hua G. 2019. Gated context aggregation network for image dehazing and deraining//Proceedings of 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, USA: IEEE: 1375-1383 [DOI: 10.1109/WACV.2019.00151]
  • Chen Z Y, Xu Q Q, Cong R M, Huang Q M. 2020. Global context-aware progressive aggregation network for salient object detection. Proceedings of the AAAI Conference on Artificial Intelligence, 34(7): 10599-10606 [DOI:10.1609/aaai.v34i07.6633]
  • Deng Z J, Hu X W, Zhu L, Xu X M, Qin J, Han G Q and Heng P A. 2018. R3Net: recurrent residual refinement network for saliency detection//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: [s. n. ]: 684-690 [DOI: 10.24963/ijcai.2018/95]
  • Engin D, Genc A and Ekenel H K. 2018. Cycle-dehaze: enhanced CycleGAN for single image dehazing//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Salt Lake City, USA: IEEE: 938-946 [DOI: 10.1109/CVPRW.2018.00127]
  • Fabbri C, Islam M J and Sattar J. 2018. Enhancing underwater imagery using generative adversarial networks//Proceedings of 2018 IEEE International Conference on Robotics and Automation(ICRA). Brisbane, Australia: IEEE: 7159-7165 [DOI: 10.1109/ICRA.2018.8460552]
  • Guo H W, He H T, Chen M Y. 2004. Gamma correction for digital fringe projection profilometry. Applied Optics, 43(14): 2906-2914 [DOI:10.1364/AO.43.002906]
  • Guo J C, Li C Y, Guo C L, Chen S J. 2017. Research progress of underwater image enhancement and restoration methods. Journal of Image and Graphics, 22(3): 273-287 (郭继昌, 李重仪, 郭春乐, 陈善继. 2017. 水下图像增强和复原方法研究进展. 中国图象图形学报, 22(3): 273-287) [DOI:10.11834/jig.20170301]
  • He K M, Sun J and Tang X O. 2009. Single image haze removal using dark channel prior//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Miami, USA: IEEE: 1956-1963 [DOI: 10.1109/CVPR.2009.5206515]
  • Hou Q B, Cheng M M, Hu X W, Borji A, Tu Z W and Torr P. 2017. Deeply supervised salient object detection with short connections//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE: 5300-5309 [DOI: 10.1109/CVPR.2017.563]
  • Hou Q B, Cheng M M, Hu X W, Borji A, Tu Z W, Torr P H S. 2019. Deeply supervised salient object detection with short connections. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(4): 815-828 [DOI:10.1109/TPAMI.2018.2815688]
  • Hu X W, Fu C W, Zhu L, Wang T Y, Heng P A. 2021. SAC-Net: spatial attenuation context for salient object detection. IEEE Transactions on Circuits and Systems for Video Technology, 31(3): 1079-1090 [DOI:10.1109/TCSVT.2020.2995220]
  • Huang P S, Shen C H and Hsiao H F. 2018. RGBD salient object detection using spatially coherent deep learning framework//Proceedings of the 23rd IEEE International Conference on Digital Signal Processing. Shanghai, China: IEEE: 1-5 [DOI: 10.1109/ICDSP.2018.8631584]
  • Islam M J, Luo P G and Sattar J. 2020. Simultaneous enhancement and super-resolution of underwater imagery for improved visual perception. [EB/OL]. [2020-02-04]. https://arxiv.org/pdf/2002.01155.pdf [DOI: 10.15607/RSS.2020.XVI.018]
  • Itti L, Koch C, Niebur E. 1998. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11): 1254-1259 [DOI:10.1109/34.730558]
  • Land E H, McCann J J. 1971. Lightness and retinex theory. Journal of the Optical Society of America, 61(1): 1-11 [DOI:10.1364/JOSA.61.000001]
  • Li B Y, Ren W Q, Fu D P, Tao D C, Feng D, Zeng W J, Wang Z Y. 2019a. Benchmarking single-image dehazing and beyond. IEEE Transactions on Image Processing, 28(1): 492-505 [DOI:10.1109/TIP.2018.2867951]
  • Li C Y, Guo J C, Cong R M, Pang Y W, Wang B. 2016. Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior. IEEE Transactions on Image Processing, 25(12): 5664-5677 [DOI:10.1109/TIP.2016.2612882]
  • Li C Y, Guo C L, Ren W Q, Cong R M, Hou J H, Kwong S, Tao D C. 2020. An underwater image enhancement benchmark dataset and beyond. IEEE Transactions on Image Processing, 29: 4376-4389 [DOI:10.1109/TIP.2019.2955241]
  • Li G B, Yu Y Z. 2018. Contrast-oriented deep neural networks for salient object detection. IEEE Transactions on Neural Networks and Learning Systems, 29(12): 6038-6051 [DOI:10.1109/TNNLS.2018.2817540]
  • Liu J J, Hou Q B, Cheng M M, Feng J S and Jiang J M. 2019a. A simple pooling-based design for real-time salient object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE: 3912-3921 [DOI: 10.1109/CVPR.2019.00404]
  • Liu N, Han J W and Yang M H. 2018. PiCANet: learning pixel-wise contextual attention for saliency detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 3089-3098 [DOI: 10.1109/CVPR.2018.00326]
  • Liu T, Sun J, Zheng N N, Tang X O and Shum H Y. 2007. Learning to detect a salient object//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Minneapolis, USA: IEEE: 1-8 [DOI: 10.1109/CVPR.2007.383047]
  • Liu T, Yuan Z J, Sun J, Wang J D, Zheng N N, Tang X O, Shum H Y. 2011. Learning to detect a salient object. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33(2): 353-367 [DOI:10.1109/TPAMI.2010.70]
  • Liu Y, Han J G, Zhang Q, Shan C F. 2020. Deep salient object detection with contextual information guidance. IEEE Transactions on Image Processing, 29: 360-374 [DOI:10.1109/TIP.2019.2930906]
  • Liu Y, Zhang Q, Zhang D W and Han J G. 2019b. Employing deep part-object relationships for salient object detection//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South): IEEE: 1232-1241 [DOI: 10.1109/ICCV.2019.00132]
  • Mai J M, Wang M H, Liang Y, Cai R C. 2016. Single image dehazing algorithm by feature learning. Journal of Image and Graphics, 21(4): 464-474 (麦嘉铭, 王美华, 梁云, 蔡瑞初. 2016. 特征学习的单幅图像去雾算法. 中国图象图形学报, 21(4): 464-474) [DOI:10.11834/jig.20160408]
  • Pang Y W, Zhao X Q, Zhang L H and Lu H C. 2020. Multi-scale interactive network for salient object detection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, USA: IEEE: 9410-9419 [DOI: 10.1109/CVPR42600.2020.00943]
  • Parkhurst D, Law K, Niebur E. 2002. Modeling the role of salience in the allocation of overt visual attention. Vision Research, 42(1): 107-123 [DOI:10.1016/S0042-6989(01)00250-4]
  • Qin X, Wang Z L, Bai Y C, Xie X D, Jia H Z. 2020. FFA-Net: feature fusion attention network for single image dehazing. Proceedings of the AAAI Conference on Artificial Intelligence, 34(7): 11908-11915 [DOI:10.1609/aaai.v34i07.6865]
  • Qin X B, Zhang Z C, Huang C Y, Gao C, Dehghan M and Jagersand M. 2019. BASNet: boundary-aware salient object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE: 7479-7489 [DOI: 10.1109/CVPR.2019.00766]
  • Tang Y, Zou W B, Jin Z, Chen Y H, Hua Y, Li X. 2019. Weakly supervised salient object detection with spatiotemporal cascade neural networks. IEEE Transactions on Circuits and Systems for Video Technology, 29(7): 1973-1984 [DOI:10.1109/TCSVT.2018.2859773]
  • Uplavikar P, Wu Z Y and Wang Z Y. 2019. All-in-one underwater image enhancement using domain-adversarial learning. [EB/OL]. [2019-05-30]. https://arxiv.org/pdf/1905.13342.pdf
  • Wang B, Chen Q, Zhou M, Zhang Z Q, Jin X G, Gai K. 2020. Progressive feature polishing network for salient object detection. Proceedings of the AAAI Conference on Artificial Intelligence, 34(7): 12128-12135 [DOI:10.1609/aaai.v34i07.6892]
  • Wang Y P, Zhao X, Hu X C, Li Y, Huang K Q. 2019. Focal boundary guided salient object detection. IEEE Transactions on Image Processing, 28(6): 2813-2824 [DOI:10.1109/TIP.2019.2891055]
  • Wu Z, Su L and Huang Q M. 2019. Cascaded partial decoder for fast and accurate salient object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE: 3907-3916 [DOI: 10.1109/CVPR.2019.00403]
  • Yeh C H, Huang C H, Kang L W. 2020. Multi-scale deep residual learning-based single image haze removal via image decomposition. IEEE Transactions on Image Processing, 29: 3153-3167 [DOI:10.1109/TIP.2019.2957929]
  • Zhang P P, Liu W, Lu H C, Shen C H. 2019. Salient object detection with lossless feature reflection and weighted structural loss. IEEE Transactions on Image Processing, 28(6): 3048-3060 [DOI:10.1109/TIP.2019.2893535]
  • Zhao J X, Cao Y, Fan D P, Cheng M M, Li X Y and Zhang L. 2019. Contrast prior and fluid pyramid integration for RGBD salient object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, USA: IEEE: 3927-3936 [DOI: 10.1109/CVPR.2019.00405]
  • Zuiderveld K. 1994. VIII. 5-Contrast limited adaptive histogram equalization//Graphics Gems IV. San Diego, CA: Academic Press: 474-485 [DOI: 10.1016/B978-0-12-336156-1.50061-6]