Print

发布时间: 2022-05-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.211153
2022 | Volume 27 | Number 5




    综述    




  <<上一篇 




  下一篇>> 




单幅图像去雨数据集和深度学习算法的联合评估与展望
expand article info 胡明娣1, 吴怡1, 宋尧1, 杨静冰1, 张瑞芳1, 王红2, 孟德宇2
1. 西安邮电大学, 西安 710121;
2. 西安交通大学, 西安 710049
收稿日期: 2021-12-01; 修回日期: 2022-03-03; 预印本日期: 2022-03-10
基金项目: 国家自然科学基金项目(62071378)；陕西省国际科技合作计划项目(2022KW-04)；西安市科技局计划项目(21XJZZ0072)
作者简介: 胡明娣, 1970年生, 女, 副教授, 硕士生导师, 主要研究方向为图像识别、目标检索与分类、数据增强、机器学习、人工智能、模糊信息处理。E-mail: mendy2013@163.com
吴怡, 女, 硕士研究生, 主要研究方向为图像处理、机器学习。E-mail: 1309624738@qq.com
宋尧, 女, 硕士研究生, 主要研究方向为图像处理、机器学习。E-mail: 1073647949@qq.com
杨静冰，女，硕士研究生，主要研究方向为图像处理、机器学习。E-mail：1220999634@qq.com
张瑞芳，女，硕士研究生，主要研究方向为图像处理、机器学习。E-mail：1347198568@qq.com
王红，通信作者，女，博士, 主要研究方向为底层图像处理算法设计、自然图像和医疗图像的复原。E-mail：hongwang9209@hotmail.com
孟德宇，男，教授，博士生导师，主要研究方向为自步学习、误差建模、张量稀疏性等机器学习与计算机视觉领域的基础问题。E-mail：dymeng@mail.xjtu.edu.cn
*通信作者: 王红  hongwang9209@hotmail.com
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2022)05-1359-33

摘要

雨天会影响室外图像捕捉的质量，进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注，并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域，本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络(generative adversarial network，GAN)数据驱动合成的数据集，以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法，单任务即雨滴、雨纹、雨雾和暴雨的去除；联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如: 卷积神经网络(convolutional neural network，CNN)结构多分支组合，GAN的生成结构，循环和多阶段结构，多尺度结构，编解码结构，基于注意力，基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比，证实了领域知识隐式引导网络构建可以有效提升算法性能，领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后，指出单幅图像去雨工作目前面临的挑战和未来的研究方向。

关键词

单幅图像去雨; 深度神经网络; 雨图数据集; 雨图合成; 模型数据双驱动; 后续高层任务; 性能评价指标

The integrated evaluation and review of single image rain removal based datasets and deep learning methods
expand article info Hu Mingdi1, Wu Yi1, Song Yao1, Yang Jingbing1, Zhang Ruifang1, Wang Hong2, Meng Deyu2
1. Xi'an University of Posts and Telecommunications, Xi'an 710121, China;
2. Xi'an Jiaotong University, Xi'an 710049, China
Supported by: National Natural Science Foundation of China (62071378); Shaanxi Province International Science and Technology Cooperation Program(2022KW-04)

Abstract

The visual quality of captured images in rainy weather conditions is constrained to the outdoor vision degradation. It is essential to design relevant rain removal algorithms. Due to the lack of temporal information, single image rain removal is challenging compared to video-based rain removal. The target of single image rain removal analysis is to restore the rain-removed background image from the corresponding rain-affected image. Current deep learning based vision tasks construct diverse data-driven frameworks like single image rain removal task via multiple network modules. Current research tasks are focusing on the quality of datasets, the design of single image deraining algorithms, the subsequent high-level vision tasks, and the design of performance evaluation metrics. Specifically, the quality of rain datasets largely affects the performance of deep learning based single image deraining methods, since the generalization ability of deep single image rain removal is highly related to the domain gap between synthesized training dataset and real testing dataset. Besides, rain removal plays an important preprocessing role in outdoor visual tasks because its result would affect the performance of the subsequent visual task. Additionally, the design of image quality assessment (IQA) metrics is quite important for the fair quantitative analysis of human perception of image quality in general image restoration tasks. We conducted critical literature review for deep learning based single image rain removal from the four aspects as mentioned below: 1) dataset generation in rain weather conditions; 2) representative deep neural network based single image rain removal algorithms; 3) the research of the downstream high-level task in rainy days and 4) performance metrics for evaluating single image rain removal algorithms. Specifically, in terms of the generation manners, the current rain image datasets are roughly divided into four categories as following: 1) synthesizing rain streaks based on photo-realistic rendering technique and then adding them on clear images based on simple physical model; 2) constructing rain images based on complex physical model via manual parameters setting; 3) generating rain images based on generative adversarial network (GAN); 4) collecting paired rain-free/rain-affected images by shooting different scenarios and adjusting camera parameters. We reviewed the download links of the existing representative rain image datasets. For deep learning based single image rain removal methods, we review the supervised and semi-/unsupervised rain removal methods for single task and joint tasks in terms of task scenarios, learning mechanisms and network design. Here, single task is relevant to rain drop removal, rain streak, rain fog, heavy rain; and the integrated analyses of removal of rain drop and rain streak, or multiple noises removal. Furthermore, we overview the construction manners of representative network architectures, including simplified convolutional neural networks based (CNNs-based) multi-branches architecture, GAN-based mechanism, recurrent and multi-stage framework, multi-scale architecture, the integration of encoder-decoder modules, attention mechanism or transformer based module as well as model-driven and data-driven learning manners. Since the implicit or explicit embedding of domain knowledge can promote network construction, we provide a detailed survey in the context of the relationship between rain removal methods and domain knowledge.We illustrated that the domain knowledge and the learning of benched networks has the potential to improve the generalization performance of single image rain removal algorithm further. Based on the real high-level outdoor vision tasks in rain weather, it would be meaningful to use the joint processing strategies of low-level and high-level tasks and the customized construction of rainy datasets. Meanwhile, we reviewed and clarified some related literatures of high-level computer vision tasks and comprehensively analyzed the performance evaluation metrics in the context of full-reference metrics and non-reference metrics. We analyzed the potential challenges of single image rain removal further in the context of feasible benchmark datasets construction, future fair evaluation metrics designing, and the optimized integration of rain removal and high-level vision tasks.

Key words

single image rain removal; deep neural network; rain image dataset; rain image synthesis; model-driven and data-driven methodology; follow-up high-level vision task; performance evaluation metrics

0 引言

单幅图像去雨任务主要利用雨图呈现的像素空间信息，或利用雨图和相应背景图的视觉属性来构建模型以获得干净背景图。由于时间信息的缺乏，单幅图像去雨任务通常比视频去雨任务更具有挑战性(Yang等，2021)。单幅图像去雨算法一般分为基于模型驱动的传统方法和基于数据驱动的深度学习的方法。基于深度学习的单幅图像去雨算法由于深度网络具有强大的自动特征学习能力，近年来超越了传统的模型驱动方法，吸引了领域研究者的关注(Yang等，2017, 2021；Fu等，2017b)。众所周知，提高基于深度学习的单幅图像去雨算法的性能主要聚焦于两大方面：雨图数据质量以及图像去雨算法设计(Wang等，2021c)。关于雨图数据集的构建，Garg和Nayar (2006)首次提出使用粒子模拟器合成雨纹，将雨纹与背景简单叠加合成雨图。此后，陆续有学者提出一些新的合成雨图或雨图渲染方法以增强雨图数据集的表达能力。2019年，Wang等人(2019c)通过半自动的方法构建了较为真实的大规模雨图数据集SPA-Data(spatial attentive data)。因为雨图数据集的质量直接决定算法的去雨性能，因此了解雨图数据集是训练有效的去雨模型的前提之一，构建多样、逼真的雨图数据集也是单幅图像去雨需要研究的重要方向之一。综上，相关雨图数据集的详细调研也是必要的。

算法设计的目标是达成图像有效的去雨效果，理解雨形成的物理机制以及相关领域知识成为非常关键的因素。雨的合成模型、雨图的分解、雨图的空间信息、雨纹或雨滴的掩码、雨纹纹理和背景的先验信息等领域知识显式或隐式引导作用是构建有效的图像去雨算法或合成更逼真雨图的算法模型的核心要素。关于雨滴的建模、雨的物理模型以及雨和背景的相关领域知识详见Yang等人(2021)、Zhang等人(2021e)。为帮助研究者进一步深入理解基于深度学习的单幅图像去雨工作，有必要综述分析算法框架中相关领域知识的指导作用。

图像去雨通常被视为后续学习任务的预处理步骤。这些后续任务包括目标识别、语义分割和深度估计等(Tremblay等，2021)，如图 1所示。事实上，单幅图像去雨的图像增强技术已应用到机器视觉领域，例如自动驾驶、无人机、监控识别、行人重识别和遥感匹配等场景(Li等，2019c；Jin等，2021)。这些恶劣天气的高层任务(high level task)研究已经被领域学者关注，也是去雨工作的终极目标，比如Li等人(2019c)关注到去雨效果可以由后续高层任务的性能来评判，Jin等人(2021)针对雨天后续高层任务构建了数据集RaidaR(rich annotated image dataset of rainy street scenes)。综述整理雨天后续高层任务相关文献也为去雨研究者提供一个性能标准和底、高层任务相结合的方向。



图 1 典型图像去雨后续高层任务(Tremblay等，2021)
Fig. 1 Typical follow-up high-level task in rain removal
((a) target detection; (b) semantic segmentation; (c) depth estimation)(Tremblay et al., 2021)

算法的性能分析需要公平的评价体系。公平的评价指标能帮助研究者更好地确定算法的优势和局限性，以及未来的研究方向。本文综述了主要的单幅图像去雨算法性能评价指标，也指出公平的评价指标、基准数据集的建立仍是目前图像去雨工作的研究方向之一。

本文对单幅图像去雨相关研究的最具代表性的论文进行介绍。搜索了自2017年以来单幅图像去雨的主流文献，共获取基于深度学习的单幅图像去雨主流算法文献79篇和创建雨图数据集的主流文献23篇，其中4篇仅涉及雨图数据集，此外，综述了涉及雨天后续高层任务的单幅图像去雨研究的文献8篇，关于图像恢复评价指标研究的相关文献13篇。

近年来图像去雨工作已有综述文献6篇(Li等，2019c；Wang等，2019b, 2020c；Yang等，2021；Zhang等，2021e；陈舒曼等，2022)。其中，Wang等人(2020c)综述了视频和单幅图像去雨研究的进展，并对主流方法进行了性能比较分析，特别地，作者建立了一个去雨资料仓库(https://github.com/hongwang01/Video-and-Single-Image-Deraining)。Wang等人(2019b)介绍了单幅图像去雨的研究进展，并提出了一种新型的渐进去雨算法。Li等人(2019c)引入了一个大规模基准数据集MPID (multi-purpose image deraining)，较为全面地包含3种类型的合成雨模型(雨纹、雨滴和雨雾)，并对6种主流去雨算法进行了全面评估，特别的是此文提出用后续高层任务的性能评价去雨算法性能。Yang等人(2021)从基于模型驱动到数据驱动的角度回顾了单幅图像去雨方法的发展以及深度网络模型构建。Zhang等人(2021e)聚焦于数据驱动的单幅图像去雨，从数据、模型和网络3个因素对其进行分类介绍。陈舒曼等人(2022)介绍了典型的雨图合成模型，从模型驱动和数据驱动分析了典型图像去雨算法，综述了去雨图像质量评价指标及雨图数据集。这些综述论文对于促进现有单幅图像去雨研究的发展具有非常有益的推动作用。

本文除了特别面向中国的读者重新梳理基于深度学习的单幅图像去雨方法以外，与前面的综述论文不同之处在于：1) 关于数据集，本文详细介绍了现有雨图数据集的生成与构建方法，并提供数据集的下载信息，以供领域学者方便搜寻使用这些训练集，或借鉴前人的合成手段提出考虑因素更全面准确的合成雨图数据集的方法，构造更逼真多样的雨图数据集以满足当前数据驱动的算法模型训练的需求。2) 关于数据集和算法的相互作用，本文综述了数据集的构建方式，关注研究生成去雨循环互促的相关文献，强调雨图数据集质量的提高, 有助于相应算法模型的优化，反过来合理有效的生成算法的构建可以渲染得到模型多样、复杂和逼真的雨图数据集。3) 关于单幅图像去雨算法的综述，本文特别侧重于介绍领域知识在算法设计中隐式或显式引导作用，强调数据驱动和模型驱动的结合也许是未来值得进一步深入探讨的方向。陈舒曼等人(2022)仅仅是简单地罗列模型驱动和数据驱动的算法，没有涉及二者结合的研究。Zhang等人(2021e)虽然从模型、数据和网络3个因素对算法模型分类整理，也没有涉及隐式或显式的领域知识的嵌入在模型构建中的作用。4) 关于雨天后续高层任务，本文详细介绍了单幅图像去雨后续高层任务研究，包括以后续高层任务的性能评价单幅图像去雨算法性能的研究(6篇综述文献中仅有Li等人(2019c)的研究涉及)，本文还关注针对后续高层任务的特定任务数据集的渲染技术的研究。5) 关于图像去雨算法性能评价指标的研究，6篇综述都有提及，但Li等人(2019c), Wang等人(2019b, 2020c), Yang等人(2021)和Zhang等人(2021e)使用这些评价指标来帮助定量评价相关算法的性能，陈舒曼等人(2022)除了对10种算法进行定量比较，也对评价指标做了简单综述，但本文更全面地介绍了通用图像质量评价指标和新型图像评价指标。通用评价指标包括主、客观评价指标。客观评价指标又分为全参考、半参考和无参考评价指标。指出使用近年来新提出的融合评价指标是图像去雨性能评价值得关注的定性评价方法，指出后续高层任务的性能是图像去雨的根本目标所在，也是重要的具有直接实际应用价值的新型任务驱动式性能评价指标。具体来说，本文主要贡献如下：

1) 介绍了20个合成雨图数据集和7个真实雨图数据集，依照雨图的获取方式将数据集分成4类，分别介绍了数据集的内容、特征和获取过程等。本文提供了大部分合成雨图数据集的下载地址，致力于为领域学者提供便利。指出真实数据集存在采集代价高，合成数据集存在雨纹种类有限、背景雨纹模型简单、忽略亮度、深度信息等，合成数据集与真实数据集存在较大域的鸿沟。

2) 重新梳理了当前基于深度学习的单幅图像去雨算法、去雨和雨图生成循环算法的主流文献。首先分析了图像去雨算法针对不同任务场景有监督、半/无监督的学习机制下的基本网络结构。从算法的网络构架出发挖掘出领域知识在算法网络中的隐式或显式融入后有效的指导作用。算法、数据和领域知识的相互关系如图 2所示。通过网络结构分析和实验比较得出模型数据双驱动算法因模型约束而避免了过拟合现象的发生，有潜力提高算法的泛化性，未来可能会有更大的发展空间；更全面的先验知识的挖掘也是去雨算法构建的必要基础；多任务统一学习方案较少，但是现实场景需要联合多任务有效解决；循环互促的算法和多阶段的去雨算法会表现出突出的性能。



图 2 算法、数据、领域知识的相互关系
Fig. 2 The interrelationship among algorithms, data, and domain knowledge

3) 整理了单幅图像去雨后续高层任务研究的相关文献以及雨图集。指出针对特定场景的数据集的构建和底、高层联合算法的设计都是未来可考虑的方向。因为图像去雨终究是高层任务的预处理过程，结合特定任务的图像去雨是底、高层任务密切结合解决实际需要的有效方案。

1 雨图数据集的生成与构建

本文调研了23篇合成雨图数据集的研究文献。相关雨图数据集的合成方法、名称和出处、数据集的训练和测试样本数目、来源、特征、面向任务如表 1所示。根据雨图获取方式，将这些数据集分为4类：1) 基于背景、雨层简单加和的雨图集；2) 基于背景、雨层复杂融合的雨图集；3) 基于生成对抗网络(generative adversarial network, GAN)数据驱动的合成雨图集；4) 半自动获取雨图集。其中，文献未命名的数据集名称本文采用与Zhang等人(2021e)一致的命名方法，或者个别数据集本文用第1作者姓氏命名。同时附上了数据集下载网址(见表 2)，并且从每个数据集都抽取了一对雨图/干净背景图像在图 3进行展示。

表 1 典型雨图数据集
Table 1 Typical rain image datasets

下载CSV
类别 数据集 训练/测试 来源 特征 面向任务
1 Rain12(Li等，2016b) —/12对 — 1种雨纹 去雨纹
Rain100H(Yang等，2017) 1 800对/100对 BSD200 5种方向雨纹 去雨纹
Rain100L(Yang等，2017) 200对/100对 BSD200 1种雨纹 去雨纹
Rain14000(Fu等，2017b) 12 600对/1400对 UCID、BSD、谷歌图像 14种雨纹 去雨纹、暴雨
Rain12000(Zhang和Patel, 2018) 12 000对/1 200对或1 000对 DDN 雨的密度 去雨纹、雨雾
Rain 800(Zhang等，2020a) 700对/100对 UCID、BSD 不同强度、方向 去雨纹
Rain-Ⅱ(Wang等，2020g) —/400对 BSD、UCID 含有水气 去雨纹、去雾
RainLevel5(Ni等，2021) 26 870对/2 880对 Cityscapes 雨纹、雨雾 去雨、雾、暴雨
JRSRD(Zhang等，2021a) 3 444对/232对 Raindrop 雨滴、雨纹 去雨纹、雨滴
RainKITTI2012(Zhang等，2021b) 4 062对/4 085对 KITTI2012 三维雨图 去三维雨纹
RainKITTI2015(Zhang等，2021b) 4 200对/4 189对 KITTI2015 三维雨图 去三维雨纹
2 RainCityscapes(Hu等，2019) 262对/33对 Cityscapes 雨纹、雨雾 去雨、去雾
NYU-Rain(Li等，2019b) 13 500对/2 700对 NYU-Depth- v2 雨纹、雨雾 去雨、去雾
Outdoor-Rain(Li等，2019b) 9 000对/1 500对 Raindrop、其他 雨纹、雨雾 去雨纹、雨雾
DDC-Data(Li等，2019d) 10 400对 BSD300 大、中、小雨量 去雨纹、雨雾、暴雨
MPID(Li等，2019c) 2 400对/200对(雨纹) 861对/149对(雨滴) 700对/70对(雨雾) Raindrop 雨纹、雨滴、雨雾 多任务
QSMD-data(Wang等，2021d) 20 800对/100对 Rain-Ⅱ 大、中、小雨量 去雨纹
3 M.T-data(Tremblay等，2021) — Kitti Cityscapes 面向后续任务 目标检测、分割、深度估计
Rain200A(Wei等，2021a) 200对/100对 Rain100L 逼真效果 去雨纹
W.H-data(Wang等，2021c) 仅渲染雨纹 Rain100H等 128种物理因素 去雨纹
4 Raindrop(Qian等，2018) 861对/58对或249对 索尼/佳能 雨滴图 雨滴去除
SPA-Data(Wang等，2019c) 28 500对/1 000对 手机拍摄 图像种类多 去雨纹、雨雾
RIS(Li等，2019c) 2 048幅 交通监控摄像 雨雾 泛化测试
RID(Li等，2019c) 2 495幅 车载相机 雨滴 泛化测试
RaidaR(Jin等，2021) 58 542幅 真实拍摄 街景雨图 语义分割和实例分割
RainDS(Quan等，2021) 250幅 单反相机 雨纹、雨滴 泛化测试
Real200(Wei等，2021b) 200幅 互联网 雨纹 泛化测试
注：“—”表示对应文献中未列出。

表 2 数据集网址
Table 2 URL of datasets

下载CSV
数据集 网址
Rain12 https://github.com/hezhangsprinter/]]>
Rain100H https://github.com/hongwang01/Video-and-Single-Image-Deraining]]>
Rain100L https://github.com/hongwang01/RCDNet]]>
Rain14000 https://xueyangfu.github.io/]]>
Rain12000 https://github.com/hezhangsprinter/]]>
Rain 800 https://github.com/hezhangsprinter/ID-CGAN]]>
Rain-II https://github.com/yluestc/derain]]>
RainLevel5 未公开
JRSRD 未公开
RainKITTI2012 未公开
RainKITTI2015 未公开
RainCityscapes https://github.com/xw-hu/DAF-Net]]>
NYU-Rain https://github.com/liruoteng/HeavyRainRemoval]]>
Outdoor-Rain https://github.com/liruoteng/HeavyRainRemoval]]>
DDC-Data 未公开
MPID https://github.com/lsy17096535/Single-Image-Deraining]]>
QSMD-data 未公开
M.T-data https://team.inria.fr/rits/computer-vision/weather-augment/]]>
Rain200A 未公开
W.H-data https://github.com/hongwang01/VRGNet]]>
Raindrop https://github.com/rui1996/DeRaindrop]]>
SPA-Data https://stevewongv.github.io/]]>
RIS & RID https://github.com/lsy17096535/Single-Image-Deraining]]>
RaidaR https://sites.google.com/site/alimahdaviamiri/projects/raidar]]>
RainDS 未公开
Real200 未公开



图 3 数据集的示例图像
Fig. 3 Sample images of each dataset

1.1 基于背景、雨层简单加和的雨图集

采用基于背景、雨层简单加和或者Photoshop合成的雨图数据集主要有：

1) Rain12(Li等，2016b)由1种类型雨纹和12个背景图像合成12幅雨图像构成的测试集，是成对的雨图集。

2) Rain100H(Yang等，2017)数据集共包含1 900个雨图/干净图对，其中训练集有1 800个图像对，测试集有100个图像对。干净背景图取自BSD200(Berkeley segmentation data)(Arbeláez等，2011)，合成的雨图包含5个雨纹方向，雨的类型包含雨纹和雨雾。常用做对比数据集。

3) Rain100L(Yang等，2017)数据集共包含300个雨图/干净图对，其中200对用于训练，100对用于测试。干净背景图取自BSD200(Arbeláez等，2011)，雨纹的合成有两种方法: (1) 由图像真实渲染技术合成雨纹; (2) 用Photoshop模拟锐利的方向和大小不同的雨纹。每幅雨图只有1种类型的雨纹。虽然这个数据集构建很早，而且雨纹类型单一，但是常用作对比数据集。

4) Rain14000(Fu等，2017b)数据集共包含14 000个雨图/干净背景图像对，其中12 600对用于训练，1 400对用于测试。作者从UCID(uncompressed colour image dataset) (Schaefer和Stich，2003)数据集、BSD(Arbeláez等，2011)数据集和谷歌图像搜索收集1 000幅原始干净图，然后用Photoshop来合成雨图，构成成对雨图集。其中每幅干净的背景图叠加14种不同方向和尺度的雨纹合成14幅雨图，雨的类型包含雨纹和雨雾。该数据集广泛用于训练网络模型和评价去雨算法的性能。

5) Rain12000(Zhang和Patel，2018)数据集由训练集和测试集1、2构成。从DDN(deep detail network)(Fu等，2017b) 中选取4 000幅干净背景图通过Photoshop软件合成12 000幅标注不同密度(大、中、小)的雨图形成训练集，然后用同样的方法合成1 200幅具有不同方向和尺度的雨纹的雨图构成测试集1，再从Rain14000中随机抽取1 000幅雨图构成测试集2。该数据集广泛用于训练网络模型和评价去雨算法的性能。

6) Rain800(Zhang等，2020a)数据集共包含800对雨图/干净图，其中700对构成训练集，100对构成测试集。训练集的干净图 500幅是从UCID(Schaefer和Stich，2003)数据集的前800幅图像中随机选取的，200幅是从BSD-500(Arbeláez等，2011)的训练集中随机选取的，测试集的前50幅是从UCID数据集的后500幅图像中随机抽取的，后50幅是从BSD-500数据集的测试集中随机抽取的，然后对干净背景图使用Photoshop添加雨纹得到雨图构成雨图/干净背景图像对。由于它包含了不同密度的雨，雨纹类型丰富而广泛用于算法模型的训练和测试。

7) Rain-II(Wang等，2020g)数据集共包含400个成对的雨图/干净图作为测试集。由来自BSD(Arbeláez等，2011)、UCID(Schaefer和Stich，2003)的400幅干净背景图通过Photoshop合成的雨图。

8) RainLevel5(Ni等，2021)数据集包含29 750对雨/干净的图像，26 870对用于训练，2 880对用于测试。干净的图像来自Cityscapes(Cordts等，2016)数据集，使用Photoshop技术合成了5个级别(25、50、75、100、200 mm/h) 雨量的雨图像。

9) JRSRD(joint rain steak and raindrop)(Zhang等，2021a)数据集包含3 676对雨图/干净背景图像，涉及雨纹和雨滴。其中3 444对构成训练集，232对构成测试集，干净背景图取自Raindrop，使用Photoshop为每幅干净背景图合成了具有不同强度(噪声水平：20%~60%)雨量的4幅雨图，构成不同强度的雨图/干净背景图像对，此数据集雨的类型同时包含雨纹和雨滴，用于联合多任务算法训练建模。

10) RainKITTI2012/RainKITTI2015(Zhang等，2021b)数据集为立体雨图/干净背景图成对数据集，主要用于3维图像、视频的去雨算法建模。RainKITTI2012(Karlsruhe Institute of Technology & Toyota Technological Institute at Chicago)包含8 147个图像对，4 062对为训练集，4 085对为测试集，RainKITTI2015包含8 389对图像，4 200对为训练集，4 189对为测试集。分别抽取公开立体图像集KITTI2012(Geiger等，2013)、KITTI2015(Geiger等，2013)的干净背景图，然后使用Photoshop合成立体雨图，构成成对立体雨图数据集。主要用于3维立体图像去雨算法的训练和测试。

Garg和Nayar(2006)提出的雨纹真实渲染技术可以合成各种类型的雨纹，然后直接加到相应背景图得到雨图形成成对雨图集。具体过程：1) 在两个光源不同角度照明和相机不同方向拍摄的条件下获取真实雨纹；2) 依照雨滴建模方程，即

$ {\omega _n} = 2{\rm{ \mathit{ π} }}{([n(n{\rm{ }} - 1)(n{\rm{ }} + 2)\sigma ]/(4{{\rm{ \mathit{ π} }}^2}\rho {r_0}^3))^{1/2}} $ (1)

$ \begin{array}{c} r[t, \theta, \varphi ] = {r_0}(1 + {A_{2, 0}}{\rm{sin}}({\omega _2}t){P_{2, 0}}(\theta) + \\ {A_{3, 1}}{\rm{sin}}({\omega _3}t){\rm{cos}}(\varphi){P_{3, 1}}(\theta)) \end{array} $ (2)

式中，$\sigma $为表面张力，$\rho $为水的密度，$\theta $为角度，$\varphi $为方位角，${r_0}$为雨滴大小，${A_{2, 0}}, {A_{3, 1}}$为振幅，${\omega _3}$为频率，这几个参数的取值通常通过经验知识进行设置(Garg和Nayar，2006)，用式(1)和(2)合成雨纹；3) 将合成的雨纹与干净的背景图直加得到雨图。整个流程如图 4所示。



图 4 雨图合成过程
Fig. 4 Synthesis process of rain image

1.2 基于背景、雨层复杂融合的雨图集

基于背景、雨层复杂融合的雨图数据集合成流程如图 5所示。本节使用的雨图合成模型公式与Zhang等人(2021e)一致。



图 5 基于雨的模型合成雨图(Zhang等，2021e)
Fig. 5 Synthetic rain image based on rain model(Zhang et al., 2021e)

1) DDC-Data(Li等，2019d)数据集包含了10 400对雨/干净背景图像，未划分训练集和测试集。干净背景图来自BSD300(Arbeláez等，2011)数据集，雨纹用Photoshop软件添加噪声形成，雨纹具有不同的强度、方向，然后基于屏幕混绕物理模型(screen blend model, SBM)合成雨图。

2) QSMD-Data(Wang等，2021d)数据集包含20 800雨图/干净背景图对作为训练集，100对作为测试集，雨图基于屏幕混绕模型(SBM)合成，此合成数据集选取的背景图覆盖的场景比较丰富。

3) RainCityscapes(Hu等，2019)数据集包含296对雨/干净图像，其中263对用于训练，33对用于测试。先从Cityscape(Cordts等，2016)的训练和验证集中选择263幅训练图像和33幅测试图像作为干净图像，然后采用图像深度模型(image depth model, IDM)合成雨图。这个数据集常用于去雾算法。

4) NYU-Rain(Li等，2019b)数据集包含16 200雨/干净图对，其中13 500对作为训练集，2 700对作为测试集，使用来自NYU(New York University)-Depth-v2(Silberman等，2012)数据集的图作为干净背景图，采用暴雨模型(heavy rain model, HRM)合成数据集，合成的雨图包括雨纹(或称小雨)，雨雾，雨的积累(或称大雨)，暴雨(或称雨的遮挡(rain occlusion))。这个数据集常常用于网络模型(面向暴雨设计)的训练与测试。

5) Outdoor-Rain(Li等，2019b) 采用与NYU-Rain相同的方法合成雨图像，采用HRM模型合成数据集，合成的雨图包括雨纹、雨雾和暴雨。干净背景图来自于Raindrop，该数据集包含9 000个训练样本和1 500个测试样本。

6) MPID(Li等，2019c)是目前包含雨类型较为全面的数据集，共包含5类数据内容：(1)雨纹：训练集包含2 400对雨/干净图像，测试集包含200对，此外还包含50幅真实雨纹测试数据。(2) 雨滴：雨滴数据包含861对雨/干净背景图作训练集，149对合成图像作测试集，还包含58幅真实雨滴图像作测试样本，原始图像是从Raindrop数据集中选取；(3) 雨雾(雨的累积)：训练集包含700对雨/干净背景图像，测试集包含70对测试样本，还包含30幅真实的大雨雨图作测试数据。数据中雨雾通过两步形成，第1步基于大气散射模型添加雾，第2步基于背景雨图直加模型合成雨纹形成有雨有雾的雨图。所有合成雨图相应的干净背景图都是挑选阴天拍摄的户外无雨、无雾的照片，保证合成雨图更加逼真；(4) RID(rain in driving)：车载摄像头拍摄的交通雨图；(5) RIS(rain in surveillance)：监控摄像头拍摄的雨图。后两个都是不成对的真实数据集，用于评价算法的泛化性和利用面向后续高层任务的性能评价图像去雨算法的性能。

1.3 基于GAN的数据驱动合成雨图集

1) M.T-data(Tremblay等，2021)提出了3种不同的合成雨图方法: (1) 基于物理模型(粒子模拟器+光照估计的方法)；(2) 基于GAN；(3)基于物理模型渲染(physics-based rendering，PBR)和GAN网络相结合的模型数据双驱动方法。在此重点介绍作者提出的第3种模型数据双驱动的方法合成雨图(如图 6)。首先通过循环生成对抗网络(CycleGAN)学习雨纹信息，将干净背景图与雨纹融合输出为雨图，然后基于PBR方法控制雨量，生成不同雨量的雨图。作者基于物理模型PBR，分别在现有的数据集KITTI(Geiger等，2012)和Cityscapes(Cordts等，2016)上合成雨图；基于GAN加PBR的方法在nuScenes(Caesar等，2020)数据集上合成雨图。其中KITTI(Karlsruhe Institute of Technology & Toyota Technological Institute at Chicago)、Cityscapes、nuScenes数据集的所有图像都是干净的背景图，KITTI数据集标注实例分割基准，Cityscape数据集标注对象边界框，深度映射信息，nuScenes数据集有语义标签。作者将增强后的KITTI、Cityscape、nuScenes数据集用于与后续任务(对象检测、语义分割和深度估计)相关的图像去雨算法模型的训练和测试，通过平均精度均值(mean average precision, MAP)，平均精度(average precision, AP), 平方相对误差(squared relative error, Sq.Rel)评价指标，证实了基于作者增强后的数据集训练的算法性能都有很大提高。



图 6 雨图合成过程(Tremblay等，2021)
Fig. 6 The synthesis process of rain images (Tremblay et al., 2021)

2) Rain200A(Wei等，2021a)数据集包含200个成对雨/干净背景图像。雨图由无监督学习的有约束的CycleGAN网络合成(对应算法称为DerainCyclcleGAN)，利用了迁移学习能力和循环结构，Rain200A包含更多类型的雨纹，视觉效果更逼真。文中设计的循环网络既可以生成雨图又可以去雨。该网络有两个分支: (1) 真实雨图到合成雨图的循环一致性分支，由真实雨图生成无雨背景图，然后又由生成器再次重建雨图；(2) 真实无雨背景图到生成无雨背景图的循环一致性分支，其中由无雨背景图生成雨图，然后由生成器重建无雨背景图。这两个分支之间由无监督学习注意力提取器模块迁移领域信息，该模块负责循环提取雨纹掩码。如图 7所示，将真实无雨背景图和第2分支中间输出的合成雨图一起构成Rain200A的成对样本。事实上，在本文整理的文献中，涉及雨生成和去雨循环互促的网络模型的文献有6篇(Jin等，2019；Zhu等，2019；Ni等，2021；Ye等，2021；Wei等，2021a, b)，但是只有少数文献将输出雨图与输入的无雨图构成成对数据集。因为GAN生成的雨图中雨纹、雾和光都是从真实雨图中自动学习得到的，因此合成的雨图的雨纹类型更具有多样性，合成雨图的视觉效果更显逼真。



图 7 雨图合成过程(Wei等，2021a)
Fig. 7 The synthesis process of rain images (Wei et al., 2021a)

3) W.H-data(Wang等，2021c)为探索雨图的物理机制，在贝叶斯框架下构建了雨图像生成模型，把雨层隐式建模为一个生成器(雨层可看做一些潜在变量如方向、大小和厚度等的函数)，采用模型加数据驱动的方法在变分推理框架下学习雨纹和背景的统计分布，然后利用学习后的生成器生成种类多样、不重复的雨纹。作者在实验中将合成的雨纹添加到Rain100L，Rain100H，Rain1400数据集上，然后在增强后的雨图集上训练去雨算法，通过峰值信噪比(peak signal-to-noise ratio, PSNR), 结构相似性(structural similarity, SSIM)评价指标值，可以看出所有的算法性能都有显著提高，合成过程如图 8所示。



图 8 雨图合成过程(Wang等，2021c)
Fig. 8 The synthesis process of rain images (Wang et al., 2021c)

1.4 半自动采集的真实雨图数据集

半自动获取真实雨图集主要有: 1) 雨图/干净背景成对数据集：Raindrop(Qian等，2018)，SPA-Data(Wang等，2019c)等；2) 不成对的数据集：RID & RIS (Li等，2019c)，RaidaR(Jin等，2021)，RainDS(Quan等，2021)，Real200 (Wei等，2021b)等。

1) Raindrop (Qian等，2018)数据集包含1 119对雨图/干净背景图的真实成对雨图集，其中训练集包含861个训练样本，测试集分为TestSetA/TestSetB，分别有58/249个测试样本。图像对获取是使用两块完全相同的玻璃(3 mm)，一块用水喷洒，另一块保持清洁，然后把玻璃板安装在相机镜头上，人为设置玻璃和相机之间的距离(2~5 cm)，使用Sony A6000和Canon EOS 60拍摄出雨图和干净图的图像对构成了真实雨滴图像对数据集。该数据集涵盖了多种背景场景和多种形状的雨滴，主要用于雨滴去除算法的训练。

2) SPA-Data(spatial attentive)(Wang等，2019c) 数据集包含170个真实的雨视频，其中84个视频使用iPhone X或iPhone 6SP拍摄，86个视频从StoryBlocks或YouTube上搜集得到。抽取29 500帧雨图，半自动生成对应的干净图构成成对真实雨图集。其中，28 500对用于训练，1 000对用于测试。半自动生成干净背景图像过程如下：(1) 在静态背景上捕捉一个雨景视频，人工在N帧中分辨出某个特定像素何时被雨覆盖，何时未被雨覆盖的图像帧；(2) 基于人工判断出无雨像素值集成为近似真实的背景；(3) 对背景进行平滑；(4)用户评估图像。如果评估失败，继续添加图像帧数重复以上过程，直到合格后输出干净背景图像，与雨图一起构成真实的成对图像数据集。该数据集包含连续雨量的雨图，背景涵盖常见的城市场景(如建筑物、街道)、郊区场景(如街道、公园)和野外(如森林)。这是目前最大的真实雨图集，因此很多算法都用SPA-Data来比较泛化性。

3) RID & RIS(rain in driving/rain in surveillance)(Li等，2019c)数据集属于MPID数据集中真实的不成对的雨图子集。RID包含2 495幅车载摄像头获取的雨图，它的雨图退化效果接近于雨滴。大多数图像的分辨率是1 920×90像素，只有少数例外分辨率为4 023×3 024像素。RIS包含2 048幅监控摄像机获取的雨图，雨图退化效果接近于雨纹和雨雾，大多数图像的分辨率是640×368像素，只有少数例外是640×480像素。两个数据集的图像背景是各种不同的交通地点，Li等人(2019c)给图像中汽车、人、公共汽车、自行车和摩托车等标注了对象边界框。使用这两个真实雨图子集在单幅图像去雨算法性能评估中创建了任务驱动式的评价标准。

4) RaidaR(Jin等，2021)数据集包含18 895幅无雨图和58 542幅雨图的不成对的街景图像，其中对5 000幅图像标注语义分割基准，对3 658幅标注实例分割基准。图像是通过安装在屋顶上的照相机拍摄获取，雨天图像有雾、有路面反射、有水滴等特征。该数据集是针对雨天后续高层任务构建的。

5) RainDS(Quan等，2021)构建了一个真实雨滴、雨纹图像数据集，共1 000幅图像，其中包含250幅图像对(雨滴)，用单反相机拍摄下雨的图像。(1) 针对雨滴：在相机前面插入一块带有粘附的水滴的玻璃来模拟雨滴的情况，通过去除有雨滴的玻璃，停止喷水，得到干净的背景图像；(2) 针对雨纹：用洒水器喷水来产生雨纹，同时控制曝光时间和ISO(International Standards Organization)参数，以拍摄不同光照条件下不同长度的雨纹。此真实数据集的雨图像覆盖多种场景，包括停车场、公园和城市地区。此外，还在不同的时间采集数据，即上午、中午和下午，以获得真实场景中不同的光照条件。

6) Real200 (Wei等，2021b)包含200幅图像。所有的雨图像都是从互联网上挑选的高分辨率图像，并且在保留真实图像中雨纹的多样性的同时，对雨纹区域进行人工裁剪，突出雨纹区域。此数据集中的雨图像的雨纹与合成图像的雨纹并没有太大的区别，因此对于半监督模型的训练是有益的，可以用于半监督单幅图像去雨任务。

1.5 现有数据集实验分析

如前文所述，雨图合成数据集的分布各有偏好，雨图真实数据集的样本仍然不足，本文通过实验证实分析雨图数据集目前存在的问题和挑战。

1) 分别在基于背景雨层简单加和的合成雨图集Rain12、Rain100H、Rain100L、Rain1400、Rain800，基于GAN数据驱动生成的雨图集Rain200A、W.H-Data，半自动采集的真实雨图集SPA-Data的数据集上随机选取一幅雨图在图 9中进行对比展示。通过对每个数据集进行用户打分，其对应的逼真度可见Wang等人(2021c)中的图 5所示，其中，W.H-Data逼真度为0.74，SPA-Data逼真度为0.72，Rain1400逼真度为0.52，Rain800逼真度为0.48，Rain100H逼真度为0.24。Wei等人(2021a)证实了基于GAN数据驱动合成的数据集Rain200A比基于简单直加合成的数据集Rain100L有更高的数据质量。Wang等人(2021c)证实了基于贝叶斯模型结合数据模型双驱动算法生成雨图提高了雨图数据集的多样性和逼真度，增强后的数据集重新训练去雨算法，算法性能都能够明显提升。但是，合成数据集与真实雨图数据集仍然存在较大域的鸿沟，复杂多样的W.H-Data也一样(Wang等，2021c)。



图 9 8个雨图数据集示例(只有SPA-Data是真实雨图)
Fig. 9 Sample rain images from eight rain image datasets(where only SPA-Data is a real rain image)

2) 图 10展示了用4个合成数据集Rain100H、Rain100L、Rain800、Rain1400的训练集对近5年6种代表性去雨算法进行训练后，用SPA-Data的数据集的真实雨图进行测试的结果。其中6种算法是：DerainNet(Fu等，2017a)、Residual-Guide-Net(Fan等，2018)、RESCAN(recurrent squeeze-and-excitation context aggregation net)(Li等，2018b)、LPNet(Fu等，2020)、PReNet(Ren等，2019)和RCDNet(Wang等，2020d)。由测试结果可见，(1)由于基准的差异性，不同方法的泛化性呈现出不一样的效果，整体而言, 无论是去雨效果还是细节保留方面，PReNet和RCDNet更具有竞争力；(2)即便取得了一定的泛化效果，但是不同合成数据集上训练得到的模型其泛化性能依然有提升的空间。这也从一定程度上反映了现有合成数据集与真实场景下的雨图分布存在不同程度的差异性。



图 10 泛化性能比较
Fig. 10 Comparison of generalization performance
((a) Rain100H; (b) Rain100L; (c) Rain800; (d) Rain1400)

总之，未来仍需要一个大规模、统一的基准数据集，而真实雨图采集代价太高，因此面向渲染丰富多样的雨图数据集，进一步探究更合理准确的雨图合成模型，基于领域知识和雨图合成模型设计有效的雨图生成算法也是重要的研究方向。

2 基于深度学习的单幅图像去雨算法

雨天室外任务获取的图像通常会被雨纹、雨雾、雨帘，暴雨和雨滴降低图像的质量。雨纹导致图像内容的强度变化，模糊了背景或场景；雨的累积(也称为雨帘效应)，单个的雨纹和水颗粒累积形成类似于薄雾或雾视觉效果，削弱了背景对比度，显著降低了远处场景的能见度；当没有背景信号通过时，此时雨信号完全遮挡一些背景信号，这种现象本文称之为雨的遮挡即暴雨。各种类型的雨对图像的损毁效果如图 11所示。



图 11 包含各种类型雨的单幅雨图示例
Fig. 11 Examples of single rain image containing various types of rain
((a)rain streak; (b)rain fog; (c) heavy rain; (d)raindrop; (e) raindrop and rain streak)

由于单幅图像去雨工作一般是面向任务设计算法。其中有单任务，如：雨滴、雨纹、雨雾、暴雨；联合任务，如：雨纹和雨滴、雨纹、雨滴、霾、雪、模糊联合去除等。一般情况下算法能够去除暴雨也就能去除雨雾和雨纹，如果算法能够去除雨雾也就能够去除雨纹。基本上雨纹、雨雾、暴雨是雨量轻、中、大的相应表现。本节以雨滴、雨纹、雨雾、暴雨(有监督、半/无监督)、联合任务(有监督、半/无监督)，以及生成、去雨循环(有监督、半/无监督)来介绍近年来代表性的基于深度学习的单幅图像去雨算法。表 3—表 8分别展示了面向雨滴、雨纹、雨雾、暴雨的单任务图像去雨算法，联合任务图像去雨算法，去雨生成循环算法的具体信息。

表 3 典型雨滴去除方法
Table 3 Typical methods on raindrop removal

下载CSV
算法 领域知识 学习机制 网络结构 文献
Attentive GAN* 空间信息 有监督 GAN、注意力机制 Qian等人(2018)
simple CNN* 空间信息 有监督 CNN、注意力机制 Quan等人(2019)
SSCGAN 雨滴二值掩码 有监督 GAN、注意力机制 Shao等人(2021b)
UMAN 多尺度、软掩码 有监督 金字塔结构、注意力机制 Shao等人(2021a)
注：“*”表示本文对相应的算法框架进行命名。

表 4 典型雨纹去除方法
Table 4 Typical methods on rain streak removal

下载CSV
算法 领域知识 学习机制 网络结构 文献
DerainNet 细节层、基础层 有监督 双分支 Fu等人(2017a)
DDN 图像滤波 有监督 复杂CNN Fu等人(2017b)
NLEDN 空间信息 有监督 编解码 Li等人(2018a)
DualCNN 结构层、细节层 有监督 双分支 Pan等人(2018)
DID-MDN 密度信息 有监督 双分支、两阶段 Zhang和Patel(2018)
LPNet 金字塔尺度信息 有监督 多尺度 Fu等人(2019)
J-Net* 同背景不同雨纹 无监督 双分支 Cho等人(2019)
UD-GAN 雨图RSM模型 无监督 GAN Jin等人(2019)
DDC-Net 雨图RSM模型 有监督 双分支 Li等人(2019d)
DuRB* 非局部相似性 有监督 双算子残差连接 Liu等人(2019)
BLP-Derain* 双层先验模型 有监督 模型和数据 Mu等人(2019)
DNLRB 雨图RSM模型 有监督 循环递归 Wang等人(2019a)
SPANet 局部到全局位置 有监督 多阶段 Wang等人(2019c)
SISR 雨分布统计信息 半监督 模型和数据 Wei等人(2019a)
MH-DerainNet 雨图HRM模型 有监督 两阶段 Wei等人(2019b)
GraNet 雨的mask 有监督 两阶段 Yu等人(2019)
RR-GAN 雨的mask 无监督 GAN Zhu等人(2019)
VID 雨分布统计信息 有监督 模型和数据 Du等人(2020a)
CVID 雨分布统计信息 有监督 模型和数据 Du等人(2020b)
PReNet+* 卷积稀疏编码 有监督 两阶段 Wang等人(2020c)
SKRF 雨图RSM模型 有监督 双分支 王美华等人(2020)
DTDN 导向滤波 有监督 双分支、GAN Wang等人(2020h)
QuDeC 图像质量评价 有监督 模型和数据 Yasarla等人(2020a)
SSL 模型处理 半监督 模型和数据 Yasarla等人(2020b)
ID-CGAN 多尺度信息 有监督 GAN Zhang等人(2020a)
MOEDN 域迁移 半监督 编解码 Huang等人(2021)
ERLNet 雨图RSM模型 有监督 编解码、多阶段 Wang等人(2021a)
VRGNet 贝叶斯模型 有监督 模型和数据 Wang等人(2021c)
QSMD 稀疏先验 有监督 模型和数据 Wang等人(2021d)
DerainCycleGAN 域迁移 无监督 GAN Wei等人(2021a)
Semi-Derain GAN 域迁移 半监督 GAN Wei等人(2021b)
LBP-CGAN 局部二值模式 有监督 GAN、模型和数据 Xue和He(2021)
JRGR 域迁移 半监督 GAN Ye等人(2021)
PRRNet 语义先验 有监督 双分支 Zhang等人(2021b)
RDARENet 局部、全局信息 有监督 注意力机制 张学锋和李金晶(2021)
Qiu-Net* 多尺度信息 半监督 多尺度 邱永茹等人(2021)
注：“*”表示本文对相应的算法框架进行命名。

表 5 典型雨雾去除方法
Table 5 Typical methods on rain fog removal

下载CSV
算法 领域知识 学习机制 网络结构 文献
DAF-Net 深度信息 有监督 双分支 Hu等人(2019)
UMRL 多尺度信息 有监督 多尺度 Yasarla和Patel(2019)
DRD-Net RSM模型 有监督 双分支 Deng等人(2020)
JDNet 多尺度信息 有监督 多尺度 Wang等人(2020a)
RCDNet 卷积字典学习 有监督 模型和数据 Wang等人(2020d)
AMPE-Net HRM模型 有监督 双分支模型和数据 Wang等人(2020f)
SAVNet* HRM模型 有监督 模型和数据 Wang等人(2020g)
ETDNet 局部全局位置信息 有监督 transformer Qin等人(2021)
SDNet 局部全局位置信息 有监督 多分支transformer Tan等人(2021)
注：“*”表示本文对相应的算法框架进行命名。

表 6 典型暴雨去除方法
Table 6 Typical methods on heavy rain removal

下载CSV
算法 领域知识 学习机制 网络结构 文献
SMRNet 多尺度信息 有监督 循环和多阶段 Li等人(2017)
Residual-Guide-Net RSM雨模型 有监督 迭代 Fan等人(2018)
RESCAN RSM雨模型 有监督 多阶段 Li等人(2018b)
HeavyDerainNet* 高频低频、HRM 有监督 模型和数据两阶段 Li等人(2019b)
PReNet — 有监督 循环和多阶段 Ren等人(2019)
RWL 小波分解 有监督 多尺度模型和数据 Yang等人(2019a)
ReMAEN 多尺度信息 有监督 递归多尺度 Yang和Lu(2019b)
ReHEN RSM雨模型 有监督 循环递归 Yang和Lu(2019c)
RMP* 金字塔尺度信息 有监督 多阶段 Zheng等人(2019)
MSPFN 多尺度、RSM 有监督 多尺度 Jiang等人(2020)
RDDAN 局部全局信息 有监督 循环递归 Yang等人(2020b)
JORDER 雨mask、HRM 有监督 注意力机制 Yang等人(2020a)
DCSFN 多尺度信息 有监督 多尺度、编解码 Wang等人(2020b)
CRFN 基础层细节层 有监督 CNN结构 Wang等人(2020e)
MSRM* 多尺度信息 有监督 多尺度残差 Zhu等人(2020)
RLNet 表示学习 有监督 循环和多阶段 Chen等人(2021)
DFN 雨模型HRM 有监督 循环迭代 Ding等人(2021a)
DualGCN 局部全局信息 有监督 多尺度 Fu等人(2021)
GridDerainNet 多尺度信息 有监督 多尺度多阶段 Jiang等人(2021)
RICNet 有向梯度直方图 有监督 多阶段 Ni等人(2021)
SRNet 多尺度稀疏编码 有监督 并联多尺度 Wang等人(2021b)
GLA-HRRNet 集成学习 有监督 模型和数据 Vu等人(2021)
LDNet 多尺度信息 有监督 多阶段 柴国强等人(2021)
MRCANet 多尺度信息 有监督 多尺度 谢强强等人(2022)
NCANet 全局信息 有监督 循环 Su等人(2022)
MSKSN 多尺度金字塔 有监督 模型和数据 Zheng等人(2022)
注：“*”表示本文对相应的算法框架进行命名，“—”表示对应文献中未列出。

表 7 典型联合任务图像去雨方法
Table 7 Typical methods on joint rain removal tasks

下载CSV
算法 领域知识 学习机制 网络结构 类型 来源
Li-Net* 物理模型编解码 有监督 GAN注意力机制 雨纹、雪、雾、雨滴 Li等人(2020b)
Liu-Net* 图像层的分解 有监督 模型和数据 雨纹、图像反射去除、微光图像增强 Liu等人(2020)
CCN 图像分解 有监督 注意力机制双分支 雨纹、雨滴 Quan等人(2021)
Uformer 全局位置信息 有监督 Transformer 去噪、去模糊、雨纹 Wang等人(2021e)
D-DAiAM 雨Mask 有监督 双注意力机制双分支 雨纹、雨滴 Zhang等人(2021a)
注：“*”表示本文对相应的算法框架进行命名。

表 8 典型去雨循环交互算法
Table 8 Typical cycle interactive algorithms on joint rain removal and rain image synthesis

下载CSV
算法 领域知识 学习机制 网络结构 类型 来源
UD-GAN 雨图RSM模型 无监督 GAN 雨纹 Jin等人(2019)
RR-GAN 雨Mask 无监督 GAN 雨纹 Zhu等人(2019)
RICNet 有向梯度直方图 有监督 多阶段 暴雨 Ni等人(2021)
DerainCycleGAN 域迁移 无监督 GAN 雨纹 Wei等人(2021a)
Semi-Derain GAN 域迁移 半监督 GAN 雨纹 Wei等人(2021b)
JRGR 域迁移 半监督 GAN 雨纹 Ye等人(2021)

大多数单幅图像去雨文献根据雨量的大小、雨纹的多样性、雨纹的重叠程度区分任务场景，根据领域知识显式或隐式引导构建深度神经网络，核心技术在于准确识别图像中雨纹的位置，同时关注雨纹对背景的模糊程度、亮度大小等。本文依据单任务和联合任务场景综述算法的学习机制以及相应的网络设计思想。

2.1 雨滴场景

基于深度学习雨滴去除的主流研究文献中，仅在有监督学习机制下提出去除雨滴的算法。典型的去除雨滴算法如：Qian等人(2018)提出的Attentive GAN网络能去除玻璃窗或镜头黏附的雨滴。该算法的主要贡献是在生成网络和判别网络上分别嵌入视觉注意力模块提取雨滴掩码(mask)及其全局位置关系。Shao等人(2021b)关注到雨滴的多样性和稠密性，以及雨滴的颜色随着背景的变化而变化的特征，提出选择性跳跃连接生成对抗(selective skip connection GAN，SSCGAN) 网络去除雨滴和污染物。网络结构设计在编解码结构中嵌入了注意力模块提取全局结构特征获得干净的背景图。Quan等人(2019)针对透过黏附雨滴的窗口获取的有噪图像，提出了包含双重注意力机制的卷积网络用于恢复干净背景图像。其中物理注意力提取雨滴的形状和位置信息，通道注意力重新校准不同大小的雨滴。Shao等人(2021a)又提出不确定性引导的多尺度注意网络模块去除雨滴，作者将掩码提取从硬掩码推广到软掩码，掩码取值域为[-1, 1])表示背景上雨滴的模糊隶属度，利用雨滴模糊隶属度属性使得对雨滴去除更有弹性更精细，其次作者构建了一个多尺度的金字塔结构，用迭代机制来提取雨滴的多尺度模糊信息去除雨滴恢复干净背景图。Liu等人(2019)使用成对对偶算子提出双残差编解码网络模型完成雨纹、雨滴、霾、模糊和噪声的去除。但是，针对不同的任务作者构建了不同的网络模块，也体现了不同任务蕴含不同的先验知识在网络中的嵌入引导作用。但是每种任务对应的网络都包含由多尺度模块提取有损图像不同尺度的特征，都包含注意力模块提取位置信息，都使用循环学习方式由粗到精恢复背景图像。以上面向雨滴去除的图像去雨算法都基于有监督学习机制隐式嵌入领域知识去构建网络模型。

2.2 雨纹场景

2.2.1 有监督

有监督学习机制即计算预测的去雨图像与真实的无雨图像之间的损失优化网络。

1) 基于CNN的多分支结构。这类结构的典型文献有：Fu等人(2017a)提出一阶段并行网络去雨算法DerainNet；Li等人(2019d)提出深度分解组合网络(deep decomposition composition network, DDCNet)。Fu等人(2017a)将图像分解为低频基本层(base layer)和高频细节层(detail layer)，设计简单的CNN网络学习特征去除高频层的雨纹，然后将增强后的高频层与低频层进行融合即可得到最后重构的干净背景层。Li等人(2019 d)构建的模型第1阶段由分解模块组成，第2阶段由组合模块构成，分解模块由干净背景分支和辅助雨纹并行分支构成，两分支分别提取无雨背景图，雨纹掩码。第2阶段基于屏幕混绕模型将第1阶段输出的背景和雨纹掩码再合成雨图，利用合成雨图和原始雨图的残差训练网络提高去雨性能。这种网络构建方式隐式嵌入了雨图的物理模型。

2) 基于GAN的生成结构。由于GAN模型具有保持背景细节的作用，背景细节如: 潮湿地面、背景纹理等。基于GAN的图像去雨或者雨图渲染工作非常多，有采用有监督学习机制，也有采用半/无监督学习机制。有监督的代表性的工作如Wang等人(2020h)提出了一种端到端的双任务去雨网络(dual-task deraining network, DTDN)。它由生成对抗网络(GAN)和卷积神经网络(convolutional neural network, CNN)两个子网络组成。DTDN-GAN主要用于去除雨纹，而DTDN-CNN主要用于恢复原始图像中的细节。该算法隐式嵌入了雨图合成的物理背景知识或者雨图的先验知识。

3) 多尺度结构。近年来有一部分算法注重多尺度提取雨图特征。利用雨天图像在相同尺度或不同尺度内的自相似性协助提高去雨性能。Fu等人(2020)构建了轻量化特征金字塔网络(lightweight pyramid network, LPNet)算法，使用图像处理领域的知识简化了学习过程。作者在神经网络中引入高斯—拉普拉斯图像金字塔分解技术后，通过各金字塔层采用递归和残差网络结构提取3个尺度的雨图特征映射，并逐尺度去雨后合并输出干净雨图。

4) 基于编解码结构。Du等人(2020a，b) 利用VAE(variational auto-encoder)的强大的学习复杂数据的潜在结构的特点提出了条件变分图像去雨网络(conditional variational image deraining，CVID)。假定输入数据和输出数据条件下相应的潜在变量向量服从某参数下的独立高斯分布，利用编、解码器学习相应参数。然后分信道恢复干净背景图加权输出预测。该算法添加了空间密度估计(spatial density estimation, SDE)模块来估计每个图像的雨密度映射。CVID网络是雨图先验假设显式引导下构建的网络模型。因此，本文也把此模型归为数据模型双驱动学习方式。此外，Li等人(2018a)提出了一种由对称编码器和解码器组成的非局部增强网络(non-locally enhanced encoder-decoder network, NLEDN)，准确地提取了雨纹的有效特征，并较好地保留了图像细节。Wang等人(2021a)结合表示学习的方式构建编解码结构提高图像去雨效果。后两个算法结构属于领域知识隐式引导构建而成。

5) 基于模型和数据学习方式。一般的网络模型属于不可解释的黑箱，因为不可解释就可能存在隐藏的风险，于是，近年来很多学者探索构建可解释的网络模型解决机器视觉问题。可解释的深度学习网络构建形式一般有两种，一种形式是将图像处理、传统的机器学习等领域知识和模型直接结合的组合式双驱动学习方式(Yang等，2019a；Xue和He，2021；Wang等，2021d)；另一种是在模型驱动中依靠已有数据学习模型参数的嵌入式双驱动学习方式(Wei等，2019a；Du等，2020a, b；Yasarla和Patal，2020；Wang等，2021c)。后者一方面通过传统模型对先验知识有了充分利用，另一方面通过优质数据学习模型参数使得模型更具有灵活性(如图 12所示)。关于雨纹有监督的嵌入式双驱动图像去雨算法，如Xue和He(2021)针对雨纹的去除，提出了局部二值模式条件生成对抗网络(local binary pattern conditional generative adversarial network, LBP-CGAN)，作者用$\mathit{\boldsymbol{R}}$表示雨条纹图像，$\mathit{\boldsymbol{D}}$表示雨特征数据集，$\mathit{\boldsymbol{O}}$表示雨图，$\mathit{\boldsymbol{B}}$表示干净背景图。先将$\mathit{\boldsymbol{R}}$和$\mathit{\boldsymbol{D}}$输入一个CNN模块；再将这个模块的输出结果加上$\mathit{\boldsymbol{B}}$输入另一个CNN模块；第2个模块的输出加上$\mathit{\boldsymbol{O}}$输入第3个CNN模块；第3个模块输出加上第1个模块的输出，通过公式${\mathit{\boldsymbol{B}}_{{\rm{clear}}}} = 1/\alpha [\mathit{\boldsymbol{O}} - (1 - \alpha)\sum\limits_{j{\rm{ }} = 1}^J {{\mathit{\boldsymbol{D}}_j} \circ R} ]$得出干净背景图(代表像素相乘)。这种方法将雨物理模型和网络相结合，因此网络具有一定可解释性。



图 12 模型和数据驱动的框架示意图
Fig. 12 Overview of the model-driven and data-driven framework

2.2.2 半/无监督

半监督模式使用带标记和无标记数据一起训练网络，可以在迁移学习、域自适应和网络参数共享等方面优化网络。如，Wei等人(2019a)使用Fu等人(2017b)提出的深度细节网络(deep detail network, DDN)作为骨干网络，高斯混合模型(Gaussian mixture model, GMM)作为先验形式，以半监督的方式通过合成成对图像和真实不成对雨图训练网络得到图像去雨模型。这种半监督策略降低了数据采集成本，并在一定程度上缓解了网络过拟合问题。考虑到GMM在模拟真实降雨层时的不充分性，Yasarla等人(2020b)结合高斯处理过程提出了一种新的半监督学习(semi-supervised learning, SSL)，对中间变元进行提取学习来微调网络，获得了更好的泛化性。

2.3 雨雾场景

1) 基于注意力机制和Transformer。网络设计中越来越关注注意力模块的加入，近年的去雨算法几乎都有注意机制模块的设计，如，Hu等人(2019)分析了不同场景深度下的雨的视觉效果，构建了雨成像模型，构建深度注意力特征网络(depth-attentional features networks, DAFNet)。该算法创新性地构建了由图像深度物理属性引导的注意机制模块，由该注意力模块抓取图像深度特征。更为突出的就是Transformer的提出，完全由注意力模块组成的网络结构。Qin等人(2021)提出了高效Transformer去雨网络(efficient Transformer derain network, ETDNet)，其中efficient Transformer模块可以提取出丰富的多尺度和上下文信息协助模型从粗到细去除雨纹。Tan等人(2021)首次将移动窗口Transformer (shifted windows Transformer，Swin-Transformer)引入图像去雨领域，改进了Swin-Transformer的基本模块，表现出优良的去雨性能。注意力模块的构建和融入也属于隐式嵌入了雨图形成的物理属性和雨层表现的先验知识。

2) 基于模型和数据学习方式。在单幅图像去雨的工作中，嵌入式可解释模型、数据双驱动的图像去雨算法代表文献如Wang等人(2020d)。作者提出可解释雨的卷积词典网络(rain con-volutional dictionary network, RCDNet)，建立了雨纹的卷积字典RCD模型，并利用近端梯度下降技术设计了一个只包含简单算子的迭代算法求解模型，通过网络展开，构建了RCDNet网络结构，其中每个网络模块都有明确的物理意义，并与算法中涉及的相应算子对应。Wang等(2020d)进一步构建一个称为DRCDNet(dynamic RCDNet)的动态雨卷积字典网络，获得了更好的泛化能力。Wang等人(2020g)构建了一种算法，作者首先分析简化雨形成的物理机制，提出了一个雨模型$\mathit{\boldsymbol{I = T}} \circ \mathit{\boldsymbol{B}} + \mathit{\boldsymbol{R}}$($\mathit{\boldsymbol{T}}$表示有雾的雨图，$ \circ $表示像素相乘)，使用3个子网络VNet(vapor transmission maps, ${\mathit{\boldsymbol{T}}_V}$)、ANet(atmosphere light, $\mathit{\boldsymbol{A}}$)、SNet(transmission maps, ${\mathit{\boldsymbol{T}}_S}$)分别学习大气传输映射${\mathit{\boldsymbol{T}}_V}$、大气光$\mathit{\boldsymbol{A}}$及雨纹的传输映射${\mathit{\boldsymbol{T}}_S}$，由物理模型$\mathit{\boldsymbol{O}} = \left({{\mathit{\boldsymbol{T}}_S} + {\mathit{\boldsymbol{T}}_V}} \right) \circ \mathit{\boldsymbol{B}} + \left[ {1 - \left({{\mathit{\boldsymbol{T}}_S} + {\mathit{\boldsymbol{T}}_V}} \right)} \right] \circ \mathit{\boldsymbol{A}}$反解得到干净的背景$\mathit{\boldsymbol{B}}$。以上网络模型的构建显式地嵌入了相关领域知识。

2.4 暴雨场景

1) 循环和多阶段结构。Li等人(2017)针对暴雨、各种不同尺度的相互重叠的雨纹，设计了尺度敏感多阶段递归渐进去雨网络(scale-aware multi-stage recurrent network, SMRNet)，各阶段由多个并行网络构成，这些并行网络的不同分支提取不同尺度的雨纹信息，通过跨阶信息传递可以利用信息冗余渐进去除雨纹，最终得到较好的干净背景的视觉效果，n阶或迭代循环简略网络结构见图 13。Ren等人(2019)通过重复展开浅层ResNet，构建渐进式残差神经网络(progressive ResNet, PRN)，继而引入一个循环层，利用各级深层特征的依赖性，构建了渐进循环去雨网络(progressive recurrent network, PReNet)。循环或多阶段去雨都假设雨层是叠加形成的，考虑到了雨形成的大气光、传输映射等成因，而且考虑到了解雨的形成首先要了解雨纹定位以及雨纹、雨层和背景的位置关系，也就是要从局部到全局提取相应的信息协助图像去雨。另一方面雨量的增大可看做雨层的叠加，图像去雨是一个逆过程，自然考虑到设计循环多阶段渐进去雨的构架。



图 13 N阶循环网络模型示意图
Fig. 13 Overview of N-stage recurrent network
((a)DFN(Ding et al., 2021a); (b)ReHEN(Yang and Lu, 2019c); (c)PReNet(Ren et al., 2019); (d)SMRNet(Li et al., 2017))

2) 多尺度结构。Yang等人(2020a)开发了雨的累积模型(rain accumulation model，RAM)，用RAM模型模拟真实暴雨、雨纹积累和重叠的现象，然后基于RAM模型设计了联合雨的检测和去除(joint rain detection and removal, JORDER)深度学习网络。网络的核心创新点是用上下文扩展网络模块(contextual dilated network, CDN)提取多尺度的雨图特征。不同尺度的上下文信息是通过3个具有不同扩张因子和感受野的卷积路径得到，再通过递归结构，为后续各层提供越来越大的感受野，从而提取全局上下文信息。Jiang等人(2020)提出了多尺度渐进融合网络(multi-scale progressive fusion network, MSPFN)。该网络结构也采用多尺度金字塔结构，提取多尺度信息并且对应尺度去雨后级联融合得到干净雨图。该算法从输入图像的不同尺度和层次深度的角度抓取雨纹的多尺度协同表示力。对于不同位置相似的雨纹，采用长短期记忆网络(long short term memory network, LSTM)循环计算捕获全局纹理特征，从而得到空间维上的互补信息和冗余信息来表征目标雨纹。多尺度网络结构是汲取了图像的非局部相似性的领域知识去设计网络，也属于隐式嵌入领域知识的方式。

3) 基于模型和数据学习方式。Yang等(2019a)构造了扩展的残差密集网络，结合小波学习去除雨纹，其中小波分解将图像分解为高频和低频成分，对低频成分进行去雨，在恢复的低频成分的指导下采用递归模块对高频成分上的细节进行循环恢复。Vu等人(2021)让网络结合集成学习的方法构建组合式双模学习框架，实现了单幅图像暴雨的去除。该算法使用3个子网络，空间通道注意力网络、初始残差网络和初始通道注意力网络，分别提取了粗去雨图像、中间干净背景图和干净背景图，将所得结果集成学习后输出，集成学习的权重使用注意力混扰模块学习。

2.5 联合任务图像去雨

现实中，机器视觉任务面对处理雨滴和雨纹、雨雾，以及霾、雪和模糊等同时出现导致图像质量降低的现象更为常见，因此联合任务的去雨工作也逐渐得到关注。但是主流的联合任务图像去雨算法文献仅涉及有监督机制下学习算法模型。

Quan等人(2021)提出了互补级联CCN(complementary cascaded network)网络同时去除雨纹和去除雨滴。首先将雨图输入两个并联的分支，一个分支先经由雨条去除模块(rain streak removal, RSR)去除雨纹输出结果，并进入雨滴去除模块(raindrop removal, RDR)去除雨滴再次输出结果；另一个分支先经由RDR模块去除雨滴输出结果，并进入RSR模块去除雨纹再次输出结果；最后将这4个输出级联后输入到基于注意力的特征融合模块(attention based feature fusion, AFF)，恢复出干净背景图。这个网络使用神经网络搜索(neural architecture search, NAS)方法得到。Zhang等人(2021a)提出双重注意力(dual attention-in-attention model, DAiAM)网络可以去除连续雨量的雨纹和雨滴。DAiAM网络包含两个并行用于去除雨纹和雨滴的双重注意力模块，这个双注意力模块有两个注意力映射分别关注大雨和小雨，指导去除不同雨量的雨纹和不同大小的雨滴，从而重建出干净的背景图。Wang等人(2021e)提出了一种高效的基于Transformer的Uformer网络结构，使用Transformer块构建了一个分层的跳跃连接的编解码网络结构实现基于多尺度特征编解码的图像恢复过程。Li等人(2020b)使用一个网络，同样的权值参数联合去除雨、雾、雪和雨滴等，恢复出干净背景图像，本文将此算法简记为Li-Net。为了实现联合任务图像去雨，作者首先设计了一个由多个特定恶劣天气退化任务对应的编码器组成的生成器；然后利用神经结构搜索优化处理从所有编码器提取的图像特征；最后，引入了一系列基于张量的操作，将退化的图像特征转换为干净的背景特征。其中，在网络中封装了雨、雾、雪和黏附雨滴形成背后的基本物理原理。

2.6 去雨和生成循环交互

基于深度学习的单幅图像去雨性能的提高既依赖高质量的数据集，又依赖有效的算法设计。现有算法大多数致力于复杂有效的网络结构搭建，然后在现有的合成数据集上进行训练。由于现有的合成数据集包含的雨的种类有限，且与真实数据集之间往往存在分布差异性，所以算法的泛化性通常都有局限。针对这个挑战，近年来出现了合成与去雨循环交互促进的算法，一方面从数据中学习雨和背景的真实成像属性从而更好地提高去雨性能；另一方面通过去雨算法加深对雨的内在属性的理解，从而辅助合成更为逼真的雨图。本文根据学习机制将此类算法分为以下3类。

2.6.1 有监督

Ni等人(2021)提出雨强度控制网络(rain intensity controlling network, RICNet)，如图 14所示。该网络通过双向连续控制雨量达到去除各种雨量类型的雨，同时也合成连续雨量的雨图。首先雨图经过背景提取网络(background extraction network，BEN)和高频雨条估计网络(high-frequency rain streak elimination network，HREN)，然后将这两个网络的输出和雨图一同输入到主要控制网络中(main controlling network，MCN) (此网络包含并行门控模块(parallel gating module，PGM)和噪声增强模块(noise boosting module，NBM))，通过在深度特征空间中插值，可以连续控制雨图的雨量由小变大，反之通过一个递减的学习策略使得大雨变为小雨，图 14从下到上生成连续雨量的雨图，从上到下连续渐次去除雨，恢复出无雨图。



图 14 RICNet网络示意图
Fig. 14 Overview of RICNet network

2.6.2 半/无监督

Ye等人(2021)提出了联合雨的生成和去除(joint rain generation and removal, JRGR)网络如图 15所示。具体来说，网络由合成—真实模块(synthetic to real, S2R)和真实—合成模块(real to synthetic, R2S)构成，目标为使合成图像更加逼近真实雨图，缩小合成图像和真实图像之间的域的鸿沟。该网络在每个模块中嵌入图像去雨模块和雨图生成模块，从而保证了雨图生成或图像去雨算法的鲁棒性。为了更好地恢复背景图像，网络还引入干净背景的自一致性损失和对抗性损失用于训练网络提升模型效果。Wei等人(2021b)提出Semi-Derain GAN，由有监督和无监督的两个分支构成，通过半监督雨的掩码学习器(semi-supervised rain mask learner, SSRML)模块提取雨图和真实雨图中雨纹的物理属性，使提取的属性在上下两个分支中共享，上分支网络去雨，下分支网络合成雨图，同时完成图像去雨和雨图合成。



图 15 JRGR网络示意图(Ye等，2021)
Fig. 15 Overview of JRGR network(Ye et al., 2021)

Zhu等人(2019)的雨的去除生成对抗网络(rain removal GAN, RR-GAN) 算法设计了新颖的生成器和判别器。生成器由循环多级的注意记忆模块和U-Net构成，判别器由多尺度的深度监督网络构成。生成器使用不成对的雨图和干净的图来训练注意力记忆模块，聚合来自不同阶段的潜在雨纹掩码和上下文信息，雨图和潜在的雨纹掩码信息同时输入U-Net恢复出干净背景图像。恢复后的背景图通过鉴别器进行正则化，无论低级细节或全局层次结构上都保证了恢复的背景图的外观尽可能接近用于训练的干净背景图。同时将这些潜在雨纹掩码和恢复的干净背景图通过雨纹模型(rain streak model, RSM)合成雨图，让合成的雨图和原始雨图满足一致性正则作为损失函数的一部分来进行微调网络，使得恢复的干净背景图保持了真实的颜色和结构。Jin等人(2019)提出了一种无监督去雨对抗网络(unsupervised deraining GAN，UD-GAN)。分别由雨纹导向模块(rain guidance module, RGM)和背景导向模块(background guidance module, BGM)关注雨和背景层，在它们的导向下，由${G_C}$(生成器)生成无雨图，将此无雨图输入${D_C}$(判别器)得到干净无雨背景图，同时将${G_C}$(生成器)生成无雨图经由${G_R}$(生成器)完成保持与原图颜色和纹理一致的雨图的循环重建。Wei等人(2021a)提出基于有约束的循环生成对抗网络的注意力导向单幅图像去雨算法DerainCycleGAN (attention-guided deraining by constrained CycleGAN)，该网络有两个分支(如图 16)，每个分支有3个部分。3个部分是：无监督学习的基于注意力的雨纹提取器(unsupervised attention guided rain streak extractor, U-ARSE)，同时关注雨图中雨纹信息；两个生成器${G_N}$和${G_R}$分别生成无雨图和有雨图；两个鉴别器${D_N}$和${D_R}$鉴别生成图像的真假。得到两个有约束U-ARSE的网络分支是：雨—无雨—合成雨图，无雨图—雨—恢复无雨图，用它们完成雨图和无雨图的重建。文献不仅实现了图像去雨任务，还通过合成分支构建了成对的雨图数据集Rain200A。



图 16 DerainCycleGAN网络示意图(Wei等，2021a)
Fig. 16 Overview of DerainCycleGAN network (Wei et al., 2021a)

2.7 现有图像去雨算法实验效果分析

本文测试了具有代表性的7种去除雨纹的算法：RESCAN(循环迭代)、PReNet(多阶段)、SISR (半监督)、DerainNet(多分支结构)、DCSFN(多尺度)、RCDNet(双驱动)和DualGCN(多尺度)。这7种算法在Rain100H的训练集上训练，分别在Rain100H的测试集和真实雨图上进行测试。另外，本文在Raindrop的训练集训练去雨滴算法：DuRB(注意力机制)、Attentive Gan(基于GAN)，然后在Raindrop的测试集上测试。在Rain800的训练集上训练去雨循环互促算法DerainCycleGan、RR-Gan、UD-GAN、和RICNet，然后在Rain800的测试集上测试。测试结果分析如下：

1) 定性分析。从图 17可见，7种图像去雨算法在合成雨图集Rain100H的测试集的测试效果，从图 18可见它们在真实雨图的雨纹去除泛化效果。从图 19可见DuRB、Attentive GAN在真实雨滴污染图像上的去除效果。可以证实如下结论：从背景纹理细节保持的程度来看(图 17)，算法RCDNet背景细节保持最好，可见模型数据双驱动算法能够充分利用准确的先验知识有效构建算法模型。从去雨效果来看(图 18)，迭代算法RESCAN和多阶段算法PReNet去雨效果相对较好，原因是通过多阶段或者通过迭代可以渐次从局部到全局提取图像的位置信息，协助准确定位提高图像去雨效果。SISR不能去除明显的雨纹，效果较差，初步分析可能的原因是该算法使用的CNN共享网络模型较简单所致。利用低通滤波器将雨图分解为细节层和背景层，从而分别进行特征提取的算法DerainNet的去雨效果相对较好，但是背景纹理恢复有局部效果不满意的表现，说明雨纹纹理和背景纹理有效区分的先验知识的挖掘还有待进一步研究。从泛化性来看(图 18)，模型数据双驱动算法RCDNet泛化性能较好，说明双驱动模型能够使用准确的可解释性有效地构建算法模型。从雨滴去除效果可见(图 19)，相比较Attentive GAN严重模糊了图像背景细节，DuRB算法清晰地保留了图像背景细节信息，而且在视觉上去除雨滴效果好，可能的原因是后者嵌入多尺度注意力模块可以提取雨滴的位置信息和相关冗余信息。



图 17 7种图像去雨算法在Rain100H上的测试效果
Fig. 17 Test effect on Rain100H with seven rain removal algorithms
((a)input; (b) DerainNet(Fu et al., 2017a); (c) RESCAN (Li et al., 2018b); (d) PReNet (Ren et al., 2019); (e) SISR (Wei et al., 2019a); (f) DCSFN (Wang et al., 2020b); (g) RCDNet (Wang et al., 2020d); (h) DualGCN (Fu et al., 2021))



图 18 泛化性测试
Fig. 18 Test of generalization performance
((a)input; (b) DerainNet(Fu et al., 2017a); (c) RESCAN (Li et al., 2018b); (d) PReNet (Ren et al., 2019); (e) SISR (Wei et al., 2019a); (f) DCSFN (Wang et al., 2020b); (g) RCDNet (Wang et al., 2020d); (h) DualGCN (Fu et al., 2021))



图 19 2种算法在Raindrop上的去雨结果
Fig. 19 Results of raindrop removal on the Raindrop with two algorithms
((a)input; (b) ground truth; (c) Attentive Gan (Qian et al., 2018); (d) DuRB (Liu et al., 2019))

2) 定量分析。(1) 由表 9可见7种图像去雨算法在合成雨图上去除的PSNR、SSIM值，RCDNet的PSNR和SSIM值最高，说明模型数据双驱动算法的去雨性能优于数据驱动的算法，这也充分体现了领域知识显式正则嵌入，先验知识有效挖掘的重要性；(2)由表 10可见雨滴去除的PSNR、SSIM值，对于Raindrop两个测试集和两个评估指标的4个组合，DuRB方法的PSNR和SSIM值都优于Attentive GAN，说明多尺度注意力优于单尺度的注意力模块；(3)由表 11可见4种去雨循环互促算法去除雨纹的PSNR、SSIM值，RICNet与其他方法相比取得了更高的PSNR和SSIM值，说明RICNet具有更好保持自然属性的性能。

表 9 在Rain100H和Rain100L数据集上各类算法平均PSNR和SSIM
Table 9 Average PSNR and SSIM of various algorithms on Rain100H and Rain100L datasets

下载CSV
算法 Rain100H Rain100L
PSNR/dB SSIM PSNR/dB SSIM
输入图像 14.46 0.45 25.61 0.83
DerainNet 15.62 0.64 25.37 0.77
RESCAN 28.98 0.82 30.26 0.91
PReNet 28.88 0.84 30.05 0.86
SISR 18.25 0.51 23.78 0.82
DCSFN 30.68 0.86 28.63 0.84
RCDNet 31.28 0.91 39.59 0.98
DualGCN 29.86 0.84 30.66 0.87
注：加粗字体表示最优结果。

表 10 在Raindrop数据集上各类算法平均PSNR和SSIM
Table 10 Average PSNR and SSIM of various algorithms on Raindrop dataset

下载CSV
测试集 DuRB Attentive GAN
PSNR/dB SSIM PSNR/dB SSIM
Test_a 31.49 0.92 22.34 0.68
Test_b 22.56 0.81 17.73 0.54
注：加粗字体表示最优结果。

表 11 去雨循环交互算法在Rain800上的结果比较
Table 11 Comparison of results of rain removal of cycle interactive algorithms on Rain800

下载CSV
指标 RR-Gan UD-GAN RICNet DerainCycleGAN
PSNR/dB 23.51 25.98 27.11 24.32
SSIM 0.757 0.909 0.869 0.842
注：加粗字体表示最优结果。

3 图像去雨后续高层任务研究

类似于Wang等人(2016)、Liu等人(2018)、Li等人(2019a)、Jin等人(2021)探讨图像增强对后续任务的重要性，近年来，图像去雨算法也逐渐关注到后续任务的性能提升。图像去雨通常可作为目标检测、行人重识别等后续高层任务的预处理步骤，使用后续任务来判定去雨算法性能这一思想已逐渐受到更多学者的关注(Li等，2019c；Liu等，2019；Fu等，2020；Jiang等，2020, 2021；Zhang等，2020a；Wang等，2020a；Jin等，2021)。以下介绍此方向的典型工作。

Li等人(2019c)在单幅图像去雨领域尝试了利用后续高层任务的性能评价图像去雨性能，创建了一个去雨算法性能评估的任务驱动式评价标准。文献收集了两个真实雨图数据集RID(rain in driving)和RIS(rain in surveillance)。作者给两个数据集中所有图像都标注了汽车、人、公共汽车、自行车和摩托车等对象边界框。由于雨图特点不同，对于RIS使用去除雨滴预处理，对于RID使用去除雨纹和雨雾的预处理。作者用目标检测模型，如Faster RCNN(region CNN) (Ren等，2017)、YOLO-V3(you only look once)(Redmon和Farhadi，2018)，在去雨预处理后的数据集上测试其目标检测性能。实验表明，去除雨的效果越好，目标检测模型(在恢复的干净图像上训练)的表现就越好。图 20展示了去雨后使用YOLO-V3进行目标检测的结果。同样地, Fu等人(2020)提出去雨的轻加权金字塔网络LPNet。他们对比了单纯的Faster RCNN(Ren等，2017)和LPNet+Faster RCNN对雨图的检测效果，无论从丢失检测对象或检测识别的置信度上，后者相较前者性能均有提高。



图 20 对RIS去雨后目标检测结果(Li等，2019c)
Fig. 20 Object detection results after deraining from RIS rain image (Li et al., 2019c)

Tremblay等人(2021)使用了3种不同的方法，基于物理模型的、基于数据的、基于物理和数据相结合的合成技术增强KITTI、Cityscapes和nuScenes数据集。数据增强处理之前，这3个数据集分别面向目标检测、语义分割和深度估计进行了基准标注。数据增强处理之后得到相应的不同雨量(小、中、大)的雨图数据集Rain KITTI、Rain Cityscapes、Rain nuScenes。Faster RCNN算法分别在KITTI和小中大Rain KITTI数据集上测试目标检测，结果如图 21所示，随着雨量增大，Faster RCNN目标检测识别率变小；金字塔场景解析网络(pyramid scene parsing network, PSPNet) (Zhao等，2017) 在Cityscapes和小中大Rain Cityscapes数据集上测试语义分割，结果如图 22所示，随着雨量增大，PSPNet语义分割误差变大；BTS(big to small)(Lee等，2019)算法在nuScenes和小中大Rain nuScenes上测试深度估计，结果如图 23所示，随着雨量增大，BTS深度估计误差变大。



图 21 基于PBR增强后KITTI数据集的目标检测(Tremblay等，2021)
Fig. 21 Object detection on PBR rain augmentation of KITTI(Tremblay et al., 2021)
((a) clear weather; (b)small rain; (c) moderate rain; (d)heavy rain)



图 22 基于PBR增强后Cityscapes数据集的语义分割(Tremblay等，2021)
Fig. 22 Qualitative evaluation of semantic segmentation on our PBR rain augmentation of Cityscapes(Tremblay et al., 2021)
((a) clear weather; (b)small rain; (c) moderate rain; (d)heavy rain)



图 23 基于PBR增强后nuScenes数据集的深度估计(Tremblay等，2021)
Fig. 23 Depth estimation on our PBR rain augmentation of nuScenes(Tremblay et al., 2021)
((a) clear weather; (b)small rain; (c) moderate rain; (d)heavy rain)

随着安全监控、自动驾驶和导航系统的快速发展，高层后续任务的应用越来越广泛。图像去雨作为重要的预处理步骤，对于推动这些任务在恶劣天气下的鲁棒性提升具有重要的价值与意义，需要领域学者持续的关注和推动。但目前存在的问题是面向特定任务的数据集很少，而且目前大部分都是合成的雨图，数据集的质量欠佳，导致不能够训练出好的模型，不能帮助提高后续高层任务的算法性能。

目前，去雨后续高层任务的研究比较少见，但是实际应用中视频监控、无人驾驶视觉分析，野外深度评估等都需要各种天气下的图像的预处理工作，特定任务数据集的构建或联合底/高层任务的算法设计都是极有意义的研究方向。

4 评价指标

图像去雨算法的性能分析和雨图合成的数据集的质量评估都需要公平的图像质量评价(image quality assessment，IQA)指标。现有的评价指标一般分为主观评价和客观评价(Athar和Wang，2019)。主观评价就是收集被测试者对测试图像的质量感知的可靠的打分结果平均值(mean opinion scores，MOSs)作为人类对测试图像质量的评估结论。在主观评价方法中，主要的几个已成为ITU-R(International Telecoommunication Union-Radiocommunication Sector)和ITU-T(International Telecmmunication Union-Telecommunication Standardization Sector)推荐规范中的标准化方法，一般分为单刺激因素、双刺激因素和多刺激因素。客观评价方法就是构造评价模型实现算法性能评价自动化(Ma和Fang，2021)。根据有无参照信息将客观评价方法分为全参考(full-reference，FR)、部分参考(reduced-reference, RR)、无参考(no-reference, NR)评价方法或称盲图像质量评价(Li等，2020a；Ma等，2021)。以上评价方法又通称为通用的评价指标。近年来，学者们开始关注另外一种面向特定任务或后续任务，通过任务实现性能的好坏来评价前期图像处理的效果的方法，称为任务驱动式评价指标。

本文所调研的主流文献使用的评价方法包括主观评价方法、全参考客观评价方法和无参考客观评价方法。分别有：主观意见分(mean opinion score，MOS) (Yang等，2021)、average MOS(Yang等，2021)、结构相似度(structural similarity index measure, SSIM)(Wang等，2004)、基于各向异性的盲图像质量评估(blind image quality assessment through anisotropy, BIQAA)(Gabarda和Cristóbal，2007)、峰值信噪比(peak signal to noise ratio, PSNR)(Huynh-Thu和Ghanbari，2008)、盲图像质量指数(blind image quality index, BIQI)(Moorthy和Bovik，2010)、基于离散余弦转换统计的盲图像完整性标记(blind image integrity notator using DCT statistics，BLIINDS-II)(Saad等，2010)、自然图像质量评估器(naturalness image quality evaluator, NIQE)(Mittal等，2013)、无参考图像空间质量评估器(blind/reference less image spatial quality evaluator, BRISQUE)(Mittal等，2012)、基于空间普熵的质量(spatial-spectral entropy based quality, SSEQ)(Liu等，2014)、基于感知的图像质量评估器(perception-based image quality evaluator，PIQE) (Venkatanath等，2015)、融合局部的自然图像质量评估器(integrated local NIQE，ILNIQE)(Zhang等，2015)、盲图像质量评价(blind image quality assessment，BIQA)(Zhang等，2015)、超像素(super resolution，SR) (Ma等，2017)、基于熵的无参考图像质量评价(entropy-based no-reference image quality assessment，ENIQA)(Chen等，2019)以及任务驱动式评价方法。最常用来评价的指标还是传统的PSNR、SSIM等。本文整理了这些评价方法的分类以及来源，详细内容见表 12。

表 12 评价指标分类信息
Table 12 Classification information of evaluation metrics

下载CSV
评价指标 分类 方法 来源
MOS 主观 由人类对每种算法去雨之后的若干张干净背景图进行打分，然后将每一类样本分数加起来进行排序 Yang等人(2021)
average MOS 主观 拟合Bradley-Terry模型来估计每种算法的MOS分数，然后将不同样本的结果通过几何平均值进行组合之后排序 Yang等人(2021)
SSIM 客观全参考 $SSIM\left({\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}} \right) = l\left({\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}} \right) \cdot c\left({\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}} \right) \cdot s\left({\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}} \right)$; $l$为亮度，$c$为对比度，$s$为结构相似度 Wang等人(2004)
PSNR 客观全参考 $PSNR = 10\lg \left({\frac{{{{\left({{2^n} - 1} \right)}^2}}}{{MSE}}} \right)$ Huynh-Thu和Ghanbari(2008)
BIQAA 客观无参考 将各向异性测量作为度量来评估图像的保真度和质量 Gabarda和Cristóbal(2007)
BIQI 客观无参考 使用失真图像统计进行失真分类与失真感知，然后将失真分类与失真感知的图像质量评价结合 Moorthy和Bovik(2010)
BLIINDS-II 客观无参考 基于观察局部离散余弦变换系数的统计来预测图像质量 Saad等人(2010)
BRISQUE 客观无参考 提取局部归一化亮度信号的点方向统计量，并根据测量的与自然图像模型的偏差来度量图像的自然度 Mittal等人(2012)
NIQE 客观无参考 在不了解预期失真或人类对其看法的情况下评估图像质量 Mittal等人(2013)
SSEQ 客观无参考 采用两阶段的图像失真分类和质量评估框架，利用支持向量机训练图像失真和质量预测 Liu等人(2014)
PIQE 客观无参考 依赖于提取局部特征来预测质量 Venkatanath等人(2015)
ILNIQE 客观无参考 通过整合自然图像统计特征，利用学习到的多元高斯模型，利用类Bhattacharyya距离来衡量每个图像块的质量，然后通过平均池化得到整体质量分数 Zhang等人(2015)
BIQA 客观无参考 从训练图像中学习与人类主观评分相关的回归模型，以预测测试图像的感知质量 Zhang等人(2015)
SR 客观无参考 利用3种空间和频域的低层次统计特征来量化超分辨率伪影，并学习一种两阶段回归模型来预测图像的质量分数 Ma等人(2017)
ENIQA 客观无参考 从两个域提取图像特征，然后利用提取的所有特征，利用支持向量分类器(support vector classifier, SVC)进行失真分类，利用支持向量回归(support vector regression, SVR)进行质量预测，得到最终的质量评价分数 Chen等人(2019)
Faster RCNN 任务驱动式 在图像去雨之后进行目标检测，通过MAP值等来比较去雨算法好坏 Ren等人(2017)
YOLO 任务驱动式 在图像去雨之后进行目标检测，通过MAP值等来比较去雨算法好坏 Redmon和Farhadi(2018)

主观评价指标可靠准确，但是耗时费力，实现困难。尽管近年来基于深度学习的客观评价指标(Zhang等，2021c；Ma等，2021)的研究取得了快速进展，很多学者提出了融合全参考评价(Athar和Wang，2019)、无参考评价的方法(Zhang等，2020b)，融合主、客观评价方法(Li等，2016a)，但是，仍然存在全参考评价指标理想图像获取困难，无参考评价指标大多与人类图像质量感知相关性差(Zhang等，2021d)，因此，任务驱动式评价指标是近年来较为被关注的方法之一(Zhang等，2021d)。另一方面，不同评价指标对图像处理算法的优化性能评价也有所不同(Ding等，2021b)，数据集又各有特色，各有面对任务的不同，合成数据与真实数据域的鸿沟仍然很大，所以，关于图像去雨的基准数据集的建立和公平的评价体系的构建是未来的研究重点。

5 结语

本文对近年来面向单幅图像去雨任务的雨图数据集构建以及深度学习算法、雨天后续高层任务的工作以及图像去雨评价指标进行了回顾与介绍。特别地，本文提供了大部分数据集的构建方式以及下载网址，以便领域学者下载使用。此外，本文对当前基于深度学习的单幅图像去雨算法的介绍着重于分析领域知识在算法模型构建中显式正则嵌入或隐式的有效引导作用，并特别回顾了图像去雨、生成双向循环工作和图像去雨对后续高层任务的影响。

单幅图像去雨作为一个典型的图像处理病态反问题，是非常具有挑战性的研究任务。即使目前去雨算法得到了可喜的发展，仍然存在进一步研究空间。本文通过数据集的质量的比对以及算法网络设计的分析和性能比对，指出领域知识挖掘的重要性，领域知识的显式呈现比隐式引导更能提高算法性能或缓解对数据集的需求。

面临的挑战：

1) 真实数据集的采集代价很高、实现很难。合成雨图数据集雨纹种类有限，雨纹和背景的融合模型较为简单，忽略了亮度信息、深度信息等，因考虑的因素不足，导致合成雨图的逼真度低，而且合成雨图目前都没有真实表现出雨滴、雨雾和潮湿路面的自然效果。现有数据集的场景不够丰富，并且，面对特定高层任务的数据集构建规模较小。因此，更为全面领域知识的挖掘、构建与编码，对于建立更有效更合理的算法模型，合成多样逼真的数据集，均具有极其重要的价值与意义。

2) 真实数据采集困难，合成数据建模估计不足，导致合成数据集与真实数据集的域的鸿沟不可避免。造成的后果是使用合成数据集训练的算法模型在真实数据集上的去雨效果并不乐观，于是当前算法的跨数据的泛化能力仍是巨大的挑战。

3) 模型数据双驱动的思想仍处于初步阶段，需要进一步发展。模型驱动方法的一个突出特征是，当模型足够精确时，在理论意义上可严格证明预期解决方案的最优性，然而模型驱动方法的核心问题在于缺乏对现实场景与数据的自适应性与灵活适用性。反之，数据驱动方法尽管对于数据有很好的针对性与适用性，却缺乏具有理论根基的可解释性，且由于缺乏充分物理特性的嵌入刻画而导致在领域信息变化时发生过拟合问题，泛化性能差。因此如何挖掘全面有效的先验知识，结合模型驱动与数据驱动的算法构建依然面临巨大挑战。

4) 雨图背景纹理多样，很多背景纹理和雨纹的纹理非常相似，去雨算法效果好的时候很难避免背景的过度光滑。因此，有效准确提取雨的掩码，背景特征等先验知识存在挑战。

未来研究方向：

1) 多任务统一学习框架。在真实场景中，雨的类型不仅有雨纹，还有雨滴、雨雾等，可以考虑设计多任务统一学习框架将雨纹、雨滴和雨雾联合处理，在一定程度上可以提高算法的泛化性，同时在恶劣天气情况下，可以考虑雨雪雾的联合处理。

2) 针对特定场景处理。考虑比较多的场景，如夜间场景，它包含特定的点光源等，成像特性和雨天场景不一样，还可以考虑自动驾驶、视频监控和野外场景中面临的图像去雨问题等。

3) 泛化能力的提升。复杂的雨图模型设计，可以使训练数据更加逼真，现有数据集的使用方式比较少，未来可以寻找更多的模式，如自监督、增广等。学习模式的改变也对泛化性能的提升有一定帮助，未来可以探索更多无监督、半监督的算法，同时更有效、更全面的先验知识的挖掘和融入也可以提高算法的泛化性能。

4) 公开的评价体系。目前尚无一个基准数据集可以评价算法性能的好坏，未来可以结合下游任务提出更具有代表性的评价指标。

5) 雨天后续高层任务。底、高层任务联合处理，针对雨图特征提取，以后续任务作为引导可以提取出更有效的雨图特征，基于此提升高层任务的鲁棒性，也可以考虑将雨图先验引入到雨天高层任务中。

附录

文中缩写词全称：

DNLRB(dense non-local residual block), SPANet(spatial attentive network), SISR(semi-supervised), SKRF(selective Kernel convolution using a residual Refine factor), ID-CGAN(image de-raining conditional generative adversarial network), ERLNet(entangled representation learning network), VRGNet(variational rain generation network), QSMD(quasi-sparse multi-decoding deraining network), PRRNet(paired rain removal network), RDARENet(recurrent dual-attention-residual network)，DAF-Net(depth-attentional features network), UMRL(uncertainty guided multi-scale residual learning), DRD-Net(detail-recovery image deraining network), AMPE-Net(rain model parameter estimation network)，ETDNet(efficient transformer deraining network), SDNet(swin-transformer deraining network), RWL(recurrent wavelet learning), ReHEN(recurrent hierarchy enhancement network), RMP(residual multiscale pyramid), RDDAN(residual dense dilated aggregated network), MSRM(multi-scale residual model), RLNet(representation learning network), GLA-HRRNet(global and local attentions to effectively remove heavy rain from single images), LDNet(lightweight dense network), MRCANet(multi-resolution context aggregation network), NCANet(non-local channel aggregation network), MSKSN(multi-scale kernel selection network), D-DAiAM(differential-driven dual attention-in-attention model), JRGR (joint rain generation and removal), RICNet (rain intensity controlling network), SRNet (structural residual network)，DFN (distributed feedback network), CRFN (clique recursive feedback mechanism based network)，DCSFN(deep cross-scale fusion network), MSPFN (multi-scale progressive fusion network)，NLEDN(non-locally enhanced encoder-decoder network)

参考文献

  • Arbeláez P, Maire M, Fowlkes C, Malik J. 2011. Contour detection and hierarchical image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33(5): 898-916 [DOI:10.1109/TPAMI.2010.161]
  • Athar S, Wang Z. 2019. A comprehensive performance evaluation of image quality assessment algorithms. IEEE Access, 7: 140030-140070 [DOI:10.1109/ACCESS.2019.2943319]
  • Caesar H, Bankiti V, Lang A H, Vora S, Liong V E, Xu Q, Krishnan A, Pan Y, Baldan G and Beijbom O. 2020. nuScenes: a multimodal dataset for autonomous driving//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 11618-11628[DOI: 10.1109/CVPR42600.2020.01164]
  • Chai G Q, Wang D W, Lu B and Li Z. 2021. Lightweight dense network based on attention mechanism for single-image deraining[J/OL]. [2021-09-15]. Journal of Beijing University of Aeronautics and Astronautics, 1-8 (柴国强, 王大为, 芦宾, 李竹. 2021. 基于注意机制的轻量化稠密网络单幅图像去雨[J/OL]. [2021-09-15]. 北京航空航天大学学报, 1-8. https://kns.cnki.net/kcms/detail/detail.aspx?doi=10.13700/j.bh.1001-5965.2021.0294)
  • Chen C H and Li H. 2021. Robust representation learning with feedback for single image deraining//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 7738-7747[DOI: 10.1109/CVPR46437.2021.00765]
  • Chen S M, Chen W, Yin Z. 2022. Research status and prospect of single image rain removal algorithm. Application Research of Computers, 39(1): 9-17 (陈舒曼, 陈玮, 尹钟. 2022. 单幅图像去雨算法研究现状及展望. 计算机应用研究, 39(1): 9-17) [DOI:10.19734/j.issn.1001-3695.2021.05.0209]
  • Chen X Q, Zhang Q Y, Lin M H, Yang G Y, He C. 2019. No-reference color image quality assessment: from entropy to perceptual quality. EURASIP Journal on Image and Video Processing, 2019(1): 77 [DOI:10.1186/s13640-019-0479-7]
  • Cho J, Jang H, Ha N, Lee S, Park S, Sohn K. 2019. Deep unsupervised learning for rain streak removal using time-varying rain streak scene. Journal of Korea Multimedia Society, 22(1): 1-9 [DOI:10.9717/kmms.2019.22.1.001]
  • Cordts M, Omran M, Ramos S, Rehfeld T, Enzweiler M, Benenson R, Franke U, Roth S and Schiele B. 2016. The cityscapes dataset for semantic urban scene understanding//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 3213-3223[DOI: 10.1109/CVPR.2016.350]
  • Deng S, Wei M Q, Wang J, Feng Y D, Liang L M, Xie H R, Wang F L and Wang M. 2020. Detail-recovery image deraining via context aggregation networks//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 14548-14557[DOI: 10.1109/CVPR42600.2020.01457]
  • Ding J J, Guo H L, Zhou H, Yu J, He X X, Jiang B. 2021a. Distributed feedback network for single-image deraining. Information Sciences, 572: 611-626 [DOI:10.1016/j.ins.2021.02.080]
  • Ding K Y, Ma K D, Wang S Q, Simoncelli E P. 2021b. Comparison of full-reference image quality models for optimization of image processing systems. International Journal of Computer Vision, 129(4): 1258-1281 [DOI:10.1007/s11263-020-01419-7]
  • Du Y J, Xu J, Qiu Q, Zhen X T and Zhang L. 2020a. Variational image deraining//Proceedings of 2020 IEEE Winter Conference on Applications of Computer Vision (WACV). Snowmass, USA: IEEE: 2395-2404[DOI: 10.1109/WACV45572.2020.9093393]
  • Du Y J, Xu J, Zhen X T, Cheng M M, Shao L. 2020b. Conditional variational image deraining. IEEE Transactions on Image Processing, 29: 6288-6301 [DOI:10.1109/TIP.2020.2990606]
  • Fan Z W, Wu H F, Fu X Y, Huang Y and Ding X H. 2018. Residual-Guide Network for Single Image Deraining//Proceedings of the 26th ACM International Conference on Multimedia. Seoul, Korea(South): ACM: 1751-1759[DOI: 10.1145/3240508.3240694]
  • Fu X Y, Huang J B, Ding X H, Liao Y H, Paisley J. 2017a. Clearing the skies: a deep network architecture for single-image rain removal. IEEE Transactions on Image Processing, 26(6): 2944-2956 [DOI:10.1109/TIP.2017.2691802]
  • Fu X Y, Huang J B, Zeng D L, Huang Y, Ding X H and Paisley J. 2017b. Removing rain from single images via a deep detail network//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 1715-1723[DOI: 10.1109/CVPR.2017.186]
  • Fu X Y, Liang B R, Huang Y, Ding X H, Paisley J. 2020. Lightweight pyramid networks for image deraining. IEEE Transactions on Neural Networks and Learning Systems, 31(6): 1794-1807 [DOI:10.1109/TNNLS.2019.2926481]
  • Fu X Y, Qi Q, Zha Z J, Zhu Y R and Ding X H. 2021. Rain streak removal via dual graph convolutional network//Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI). Palo Alto, USA: AAAI: 1352-1360
  • Gabarda S, Cristóbal G. 2007. Blind image quality assessment through anisotropy. Journal of the Optical Society of America A, 24(12): B42-B51 [DOI:10.1364/JOSAA.24.000B42]
  • Garg K, Nayar S K. 2006. Photorealistic rendering of rain streaks. ACM Transactions on Graphics, 25(3): 996-1002 [DOI:10.1145/1141911.1141985]
  • Geiger A, Lenz P, Stiller C, Urtasun R. 2013. Vision meets robotics: the KITTI dataset. The International Journal of Robotics Research, 32(11): 1231-1237 [DOI:10.1177/0278364913491297]
  • Geiger A, Lenz P and Urtasun R. 2012. Are we ready for autonomous driving? The KITTI vision benchmark suite//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, USA: IEEE: 3354-3361[DOI: 10.1109/CVPR.2012.6248074]
  • Hu X W, Fu C W, Zhu L and Heng P A. 2019. Depth-attentional features for single-image rain removal//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 8014-8023[DOI: 10.1109/CVPR.2019.00821]
  • Huang H B, Yu A J and He R. 2021. Memory oriented transfer learning for semi-supervised image deraining//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 7728-7737[DOI: 10.1109/CVPR46437.2021.00764]
  • Huynh-Thu Q, Ghanbari M. 2008. Scope of validity of PSNR in image/video quality assessment. Electronics Letters, 44(13): 800-801 [DOI:10.1049/el:20080522]
  • Jiang K, Wang Z Y, Yi P, Chen C, Huang B J, Luo Y M, Ma J Y and Jiang J J. 2020. Multi-scale progressive fusion network for single image deraining//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 8343-8352[DOI: 10.1109/CVPR42600.2020.00837]
  • Jiang N F, Chen W L, Lin L Q, Zhao T S. 2021. Single image rain removal via multi-module deep grid network. Computer Vision and Image Understanding, 202: #103106 [DOI:10.1016/j.cviu.2020.103106]
  • Jin J C, Fatemi A, Lira W M P, Yu F G, Leng B, Ma R, Mahdavi-Amiri A and Zhang H. 2021. RaidaR: a rich annotated image dataset of rainy street scenes//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision Workshops. Montreal, Canada: IEEE: 2951-2961[DOI: 10.1109/ICCVW54120.2021.00330]
  • Jin X, Chen Z B, Lin J X, Chen Z K and Zhou W. 2019. Unsupervised single image deraining with self-supervised constraints//Proceedings of 2019 IEEE International Conference on Image Processing (ICIP). Taipei, China: IEEE: 2761-2765[DOI: 10.1109/ICIP.2019.8803238]
  • Lee J H, Han M K, Ko D W and Suh I H. 2019. From big to small: multi-scale local planar guidance for monocular depth estimation[EB/OL]. [2021-09-23]. https://arxiv.53yu.com/pdf/1907.10326.pdf
  • Li B Y, Ren W Q, Fu D P, Tao D C, Feng D, Zeng W J, Wang Z Y. 2019a. Benchmarking single-image dehazing and beyond. IEEE Transactions on Image Processing, 28(1): 492-505 [DOI:10.1109/TIP.2018.2867951]
  • Li G B, He X, Zhang W, Chang H Y, Dong L and Lin L. 2018a. Non-locally enhanced encoder-decoder network for single image de-raining//Proceedings of the 26th ACM International Conference on Multimedia. Seoul, Korea(South): ACM: 1056-1064[DOI: 10.1145/3240508.3240636]
  • Li L D, Yan Y, Fang Y M, Wang S Q, Tang L, Qian J S. 2016a. Perceptual quality evaluation for image defocus deblurring. Signal Processing: Image Communication, 48: 81-91 [DOI:10.1016/j.image.2016.09.005]
  • Li L D, Zhou Y, Gu K, Yang Y Z, Fang Y M. 2020a. Blind realistic blur assessment based on discrepancy learning. IEEE Transactions on Circuits and Systems for Video Technology, 30(11): 3859-3869 [DOI:10.1109/TCSVT.2019.2947450]
  • Li R T, Cheong L F and Tan R T. 2017. Single image deraining using scale-aware multi-stage recurrent network[EB/OL]. [2021-11-01]. https://arxiv.53yu.com/pdf/1712.06830.pdf
  • Li R T, Cheong L F and Tan R T. 2019b. Heavy rain image restoration: integrating physics model and conditional adversarial learning//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 1633-1642[DOI: 10.1109/CVPR.2019.00173]
  • Li R T, Tan R T and Cheong L F. 2020b. All in one bad weather removal using architectural search//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 3172-3182[DOI: 10.1109/CVPR42600.2020.00324]
  • Li S Y, Araujo I B, Ren W Q, Wang Z Y, Tokuda E K, Junior R H, Cesar-Junior R, Zhang J W, Guo X J and Cao X C. 2019c. Single image deraining: a comprehensive benchmark analysis//Proceedings of 2019 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 3833-3842[DOI: 10.1109/CVPR.2019.00396]
  • Li S Y, Ren W Q, Zhang J W, Yu J K, Guo X J. 2019d. Single image rain removal via a deep decomposition-composition network. Computer Vision and Image Understanding, 186: 48-57 [DOI:10.1016/j.cviu.2019.05.003]
  • Li X, Wu J L, Lin Z C, Liu H and Zha H B. 2018b. Recurrent squeeze-and-excitation context aggregation net for single image deraining//Proceedings of the 15th European Conference on Computer Vision (ECCV). Munich, Germany: Springer: 262-277[DOI: 10.1007/978-3-030-01234-2_16]
  • Li Y, Tan R T, Guo X J, Lu J B and Brown M S. 2016b. Rain streak removal using layer priors//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 2736-2744[DOI: 10.1109/CVPR.2016.299]
  • Liu D, Wen B H, Liu X M, Wang Z Y and Huang T S. 2018. When image denoising meets high-level vision tasks: a deep learning approach//Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm, Sweden: AAAI Press: 842-848
  • Liu L X, Liu B, Huang H, Bovik A C. 2014. No-reference image quality assessment based on spatial and spectral entropies. Signal Processing: Image Communication, 29(8): 856-863 [DOI:10.1016/j.image.2014.06.006]
  • Liu R S, Jiang Z Y, Fan X, Luo Z X. 2020. Knowledge-driven deep unrolling for robust image layer separation. IEEE Transactions on Neural Networks and Learning Systems, 31(5): 1653-1666 [DOI:10.1109/TNNLS.2019.2921597]
  • Liu X, Suganuma M, Sun Z and Okatani T. 2019. Dual residual networks leveraging the potential of paired operations for image restoration//Proceedings of 2019 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 7000-7009[DOI: 10.1109/CVPR.2019.00717]
  • Ma C, Yang C Y, Yang X K, Yang M H. 2017. Learning a no-reference quality metric for single-image super-resolution. Computer Vision and Image Understanding, 158: 1-16 [DOI:10.1016/j.cviu.2016.12.009]
  • Ma J P, Wu J J, Li L D, Dong W S, Xie X M, Shi G M, Lin W S. 2021. Blind image quality assessment with active inference. IEEE Transactions on Image Processing, 33: 3650-3663 [DOI:10.1109/TIP.2021.3064195]
  • Ma K D and Fang Y M. 2021. Image quality assessment in the modern age//Proceedings of the 29th ACM International Conference on Multimedia. ACM: 5664-5666[DOI: 10.1145/3474085.3478870]
  • Mittal A, Moorthy A K and Bovik A C. 2012. Blind/referenceless image spatial quality evaluator//Proceedings of 2011 Conference Record of the 45th Asilomar Conference on Signals, Systems and Computers (ASILOMAR). Pacific Grove, USA: IEEE: 723-727[DOI: 10.1109/ACSSC.2011.6190099]
  • Mittal A, Soundararajan R, Bovik A C. 2013. Making a "Completely Blind" image quality analyze. IEEE Signal Processing Letters, 20(3): 209-212 [DOI:10.1109/LSP.2012.2227726]
  • Moorthy A K, Bovik A C. 2010. A two-step framework for constructing blind image quality indices. IEEE Signal Processing Letters, 17(5): 513-516 [DOI:10.1109/LSP.2010.2043888]
  • Mu P, Chen J, Liu R S, Fan X, Luo Z X. 2019. Learning bilevel layer priors for single image rain streaks removal. IEEE Signal Processing Letters, 26(2): 307-311 [DOI:10.1109/LSP.2018.2889277]
  • Ni S Q, Cao X Y, Yue T and Hu X M. 2021. Controlling the rain: from removal to rendering//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, USA: IEEE: 6324-6333[DOI: 10.1109/CVPR46437.2021.00626]
  • Pan J S, Liu S F, Sun D Q, Zhang J W, Liu Y, Ren J, Li Z C, Tang J H, Lu H C, Tai Y W and Yang M H. 2018. Learning dual convolutional neural networks for low-level vision//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 3070-3079[DOI: 10.1109/CVPR.2018.00324]
  • Qian R, Tan R T, Yang W H, Su J J and Liu J Y. 2018. Attentive generative adversarial network for raindrop removal from a single image//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 2482-2491[DOI: 10.1109/CVPR.2018.00263]
  • Qin Q, Yan J K, Wang Q, Wang X, Li M Y, Wang Y Q. 2021. ETDNet: an efficient transformer deraining model. IEEE Access, 9: 119881-119893 [DOI:10.1109/ACCESS.2021.3108516]
  • Qiu Y R, Yao G L, Feng J and Cui H Y. 2021. Single image de-raining algorithm based on semi-supervised learning[J/OL]. [2021-06-11]. Journal of Computer Applications, 1-7 (邱永茹, 姚光乐, 冯杰, 崔昊宇. 2021. 基于半监督学习的单幅图像去雨算法[J/OL]. [2021-06-11]. 计算机应用, 1-7. https://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CAPJLAST&filename=JSJY20210610002)
  • Quan R J, Yu X, Liang Y Z and Yang Y. 2021. Removing raindrops and rain streaks in one go//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 9143-9152[DOI: 10.1109/CVPR46437.2021.00903]
  • Quan Y H, Deng S J, Chen Y X and Ji H. 2019. Deep learning for seeing through window with raindrops//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea(South): IEEE: 2463-2471[DOI: 10.1109/ICCV.2019.00255]
  • Redmon J and Farhadi A. 2018. YOLOv3: an incremental improvement[EB/OL]. [2021-11-01]. https://arxiv.53yu.com/pdf/1804.02767.pdf
  • Ren D W, Zuo W M, Hu Q H, Zhu P F and Meng D Y. 2019. Progressive image deraining networks: a better and simpler baseline//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 3932-3941[DOI: 10.1109/CVPR.2019.00406]
  • Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN: towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]
  • Saad M A, Bovik A C, Charrier C. 2010. A DCT statistics-based blind image quality index. IEEE Signal Processing Letters, 17(6): 583-586 [DOI:10.1109/LSP.2010.2045550]
  • Schaefer G and Stich M. 2003. UCID: an uncompressed color image database//Proceedings of SPIE 5307, Storage and Retrieval Methods and Applications for Multimedia 2004. San Jose, USA: SPIE: 472-480[DOI: 10.1117/12.525375]
  • Shao M W, Li L, Meng D Y, Zuo W M. 2021a. Uncertainty guided multi-scale attention network for raindrop removal from a single image. IEEE Transactions on Image Processing, 30: 4828-4839 [DOI:10.1109/TIP.2021.3076283]
  • Shao M W, Li L, Wang H, Meng D Y. 2021b. Selective generative adversarial network for raindrop removal from a single image. Neurocomputing, 426: 265-273 [DOI:10.1016/j.neucom.2020.06.134]
  • Silberman N, Hoiem D, Kohli P and Fergus R. 2012. Indoor segmentation and support inference from RGBD images//Proceedings of the 12th European Conference on Computer Vision. Florence, Italy: Springer: 746-760[DOI: 10.1007/978-3-642-33715-4_54]
  • Su Z P, Zhang Y X, Zhang X P, Qi F. 2022. Non-local channel aggregation network for single image rain removal. Neurocomputing, 469: 261-272 [DOI:10.1016/j.neucom.2021.10.052]
  • Tan F X, Kong Y T, Fan Y Y, Liu F, Zhou D X, Zhang H, Chen L, Gao L and Qian Y R. 2021. SDNet: mutil-branch for single image deraining using swin[EB/OL]. [2021-05-31]. https://arxiv.53yu.com/pdf/2105.15077.pdf
  • Tremblay M, Halder S S, De Charette R, Lalonde J F. 2021. Rain rendering for evaluating and improving robustness to bad weather. International Journal of Computer Vision, 129(2): 341-360 [DOI:10.1007/s11263-020-01366-3]
  • Venkatanath N, Praneeth D, Chandrasekhar M, Channappayya S S and Medasani S S. 2015. Blind image quality evaluation using perception based features//Proceedings of the 21st National Conference on Communications (NCC). Mumbai, India: IEEE: 1-6[DOI: 10.1109/NCC.2015.7084843]
  • Vu D T, Gonzalez J L and Kim M. 2021. Exploiting global and local attentions for heavy rain removal on single images[EB/OL]. [2021-04-16]. https://arxiv.53yu.com/pdf/2104.08126.pdf
  • Wang C, Wang H Y, Su Z X and Yang Y. 2019a. Embedding non-local mean in squeeze-and-excitation network for single image deraining//Proceedings of 2019 IEEE International Conference on Multimedia and Expo Workshops. Shanghai, China: IEEE: 264-269[DOI: 10.1109/ICMEW.2019.00-76]
  • Wang C, Wu Y T, Su Z X and Chen J Y. 2020a. Joint self-attention and scale-aggregation for self-calibrated deraining network//Proceedings of the 28th ACM International Conference on Multimedia. Seattle, USA: ACM: 2517-2525[DOI: 10.1145/3394171.3413559]
  • Wang C, Xing X Y, Wu Y T, Su Z X and Chen J Y. 2020b. DCSFN: deep cross-scale fusion network for single image rain removal//Proceedings of the 28th ACM International Conference on Multimedia. Seattle, USA: ACM: 1643-1651[DOI: 10.1145/3394171.3413820]
  • Wang G Q, Sun C M, Sowmya A. 2021a. Context-enhanced representation learning for single image deraining. International Journal of Computer Vision, 129(5): 1650-1674 [DOI:10.1007/s11263-020-01425-9]
  • Wang H, Wu Y C, Li M H, Zhao Q and Meng D Y. 2019b. Survey on rain removal from video and single image. SCIENCE CHINA Information Sciences[EB/OL]. [2021-11-01]. https://arxiv.53yu.com/pdf/1909.08326.pdf
  • Wang H, Wu Y C, Xie Q, Zhao Q, Liang Y, Zhang S J, Meng D Y. 2021b. Structural residual learning for single image rain removal. Knowledge-Based Systems, 213: #106595 [DOI:10.1016/j.knosys.2020.106595]
  • Wang H, Xie Q, Wu Y C, Zhao Q, Meng D Y. 2020c. Single image rain streaks removal: a review and an exploration. International Journal of Machine Learning and Cybernetics, 11(4): 853-872 [DOI:10.1007/s13042-020-01061-2]
  • Wang H, Xie Q, Zhao Q and Meng D Y. 2020d. A model-driven deep neural network for single image rain removal//Proceedings of 2020 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 3100-3109[DOI: 10.1109/CVPR42600.2020.00317]
  • Wang H, Yue Z S, Xie Q, Zhao Q, Zheng Y F and Meng D Y. 2021c. From rain generation to rain removal//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 14786-14796[DOI: 10.1109/CVPR46437.2021.01455]
  • Wang M H, He H J, Li C. 2020. Single image rain removal based on selective kernel convolution using a residual refine factor. Journal of Image and Graphics, 25(12): 2484-2493 (王美华, 何海君, 李超. 2020. 自适应卷积的残差修正单幅图像去雨. 中国图象图形学报, 25(12): 2484-2493) [DOI:10.11834/jig.190682]
  • Wang T Y, Yang X, Xu K, Chen S, Zhang Q and Lau R W H. 2019c. Spatial attentive single-image deraining with a high quality real rain dataset//Proceedings of 2019 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 12262-12271[DOI: 10.1109/CVPR.2019.01255]
  • Wang X F, Chen J, Jiang K, Han Z, Ruan W J, Wang Z Y, Liang C. 2020e. Single image de-raining via clique recursive feedback mechanism. Neurocomputing, 417: 142-154 [DOI:10.1016/j.neucom.2020.07.083]
  • Wang Y L, Gong D, Yang J, Shi Q F, Van Den Hengel A, Xie D H, Zeng B. 2020f. Deep single image deraining via modeling haze-like effect. IEEE Transactions on Multimedia, 23: 2481-2492 [DOI:10.1109/tmm.2020.3013383]
  • Wang Y L, Ma C and Zeng B. 2021d. Multi-decoding deraining network and quasi-sparsity based training//Proceedings of 2021 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 13370-13379
  • Wang Y L, Song Y B, Ma C and Zeng B. 2020g. Rethinking image deraining via rain streaks and vapors//Proceedings of the 16th European Conference on Computer Vision. Glasgow, USA: Springer: 367-382[DOI: 10.1007/978-3-030-58520-4_22]
  • Wang Z, Bovik A C, Sheikh H R, Simoncelli E P. 2004. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4): 600-612 [DOI:10.1109/TIP.2003.819861]
  • Wang Z, Li J W and Song G. 2020h. DTDN: dual-task de-raining network//Proceedings of the 27th ACM International Conference on Multimedia. Nice, France: ACM: 1833-1841[DOI: 10.1145/3343031.3350945]
  • Wang Z D, Cun X D, Bao J M, Zhou W G, Liu J Z and Li H Q. 2021e. Uformer: a general U-shaped transformer for image restoration[EB/OL]. [2021-11-15]. https://arviv.org/pdf/2106.03106.pdf
  • Wang Z Y, Chang S Y, Yang Y Z, Liu D and Huang T S. 2016. Studying very low resolution recognition using deep networks//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 4792-4800[DOI: 10.1109/CVPR.2016.518]
  • Wei W, Meng D Y, Zhao Q, Xu Z B and Wu Y. 2019a. Semi-supervised transfer learning for image rain removal//Proceedings of 2019 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 3872-3881[DOI: 10.1109/CVPR.2019.00400]
  • Wei Y Y, Zhang Z, Wang Y, Xu M L, Yang Y, Yan S C, Wang M. 2021a. DerainCycleGAN: rain attentive CycleGAN for single image deraining and rainmaking. IEEE Transactions on Image Processing, 30: 4788-4801 [DOI:10.1109/TIP.2021.3074804]
  • Wei Y Y, Zhang Z, Wang Y, Zhang H J, Zhao M B, Xu M L and Wang M. 2021b. Semi-deraingan: a new semi-supervised single image deraining//Proceedings of 2021 IEEE International Conference on Multimedia and Expo (ICME). Shenzhen, China: IEEE: 1-6[DOI: 10.1109/ICME51207.2021.9428285]
  • Wei Y Y, Zhang Z, Zhang H J, Hong R C and Wang M. 2019b. A coarse-to-fine multi-stream hybrid deraining network for single image deraining//Proceedings of 2019 IEEE International Conference on Data Mining. Beijing, China: IEEE: 628-637[DOI: 10.1109/ICDM.2019.00073]
  • Xie Q Q, Zhang H, Gai S. 2022. Multi-resolution context aggregation network for single image rain removal. Journal of Computer-Aided Design and Computer Graphics, 34(2): 232-244 (谢强强, 张海, 盖杉. 2022. 多分辨率上下文聚合网络的单幅图像去雨方法. 计算机辅助设计与图形学学报, 34(2): 232-244) [DOI:10.3724/SP.J.1089.2022.18887]
  • Xue P, He H. 2021. Research of single image rain removal algorithm based on LBP-CGAN rain generation method. Mathematical Problems in Engineering, 2021: #8865843 [DOI:10.1155/2021/8865843]
  • Yang W H, Liu J Y, Yang S, Guo Z M. 2019a. Scale-free single image deraining via visibility-enhanced recurrent wavelet learning. IEEE Transactions on Image Processing, 28(6): 2948-2961 [DOI:10.1109/TIP.2019.2892685]
  • Yang W H, Tan R T, Feng J S, Guo Z M, Yan S C, Liu J Y. 2020a. Joint rain detection and removal from a single image with contextualized deep networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(6): 1377-1393 [DOI:10.1109/TPAMI.2019.2895793]
  • Yang W H, Tan R T, Feng J S, Liu J Y, Guo Z M and Yan S C. 2017. Deep joint rain detection and removal from a single image//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 1685-1694[DOI: 10.1109/CVPR.2017.183]
  • Yang W H, Tan R T, Wang S Q, Fang Y M, Liu J Y. 2021. Single image deraining: from model-based to data-driven and beyond. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(11): 4059-4077 [DOI:10.1109/TPAMI.2020.2995190]
  • Yang Y Z and Lu H. 2019b. Single image deraining using a recurrent multi-scale aggregation and enhancement network//Proceedings of 2019 IEEE International Conference on Multimedia and Expo. Shanghai, China: IEEE: 1378-1383[DOI: 10.1109/ICME.2019.00239]
  • Yang Y Z and Lu H. 2019c. Single image deraining via recurrent hierarchy enhancement network//Proceedings of the 27th ACM International Conference on Multimedia. Nice, France: ACM: 1814-1822[DOI: 10.1145/3343031.3351149]
  • Yang Y Z, Ran W and Lu H. 2020b. Rddan: a residual dense dilated aggregated network for single image deraining//Proceedings of 2020 IEEE International Conference on Multimedia and Expo (ICME). London, UK: IEEE: 1-6[DOI: 10.1109/ICME46284.2020.9102945]
  • Yasarla R and Patel V M. 2019. Uncertainty guided multi-scale residual learning-using a cycle spinning CNN for single image de-raining//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 8397-8406[DOI: 10.1109/CVPR.2019.00860]
  • Yasarla R, Patel V M. 2020. Confidence measure guided single image de-raining. IEEE Transactions on Image Processing, 29: 4544-4555 [DOI:10.1109/TIP.2020.2973802]
  • Yasarla R, Sindagi V A and Patel V M. 2020. Syn2Real transfer learning for image deraining using gaussian processes//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 2723-2733[DOI: 10.1109/CVPR42600.2020.00280]
  • Ye Y T, Chang Y, Zhou H Y and Yan L X. 2021. Closing the loop: joint rain generation and removal via disentangled image translation//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 2053-2062[DOI: 10.1109/CVPR46437.2021.00209]
  • Yu W J, Huang Z, Zhang W, Feng L T and Xiao N. 2019. Gradual network for single image de-raining//Proceedings of the 27th ACM International Conference on Multimedia. Nice, France: ACM: 1795-1804[DOI: 10.1145/3343031.3350883]
  • Zhang H and Patel V M. 2018. Density-aware single image de-raining using a multi-stream dense network//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 695-704[DOI: 10.1109/CVPR.2018.00079]
  • Zhang H, Sindagi V, Patel V M. 2020a. Image de-raining using a conditional generative adversarial network. IEEE Transactions on Circuits and Systems for Video Technology, 30(11): 3943-3956 [DOI:10.1109/TCSVT.2019.2920407]
  • Zhang K H, Li D X, Luo W H, Ren W Q. 2021a. Dual attention-in-attention model for joint rain streak and raindrop removal. IEEE Transactions on Image Processing, 30: 7608-7619 [DOI:10.1109/TIP.2021.3108019]
  • Zhang K H, Luo W H, Yu Y J, Ren W Q, Zhao F, Li C S, Ma L, Liu W and Li H D. 2021b. Beyond monocular deraining: parallel stereo deraining network via semantic prior[EB/OL]. [2021-05-09]. https://arxiv.53yu.com/pdf/2105.03830.pdf
  • Zhang L, Zhang L, Bovik A C. 2015. A feature-enriched completely blind image quality evaluator. IEEE Transactions on Image Processing, 24(8): 2579-2591
  • Zhang W X, Li D Q, Ma C, Zhai G T, Yang X K and Ma K D. 2021c. Continual learning for blind image quality assessment[EB/OL]. [2021-02-19]. https://arxiv.53yu.com/pdf/2102.09717.pdf
  • Zhang W X, Ma K D, Yan J, Deng D X, Wang Z. 2020b. Blind image quality assessment using a deep bilinear convolutional neural network. IEEE Transactions on Circuits and Systems for Video Technology, 30(1): 36-47 [DOI:10.1109/TCSVT.2018.2886771]
  • Zhang W X, Ma K D, Zhai G T and Yang X K. 2021 d. Task-specific normalization for continual learning of blind image quality models[EB/OL]. [2021-07-28]. https://arxiv.53yu.com/pdf/2107.13429.pdf
  • Zhang X F, Li J J. 2021. Single image de-raining using a recurrent dual-attention-residual ensemble network. Journal of Software, 32(10): 3283-3292 (张学锋, 李金晶. 2021. 基于双注意力残差循环单幅图像去雨集成网络. 软件学报, 32(10): 3283-3292) [DOI:10.13328/j.cnki.jos.006018]
  • Zhang Z, Wei Y Y, Zhang H J, Yang Y, Yan S C and Wang M. 2021e. Data-driven single image deraining: a comprehensive review and new perspectives. TechRxiv Preprint
  • Zhao H S, Shi J P, Qi X J, Wang X G and Jia J Y. 2017. Pyramid scene parsing network//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 6230-6239[DOI: 10.1109/CVPR.2017.660]
  • Zheng Y P, Yu X, Liu M M and Zhang S L. 2019. Residual multiscale based single image deraining//Proceedings of the 30th British Machine Vision Conference 2019. Cardiff, UK: BMVC: 147
  • Zheng Y P, Yu X, Liu M M, Zhang S L. 2022. Single-image deraining via recurrent residual multiscale networks. IEEE Transactions on Neural Networks and Learning Systems, 33(3): 1310-1323 [DOI:10.1109/TNNLS.2020.3041752]
  • Zhu H D, Wang C, Zhang Y J, Su Z X and Zhao G H. 2020. Physical model guided deep image deraining//Proceedings of 2020 IEEE International Conference on Multimedia and Expo (ICME). London, UK: IEEE: 1-6[DOI: 10.1109/ICME46284.2020.9102878]
  • Zhu H Y, Peng X, Zhou J T, Yang S F, Chanderasekh V, Li L Y, Lim J H. 2019. Singe image rain removal with unpaired information: a differentiable programming perspective. Proceedings of the AAAI Conference on Artificial Intelligence, 33(1): 9332-9339 [DOI:10.1609/aaai.v33i01.33019332]