夜晚或背光等低照度条件下，采集到的图像视觉效果不佳，且由于对比度低，有效信息显著减少，不同程度地影响到各种后续分析，例如目标识别和跟踪等，给视频监控等众多视频应用带来不少困扰。而图像增强可依据给定图像的特定场景调整其部分特征，扩大图像中不同特征之间的差别，增强感兴趣的特征，从而起到改善图像的视觉效果，增加有效信息的效果。因此，低照度图像增强问题一直是图像增强领域的研究热点。

一些传统的图像增强方法已被证明适用于低照度图像增强问题。目前研究最为成熟的是基于Retinex理论^[1-3]的低照度图像增强算法，该类方法以颜色恒常性为理论基础，将一幅图像分为入射图像和反射图像两个部分，通过降低甚至去除入射图像对反射图像的影响，分解得到原始反射分量，消除反射不均匀的影响从而达到图像增强的效果^[4]。但该方法色偏严重且噪声敏感。针对色彩失真的现象，MSRCR方法(multi-scale retinex with color restoration)^[5]在MSR方法(multi-scale Retinex)的基础上加入了颜色恢复和颜色均衡，对每个RGB分量引入彩色恢复因子调节原始图像中3个颜色通道的比例关系，在增强图像的同时降低色彩失真的影响。但引入的颜色恢复参数需要手动调节，增加了算法复杂性。

雾天图像恢复是图像增强领域的另一个研究热点，一般分为雾化图像增强和雾化图像退化模型。基于雾化图像增强的去雾延续传统图像增强的思路，通过增强雾化图像的对比度，突出或者抑制某些信息，弱化雾对图像的影响。包括Retinex、MSRCR在内的传统图像增强算法均可应用于去雾增强中。由于该类方法只是以减少雾对图像的干扰为切入点，不考虑雾化效果的产生机理，去雾效果不够稳定。基于雾化图像退化模型的去雾则是从雾天气候造成图像成像质量下降的物理机理入手，模拟出雾天图像退化模型，反向演绎该退化模型即可恢复出真实的无雾图像，其代表算法是He等人^[6]提出的基于暗原色先验去雾算法。雾天图像退化模型的核心是大气散射模型，复原无雾图像的难点在于求解大气光值及透射率图，求解越精确，复原出来的图像质量越好。He方法中大气光值的求解是选取暗通道亮度为前0.1 %的像素后，将这些像素对应的原始图像的亮度最大值作为大气光值；透射率图的求解则是先用最小值滤波对透射率进行粗估计，再用软抠图算法优化并得到最终的透射率图。随后，大量研究工作以He方法为基础，围绕大气光值及透射率图的求解提出了各种改进，如文献[7]中用快速双边滤波方法代替软件抠图修复透过率图，文献[8]中用导向滤波替代软抠图算法对透射率进行优化，文献[9]中采用四叉树方法求解大气光值。

2011年，Dong等人^[10]发现了低照度图像求反后与雾天图像的相似性。文献[10]就此进行了具体对照，通过随机选择的30组低照度图，验证了拟雾图与雾天图像高度相似，且超过80 %的像素具有高亮度。如图 1所示，求反后的低照度图像在视觉效果上接近于雾天图像，对比二者的灰度直方图，分布高度相似，大部分像素灰度值较高。而且上述发现给低照度图像增强带来了间接增强的思路^[11]，即将低照度图像的反转图视为拟雾图像，于其之上施加基于雾化退化模型的去雾后，反转得到增强后的图像。因此基于物理模型的低照度增强算法也变成了一个研究热点^[12-13]。

与真实雾天图像相比，拟雾图像在两个方面与之不同。首先，拟雾图像通常具有大面积的明亮区域。由于暗原色先验理论对于大面积明亮区域并不适用，因此，无法采用常见的最小值滤波粗估计拟雾图像的透射率。其次，拟雾图像大气光亮度通常比较高。当大气光值接近于1时，去雾后的拟雾图像偏暗，再次反转时容易出现饱和现象。因此，基于雾化退化模型间接增强低照度图像时，需要在以上两个方面进行针对性的改进。

现阶段基于雾化图像退化模型复原无雾图像的研究工作大多建立在式(1) 所描述的经典Koschmieder大气散射模型之上^[6]，同时结合暗通道先验理论来估计大气模型中的参数。

$ I\left( x \right) = J\left( x \right)t\left( x \right) + \alpha \left( {1 - t\left( x \right)} \right) $

(1)

由式(1) 可知，对于像素点$x$，已知$J$($x$)为像素点$x$无雾情况下的像素值，若给定该点的介质透射率$t$和大气光值$α$，即可求得像素点$x$雾天退化后的像素值$I$($x$)，反之亦然。

基于大量户外无雾图像的统计分析，He等人得出了如下暗原色先验理论^[4]：在户外无雾清晰图像中，除了大面积的天空区域外，颜色鲜艳区域在R，G，B三个颜色通道中，至少有一个颜色通道的强度值非常小，甚至趋近于零。用公式描述为

$ {J^{{\rm{dark}}}}\left( x \right) = \mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {{J^c}\left( y \right)} \right)} \right) \to 0 $

(2)

式中，$J$表示无雾图像，$J^c$表示$c$颜色通道强度，Ω($x$)为以像素点$x$为中心，半径为$r$的局部区域。

假设大气光$α$已知且恒为正值，区域内Ω($x$)透射率$t$($x$)恒定，可先在区域内Ω($x$)对式(1) 两端同时进行最小值滤波，进而在R，G，B颜色通道上对等式两端取最小值操作，可得

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\frac{{{J^c}\left( y \right)}}{{{\alpha ^c}}}} \right)} \right) = t\left( x \right) \times }\\ {\mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\frac{{{J^c}\left( y \right)}}{{{\alpha ^c}}}} \right)} \right) + \left( {1 - t\left( x \right)} \right)} \end{array} $

(3)

由式(2) 可得像素$x$透射率$t$($x$)的预估值为

$ t\left( x \right) = 1 - \mathop {\min }\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {\mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\frac{{{I^c}\left( y \right)}}{{{\alpha ^c}}}} \right)} \right) $

(4)

给定雾化图像$I$和窗口Ω($x$)半径$r$，分块预估透射率，即可得到$I$的预估透射率图$T$。

暗原色方法下，大气光值$α$一般采用全局预估的方法。其估值计算较为简单，求取雾化图像的暗通道图之后，选取暗通道亮度为前0.1 %的像素，提取这些像素在原始图像中的对应像素，将对应像素中的亮度最大值作为全局大气光值$α$。

基于拟雾图像和雾天图像的相似性，可对拟雾图像进行基于雾天退化的去雾处理，再次反转，可得低照度增强图像。然而，一方面，拟雾图像中的大面积明亮区域，破坏了暗先验理论的存在基础，无法沿用基于暗原色先验理论计算拟雾图像预估透射率图的方法；另一方面，拟雾图像部分亮度偏高的现象造成全局大气光值过大，直接影响增强效果。为此，本文构建了一个CNN用于学习并预测拟雾图像与透射率间的映射关系；同时，基于大气光值细化的基本思路，引入大气光图。采用拟雾图像的灰度图完成透射率图和大气光图的导向滤波，最终完成拟雾图像基于雾天退化模型的增强。

为了得到拟雾图像与透射率间的关系，本文设计并训练了一个基于CNN的透射率预测模型，网络结构如图 2所示。

该网络的输入是3×16×16大小的图像，第1层是由16个特征图组成的卷积层，用于学习雾天特征，每个神经元与输入图像的一个5×5的邻域相连接，因此每个特征图的大小是12×12；第2层是由4个4×12×12的特征图组成的Slice层，将第1层的结果切割成4个部分；第3层是由4个特征图组成的Eltwise层，将4个4×12×12的特征图通过取最大值方法合并为1个4×12×12的具有像素最大值的特征图；第4层是由48个特征图组成的卷积层，用于学习多尺度特征，为此基于3×3的滤波器，采用dilated技术分别进行膨胀操作，其目的是减少参数学习，dilated大小分别为1，2，3，最后分别得到大小为3×3、5×5、7×7的滤波器并对输入进行卷积操作，进行多尺度表达；第5层是由48个6×6特征图组成的池化层，用于学习局部极值特征，采用大小为7×7的滤波器进行池化操作，从7×7的区域中选取一个最大值作为当前整个区域的值；第6层是由一个特征图组成的卷积层，用于将特征图转化成1×1的特征值信息，每个神经元与输入图像的一个6×6的邻域相连接，因此每个特征图的大小是1×1；最后一层是Brelu层，对1×1大小的特征图进行非线性变化，将所得函数值约束在[0, 1]范围内，输出最终透射率预测值。该网络各层具体设置如表 1所示。

透射率的取值范围为(0，1)，因此基于Relu函数^[17]设计了Brelu函数，具体公式为

$ f\left( x \right) = \min \left( {1,\max \left( {0,x} \right)} \right) $

(5)

上述基于CNN的透射率预测是分块进行的，每个大小为16×16的图像块共用同一透射率，块与块之间边缘分割明显，进而在复原图像中出现块效应。考虑到雾浓度与图像亮度有关，采用灰度图对透射率粗略图进行导向滤波，通过精细化去除块效应，并得到优化的透射率图。图 1(b)拟雾图像的透射率图精细优化对照如图 3所示。

通常雾天图像的大气光应该在雾最浓的区域，对应为天空或无穷远处^[18]。拟雾图像中大气光部分亮度非常高，采用四叉树等方法估计全局大气光值时，通常得到的大气光值都非常接近1，容易出现去雾后图像较暗，使得反转后图像出现饱和现象，所以现有的估计大气光值方法并不直接适用于低照度图像。

为了解决去雾图像较暗问题，本文使用局部大气光值替代全局大气光值，使得在亮处可以凸显被遮罩的景物细节，在暗处可以保持景物的亮度和对比度。为此，和透射率图保持一致，先把图像划分为16图像划的小块，再对每个16×16的小块求取3个颜色通道的最大值作为局部大气光值得到粗大气光图。同样，由于拟雾图中“雾”的浓度与亮度有关，用灰度图对粗大气光图进行导向滤波，得到优化的大气光图，使得大气光值随亮度变化而变化，实现更为精确的拟雾图像复原。图 1(b)拟雾图像的大气光图精细优化对照如图 4所示。

导向滤波^[19]是一种边缘平滑滤波器，通过窗口内的求和运算实现图像边缘的平滑、细节增强及图像融合去噪等功能。因得到的透射率图与大气光图有块效应现象，需使用导向滤波来去除块效应。如图 3，图 4所示。透射率图和大气光图去块效应的步骤类似，本文以透射率图为例对其步骤进行说明。使用拟雾图$I$的灰度图${I^{{\rm{gray}}}}$作为粗透射率图$T$的引导图像，细化的透射率图记为$T$′。

首先，为了将${I^{{\rm{gray}}}}$中平滑的边缘信息传递给图像$T$，在一个半径为$r$的窗口$w_k$内(本文$r$选用8)，${I^{{\rm{gray}}}}$和$T$′间需要建立局部的线性关系，即

$ {{T'}_i} = {b_k}I_i^{{\rm{gray}}} + {c_k},\forall i \in {w_k} $

(6)

式中，$b$和$c$为线性系数且在窗口$w_k$内数值恒定。

其次，导向滤波优化前后的透射率图$T$和$T$′应具有最大相似度，意味着两者间差异最小，即

$ \begin{array}{l} E\left( {{b_k},{c_k}} \right) = \\ \arg \mathop {\min }\limits_{{b_k},{c_k}} \left( {\sum\limits_{i \in {w_k}} {{{\left( {{b_k}I_i^{{\rm{gray}}} + {c_k} - {T_i}} \right)}^2}} } \right) \end{array} $

(7)

由最小化公式，求得$b_k$和$c_k$的最优解，即

$ {b_k} = \frac{{\frac{1}{{\left| {{w_k}} \right|}}\sum\limits_{i \in {w_k}} {\left( {I_i^{{\rm{gray}}}{T_i} - {\mu _k}{{\bar T}_k}} \right)} }}{{\sigma _k^2 + \varepsilon }} $

(8)

$ {c_k} = {{\bar T}_k} - {b_k}{\mu _k} $

(9)

式中，$μ_k$和$\sigma _k$是引导图${I^{{\rm{gray}}}}$在窗口$w_k$内的平均值和方差；|$w_k$|表示$w_k$中像素的个数；${{\bar T}_k} = \frac{1}{{\left| {{w_k}} \right|}}\sum\limits_{i \in {w_k}} {{T_i}} $表示粗透射率图$T$在窗口$w_k$内的平均值。

进一步，采用均值方法获取$T$′，即

$ {{T'}_i} = {{\bar b}_k}I_i^{{\rm{gray}}} + {{\bar c}_k} $

(10)

式中，$\bar b{_i} = \frac{1}{{\left| w \right|}}\sum\limits_{k \in {w_i}} {{b_k}} $和$\bar c{_i} = \frac{1}{{\left| w \right|}}\sum\limits_{k \in {w_i}} {{c_k}} $表示覆盖$i$的所有窗口平均系数。

本文算法流程图如图 5所示。其具体步骤如下：

1) 低照度图像$R$求反得到拟雾图$I$，并求取拟雾图$I$的灰度图${I^{{\rm{gray}}}}$，即

$ I\left( x \right) = 1 - R\left( x \right) $

(11)

2) 通过卷积神经网络求得拟雾图$I$的粗透射率图$T$，再用${I^{{\rm{gray}}}}$作为引导图对$T$进行修正，得到细化的透射率图$T$′。

3) 对拟雾图$I$分块，每块取3个颜色通道中的最大值作为局部大气光值，得到粗大气光图$α$，即

$ {\alpha _i}\left( x \right) = {\rm{ma}}\mathop {\rm{x}}\limits_{c \in \left\{ {{\rm{R}},{\rm{G}},{\rm{B}}} \right\}} \left( {I_i^c\left( x \right)} \right) $

(12)

式中，$i$表示小块的标号，再用${I^{{\rm{gray}}}}$作为引导图对$α$进行修正，得到细化的大气光图$α$′。

4) 根据式(1) 求得拟雾图$I$对应的无雾图像$I$′，即

$ I'\left( x \right) = \alpha '\left( x \right) + \frac{{I\left( x \right) - \alpha '\left( x \right)}}{{t'\left( x \right)}} $

(13)

5) 对无雾图像$I$′求反得到最终的低照度增强图像

$ R'\left( x \right) = 1 - I'\left( x \right) $

(14)

图 2中的CNN进行监督训练是基于拟雾图像及其透射率图习得拟雾图像“雾化”效果和透射率间的映射关系。然而，自然场景中真实拍摄的低照度图像，无法标注其透射率图。文献[20]指出基于图像内容独立于景深和局部景深是个常数的假设，可以人工合成拟雾图像作为数据集。

本文收集分辨率为640×480像素的无雾图像100幅，每幅图像分割成16×16像素大小的图块，对每个图块，随机生成10个$t$值，根据式(1) 生成拟雾图块。为了减少训练中的不确定性，大气光值设为1。最终，共生成120万幅16×16像素大小的人工拟雾图像数据集，从中随机抽取20万幅用于CNN训练，5万幅用于CNN验证，36 000幅用于测试。训练时，每层的滤波器权重按照均值为0，标准差为0.001的高斯分布随机初始化，偏置为0；学习率为0.005，每10万次迭代衰减0.5倍，使用均方误差作为损失函数，总共迭代50万次。最终训练误差为0.008 8，验证误差为0.008 6。

本文在采集到的真实低照度图像数据集(1 280×720像素分辨率的图像72幅)，采用主观评价和客观评价相结合的方式进行了3组对照实验。第1组实验为主观评价。两组客观评价实验中，第2组实验将本文算法与Retinex算法、MSRCR算法、文献[13]算法和He算法^[6]进行增强效果对比，其中Retinex算法和MSRCR算法为基于图像增强直接改善低照度图像的代表算法，本文算法与He算法^[6]、文献[13]算法同为基于雾化退化模型间接改善低照度图像的算法。进一步地，为了说明本文算法在透射率与大气光值求解上的有效性，第3组实验对不同透射率求解方法的精确度进行了比较并给出了透射率与大气光值的组合对照实验。

客观评价实验选用了平均梯度、信息熵、峰值信噪比3个指标。

平均梯度${\bar g}$是图像细节清晰度的反映指标，平均梯度越大，图像细节越清晰，其定义为

$ \begin{array}{*{20}{c}} {\bar g = \frac{1}{{\left( {M - 1} \right)\left( {N - 1} \right)}} \times \sum\limits_{i = 1}^{M - 1} {\sum\limits_{j = 1}^{N - 1} {} } }\\ {\sqrt {\frac{{{{\left( {F\left( {i,j} \right) - F\left( {i + 1,j} \right)} \right)}^2} + {{\left( {F\left( {i,j} \right) - F\left( {i,j + 1} \right)} \right)}^2}}}{2}} } \end{array} $

(15)

式中，$F$($i$，$j$)为图像第$i$行，第$j$列的灰度值；$M$、$N$分别为图像的总行列数。

信息熵$E$是反映图像信息丰富程度的指标，信息熵越大，图像信息量越丰富。若图像有$l$个灰度级，第$i$灰度级出现的概率为$p_i$，整幅图像的信息熵为

$ E = - \sum\limits_{i = 0}^{l - 1} {{p_i}\log {p_i}} $

(16)

峰值信噪比(PSNR)反映图像的失真程度，其值越高，表示失真越少，其定义为

$ \begin{array}{l} {\rm{PSNR}} = 10 \times \\ \;\;\;\;\;\;\;\;\log \left( {\frac{{{{255}^2}}}{{\sum\limits_{i = 0}^{M - 1} {\sum\limits_{j = 0}^{N - 1} {\frac{{{{\left( {f\left( {i,j} \right) - g\left( {i,j} \right)} \right)}^2}}}{{MN}}} } }}} \right) \end{array} $

(17)

式中，$f$($i$，$j$)为低照度图像第$i$行，第$j$列的像素值；$g$($i$，$j$)为增强后图像第$i$行，第$j$列的像素值；$M$、$N$分别为图像的总行列数。

图 6展示了Retinex算法，MSRCR算法和He算法、文献[13]算法和本文算法对不同亮度的低照度图像的增强效果，其中，前3幅为室内的低照度图像，后3幅为室外的低照度图像。由图 6可知，5种算法均显著增强了无论室内还是室外的低照度图像的亮度。从人眼的主观感受出发，Retinex方法在图 6(a)图像3和图像4中出现了明显的颜色失真，其原因在于Retinex方法本身噪声敏感；MSRCR方法因处理后均值过高，整体上具有曝光过度的倾向；He方法^[6]总体上出现了饱和现象，其原因在于He方法^[6]使用全局大气光值，在拟雾图像中大气光值接近1，进而影响了透射率的精确度，模拟退雾后图像偏暗，再取反就容易饱和；文献[13]算法对室内图像效果不错，但对室外的效果不是很好；整体而言，本文算法的视觉效果较好，既有效提升了低照度图像的亮度，也没有明显的颜色失真、曝光过度等现象，同时由于为避免整体上出现曝光过度现象，本文算法在图像局部区域可能会出现偏暗现象，导致视觉上出现颜色加深的效果。

表 2统计了Retinex算法^[1]，MSRCR算法^[5]、He算法^[6]、文献[13]算法和本文算法在真实低照度图像数据集之上增强后的平均梯度的平均增幅和方差、信息熵的平均增幅和方差、峰值信噪比的均值和方差。表 3以图 6中的6幅低照度图像为实例，给出了5种算法增强后具体的平均梯度、信息熵、峰值信噪比变化情况。综合表 2和表 3的对照结果可知，增强后，5种算法的平均梯度和信息熵均有较大的提高，因此显示增强后图像的清晰度和信息丰富程度均显著提升。Retinex方法的平均梯度和信息熵虽然增幅较高，但其峰值信噪比方差最大，分布不均匀，原因仍在该算法的噪声敏感性。MSRCR算法、He算法^[6]、文献[13]算法和本文算法的平均梯度和信息熵相差不大，但四者之中，本文算法各项指标方差均比较小且峰值信噪比最高。综合可见，本文算法在提高低照度图像对比度和可见度的同时保证了尽量少的失真，且增强效果稳定。

最后，表 4给出了5种算法对于668×480像素图像的处理时间，本文算法计算时间处于中等，后若采用GPU加速优化，应可用于实时处理。

为了验证本文算法求解透射率的有效性，实验3首先进行了透射率的精确度实验。由于真实拟雾图像的透射率值不可获取，实验以前述人工拟雾图像数据集中的36 000幅测试图像为基础，其生成拟雾图像时的透射率图作为真实的透射率值，以此为基准，计算求解得到的透射率图与基准透射率图间的均方误差(MSE)，其定义为

$ {\rm{MSE}} = \sum\limits_{i = 0}^{M - 1} {\sum\limits_{j = 0}^{N - 1} {\frac{{{{\left( {f\left( {i,j} \right) - g\left( {i,j} \right)} \right)}^2}}}{{MN}}} } $

(18)

式中，$f$($i$，$j$)为基准透射率图第$i$行，第$j$列的值；$g$($i$，$j$)为求解透射率图第$i$行，第$j$列的值；$M$、$N$分别为图像的总行列数。显然，当求得的透射率图越精确，MSE值越小。

用$T$表示透射率值，$A$表示大气光值，He表示He方法，cnn表示本文求取透射率的方法，map表示本文的大气光图方法，quad表示四叉树方法。

表 5统计了36 000幅拟雾图块的透射率值的MSE的均值和方差。表中基于CNN的透射率预测下的MSE的均值和方差均小于He方法，可知基于CNN的透射率预测较He方法更为精确。本文算法中大气光值估计与透射率预测相互独立，互不影响；与此相反的是，He方法中透射率的预测前提是大气光值已知，因此受大气光值估计影响较大，从而使得透射率求解的不够精确。

综合表 6和表 7的对照结果可知，4种组合的平均梯度和信息熵比较相近。当大气光值采用${A_{{\rm{He}}}}$，而透射率求解分别采用${T_{{\rm{He}}}}$和${T_{{\rm{cnn}}}}$时，可以看到本文基于CNN的透射率预测法的峰值信噪比得到了显著的提升，再次验证了基于CNN的透射率预测法的效果优于He方法。同样地，当透射率求解采用${T_{{\rm{cnn}}}}$，而大气光值分别采用${A_{{\rm{He}}}}$、${A_{{\rm{map}}}}$和${A_{{\rm{quad}}}}$时，可以看出采用本文大气光图法时，平均梯度和信息熵较高且峰值信噪比最高，亦可说明大气光图法优于四叉树等方法。

低照度图像反转类似雾天图像，为此，可将反转图视为拟雾图像去雾再次反转完成低照度图像增强。然而，基于雾天退化模型对拟雾图像进行去雾处理时，拟雾图像中的大面积明亮区域，破坏了暗先验理论的存在基础，无法沿用基于暗原色先验理论计算拟雾图像预估透射率图的方法；同时，拟雾图像部分亮度偏高的现象造成全局大气光值过大，直接影响增强效果。为此，本文构建了一个CNN用于学习并预测拟雾图像与透射率间的映射关系；同时，基于大气光值细化的基本思路，引入大气光图。采用拟雾图像的灰度图完成透射率图和大气光图的导向滤波，最终完成拟雾图像基于雾天退化模型的增强。将本文算法与Retinex、MSRCR、基于He算法和文献[13]算法做了对照实验。实验结果表明，本文算法既可以有效地提高视觉效果，又避免了颜色失真，曝光过度等问题。随后的工作中，将综合考虑低照度图像的噪声问题，进行进一步地研究和改进。