雾天空气中悬浮着大量微小悬浮粒子，由于其散射作用造成户外图像颜色和对比度严重退化，影响人们的视觉感受。在中国的道路交通环境中，特别是城市道路交通，时常都会有雾霾的出现，不仅造成能见度的降低，还严重影响着交通视频监管系统，非常不利于交通监测，大大提高了交通安全事故率。

近年来，国内外关于雾天图像的清晰化问题，提出了很多去雾算法，主要有基于图像复原^[1-6]和图像增强^[7-8]两类方法。前者主要是以雾天图像降质的物理过程为基础，建立雾天退化模型，在反演图像退化的过程中完成对参数的最优化估计，补偿退化过程中所造成的图像失真，从而改善雾天图像质量；后者主要是增强被降质图像的对比度，突出图像中景物的特征和有价值的信息，从而改善图像的质量。但是图像增强方法从本质上来讲只是提高了图像的对比度和清晰度，并没有真正意义上实现对图像的去雾，因此图像复原的去雾算法得到越来越多学者的关注与研究。

Tan等人^[1]观测到与有雾图相比无雾图具有更高的对比度，从而提出了利用最大化图像局部对比度来实现图像的去雾，但是去雾后的图像往往会出现颜色过于饱和的现象，原因是没有考虑大气光成分这一因素的影响。

Fattal等人^[2]通过假设场景目标表面投影和光的传播局部不相关，提出一种估算场景反射率从而推导出场景透射率的方法来实现雾天图像的去雾。因为该方法基于数理统计，并且要求具有足够的颜色信息，所以当处理浓雾天气下颜色暗淡的图像时，由于统计信息不足导致图像复原后出现失真。

为解决以上几种方法的问题，He等人^[3]在2009年提出了一种基于暗原色先验理论并结合雾天成像模型的方法来实现雾天图像的去雾，该方法能够很好地实现有雾图像的复原，但是，由于该算法建立在暗原色先验基础之上，因此对于诸如天空、白云等不存在暗原色的明亮区域，其恢复结果往往会出现明显的颜色失真。然而交通场景中，很多图像往往包含有大片的天空区域。

基于此，本文在基于He的暗原色先验理论的基础上，提出一种新的方法来实现对雾天交通图像的去雾。首先将雾天图像进行图像分割得到天空区域和非天空区域，然后分别对不同的区域进行图像去雾操作，从而改进暗原色先验模型对天空区域过度增强的缺陷。

雾天图像成像的过程中主要受两方面因素的影响。一方面，由于受大气中微小颗粒的散射作用，使得从景物反射到达成像设备的入射光出现衰减现象；另一方面，大气粒子的散射作用还将天空中的自然光一起参与图像成像，造成雾天拍摄图像整体偏向于灰白色。因此，在计算机视觉和计算机图形学领域中，被广泛用于描述雾天图像成像模型^[2-4]，即

$ I\left( x \right) = J\left( x \right)t\left( x \right) + A\left( {1 - t\left( x \right)} \right) $

(1)

式中，右边第1项$J\left( x \right)t\left( x \right)$通常被叫做直接衰减模型，第2项$A\left( {1 - t\left( x \right)} \right)$叫做大气光成像模型。$I\left( x \right)$代表的是在像素$x = \left( {x, y} \right)$处观测图像的强度，$J\left( x \right)$是场景光线强度，A是大气光，$t\left( x \right)$代表的是到达成像设备时没有被散射和吸收的介质透射率。去雾的目标就是从I中复原J，A和t，式(1)也可以写为

$ J\left( x \right) = \frac{{I\left( x \right) - A\left( {1 - t\left( x \right)} \right)}}{{t\left( x \right)}} $

(2)

从式(2)中可以看到，要想得到复原后的图像$J\left( x \right)$，除了已知的输入图像$I\left( x \right)$外，还需要估计出未知的A和$t\left( x \right)$，即，从一个单幅图像I中，需要估计出未知的J，A和t。因此，可以看出图像去雾实际上是一个不适定问题，这就需要给出一些设定或先验知识来解决这样一个具有挑战的问题。在模型式(1)或(2)中，$t\left( x \right)$可以被表述为

$ t\left( x \right) = {{\rm{e}}^{ - \beta d\left( x \right)}} $

(3)

式中，β^[9]代表的是光线受到大气微粒散射和吸收所造成的散射系数，d指的是图像中的场景深度。方程式(3)指示的是场景的对比度随着场景深度的增加而成指数的形式衰减。通常式(3)被称为大气均匀条件下的传输图，认为散射系数β是恒定不变的。

暗原色先验理论是由He等人^[3]对室外大量无雾图像进行统计观察后所提出来的：在绝大部分不包含天空区域的局部区域里，至少会有一个颜色通道中存在一些亮度很低的像素点，甚至趋近于零。相当于区域中最小亮度值趋于零。因此，对任意一幅图像J，其暗通道^[3]被定义为

$ {J^{{\rm{dark}}}}\left( x \right) = \mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\mathop {\min }\limits_{c \in \left\{ {r,g,b} \right\}} {J^c}\left( y \right)} \right) $

(4)

式中，${J^c}$代表J的某一个颜色通道，$\Omega \left( x \right)$代表以x为中心的一块方形区域。对图像进行两次最小值操作得到一个暗通道输出：$\mathop {\min }\limits_{c \in \left\{ {r, g, b} \right\}} $被用作处理每一个像素，$\mathop {\min }\limits_{y \in \Omega \left( x \right)} $是最小值滤波器。这两个最小值操作时可以相互交换。因此，基于暗通道的概念，当J为一幅室外无雾图像时，除去天空区域，J的暗原色${J^{{\rm{dark}}}}$的亮度很低并且趋近于0，即

$ {J^{{\rm{dark}}}} \to 0 $

(5)

由于雾天交通场景中图像整体呈现灰白色状态，对比度与亮度变化缓慢，且图像中前景目标一般比较色彩鲜艳，而背景特别是天空区域，几乎呈白色状态。实验中，如果采用边缘检测算法来进行图像天空区域的分割，由于雾所造成的图像边缘模糊，得到的往往是断续的、不完整的图像结构信息；虽然基于神经网络的分割算法能够很好地分割图像，但是其计算量大，所耗时间长且收敛速度慢。与这些算法相比较，大津算法(OTSU)不仅计算简单，且结合雾天交通图像的特点，其不受图像对比度与亮度变化的影响。因此采用大津算法^[10-11]对交通雾图进行天空区域的分割具有很好的应用效果，大大简化了后期雾天交通图像的复原工作。其分割后的图像如图 1所示。

假定一幅图像有M个灰度级，图像中的灰度级记作i，$i \in \left\{ {0, 1, 2, \cdots, M - 1} \right\}$，计算图像的直方图，统计任一灰度级的个数f_i，图像的像素总个数记为N，其中$N = {f_0} + {f_1} + \cdots + {f_{M - 1}}$。此时图像中出现灰度级i的概率为

$ {p_i} = \frac{{{f_i}}}{N},{p_i} \ge 0,\sum\limits_{i = 0}^{M - 1} {{p_i} = 1} $

(6)

设置阈值t将图像中的像素按灰度级分为两类，一类为目标T，一类为背景B，即$\boldsymbol{T} = \left\{ {1, 2 \cdots, t} \right\}$，$\boldsymbol{B} = \left\{ {t + 1, t + 2, \cdots, M} \right\}$，当两组的灰度值类类方差最小且类间方差最大时，该算法得以实现。本文中，背景为天空区域，天空区域以外的区域都为目标区域。其具体算法步骤如下：

1)假设t为图像的分割阈值，分别计算前景产生概率${\omega _T}$和背景产生概率${\omega _B}$；

2)计算前景平均灰度值${\mu _T}$和背景平均灰度值${\mu _B}$；

3)计算图像的总平均灰度值${\mu _r}$和类间方差${\sigma ^2}$；

4)求取最大化类间方差值作为最佳分割阈值。两类出现的概率分布分别为

$ {\omega _T} = \sum\limits_{i = 0}^t {{p_i} = } \omega \left( t \right) $

(7)

$ {\omega _B} = \sum\limits_{i = t + 1}^{M - 1} {{p_i} = 1 - } \omega \left( t \right) $

(8)

两类的灰度均值分别为

$ {\mu _T} = \sum\limits_{i = 0}^t {\frac{{i{p_i}}}{{{\omega _T}}}} = \sum\limits_{i = 0}^t {\frac{{i{p_i}}}{{\omega \left( t \right)}}} $

(9)

$ {\mu _B} = \sum\limits_{i = t}^{M - 1} {\frac{{i{p_i}}}{{{\omega _B}}} = \frac{{{\mu _r} - \mu \left( t \right)}}{{1 - \omega \left( t \right)}}} $

(10)

式中，${\mu _r}$为图像的总平均灰度，记为${\mu _r} = {\omega _t}{\mu _t} + {\omega _B}{\mu _B}$；$\mu \left( t \right) = \mu \left( t \right) = \sum\limits_{i = 1}^t {i{p_i}} $。对于任意t值有${\omega _T} + {\omega _B} = 1$。

OTSU中的类间方差可以定义为

$ \begin{array}{l} {\sigma ^2} = {\omega _T}{\left( {{\mu _T} - {\mu _r}} \right)^2} + {\omega _B}{\left( {{\mu _B} - {\mu _r}} \right)^2} = \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{\omega _T}{\omega _B}{\left( {{\mu _T} - {\mu _B}} \right)^2} \end{array} $

(11)

从以上各式中可以看到${\sigma ^2}$是关于t的函数，因此只要求出最大化的类间方差值，就可以得到最佳分割阈值，其分割阈值T的获取方式为

$ T = \arg \mathop {\max }\limits_{0 \le i \le M - 1} \left\{ {{\sigma ^2}\left( t \right)} \right\} $

(12)

在进行大气光估计、场景传输率估计之前，首先需要描述如何应用暗原色先验理论来实现雾天图像去雾。结合雾天图像成像模型式(1)，He^[3]假设大气光A是一个已知的常量，并且假设在一个局部区域${\Omega \left( x \right)}$里透射率t是恒定不变的，将其定义为$\tilde t\left( x \right)$。对雾天图像模型两边同时除以A，然后应用暗原色先验，两边再求最小值运算得到，即

$ \begin{array}{l} \mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} \frac{{{I^c}\left( y \right)}}{{{A^c}}}} \right) = \\ \tilde t\left( x \right)\mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} \frac{{{J^c}\left( y \right)}}{{{A^c}}}} \right) + 1 - \tilde t\left( x \right) \end{array} $

(13)

由于场景辐射${J^c}\left( x \right)$是一个无雾图像，${J^c}\left( x \right)$的暗通道值趋近于0。因此，根据暗原色理论可知

$ \mathop {\min }\limits_{y \in \Omega \left( x \right)} \left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} \frac{{{J^c}\left( y \right)}}{{{A^c}}}} \right) = 0 $

(14)

将式(14)代入式(13)得到透射率的估计值为

$ \tilde t\left( x \right) = 1 - \mathop {\min }\limits_{y \in \Omega \left( x \right)} \;\left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} \frac{{{I^c}\left( y \right)}}{{{A^c}}}} \right) $

(15)

但是在现实生活中，即使是晴天白云，空气中也存在着一些颗粒，当观看远处的物体时依然能够感觉到雾的影响。因此，为了使去雾后的图像看起来更自然，在去雾时有必要保留一定程度的雾。He^[3]为方程式(15)引入一个常数$\omega \left( {0 < \omega \le 1} \right)$，即

$ \tilde t\left( x \right) = 1 - \omega \mathop {\min }\limits_{y \in \Omega \left( x \right)} \;\left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} \frac{{{I^c}\left( y \right)}}{{{A^c}}}} \right)\left( {\omega \in \left( {0,1} \right]} \right) $

(16)

设定$\omega $的值为0.85。

但是在以上的推论中，大气光A的值都是已知的。而在进行传输率$\tilde t\left( x \right)$估计之前，首先需要估计出大气光A，它的估计精确与否将很大程度上影响最终的图像复原。Tan^[1]将输入图像中具有最高强度的像素点的值作为A。He^[3]的做法是，从暗通道图中按照亮度的大小提取前0.1%的像素，然后取这些像素所对应的在原图像中的最大值作为A的值。他们的方法最终都是取原始图像像素中某一个点的像素作为A的值，这样做会使得各通道的A值很可能全部接近于最大像素值255，造成处理后的图像偏色或出现大量色斑，并且Tan^[1]的方法只有当天气为阴天，太阳光被忽略时，A的取值才有效。

为了更好地估计大气光A的值，将之前分割后的原始图像天空区域的平均强度值作为A的估计值。因为天空区域的景深可以被认为是无穷远的，即

$ d\left( x \right) \to + \infty $

(17)

将式(17)代入式(3)可知

$ t\left( x \right) \approx 0 $

(18)

再将式(18)代入式(1)可知

$ I\left( x \right) \approx A $

(19)

此时，式(19)中的A值可以认为是最大雾区域的亮度值^[1]。因此，将天空区域的平均强度作为大气光A的值，认为是合理的。即

$ {A^c} = \mathop {{\rm{mean}}}\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} I_{{\rm{sky}}}^c\left( y \right) $

(20)

式中，$I_{{\rm{sky}}}^c$代表天空区域中的一个颜色通道，$\mathop {{\rm{mean}}}\limits_{c \in \left\{ {{\rm{r, g, b}}} \right\}} $被用来处理每一个像素，其中mean为一个平均值滤波器。将式(20)代入式(16)得到最终的场景传输率为

$ \tilde t\left( x \right) = 1 - \omega \mathop {\min }\limits_{y \in \Omega \left( x \right)} \;\left( {\mathop {\min }\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} \frac{{{I^c}\left( y \right)}}{{\mathop {{\rm{mean}}}\limits_{c \in \left\{ {{\rm{r,g,b}}} \right\}} I_{{\rm{sky}}}^c\left( y \right)}}} \right) $

(21)

从图 2(a)中可以看到，通过暗原色先验所得到的场景透射率图是很粗糙的，并且图 2(a)中出现了很多的块状效应，这将导致最后的去雾图像中出现光晕现象或者雾没有除尽的现象。造成这种结果的原因是由于在图像的每个局部区域里$t\left( x \right)$的值并不总是恒定不变的。在恢复图像之前为了不让这种现象的产生，He等人^[3]采用软抠图的方式来优化场景传输率。通过优化后的场景传输率得到了很好的恢复图像。但是软抠图计算复杂，需要很长的处理时间，为此，He又提出了一种导向滤波^[12]的方法来优化传输率，优化后的传输图如图 2(b)所示。这种方法不仅计算速度大大的提高，而且简单有效。因此，本文采用导向滤波作为本文优化传输率的方法(详见文献[12])。在这里需要注意的是，进行导向滤波优化透射率之前，首先对天空区域和非天空区域分别进行传输率估计，然后将两者的传输率相结合后再实行导向滤波优化。对于天空区域，为了避免其在复原的过程中被过度增强，导致天空区域出现大量色斑或光晕等现象，在进行天空区域的传输率估计时采取以下措施：

1)对应之前图像分割后的天空区域找到原图像的天空区域；

2)计算原图像天空区域的平均值$sk{y_{{\rm{mean}}}}$；

3)计算天空区域的传输率值${T_{{\rm{sky}}}}$，并设定一个阈值T。如果${T_{{\rm{sky}}}}$小于等于T，${T_{{\rm{sky}}}}$不变；如果${T_{{\rm{sky}}}}$大于T，${T_{{\rm{sky}}}}$=$sk{y_{{\rm{mean}}}}$。

本文中选取T=0.75，其优化后的传输率图如图 3(b)所示，对比图 2(b)仅仅采用导向滤波优化后的传输率图，本文改进后的优化传输图的天空区域对比度更高。

在得到大气光系数A和场景传输率$t\left( x \right)$后，根据式(1)其最终的场景恢复公式为

$ J\left( x \right) = \frac{{I\left( x \right) - A}}{{t\left( x \right)}} + A $

(22)

通过式(22)得到最终去雾后的图像如图 3(c)所示。

实验图片部分来自百度、google等网站，部分来自于实际采集的图像数据，使用15×15的卷积核，$\omega $设置为0.85，开发工具采用MATLAB。

图 3为本文算法与He的算法的对比分析。本文算法的去雾结果(图 3(c))在天空区域并没有出现颜色失真或大量色斑出现的情况。He算法^[3]之所以对天空区域的处理会出现这种情况，是由于天空区域像素值通常较大并不存在暗通道，造成天空区域的传输率$t\left( x \right)$=0，致使最终的去雾图像中天空区域过度被增强(如图 3(f)中红色方框所示)。本文算法基于分割后的天空区域，采用2.3节的方法对传输率图进行优化处理，其天空区域的对比度较高，这样比He的优化传输图更能准确的描述实际大气条件下图像的成像过程。这也是本文算法的优势之一。

与Fattal的算法^[2]对比如图 4所示。图 4(a)的图像为大雾环境下的雾天交通图像。从图 4(c)中可以看到，在雾浓度较大时，由于统计信息的不足导致Fattal算法的传输图几乎无法辨认，从而使得恢复后的图像出现了严重的失真(图 4(e))，并且天空区域也出现了过度增强的现象。而本文所提算法在雾浓度较大的情况下也取得了较好的去雾效果(图 4(f))，并且天空区域没有被过度增强。

在图 5中，比较了本文算法与He、Fattal算法的更多的去雾结果图。从图 5可以看到，本文算法保持着相同的结果，都得到了比较满意的结果且天空区域没有被过度增强，去雾后的图像也显得更加的真实、自然、平滑。在Fattal的结果中，均出现了图像失真的问题，且天空区域均出现过度增强的现象。在He的结果中，天空区域普遍存在过度增强的效果，特别在有些图片的天空区域出现了颜色偏红的现象(图 5(c)最上面的两幅去雾图像)。然而本文算法也不是完美的，因为很好地保护了天空区域不被过度增强，因此离天空区域较近的位置，也就是图像中景深较远位置的去雾效果并不是很好。

本文对基于暗原色先验的去雾算法进行了理论分析和实验观察，应用此方法对雾天交通图像实现了去雾。从中发现原算法在处理交通雾图时存在不足，原因是由于交通场景中通常含有大片天空区域的图像。因此，本文提出一种基于天空区域分割的改进暗原色先验去雾算法。此算法解决了暗原色先验在明亮区域估计透射率偏小的问题，使其更接近实际情况，避免在处理这些区域时产生色彩失真。实验结果表明，改进的算法能够明显提高雾天交通图像的整体对比度、层次感，为道路交通监管部门提供了一个可靠的应用实施方案。

然而，本文算法还存在它的极限性，对于浓雾环境下景深较远的物体，其复原效果不是很好(如图 3(c))。导致这样的结果是由于在场景传输率的优化中，假设传输率的散射系数是固定不变的，而在实际的大气中，散射系数是随着不同天气条件下空气中微粒的不同而变化着的。因此，在未来的工作中，可以将气象因素引入到去雾算法中，从而优化出更准确、鲁棒性更好的算法来实现雾天交通图像的去雾。