雾天是一种特殊的自然天气现象，纯粹的雾是由大量的微小水滴稳定地悬浮在空气之中而构造成的。由于在雾天情况下，空气中含有的这些特殊微粒成分，使得大气的透明度出现一定程度的降低，同时入射光被这些粒子散射开来，在人类视觉上造成了能见度的降低^[1]。雾还对户外图像采集设备造成了影响，使得设备采集的图像质量退化，对比度和分辨率均出现不同程度的降低,进而使得相关基于视觉的监测系统变得脆弱，在雾浓的时候甚至能造成这些系统完全瘫痪。因此，雾严重影响了图像在目标识别、目标跟踪、视频监控、智能交通等算法或系统中的应用。为了尽可能减小雾对这些设备或系统造成的影响，图像去雾或者说图像恢复就显得尤为重要。

目前图像去雾方法主要分为基于传统的图像增强方法和基于物理模型的图像恢复方法。基于图像增强的图像去雾方法，因为没有对图像质量退化的原因进行分析，得到的效果并不好，尤其是对图像的一些细节信息处理得不理想。目前，在图像去雾领域，广泛使用的方法是基于模型的图像恢复方法。Tan等人^[2]利用马尔可夫随机场理论来实现复原图像局部对比度的最大化，以此达到去雾的目的。该方法操作起来较为简单，并且能同时适用于灰度和彩色图像，取得的效果也较为明显，但是恢复后图像的颜色一般会过于饱和，且景深突变处容易产生光晕效应。Fattal^[3]通过假设物体表面色度和透射率的局部不相关性来估计大气传递系数。该算法对一般雾天条件下的图像进行恢复能够取得比较理想的效果，但是这种算法不能有效地处理浓雾图像。Tarel等人^[4]在对大气耗散函数进行操作时加入了特殊的中值滤波理论，并且用退化图像内最小的通道来估算大气耗散函数；该文认为图像中除了景物边缘外，其他的连续区域应该都是平滑的；该方法是基于线性操作的，而且提出了以图像中的最小通道为假设条件，在图像去雾方面开启了新的思路。但该方法采用了较多的参数，不便实际操作。

He等人^[5]于2009年的CVPR(计算机视觉与模式识别)会议上提出了一种基于暗通道先验的去雾方法，取得了很好的效果，并在图像去雾领域产生了很大的影响，但是这种方法也存在一些缺点。首先软抠图算法具有较高的运算量，很难用到实时的监测场合，其次是图像中大片的天空区域恢复后有较明显的失真现象。

近年来也出现了很多基于暗原色理论的改进算法，在运算量和色彩失真方面均做了有效的改进。例如，文献[6-7]均是在基于暗原色理论的基础之上改进的。这些基于暗原色理论的改进算法基本上都能在一定程度上改善运行效率和去雾效果。

本文针对图像去雾领域越来重视去雾过程中对图像边缘细节的恢复和保护问题，提出一种双边滤波与暗通道结合的图像保边去雾算法。在对有雾图像进行全局清晰化处理的同时，着重致力于最大限度地恢复有雾图像的局部细节，比如对基于某种特定颜色或是特定深度信息的局部区域的边缘等细节进行清晰化处理，使得图像在恢复后，这些局部区域的边缘等细节信息能够较为精确地被检测出来，以便用于监测或监控系统，从而使基于视觉的监测系统在有雾情况下能继续工作。

根据大气散射物理模型^[8]可知，摄像机或是人眼接收到的光线强度由两部分组成：一部分是目标图像在传播过程中衰减后的光强；另一部分是周围的环境光，可表示为

$I(x)=J(x)t(x)+A[1-t(x)]$

(1)

式中，I表示采集到的雾天图像；J表示要得到的无雾的清晰图像；t表示大气的透射率，即光线的传播率；A表示大气光值，一般用来表示无穷远处光照强度；x表示图像上点的位置坐标。I、J、t变量均与x有关。

He等人^[5]从研究无雾图像的统计特征出发，发现了一个在绝大多数无雾图像中广泛存在的一条规律——暗原色先验，也称暗通道先验，即在任意清晰图像的某些局部区域内总是存在这样一些特殊的像素点，这些像素点至少在某一个颜色通道上的强度值非常小，接近于零，直观表现就是图像的这些局部区域非常黑暗。这些特殊的像素点被称为暗原色点,即

${J^{{\rm{dark}}}}{\rm{(}}x{\rm{)}} = \mathop {{\rm{min}}}\limits_{c \in \left\{ {{\rm{R,G,B}}} \right\}} [\mathop {{\rm{min(}}{J^c}{\rm{(}}y{\rm{))}}}\limits_{y \in \Omega (x)} ]$

(2)

式中，J^dark为图像J的暗原色，J^c表示J的R、G、B 3个颜色通道中的任意一个通道，Ω(x)表示以像素点x为中心的局部区域或称为一个窗口，y表示图像局部区域Ω(x)上点的位置坐标，c表示颜色通道。

根据暗通道先验理论，有

${{J}^{\text{dark}}}\to 0$

(3)

暗原色先验去雾方法是建立在大气散射模型之上的，具体流程如图 1所示。

先对式(1) 进行简单变形

$\frac{{{I}^{c}}(x)}{{{A}^{c}}}=t(x)\frac{{{J}^{c}}(x)}{{{A}^{c}}}+1-t(x)$

(4)

1) 求解透射率。首先不妨假设大气光值A是已知的(后面将会对其进行求解)；同时假设在一个局部区域内大气的透射率是恒定不变的，那么式(4) 两边在大小为Ω(x)区域内进行最小值滤波运算，可得

$\mathop {\min }\limits_{y \in \Omega (x)} {\kern 1pt} \frac{{{I^c}(y)}}{{{A^c}}} = \tilde t(x)\mathop {\min }\limits_{y \in \Omega (x)} {\kern 1pt} \frac{{{J^c}(y)}}{{{A^c}}} + 1 - \tilde t(x)$

(5)

式中,$\tilde{t}(x)$表示透射率。

然后再对式(5) 两边进行3个颜色通道上的最小值滤波运算，得

$\mathop {\min }\limits_c \left[ {\mathop {\min }\limits_{y \in \Omega (x)} \frac{{{I^c}(y)}}{{{A^c}}}} \right] = \tilde t(x)\mathop {\min }\limits_c \left[ {\mathop {\min }\limits_{y \in \Omega (x)} \frac{{{J^c}(y)}}{{{A^c}}}} \right] + 1 - \tilde t(x)$

(6)

根据暗通道先验规律，无雾的户外图像暗原色J^dark是接近于0的。又根据式(2) (3) ，且A^c为正值，则有

${J^{{\rm{dark}}}}(x) = \mathop {{\rm{min}}}\limits_{c \in \left\{ {r,g,b} \right\}} [\mathop {({J^c}(y))}\limits_{y \in \Omega (x)} ] \approx 0$

(7)

在不影响实验效果的情况下，计算时不妨将式(7) 取等号来处理。那么将式(7) 代入式(6) 则有

$\tilde t(x) = 1 - \mathop {\min }\limits_c \left[ {\mathop {\min }\limits_{y \in \Omega (x)} \frac{{{I^c}(y)}}{{{A^c}}}} \right]$

(8)

这便是透射率$\tilde t(x)$的预估值。

2) 估算大气光。前面在求解透射率时，假定大气光值A是已知的，但事实上要对大气光值进行预先估计。大气光值A一般在同一幅图像中是一个定值，而且是一个3维值，它包含R、G、B 3个通道的大气光值。式(4) —式(8) 中A^c表示3个通道中任意一个通道的大气光值。对于大气光值A的估算，常采用以下步骤：

(1) 求取暗通道图。在暗通道图中选取前0.1%最亮的像素点，并且记录它们在原始图像中所对应的坐标位置。

(2) 估算大气光值A。在原始输入图像中找到对应步骤(1) 中所述坐标的像素点，分别求出它们在R、G、B 3个颜色通道上最大强度值，即为全局大气光值A在3个通道的值。

3) 图像复原。在求得透射率分布图及大气光值A之后，可以利用式(1) 的逆变换来对有雾图像进行复原处理，输入有雾图像I(x)，就可以求得去雾后的图像J(x)，即

$J(x) = \frac{{I(x) - A}}{{t(x)}} + A$

(9)

另外，为了防止t(x)取零值，要设置一个下限t₀(一般t₀取0.1较为合适，当求得的透射率值大于t₀时保持不变，当透射率小于t₀值时，取为t₀。实际运算中用t_max(x)代替t(x)，t_max(x)为

${t_{\max }}(x) = \max [t(x),{t_0}]$

(10)

那么，式(9) 可以表示为

$J(x) = \frac{{I(x) - A}}{{{t_{\max }}(x)}} + A$

(11)

由于透射率在一个局部区域内并非一直保持不变，所以由以上公式得出的透射率图中往往会产生一些白边现象，尤其是图像中近景与远景的交汇处，白边现象更为明显。为了改善这一状况，需要对透射率图进行细化和平滑处理。He等人^[5]最初采用的是一种软件抠图方法来对粗略的透射率图进行精细化处理，其效果很好，但是整个过程复杂度过高。

考虑到采用软抠图方法^[5]来细化介质透射率耗时多的问题，将在细化介质透射率的方式上进行改进，以提升算法时效性。分析发现，未细化的透射率图有大量块状及白边现象。造成这一现象的原因是在求暗通道图时设定了局部区域Ω，且在同一局部区域内透射率假设是相同的，因此求得的暗通道图中这一局部区域内的像素点灰度值都被设定为相同的值。显然，这种假设会造成这些小区域中部分点的像素值被低估，这也是造成未细化透射率的复原图中景深突变处出现白边的原因。为了消除这种现象，可以采用最大值滤波方法^[9]对这些被低估的暗像素点的值进行修复。

综合考虑，将采用双边滤波和最大值滤波的联合方式来对透射率进行细化求解，其本质是对暗通道图进行处理。

双边滤波(bilateral filter)属于非线性滤波方法^[10]。双边滤波和传统的高斯滤波类似，它也利用局部加权平均的原理，但是二者也有明显的区别。双边滤波的加权系数是由两部分决定的，一部分是像素间空间距离之差，可称为空间邻近度因子；另一部分是像素间的灰度值之差，可称之为灰度相似度因子^[11]。

相对高斯滤波，双边滤波在原理上更为复杂，这也决定了后者在功能上有更多的优势。即双边滤波对输入图像进行平滑处理的同时还能有效保持图像边缘细节信息。对输入图像进行双边滤波后，图像中的每个像素的灰度值是等于其邻域范围内像素的加权平均。加权系数是空间临近度因子和灰度相似度因子的乘积。

假设输入图像I中目标像素为p，其坐标为(x,y)，它的灰度值用I_p表示。滤波之后得到的输出图像为BI，此时p点的灰度值定义为BI_p。另外假设用q表示中心像素点p的邻域像素点，其坐标为(u,v)，并且设p的领域像素点集合为Ω，则双边滤波可为

$\begin{array}{c} B{I_p} = BF({I_p}) = \\ \frac{1}{{{W_p}}}\sum\limits_{q \in \Omega } {{G_{{\sigma _d}}}} (\left\| {p - q} \right\|){G_{{\sigma _r}}}(\left| {{I_p} - {I_q}} \right|){I_q} \end{array}$

(12)

式中，W_p为归一化因子，G_σd表示空间邻近度因子，G_σr表示灰度相似度因子，σ_d是基于高斯函数距离标准差，决定滑动窗口的大小，σ_r是基于高斯函数的灰度标准差。而且

${W_p} = \sum\limits_{q \in \Omega } {{G_{{\sigma _d}}}} (\left\| {p - q} \right\|){G_{{\sigma _r}}}(\left| {{I_p} - {I_q}} \right|)$

(13)

${{G}_{{{\sigma }_{d}}}}(\left\| p-q \right\|)={{e}^{{-[{{(x-u)}^{2}}+{{(y-v)}^{2}}]}/{2{{\sigma }_{d}}^{2}}\;}}$

(14)

${{G}_{{{\sigma }_{r}}}}(\left| {{I}_{p}}-{{I}_{q}} \right|)={{e}^{{-{{[{{I}_{p}}-{{I}_{q}}]}^{2}}}/{2{{\sigma }_{r}}^{2}}\;}}$

(15)

由式(13) —(15) 可以看出，空间域滤波核函数以及灰度滤波核函数的径向作用范围分别是由空间邻近度因子和灰度相似度因子控制，而且在邻域像素中，只有空间距离较近且灰度值相差较小的像素点才会在滤波时对中心像素点的影响比较大。

为了更直观地表示出双边滤波与经典高斯滤波的区别，下面通过几组实验来进行说明。如图 2所示，选取一幅左右区域分明的带有噪声的图像，并用蓝色框表示出目标像素的位置。

从图 2可以看出，双边滤波加入了像素点的灰度相似性权重之后，可以将原图目标区域内左侧那些跟当前像素灰度值差异过大的点滤去，这样就能很好地保持边缘，如图 2(b)给人一种突变的感觉，而图 2(c)却没有这种效果。

实际图像进行对比实验。取一幅Lena灰度图像，分别对原图和加入标准差为20的高斯噪声的图像进行双边滤波和高斯滤波处理，实验结果如图 3所示。由实验结果可知，两种滤波方式均有平滑和去噪的功效，而且对比图 3(b)和图 3(c)，以及图 3(e)和图 3(f)可以发现，双边滤波方式还可以更好地保持图像的边缘细节，而高斯滤波方式处理的结果就显得模糊了很多。

根据2.1节对双边滤波器的论述可以发现，双边滤波方式在对图像进行平滑的同时具有保持图像边缘细节的功能。因此，采用双边滤波和最大值滤波联合的方式来对介质透射率进行细化处理，而且，先进行最大值滤波，再进行双边滤波，以便更好保持图像边缘部分。算法具体步骤如下：

1) 根据输入的原始有雾图像，求出暗通道图

${I^{{\rm{dark}}}}(x) = \mathop {{\rm{min}}}\limits_{c \in \left\{ {r,g,b} \right\}} \left[ {\mathop {{\rm{min(}}{I^c}{\rm{(y))}}}\limits_{y \in \Omega (x)} } \right]$

(16)

2) 对暗通道图像先后做最大值滤波和双边滤波处理。该处理的目的是对图像中景深突变处的暗像素点进行修复，以达到对图像进行平滑的同时保持图像边缘细节。

最大值滤波结果用I_max^dark(x)表示，双边滤波结果用BI_max^dark表示，则

$I_{\max }^{{\rm{dark}}}(x) = \mathop {{\rm{max}}}\limits_{y \in \Omega (x)} \left[ {{I^{{\rm{dark}}}}(y)} \right]$

(17)

$BI_{\max }^{{\rm{dark}}}(x) = \frac{{\sum\limits_{q \in \Omega (x)} {{G_{\sigma d}}(\left\| {p - q} \right\|){G_{\sigma r}}(\left| {I_{\max }^{{\rm{dark}}}(p) - I_{\max }^{{\rm{dark}}}(q)} \right|)I_{\max }^{{\rm{dark}}}(q)} }}{{\sum\limits_{q \in \Omega (x)} {{G_{\sigma d}}(\left\| {p - q} \right\|){G_{\sigma r}}(\left| {I_{\max }^{{\rm{dark}}}(p) - I_{\max }^{{\rm{dark}}}(q)} \right|)} }}$

(18)

式中，p为目标像素点，q表示p的邻域像素点，邻域像素点集合用Ω表示。

3) 大气光值A计算方式的改进。He算法^[5]中A是取暗通道图中的前0.1%的最亮像素点，然后在原图中找到对应的点，分别取这些像素点中B、G、R 3个通道的最大值作为3个通道的大气光值。对于一般的图像，这样的取法会造成各通道的A值很接近255，这样就容易造成处理后的图像偏色以及天空部分出现色斑的现象。本文在计算A时作了一些修改，即在暗通道图中取灰度值在区间[220,255]的像素点，然后在原图中找到相应的这些点，分别计算这些点在B、G、R 3个通道的均值，作为整幅图 3个通道的大气光值，并用于后续计算。这样做有两个好处：一是能够解决处理后图像的色偏及天空色斑的问题；二是直接取强度值在[220,255]的像素点，避免了在编码实现中使用排序的方法找出前0.1%的最亮像素点，降低了计算时间复杂度。

4) 根据式(1) (2) (7) (8) 可得到改进后的透射率

$t(x) = 1 - \omega \mathop {{\rm{min}}}\limits_c \left[ {\mathop {{\rm{min}}}\limits_{y \in \Omega (x)} \frac{{BI_{\max }^{{\rm{dark}}}(y)}}{{{A^c}}}} \right]$

(19)

式中，ω为强度系数，其值根据实际情况确定，对于一般图像去雾通常取0.95或0.98较为合适。

采用2.2节方法求出透射率后，再结合暗通道方法求出大气光值A以及图像复原式(10) (11) ，便可对有雾图像进行复原。选取两组户外有雾图像进行实验，并从得出的透射率图、复原效果及运算时间进行对比分析。实验编程环境为Matlab7.0版本，操作系统为Windows XP SP3，计算机硬件配置为Intel(R) Core(TM)2 Quad CPU Q8400 @2.66 GHz及4 GB RAM。实验结果如图 4—图 6所示。

从图 4可以看出，本文算法和He^[5] 软抠图的修复算法均能得到较为清晰的透射率分布图，并且改善了预估透射率图中的块状现象。另外本文算法采用了最大值滤波和双边滤波联合的方法对透射率图进行计算，因此对透射率细化的同时，还起到了平滑图像边缘的效果。

从图 5可以看出，本文算法和He的抠图算法均能很好地改善未细化透射率的复原图中的光晕或白边现象。从图 6的局部放大对比图可以看出，本文算法复原图比He算法^[5]细化透射率后的复原图更加细腻清晰，特别是从图 6(c)(d)中的树枝和桥拱的位置来观察，区别较为明显。另外，从耗时方面，对本文算法与He算法^[5]细化透射率前后的恢复算法进行了对比，如表 1所示。

根据表 1中的数据可以得出，He^[5]算法采用软件抠图方法对透射率进行修复过程耗时较多，而本文算法是从暗通道图直接进行滤波处理而得到透射率的，避开了修复透射率的过程，所以节省了运行时间。

本文所提出的双边滤波与暗通道结合的图像保边去雾算法，在对有雾图像进行全局清晰化处理的同时，着重致力于最大限度地恢复有雾图像的局部细节，比如对基于某种特定颜色或是特定深度的局部区域的边缘等细节，进行清晰化处理。通过引入双边滤波和最大值滤波联合的方法对暗通道方法中透射率修复算法进行有针对性的改进，在提升时效性的同时，有效地保持了图像边缘细节信息。但是要使本文改进算法运用到实时系统中，其运行效率还需继续提升。另外，本文算法得出的复原结果能更好地保持图像边缘的效果，更适合运用到基于图像检测类的系统中去。