Print

发布时间: 2016-06-25
摘要点击次数: 288
全文下载次数: 39
DOI: 10.11834/jig.20160604
2016 | Volumn 21 | Number 6




    图像处理和编码    




  <<上一篇 




  下一篇>> 





视觉信息损失先验的图像分层去雾方法
expand article info 胡子昂1, 王卫星1,2,3, 陆健强1, 石颖1
1. 华南农业大学电子工程学院, 广州 510642;
2. 国家生猪种业工程技术研究中心, 广州 510642;
3. 广东省农情信息监测工程技术研究中心, 广州 510642

摘要

目的 针对自然场景下含雾图像呈现出低对比度和色彩失真的问题,提出一种基于视觉信息损失先验的图像去雾算法,将透射图预估转化成求解信息损失函数最小值的目标规划问题。 方法 首先通过输入图像的视觉特性将图像划分成含雾浓度不同的3个视觉区域。然后根据含雾图像的视觉先验知识构造视觉信息损失函数,通过像素值溢出映射规律对透射率取值范围进行约束,采用随机梯度下降法求解局部最小透射率图。最后将细化后的全局透射率图代入大气散射模型求解去雾结果。 结果 结合现有的典型去雾算法进行仿真实验,本文算法能够有效地复原退化场景的对比度和清晰度,相比于传统算法,本文算法在算法实时性方面提升约20%。 结论 本文算法在改善中、浓雾区域去雾效果的同时,提升了透射图预估的效率,对改善雾霾天气下视觉成像系统的能见度和鲁棒性具有重要意义。

关键词

图像去雾, 视觉信息损失先验, 目标规划, 透射图分层, 人类视觉感知

Image dehazing using visual information loss prior
expand article info Hu Zi'ang1, Wang Weixing1,2,3, Lu Jianqiang1, Shi Ying1
1. College of Electronic Information, South China Agricultural University, Guangzhou 510642, China;
2. National Engineering Research Center for Breeding Swine Industry, Guangzhou 510642, China;
3. Guangdong Engineering Research Center for Monitoring Agricultural Information Condition, Guangzhou 510642, China
Supported by: The Special Fund for Land and Resources Scientific Research in the Public Interest (201411019)

Abstract

Objective Image dehazing is inherently an ill-posed problem that involves the extraction of interesting targets from a static image or a video sequence. Such technology is expected to attract wide application in high-level image processing and visual engineering. Transmission estimation is the primary task in single image haze removal. The inhomogeneous fog distribution in a degraded image can lead to false estimations in the transmission estimation process. This paper proposes an image dehazing method that uses prior visual information loss. Given that a hazy image in a natural scene generally exhibits low contrast and chromatic distortion, we ignore the transmission estimation and instead solve the optimization problems of the information loss function. Methods First, the proposed method divides hazing images into three vision areas according to fog density. Second, the loss function, which is built based on the visible characteristics of hazy images, solves the local minimum transmission via the stochastic gradient descent method. Third, the divided dehazed areas are fused via multi-scale illuminance image segmentation with a linear filter. Fourth, the scene albedo is recovered by employing an atmospheric scattering model that uses global transmission. The proposed and existing dehazing methods are qualitatively and quantitatively evaluated to assess their image dehazing performance. Results The experimental results show that the proposed algorithm effectively removes haze from the degraded image and achieves higher-quality, halo-free, and detailed restorations than the existing dehazing methods. On the average, the proposed method achieves 20% higher-quality restorations than the classic haze removal algorithms. Conclusion The proposed method significantly enhances image visibility and demonstrates better image haze removal performance than the existing dehazing methods. Compared with the state-of-the-art method, the proposed algorithm is more successful in recovering images from moderate to thick foggy areas and is faster in real-time dehazing applications. The multi-scale and patch-based structure of our method allows us to reduce the running time in neighborhood operations. Future studies can use this method to improve prior knowledge on the effective evaluation mechanism of image dehazing.

Key words

image dehazing, visual information loss prior, optimization problem, transmission separation, human visual perception

0 引 言

光在雾、霾等介质中传播时,由于粒子的散射作用导致成像传感器采集的图像信息严重降质,在很大程度上限制了图像的应用价值。图像去雾的目的是消除雾霾环境对图像质量的影响,增加图像的可视度,是图像处理和计算机视觉领域共同关切的前沿课题,吸引了国内外研究人员的广泛关注。

目前,国内外对于单幅图像去雾方法的研究已经取得突破性进展。依据是否依赖大气散射模型的原则,可以将现有的方法分为两类:基于图像增强的方法和基于物理模型的方法。传统的图像增强方法以Retinex算法[1]和小波变换方法[2]为代表,这类算法能有效地提高雾天图像的对比度,改善图像的视觉效果,但没有考虑雾天大气对图像的影响,可能会造成突出部分的信息损失。然而大气散射物理模型能够很好地描述雾霾环境中图像退化的过程,成为目前众多研究者研究图像去雾问题的基础。

Fattal等人[3]运用独立成份分析的方法,假设入射光在大气中的传播和对象表面特性不相关,利用图像邻域信息的马尔可夫特性和局部最优化的思想计算得到清晰的图像,但是该方法在处理浓雾图像时存在局限。Ancuti等人[4]通过对日光条件下的多幅图像进行统计,得到图像有雾区域的半反图像和原始图像基本无差异的先验法则,提出基于半求反(semi-Inverse)去雾算法,该算法在光照强度较大的环境下能够获得较好的去雾效果。Kratz和 Nishino等人[5]假设图像景深和辐照度函数之间是统计独立的,利用重尾分布对图像景深和辐照度函数的梯度分布进行建模。

He等人[6]通过对无雾图像数据库的统计,得出了在绝大多数非亮域的局部区域里,光强度的最小值趋向于零的规律。根据暗通道先验规律,能够估计出大气透射率图,在后期的研究中引入导向滤波[7]的方法对透射率进行细化,进而求解无雾图像。但是该理论在实际应用中处理含有天空、浓雾等大面积亮域背景的图像时,不满足暗通道接近于零的先验条件,亮域因产生Halo效应而失真。在暗通道先验的基础上,研究人员提出了不少改进算法[8-10],取得了良好的去雾效果。

Fattal[11]提出Color-Lines的去雾方法,该方法指出自然场景图像的局部像素值在RGB色彩空间中呈现1维分布的规律,并利用这一规律与初始值的线性偏移量来预估含雾图像的透射图。同时利用了马尔可夫随机场来描述正则透射图预估中的噪声等。该方法相较于传统的局部耦合透射图估计,采用了相似属性区域远距离连通规则,在透射图预估精度上得到提升。

Zhu等人[12]提出基于耗散颜色先验图像去雾算法,利用线性加权模型描述含雾图像景深与亮度、饱和度之间的线性关系,通过自适应学习获取线性加权系数,进而估算图像景深信息,得到透射率图。

现有的图像去雾算法在处理亮域和中浓雾区域时存在不足,这是由于传统去雾算法采用全局透射图提取方法,使得去雾前后图像景深关系不一致而造成的。为解决上述问题,提出一种新的基于视觉信息损失先验的图像分层去雾算法。相较于清晰图像,含雾图像的直观视觉表征体现在对比度和色彩饱和度降低[13],在对比度拉伸运算后存在像素值溢出的现象[14],造成复原图像结果失真。基于该先验知识,本文构建视觉信息损失函数,将去雾算法中最为重要的透射率图预估问题转化求解满足约束条件的信息损失函数最小值的数学问题。其次,基于人类视觉系统(HVS)将自然场景下的含雾图像依次划分成薄、中、浓雾区域,以此对应不同对比度区域的透射图预估,实现细化目标区域的透射图,避免发生halo效应等目的。最后结合量化评价指标,围绕对比度、色彩以及结构信息保持度,定量比较本文算法与主流去雾算法的时效性。此外,本文算法弥补了目标区域透射率估计不足,改善了大亮域背景下的去雾效果,对进一步增强去雾算法性能,提高户外视觉系统鲁棒性具有现实意义。

1 图像退化模型

在计算机视觉和图像处理领域中,通常利用大气退化物理模型来描述雾天图像信息[15],即

$I\left( x \right) = J\left( x \right)t\left( x \right) + A\left( x \right) \cdot \left( {1 - t\left( x \right)} \right)$ (1)

$t\left( x \right) = {e^{ - \beta d\left( x \right)}}$ (2)

式中,I表示观察到有雾图像,J表示无雾图像,t表示透射率图,βd分别表示大气散射系数和图像景深,x表示像素点。矢量AI,J共面,在式(1)中已知输入I(x)的条件下,要得到目标值J(x),需要添加先验信息或者约束条件才能够求解。

理论上,大气光值A的选取应尽可能接近含雾图像中含雾浓度最大的区域像素值。但是由于输入图像中可能存在白色物体或区域等的干扰,传统预估方法往往使得A的预估值偏大,进而造成去雾结果偏暗,对比度降低的结果。为避免该缺陷,本文选择文献[11]的方法对大气光值进行自适应预估。

综上所述,求解式(1)模型的关键在于估计透射率图t(x)

2 自然场景视觉景深区域划分

20世纪80年代中期,Jourlin和Pinoli等人[16]提出基于人类视觉系统的对数域图像处理模型。Panetta等人[17]引入带参数的PLIP(parameterization of logarithmic image processing)模型对人类视觉场景进行数学描述。本文基于含参的对数模型对自然场景下的含雾图像进行视觉区域划分。

2.1 视觉区域划分的动机

在图像去雾算法应用广泛的自然场景下,同一幅含雾图像在不同区域雾的浓度不一致,如图 1(a)所示。这是由于观测者距离不同区域目标的远近不同,使得不同大气粒子厚度对目标辐射的削弱量不同,造成远处(天空、浓雾等)区域对比度和色彩饱和度相对更低、更模糊,这一规律与人类视觉对目标场景深度的判断规则是一致的。

图 1 视觉景深区域划分的动机
Fig. 1 Motivation of the visual depth segments ((a) hazy image; (b) haze-free image; (c) the boundary of the visual depth of filed; (d) 3D scatter of hazy image; (e) the grey-level of line 100 in Fig.1 (a))

图 1所示,图 1(a)(b) 是同一拍摄地点的雾天和晴天图像对比。图 1(c)是经去雾前后图像做差等处理后的边界提取图,求取并用红点标注图像在纵向上的最大梯度位置。从图 1(c)中可以看出,在目标前景与天空之间存在明显的分界线。图 1(d)(e)分别是图 1(a)的灰度值3D图像及任一列(第100列)纵向上的灰度值。图 1中,在视觉分界处存在着明显的梯度跃变,与人类视觉效果相吻合。

基于上述先验知识,本文利用人类视觉系统模型,将输入的含雾图像划分成薄、中、浓雾3个区域,以此对应求取不同对比度区域的透射率图,通过求解视觉信息损失函数最小值的约束透射率,最终实现图像(尤其是自然场景下的图像)分层去雾。

2.2 基于HVS理论的含雾图像景深分层方法

为实现2维视觉区域划分,不仅要考虑梯度信息,还要获取图像背景照度[17]。设fg是两个灰度函数,定义特殊运算符⊕和Ξ分别为

$\begin{array}{l} f\left( {x,y} \right) \oplus g\left( {x,y} \right) = f\left( {x,y} \right) + g\left( {x,y} \right) - \\ \;\;\;\;\;\;\;\;\;\;\;\frac{{f\left( {x,y} \right)g\left( {x,y} \right)}}{M} \end{array}$ (3)

$\alpha \Xi f\left( {x,y} \right) = M - M{\left( {1 - \frac{{f\left( {x,y} \right)}}{M}} \right)^\alpha }$ (4)

式中,α为常数,M的值为1 026[16]。背景照度I(x,y)通过计算邻域像素的加权均值获得,即

$I\left( {x,y} \right) = l\Xi \left[ {l\Xi \left( {\frac{1}{2}\sum\limits_Q {f\left( {x,y} \right) \oplus \frac{q}{2}\Xi \sum\limits_Q {f\left( {k,l} \right)} } } \right) \oplus f\left( {x,y} \right)} \right]$ (5)

式中,f(x,y)是输入图像的灰度函数,Q是邻域像素,Q是对角线邻域像素。为简化计算,α、k、l、q设为常数1。

同时,定义含参变量最大IT来表示含雾图像像素值的最大差值,即

${I_T} = \max \left( {f\left( {x,y} \right)} \right) - \min \left( {f\left( {x,y} \right)} \right)$ (6)

梯度信息用边缘检测方法进行描述,通过适应人眼视觉特性的形参:背景照度阈值Ixi和梯度阈值Ki进行约束,最终求取区域划分结果f′(x,y)

$\left\{ \begin{array}{l} {I_{x1}} = {\alpha _1}{I_T};{I_{x2}} = {\alpha _2}{I_T};{I_{x3}} = {\alpha _3}{I_T}\\ {K_1} = \frac{1}{{100}}\beta \cdot \max \left( {\frac{{f'\left( {x,y} \right)}}{{I\left( {x,y} \right)}}} \right)\\ {K_2} = {K_1}\sqrt {{I_{x2}}} ;{K_3} = \frac{{{K_1}}}{{{I_{x3}}}} \end{array} \right.$ (7)

根据心理学中的韦伯—费希纳定律,利用人类视觉特性将视神经感官中所有类似的视觉属性相连通,把自然场景下的图像划分为4个区域[17],分别对应低对比度区域,该区域人眼基本无法区分照度变化;De Vries-Rose区域,该区域是韦伯分数为1/2的低照度区域,可用于低照度环境的2维图像分解;Weber区域,该区域是韦伯分数为1的正常照度区域,以及受刺激饱和影响的高照度饱和区域,如图 2所示。

图 2 基于HVS的视觉区域分层
Fig. 2 The HVS-based image visual region segments

在实际应用中,含雾图像的视觉特性主要集中在Weber区域和饱和区域中。具体地,浓雾环境下粒子对场景辐射的削弱量大,区域内亮度均值高,整体呈现灰白色,像素往往集中在饱和区域;同样地,薄雾和中雾区域的像素主要集中在Weber区域和Weber区域与饱和区域的交界带。由此,可利用HVS物理模型对图像薄、中、浓雾的区域进行划分,如图 2所示。右侧原含雾图像可看做上方薄、中、浓雾区域向下投影的分层合成图像。

根据像素所处的视觉区域相对应的雾浓度,选择相适应的去雾模型及参数,用以计算出更加精确的景深关系图。薄、中、浓雾3个区域分层公式分别为

薄雾区域: Im1=f(x,y)

${I_{x2}} \ge {I_T} \ge {I_{x1}}Q\frac{{f'\left( {x,y} \right)}}{{\sqrt {{I_T}} }} \ge {K_2}$

中雾区域: Im2=f(x,y)

${I_{x3}} \ge {I_T} \ge {I_{x2}}Q\frac{{f'\left( {x,y} \right)}}{{{I_T}}} \ge {K_1}$

浓雾区域: Im3=f(x,y)

${I_T} \ge {I_{x3}} \ge {I_{x3}}Q\frac{{f'\left( {x,y} \right)}}{{I_T^2}} \ge {K_3}$ (8)

背景照度阈值Ixi分别设为[64,128,192],梯度阈值Ki分别设为[0.2,0.5,0.8]。完成视觉区域分层后,通过不同视觉信息损失函数有针对性地计算各区域内的景深关系图,提升透射图在不同区域内的预估精度,进而求解去雾结果。

3 本文透射图求解新方法

透射率图的求解是图像去雾过程中最为重要的一个环节。由式(1)可知,在已知大气光值A的条件下,透射率图预估的精度和速度将直接影响去雾算法的时效性能。假设在一幅图像中局部场景深度是相关的[3, 6],即求解的透射率图在很小的一个子块tτ(x)中可用同一个值表示。

通常情况下,含雾图像呈现出对比度低、灰度集中、饱和度低的现象,原始图像信息损失严重。本文基于以上的视觉损失先验知识研究图像去雾算法,从能量信息损失的角度出发,求解使得视觉信息损失最小时的透射率图tτ

3.1 含雾图像视觉信息损失函数的构建

图像去雾是为了恢复含雾图像的对比度和真实色彩,重现理想气象环境下拍摄的清晰场景效果,增加图像的可视度。

构建视觉信息损失函数,将去雾算法中最为重要的透射率图预估问题转化求解满足约束条件的视觉信息损失函数最小值的最优化问题,即

${H_{total}} = {H_{contract}} + {\xi _1}{H_{saturation}} + {\xi _2}{H_{overflow}}$ (9)

式中,离散的能量谱用H表示,Htotal为去雾结果图总的视觉信息损失,Hcontract为去雾结果的对比度损失,Hsaturation为去雾结果的饱和度损失,Hoverflow去雾结果的像素溢出损失,ξ1ξ2为调节各损失之间相关重要程度的参数。

值得指出的是,像素值溢出损失函数引入平方(能量概念)是为了便于求Htotal的线性加权和。

3.1.1 对比度损失函数

对比度用于衡量图像中明暗区域的反差。含雾图像相较于清晰图像,在细节和灰度层次表现差,对比度信息损失严重。

根据区域分层结果的视觉特征选择对应的对比度公式,计算不同含雾浓度(薄、中、浓雾)区域的对比度信息损失。为便于理解,下面仅对单一色彩通道的对比度分量进行计算。

韦伯对比度用来描述薄雾区域,基于著名的感觉阈值定律,即在同种刺激下,人所能感受到的动态范围正比于标准刺激的强度,定义为

${C_{weder}} = \frac{{{J_{\tau ,obj}} - {J_{\tau ,b}}}}{{{J_{\tau ,b}}}}$ (10)

式中,Jτ,obj表示目标区域的亮度,Jτ,b表示背景的整体亮度,τ∈{r,g,b}为某一色彩通道。在实际应用中联立式(1),Weber对比度被定义为

$\begin{array}{l} {C_{weder}} = \sum\limits_{n = 1}^N {\frac{{\left| {{J_\tau }\left( n \right) - {{\bar J}_\tau }} \right|}}{{N{{\bar J}_\tau }}}} \\ \sum\limits_{n = 1}^N {\frac{{{I_\tau }\left( n \right) - {{\bar I}_\tau }}}{{N\left[ {{{\bar I}_\tau }\left( n \right) - \left( {1 - t} \right)A} \right]}}} \end{array}$ (11)

式中,${\bar I_\tau },{\bar J_\tau }$为去雾前后处理区域内的像素均值,n=1,…,N,其中N为处理子块的个数。

Michelson对比度用来描述中雾区域,又被称为“能见度”,与人类视觉感受中视锥细胞对视场光通量的空域频率的感受程度在理论上是一致的,联立式(1)定义为

$\begin{array}{l} {C_{nichelson}} = \frac{{{J_{\tau ,\max }} - {J_{\tau ,\min }}}}{{{J_{\tau ,\max }} + {J_{\tau ,\min }}}} = \\ \frac{{{I_{\tau ,\max }} - {I_{\tau ,\min }}}}{{{I_{\tau ,\max }} + {I_{\tau ,min}} - 2{A_\tau } + 2{A_\tau }t}} \end{array}$ (12)

式中,Iτ,maxJτ,maxIτ,minJτ,min分别表示去雾前后图像亮度的最大值和最小值。

均方根对比度用来描述浓雾区域,定义在子块内与内容的空域频率和空域分布均无关的图像对比度,表达为

$\begin{array}{l} {C_\sigma } = \sqrt {\sum\limits_{n = 1}^N {\frac{{{{\left( {{J_\tau }\left( n \right) - {J_\tau }} \right)}^2}}}{N}} } = \\ \;\;\;\;\;\;\sqrt {\sum\limits_{n = 1}^N {\frac{{{{\left( {{I_\tau }\left( n \right) - {I_\tau }} \right)}^2}}}{{{t^2}N}}} } \end{array}$ (13)

为方便计算,将均方根对比度等式两边平方,得到均方差对比度。

综上所述,对比度损失函数根据不同的视觉区域划分定义为

${H_{comtract}} = \left\{ \begin{array}{l} - \sum\limits_{n = 1}^N {\frac{{{I_\tau }\left( n \right) - {{\bar I}_\tau }\left( n \right)}}{{N\left[ {{{\bar I}_\tau }\left( n \right) - \left( {1 - t} \right)A} \right]}}} \\ - \frac{{{I_{\tau ,\max }} - {I_{\tau ,\min }}}}{{{I_{\tau ,\max }} + {I_{\tau ,\min }} - 2{A_\tau } + 2{A_\tau }t}}\\ - C_\sigma ^2 = - \sum\limits_{n = 1}^N {\frac{{{{\left( {{I_\tau }\left( n \right) - {{\bar I}_\tau }} \right)}^2}}}{{{t^2}N}}} \end{array} \right.$ (14)

对比度损失函数在{r,g,b}3个颜色通道内遍历。

3.1.2 饱和度损失函数

饱和度用于描述去雾后图像色彩的纯度,度量纯色被白光稀释的程度。在含雾图像中,粒子散射作用造成的图像成像色彩缺失,整体泛白,可被近似看做一种白光对原图色彩的干扰。结合式(1),将饱和度损失定义为{r,g,b}3个颜色通道内,对象处理子块的像素值集合中、最小上界和最大下界的差与最小上界的比值,即

$\begin{array}{l} {H_{saturation}} = \\ - \sum\limits_{n = 1}^N {\sum\limits_{\tau \in \left( {r,g,b} \right)} {\frac{{\sup \left\{ {{J_\tau }\left( n \right)} \right\} - \inf \left\{ {{J_\tau }\left( n \right)} \right\}}}{{\sup \left\{ {{J_\tau }\left( n \right)} \right\}}}} } = \\ - \sum\limits_{n = 1}^N {\sum\limits_{\tau \in \left( {r,g,b} \right)} {\frac{{\left[ \begin{array}{l} \sup \left\{ {\frac{1}{t}\left( {{I_\tau }\left( n \right) - A} \right) + A} \right\} - \\ \inf \left\{ {\frac{1}{t}\left( {{I_\tau }\left( n \right) - A} \right) + A} \right\} \end{array} \right]}}{{\sup \left\{ {\frac{1}{t}\left( {{I_\tau }\left( n \right) - A} \right) + A} \right\}}}} } \end{array}$ (15)

式中,sup{Jτ(n)}、inf{Jτ(n)}为对应像素集合Jτ(n)的上、下确界。

3.1.3 像素值溢出损失函数

含雾图像往往呈现出灰度集中,整体泛白的现象。在图像色彩及对比度的复原过程中,常常出现输出图像由于映射范围过大导致像素值溢出[0,255]而失真,造成复原图像细节损失的现象。对这一现象进行分析。式(1)改写为

$J\left( x \right) = \frac{1}{{t\left( x \right)}}I\left( x \right) + \left( {\frac{1}{{t\left( x \right)}} - 1} \right) \cdot A\left( x \right)$ (16)

可以看出,输入的含雾图像与输出的去雾结果图像存在1/t的比例关系,如图 3所示。黑实线表示输入与输出像素值的映射关系曲线,红色三角形区域表示被输出范围截断的视觉信息损失,图中的红绿蓝3条曲线分别对应含雾图像的{r,g,b}三通道的值,[pa,pb]为输入图像的灰度范围。

图 3 图像去雾输入与输出的映射关系示意
Fig. 3 The mapping between input and output image

图 3所示,此时斜率1/t为输入像素与输出像素的映射斜率,将输入的含雾图像像素值范围映射到[0,255]的去雾结果图像中,下文称之为满映射。视觉信息溢出损失(红色区域)随斜率的变化而动态变化。以满映射斜率为基准,当1/t增大,即斜率增大时,信息溢出损失随之增加。为使视觉信息溢出损失尽可能小,则有映射斜率应小于满射斜率 $\frac{1}{t} \le \frac{{255 - 0}}{{{p_a} - {p_b}}},t \in \left( {0,1} \right)$,即在仅考虑像素值溢出的情况下,透射率图的初始值应取t0=(papb)/255。但总的信息损失函数Htotalt的取值变化而动态改变,实验结果表明,当初始值设为t0=[(pa-pb)/2]/255时去雾效果显著;当1/t减小,即斜率减小时,输出图像像素的动态范围缩小,信息溢出损失随之动态变化,最小斜率为1。

由上所述,定义视觉信息溢出损失函数为溢出灰度级范围的像素值能量密度和为

$\begin{array}{l} {H_{overflow}} = \frac{1}{2}\sum\limits_{\tau \in \left( {r,g,b} \right)} {\sum\limits_{\forall n \in N} {{{\left\{ {\min \left( {0,{J_\tau }\left( n \right)} \right) + \max \left( {0,{J_\tau }\left( n \right) - 255} \right)} \right\}}^2}} } = \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\frac{1}{2}\sum\limits_{\tau \in \left( {r,g,b} \right)} {\left\{ {{H_{o,\tau }}} \right\}} \end{array}$ (17)

式中,Ho,τ为单一通道内的像素损失。

定义一种运算⊗为求取两个相同大小矩阵对应位置两个元素的较小值,则有

$x \otimes y = \min \left( {{x_{ij}},{y_{ij}}} \right)$ (18)

⊙为其逆运算,求取两个相同大小矩阵对应位置两个元素的较大值。式中xij、yij是对应位置的像素值大小。令Ω为大小m×n的全零矩阵,Ω=(Oij)m×n=(0)m×n;令 ${\bar \Omega }$=(Oij)m×n=(255)m×nΛ为原图像单通道像素值矩阵。模板运算过程如图 4所示,像素值的溢出矩阵可表示为

图 4 模板运算过程示意
Fig. 4 Example of the proposed template operation

${\Lambda _{overflow}} = \Lambda \otimes \Omega + \Lambda \odot \bar \Omega $ (19)

Λoverflow做直方图,计算Λoverflow各值出现频次hτ(pi)。如图 3所示,单一通道内的视觉信息溢出损失函数可表示为

${H_{o,\tau }} = {\left\{ {\sum\limits_{pi = 1}^{{p_a}} {{{\left( {\frac{{{p_i} - {A_\tau }}}{t} + {A_\tau }} \right)}^2}{h_\tau }\left( {{p_i}} \right) + \sum\limits_{{p_i} = {p_b}}^{255} {{{\left( {\frac{{{p_i} - {A_\tau }}}{t} + {A_\tau } - 255} \right)}^2}{h_\tau }\left( {{p_i}} \right)} } } \right\}^2}$ (20)

将式(20)代入式(17),可得视觉信息损失函数Hoverflow

3.2 透射率图的预估

去雾图像的像素值应满足约束条件

$\mathop {\min }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\min }\limits_{n \in N} {J_\tau }\left( n \right) \ge 0$ (21)

$\mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} {J_\tau }\left( n \right) \le 255$ (22)

联立式(1)得到透射率图tτ的约束条件

$t \ge \mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} \left\{ {\frac{{{I_\tau }\left( n \right) - {A_\tau }}}{{ - {A_\tau }}}} \right\}$ (23)

$t \ge \mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} \left\{ {\frac{{{I_\tau }\left( n \right) - {A_\tau }}}{{255 - {A_\tau }}}} \right\}$ (24)

联立式(21)(22)得

$t \ge \max \left\{ {\mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} \left\{ {\frac{{{I_\tau }\left( n \right) - {A_\tau }}}{{ - {A_\tau }}}} \right\},\mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} \left\{ {\frac{{{I_\tau }\left( n \right) - {A_\tau }}}{{255 - {A_\tau }}}} \right\}} \right\}$ (25)

由于对比度与透射率图的反比关系,为使对比度尽可能提升的同时能量信息损失最小,应取满足约束条件的最小透射率值作为局部预估的透射率,即透射率图的求解公式改写为

$t = \max \left\{ {\mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} \left\{ {\frac{{{I_\tau }\left( n \right) - {A_\tau }}}{{ - {A_\tau }}}} \right\},\mathop {\max }\limits_{\tau \in \left\{ {r,g,h} \right\}} \mathop {\max }\limits_{n \in N} \left\{ {\frac{{{I_\tau }\left( n \right) - {A_\tau }}}{{255 - {A_\tau }}}} \right\}} \right\}$ (26)

综上所述,本文提出的去雾算法的数学范式为

$\begin{array}{l} {t_\tau } = \mathop {\arg \;\min }\limits_{\min \;{t_\tau }} {H_{total}} = \\ {H_{contract}} + {\xi _1}{H_{saturation}} + {\xi _2}{H_{overflow}} \end{array}$

解释为存在图像视觉信息损失函数值集合的最小值,使得该函数最小值所对应的透射率为满足约束条件的最小透射率t。在求解tτ的规划问题中,本文采用随机梯度下降[18]的方法对最小透射率值进行求解。算法将图像去雾问题转化为求解满足约束条件的情况下,信息损失函数为最小值时的最小透射率图t(x)。值得指出的是,信息损失函数可能出现多个Htotal最小值,t(x)应取最小值。

最小透射率图求解算法如下:

Input: 分层结果Im(x),大气光值A

Output: 最小tHtotal的最小值

Initialize:步进ε=0.05,n=1

for each zone t=0.2 to 1 do

Htotal(t)由式(9)求解

Htotal(t+ε)=min(Htotal(t),Htotal(t+ε))

end for

t=min t(Htotal(t+ε))

3.3 透射率图的细化及后处理

假设在一个处理子块中所有像素点的透射率值相同。但由于在同一子块中可能出现图像景深的变化,这样的假设会不可避免地造成块状效应[14]。为抑制由于子块景深关系变化造成的块状效应,采用边缘保持滤波器[7],对各层块效应透射率图进行细化。

同时,由于分层处理得到的薄、中、浓雾区域透射图预估结果在拼接处容易出现梯度明显的边界,影响视觉效果,如图 5(a)所示。采用线性滤波技术[19]实现分层边界的融合,结合边界区域面积比例因子重构方法[20],抑制薄、中、浓区域处理结果在拼接时产生的块效应。

图 5 分割边界的块效应抑制
Fig. 5 Block effect reduction of the segmented edge ((a) dehazing result before blocking effect reduction; (b) the transmission before blocking effect reduction; (c) dehazing result after blocking effect reduction; (d) the transmission after blocking effect reduction)

图 6解释了本文图像去雾算法的透射图预估过程。图 6(a)(b)自上而下分别对应原图、粗透射率图、细化后的透射率图和去雾结果;图 6(c)展示的是去雾前后的对比图,图 6(d)上、下幅图像展示的分别是图 6(c)的粗透射率图和细化后的透射图。

图 6 本文图像去雾效果和透射图预估过程
Fig. 6 Proposed dehazing result and transmissions

将求得的透射率图t代入式(1),求得去雾结果图J,如图 6(c)下图所示。为避免天空等亮域的对比度被过分增强,文献[6]提出透射率的初始值应大于0.1。实验结果表明,本文算法将透射率的初始值设置为时t0=[(pa-pb)/2]/255,能有效解决亮域对比度过增强的问题。另外,为解决复原后图像出现局部区域像素过暗的问题,利用非线性变换对输出图像进行伽马校正。优选伽马校正参数为γ=0.8,ξ1=0.5,ξ2=0.6。

4 实验结果及分析

为验证本文去雾算法的效果,结合现有的典型去雾算法进行仿真实验。实验平台为Intel Xeon(R) CPU,主频3.5 GHz,内存8 GB,软件平台为MATLAB R2013a和Visual Studio 2013。

4.1 实验结果

图 7展示了本文算法与现有经典算法的去雾效果对比。图 7中左上角是山区图组,可以看出Nishino的算法[5]对图像对比度增强效果明显,但在山涧区域色彩过饱和,造成细节丢失,在梯度突变的边界处(山顶和云边缘)存在明显的光晕效应;Tarel的算法[21]对比度提升显著,天空区域的处理比Nishino算法更自然,但在山涧和山腰处同样存在过饱和现象,对由景物远近造成的图像景深层次的保留效果欠佳;He [6]和Fattal[11]的算法在细节还原上明显优于前面两种算法,色彩还原自然,但整体亮度偏大,云端与山顶的边缘处出现过增强现象。

图 7 去雾结果对比
Fig. 7 Comparison with state-of-the-art of dehazing results

另外,Fattal的算法在山体绿地覆盖处出现色彩失真;本文算法较好地保留了由于景物远近造成的图像视觉景深层次感。对前景平地区域的复原,在色彩和细节保持上更加自然;较好地保留了山区远景的视觉朦胧感,使得复原结果更加接近人类视觉观察结果;天空区域的色彩自然逼真,并能对云层区域进行良好的视觉保留。

类似地,对比图 7中其他场景下的图像去雾效果,本文算法在景深关系明显的自然场景和浓雾场景下,获得较好的去雾效果。近景薄雾环境下的去雾效果,在色彩还原略逊于He的算法(如图 7右上方的天安门图组对比)。

4.2 效果分析

算法性能分析是计算机视觉系统中不可或缺的部分,可以作为比较各种处理算法性能的基准,为去雾算法在自适应视觉系统中的应用提供依据。下面从客观评测指标、算法实时性和综合评价指标3个方面对算法性能优劣进行分析。

4.2.1 客观评测指标

为了对本文算法性能进行定量评价,从结构相似度、信息保真度、像素统计和无参考测度4个方面去评价图像去雾效果。

1)基于结构相似度的方法。FSIM是基于图像特征信息相似度的评测指标,用于反映视觉信息的局部相似映射。RFSIM在FSIM的基础上利用Riesz转换进行优化。IW-SSIM用于衡量去雾前后图像结构的保留程度。这些测度的值越大,说明去雾前后的结构相似度越高,算法的结构保持性能越好。

2)基于信息保真度的方法。IFC是基于信息论提出的信息保真测度,通过计算去雾前后图像之间的互信息量对图像质量进行评价;VIF用于评价去雾前后图像的信息保真度;VIFP是在像素域上的VIF计算。这些测度的值越大,说明去雾结果的信息保真度越高,算法的信息保真性能越好。

3)基于像素统计的方法。VSNR是基于像素误差统计的全参考图像质量评价方法,用于衡量视觉系统对视觉信号(如光照度、对比度和频率信息)的敏感度;图像信息熵表征图像灰度分布特征;对比度反应图像灰度反差的大小。这些测度的值越大,说明去雾结果的对视觉和细节信息的复原效果更好。但由于该类测度是全局操作,计算结果往往和视觉效果有所偏差。

4)无参考评价测度。利用新增可见边之比(e)、可见边的正则梯度均值( ${\bar r}$)、饱和像素百分比(σ)对去雾效果进行评价[21]e${\bar r}$的值越大,饱和像素百分比σ越小,图像去雾效果越好[22]

表 1列出了图 7山区图组的客观评价数据,分析数据可以看出,相较于其他算法的去雾结果,本文的去雾结果图像在结构保持和信息保真上具备一定的优势,在FSIM、IW-SSIM、VIFP等指标的评测上明显优于其他算法;其次,在基于像素统计的评价指标中,本文算法在信息熵和对比度上的测量值比其他算法要低,这是由于本文的分层处理方法对图像视觉景深层次感的保留,造成中、远景少部分细节的丢失;最后,在无参考评测指标中,本文算法表现出了稳定的结构和信息保持特性,这与结构相似度和信息保真度的测评结果相一致。值得指出的是,在客观评价的过程中,HE的算法表现出了稳定的算法性能。

表 1 图 7(Mountain)的客观评价值
Table 1 Objective evaluation of the Fig.7(Mountain) images

下载CSV
方法FSIMIW-SSIMRFSIMIFCVIFVIFPVSNR信息熵对比度e${\bar r}$σ/%
原图1.001.001.001.001.0015.740.001.00
Nishino[5]0.880.830.208.640.620.666.3315.6832.410.310.830.75
Tarel[21]0.900.930.236.260.690.709.2616.0945.460.170.840.77
He[6]0.920.900.34 8.780.640.769.6116.10 37.370.480.940.71
Fattal[11]0.880.840.117.320.560.6011.2416.0655.74 0.350.840.65
本文0.96 0.95 0.328.81 0.71 0.8113.66 16.0340.610.67 0.95 0.62

4.2.2 算法实时性分析

算法复杂度在实时视觉系统中起到至关重要的作用,算法实时性可以用同一平台下的运行时间长短来衡量。首先建立3个不同尺寸的含雾图像测试集,每组36幅图像,分别是480×320像素、720×480像素、1 280×720像素。其次,利用文献[23, 1, 6, 7]和本文算法分别进行去雾处理并记录运行时间。结果如图 8所示。

图 8 去雾算法在不同尺度测试集上的实时性比较
Fig. 8 Average temporal deviation measurements using different dehazing algorithms runs on multi-scale dataset

图 8可以看出,在小尺寸的测试集中,本文算法与改进的DCP算法(MDCP)的运行时间基本一致。当测试集图像尺寸逐渐增大的过程中,本文算法在处理效率上的优势逐渐增大,且能满足D2格式以下的视频实时去雾处理。

4.2.3 综合评价指标

在上文的图像去雾效果对比中,He的DCP(dark channel prior)算法在去雾时效性上与本文算法接近;而直方图均衡化方法与上文提到的满映射去雾图像的输出具有类似之处。为了进一步验证本文算法的去雾效果,选择自适应直方图均衡化(AHE)和DCP算法与本文算法的去雾效果进行比较。采用文献[24]的评测指标(结构信息S、色调还原度Hist和有效细节强度L)对150组去雾图像进行综合评价。其中,测试集的前30组为薄雾组,后120组分别对应中、浓雾组,每组60个测试对象。图 9展示的是各方法评价指标计算结果的3维散点图,坐标轴分别对应e-LHistS。这里将有效细节指标L转化成e-L,是为了与另外两个指标的取值范围保持一致,从而将图像去雾效果量化评价的问题转化为3维散点到取值上限为1.0构成的参考平面(图 9中的阴影平面)的距离均值。

图 9 无参考评价指标的3维散点图
Fig. 9 3D scatter diagram of no-reference IQA index

图 9所示,阴影面上方的散点到平面距离为正,阴影面下方的散点到平面距离为负,综合评价结果为各散点到平面平均距离。从图 9中不难得出,本文算法的聚合度和平均距离大于其他两种算法,综合去雾效果依次为本文>DCP>AHE。

更进一步地,建立综合评价模型对算法去雾结果进行量化评价。

$Q = \frac{{S \cdot Hist}}{{{e^{ - L}}}}$ (27)

式中,Q的值越大,说明去雾效果越好,不同算法测评指标的综合评价计算结果如图 10所示。结构信息S定义为结构相似函数,通过计算去雾前后图像的反射分量相似度,衡量结构信息的保留程度。S越接近于1,说明去雾算法的结构信息保留效果越好;色调还原度Hist定义为直方图相似函数,通过计算去雾前后图像直方图的相关系数,衡量去雾前后图像直方图的相似性。Hist越接近于1,匹配度越高;有效细节强度L定义为边缘强度函数,先利用Canny算子对去雾后图像的照度分量进行边缘提取,再统计边缘细节的像素个数和,得到总细节强度。L越大,说明去雾算法的有效细节保留效果越好。

图 10 测试图组的综合评价指标统计结果
Fig. 10 Index statistical results for test images

综上所述,本文算法的去雾效果在统计意义上高于其他两种算法。值得指出的是,本文算法的优势集中体现在中、浓雾的测试组别,在前30组的薄雾去雾效果与DCP的算法效果基本一致。

5 结 论

本文提出基于视觉信息损失先验的图像分层去雾新方法,通过构建视觉信息损失函数,将图像去雾过程中的透射图预估问题转化成求解约束条件下损失函数最小值的最优化问题;其次,为保留由于景物远近造成的图像视觉景深层次感,采用HVS模型对含雾图像进行视觉景深划分,结合视觉特性估算对应区域的粗透射率图,进而估算细化后全局透射率图并求解去雾结果;最后,通过主客观评价方法对算法去雾性能进行综合评判。本文去雾方法区别于传统先验算法的全局透射率提取,利用视觉分层技术对去雾结果的景深层次效果进行保留,使得复原效果更加接近真实场景。同时,避免了传统去雾方法在透射率图估算上的过分细化,在算法实时性能上有所提升,为图像去雾方法的研究提供了一种新思路。

实验结果表明,本文方法在中、浓雾场景下的图像视见度复原方面具有较为明显的优势,在薄雾场景下的复原效果与暗通道先验算法效果基本一致。但视觉信息损失函数的构建仅仅采用了线性加权和的方式,其指标及参数选择需要人为设定。另外,图像去雾算法效果量化评价一直是困扰该领域发展的重要难题,目前缺乏统一的评价机制和测试数据集。因此如何提升参数的自适应学习与修正能力和构建图像去雾量化评价模型,探索更加精确的数学表达形式将是今后的重点研究方向。

参考文献

  • [1] Jobson D J, Rahman Z U, Woodell G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997 ,6 (7) : 965 –976. [DOI:10.1109/83.597272]
  • [2] John J,Wilscy M. Enhancement of weather degraded video sequences using wavelet fusion[C]//Proceedings of the 7th IEEE International Conference on Cybernetic Intelligent Systems. London: IEEE, 2008: 1-6. [DOI: 10.1109/UKRICIS.2008.4798926]
  • [3] Fattal R. Single image dehazing[J]. ACM Transactions on Graphics, 2008 ,27 (3) : #72 . [DOI:10.1145/1360612.1360671]
  • [4] Ancuti C O, Ancuti C, Hermans C, et al. A fast semi-inverse approach to detect and remove the haze from a single image[C]//Proceedings of the 10th Asian Conference on Computer Vision. Berlin Heidelberg: Springer, 2011, 6493: 501-514. [DOI: 10.1007/978-3-642-19309-5_39]
  • [5] Nishino K, Kratz L, Lombardi S. Bayesian defogging[J]. International Journal of Computer Vision, 2012 ,98 (3) : 263 –278. [DOI:10.1007/s11263-011-0508-1]
  • [6] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011 ,33 (12) : 2341 –2353. [DOI:10.1109/TPAMI.2010.168]
  • [7] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013 ,35 (6) : 1397 –1409. [DOI:10.1109/TPAMI.2012.213]
  • [8] Gibson K B, Nguyen T Q. On the effectiveness of the dark channel prior for single imagedehazing by approximating with minimum volume ellipsoids[C]//Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing. Prague: IEEE, 2011: 1253-1256. [DOI: 10.1109/ICASSP.2011.5946638]
  • [9] Kim H, Jin H L,Hadap S, et al. Specular reflection separation using dark channel prior[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR: 2013: 1460-1467. [DOI: 10.1109/CVPR.2013.192]
  • [10] Wang J B, He N, Zhang L L, et al. Single image dehazing with a physical model and dark channel prior[J]. Neurocomputing, 2015 ,149 : 718 –728. [DOI:10.1016/j.neucom.2014.08.005]
  • [11] Fattal R. Dehazing using color-lines[J]. ACM Transactions on Graphics, 2014 ,34 (1) : #13 . [DOI:10.1145/2651362]
  • [12] Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015 ,24 (11) : 3522 –3533. [DOI:10.1109/TIP.2015.2446191]
  • [13] Huang K Q, Wang Q, Wu Z Y. Natural color image enhancement and evaluation algorithm based on human visualsystem[J]. Computer Vision and Image Understanding, 2006 ,103 (1) : 52 –63. [DOI:10.1016/j.cviu.2006.02.007]
  • [14] Kim J H, Jang W D, Sim J Y, et al. Optimized contrast enhancement for real-time image andvideo dehazing[J]. Journal of Visual Communication and Image Representation, 2013 ,24 (3) : 410 –425. [DOI:10.1016/j.jvcir.2013.02.004]
  • [15] Tan R T. Visibility in bad weather from a single image[C]. //Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK: IEEE, 2008: 1-8. [DOI: 10.1109/CVPR.2008.4587643]
  • [16] Jourlin M, Pinoli J. A model for logarithmic image processing[J]. Journal of Microscopy, 1998 ,149 (1) : 21 –35.
  • [17] Panetta K A, Wharton E J, Agaian S S. Human visual system-based image enhancement and logarithmic contrast measure[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2008 ,38 (1) : 174 –188. [DOI:10.1109/TSMCB.2007.909440]
  • [18] Zhang T. Solving large scale linear prediction problems using stochastic gradient descent algorithms[C]//Proceedings of the 21st International Conference on Machine Learning. New York, USA: ACM, 2004. [DOI: 10.1145/1015330.1015332]
  • [19] Chen W J, Guo Z R. Blocking effect reduction based on linear filter technology[J]. Journal of Information Technology and Application, 2008 ,3 (1) : 55 –56. [ 陈文俭, 郭子荣. 利用线性滤波技术于降低区块效应之研究[J]. 信息技术与应用学报, 2008 ,3 (1) : 55 –56.]
  • [20] Wang R G, Zhu J, Yang W T, et al. An improved local multi-scaleretinex algorithm based on illuminance image segmentation[J]. Acta Electronica Sinica, 2010 ,38 (5) : 1181 –1186. [ 汪荣贵, 朱静, 杨万挺, 等. 基于照度分割的局部多尺度Retinex算法[J]. 电子学报, 2010 ,38 (5) : 1181 –1186.]
  • [21] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image[C]//Proceedings of the 12th International Conference on Computer Vision. Kyoto, Japan: IEEE, 2009: 2201-2208. [DOI: 10.1109/ICCV.2009.5459251]
  • [22] Zhang L, Zhang L,Mou X Q, et al. A comprehensive evaluation of full reference image quality assessment algorithms[C]//Proceedings of the 19th IEEE International Conference on Image Processing. Orlando, FL: IEEE, 2012: 1477-1480. [DOI: 10.1109/ICIP.2012.6467150]
  • [23] Zhang X G, Tang M L, Chen H, et al. Adehazing method in single image based on double-area filter and image fusion[J]. Acta Automatica Sinica, 2014 ,40 (8) : 1733 –1739. [ 张小刚, 唐美玲, 陈华, 等. 一种结合双区域滤波和图像融合的单幅图像去雾算法[J]. 自动化学报, 2014 ,40 (8) : 1733 –1739.] [DOI:10.3724/SP.J.1004.2014.01733]
  • [24] Li D P, Yu J, Xiao C B. No-reference quality assessment method for defogged images[J]. Journal of Image and Graphics, 2011 ,16 (9) : 1753 –1757. [ 李大鹏, 禹晶, 肖创柏. 图像去雾的无参考客观质量评测方法[J]. 中国图象图形学报, 2011 ,16 (9) : 1753 –1757.] [DOI:10.11834/jig.20110928]