|
|
|
发布时间: 2016-12-25 |
图像处理和编码 |
|
|
|
智宁, 毛善君, 李梅 |
收稿日期: 2016-05-04; 修回日期: 2016-08-19
基金项目: 国家重点研发计划重点专项基金项目（2016YFC0801807，2016YFC0801805，2016YFC0803108）
第一作者简介: 智宁(1990-),男,现为北京大学地图学与地理信息系统专业博士研究生,主要研究方向为视频图像处理。E-mail:zhining@pku.edu.cn
中图法分类号: TP301.6
文献标识码: A
文章编号: 1006-8961(2016)12-1585-08
|
摘要
目的 沙尘环境中获取的图像存在颜色失真、对比度低等问题，不利于人眼辨识以及进一步的图像处理。为解决沙尘降质图像的这些问题，提出一种新的基于颜色调整和对比度增强的沙尘降质图像的增强算法。 方法 沙尘降质图像增强要解决两个问题，即颜色偏移和对比度增强。基于沙尘降质图像的的颜色直方图存在的集中性、顺序性以及偏离性等特性，使用高斯模型分别对各通道颜色进行建模，进而进行颜色调整。针对颜色调整后的图像存在的整体灰暗，对比度低以及噪声等特点，利用改进的基于奇异值分解的增强算法，从而有效地增加图像对比度并抑制噪声。 结果 为了验证本文算法的有效性，与带有色彩恢复的多尺度Retinex算法、GUM算法、Tarel算法、融合算法4种方法进行了对比。从增强结果可以看出，本文算法能够有效解决降质图像的颜色偏移和对比度低的问题，并增强图像的整体视觉效果。 结论 本文算法充分利用沙尘降质图像三通道颜色直方图分布的特点，能够快速高效地实现颜色校正，并通过图像频域的奇异值信息进一步提升图像的对比度。经过多幅沙尘降质图像清晰化实验验证，表明本文方法能够实现对不同程度沙尘降质图像的增强，具有较强的适用性。
关键词
沙尘图像; 颜色调整; 高斯模型; 奇异值分解
Zhi Ning, Mao Shanjun, Li Mei Abstract
Objective Images captured during sandstorm conditions frequently feature undesirable color-cast effects and reduced contrast, and are therefore not suitable for object identification on the scene and further image processing. To solve problems of dust-degraded images, a new visibility restoration algorithm based on color adjustment and contrast enhancement is proposed. Method Restoration of dust-degraded images faces two main problems:color cast and contrast enhancement. Through analysis of the color histograms of a large number of dust-degraded images, we summarized three characteristics:aggregation, order, and deviation. Then, we adopted the normal distribution model to describe each color channel. Regarding the difference between the degraded and clear images, we calculated the extension coefficient based on green channel histogram and adjusted the image value ranges through the extension coefficient. After these steps, the color-cast problem was preliminarily eliminated, but the contrast was still relatively low. To further deal with overall dimness, low contrast, and noise, an improved enhancement algorithm based on singular value decomposition was used to obtain the final result. Result To verify the effectiveness of the proposed algorithm, the other four methods were compared. The proposed method could effectively solve the color cast, improve the dust image contrast, and enhance the overall visual effect of the image. Conclusion By taking advantage of the characteristics of three-channel color histogram distribution of dust-degraded images, the proposed method can achieve fast and efficient color correction. Furthermore, the singular value information image in the frequency domain is adopted to enhance contrast. As verified by many dust-degraded image visibility restoration experiments, the method can enhance different dust-degraded levels; thus, it has strong applicability.
Key words
dust images; color cast; Gaussian model; singular value decomposition
0 引 言
沙尘天气是风将地面尘土、沙粒卷入空中，使空气混浊的一类天气现象的统称。在中国大部分地区，沙尘天气主要发生在3月—5月。沙尘天气下，由于沙尘粒子直径比可见光的波长大，在迈以散射(Mai scattering)的作用下，红蓝光可以发生衍射，并透射下来而蓝紫光却被大量散射，从而使得沙尘天气下获取的图像呈现出整体偏黄色、对比度低、色彩偏移和失真等问题。研究沙尘降质图像的清晰化算法有重要的现实意义。
目前，沙尘降质图像的增强方法可以分为3类：1) 考虑沙尘环境下的降质图像与雾霾条件下的降质图像的成因都是由于由于光线的散射，因而可以直接在经典的去雾霾[1-5]的算法上进行改进；2) 通过对比度增强的方法[6-8]对降质图像进行清晰化处理；3) 考虑沙尘环境下的降质图像存在的严重的颜色偏移与色彩失真，采用颜色调整[10-12]的方法进行处理等。另外Fu等人[13]提出一种基于融合策略的降质图像修复算法，首先通过统计策略实现颜色校正并进行伽马增强，进而计算两幅图像相应的(清晰度、色度和显着性)权重图，最后融合输入图得到最终增强的结果。
沙尘降质图像的清晰化处理包括两个方面：颜色调整和对比度增强。本文通过对大量的沙尘降质图像和清晰图像三通道颜色直方图的分析，提出沙尘降质图像三通道颜色直方图具有集中性、顺序性和偏离性的特点，利用高斯模型对其进行建模并提出自适应颜色调整方法，从而解决颜色偏离的问题。由于颜色调整后的图像对比度比较低，同时存在少量噪声。为提高对比度并抑制噪声，本文采用改进的基于奇异值分解的算法对图像进行进一步处理，得到最终的结果。实验表明，本文算法能够有效地对沙尘降质图像进行修复，解决颜色偏移，增加图像对比度，提升图像整体视觉效果。本文算法框架如图 1所示。
1 基于先验知识的颜色调整
1.1 先验知识
在图像处理中，直方图描述了图像中颜色的数量特征，反映着图像颜色的统计分布。与直方图相关的技术如直方图均衡化、直方图规定化、图像分割等被广泛的应用到图像处理中。
图 2展示了部分沙尘降质图像及相应的三通道颜色直方图。横坐标x为像素值，纵坐标p(x)为归一化x像素值所占的比例。通过分析可以发现，沙尘降质图像的三通道(RGB)颜色直方图具有以下特征：
1) 集中性。像素值明显集中在某一狭窄的区域内，而区域外的像素占比却很少。
2) 顺序性。对于单幅图像，三通道(RGB)颜色值的直方图在形状上有相似性，三通道(RGB)颜色的分布按照红、蓝、绿依次排列。
3) 偏离性。沙尘降质图像中，颜色偏移越大，其直方图上三通道颜色分布越分散。
对于清晰图像，其三通道(RGB)颜色直方图的像素值基本分布于整个取值区间内，即[0,255]；三通道直方图之间虽然也表现出某种顺序性，但是三通道之间的峰值偏离却比降质图像小很多。为了合理刻画降质图像三通道颜色直方图的集中性和偏离性，采用高斯模型对其进行建模，并利用此先验知识对其进行颜色调整。
1.2 高斯模型建模
在图像处理中，高斯混合模型经常被用来逼近图像颜色直方图。为刻画沙尘降质图像三通道颜色直方图的集中性、顺序性和偏离性的特征，采用高斯模型对其进行建模，并利用先验知识进行颜色调整。
高斯分布，又称正态分布，记作XN(μ,σ2)，其中X为随机变量。其概率密度函数可以表示为
| $f\left( x \right) = \frac{1}{{\sqrt {2\pi \sigma } }}exp\left( { - \frac{{{{\left( {x - \mu } \right)}^2}}}{{2{\sigma ^2}}}} \right)$ | (1) |
式中，μ为正态分布的期望值，决定了分布的位置，标准差σ2决定了分布的幅度。文中，μ可以刻画三通道颜色的位置，即集中性，而σ2可以用来刻画三通道颜色的分布的偏离性，即三通道颜色值的相对集中程度。而三通道颜色的均值的大小可以刻画降 质图像的顺序性，即μb<μg<μr。
为了得到模型参数，采用最大似然估计对未知参数进行求解，μ和σ2的估计值μ*和σ*2分别为
| ${\mu ^*} = \bar X = \frac{1}{n}\sum\limits_{i = 1}^n {} {X_i}$ | (2) |
| ${\sigma ^{*2}} = \frac{1}{n}\sum\limits_{i = 1}^n {} {({X_i} - \bar X)^2}$ | (3) |
式中，Xi为样本值，即对应于各像素值的概率；n为颜色值的个数，对于8-bit的图像而言，其值为255；
1.3 自适应颜色调整
清晰图像的直方图分布图与降质图像的直方图分布存在明显的差异。通过对清晰图像三通道颜色直方图分析可以得到，清晰图像直方图各通道颜色基本几乎涵盖所有取值，即[0,255]；清晰图像的各通道直方图在结构上大致相似同时各通道间偏离较小。为此，本文提出了基于高斯模型的图像颜色调整方法。
考虑三通道颜色的顺序性，该算法以绿通道作为参照对其他两个通道颜色进行处理。其流程图如图 3所示，具体流程为：
1) 求取图像直方图，并进行归一化。使用最大似然估计法，按照式(2) (3) 对各通道直方图的均值和标准差进行估计。
2) 利用绿色通道的直方图分布来计算颜色延伸系数为
| $\alpha = \frac{{255}}{{{I_{g\_max}} - {I_{g\_min}}}}$ | (4) |
式中，Ig_max,Ig_min分别为图像绿色分量像素值的最大值和最小值。
3) 对各通道颜色值进行调整，即
| $\left\{ \begin{array}{l} I{\prime _r} = {\mu _g} - \alpha \times \frac{{{\sigma _r}}}{{{\sigma _b}}} \times ({\mu _r} - {I_r}){I_r} \le {\mu _r}\\ I{\prime _r} = {\mu _g} + \alpha \times \frac{{{\sigma _r}}}{{{\sigma _b}}} \times ({I_r} - {\mu _r}){I_r} > {\mu _r} \end{array} \right.$ | (5) |
| $\left\{ \begin{array}{l} I{\prime _g} = {\mu _g} - \alpha \times ({\mu _g} - {I_g}){I_g} \le {\mu _g}\\ I{\prime _g} = {\mu _g} + \alpha \times ({I_g} - {\mu _g}){I_g} > \mu \end{array} \right.$ | (6) |
| $\left\{ \begin{array}{l} I{\prime _b} = {\mu _g} - \alpha \times \frac{{{\sigma _b}}}{{{\sigma _b}}} \times ({\mu _b} - {I_b}){I_b} < {\mu _b}\\ I{\prime _b} = {\mu _g} + \alpha \times \frac{{{\sigma _b}}}{{{\sigma _b}}} \times ({I_b} - {\mu _b}){I_b} > {\mu _b} \end{array} \right.$ | (7) |
最后，得到颜色调整后的图像。
2 改进的奇异值分解算法
2.1 奇异值分解
奇异值分解[14-16](SVD)在数字图像处理中有广泛的应用，包括特征提取、图像压缩、人脸识别等，同时它也应用于对比度增强和图像去噪。数字图像可以看做矩阵，从而可以使用奇异值分解的方法对其进行处理。
奇异值分解的定义：对任意矩阵A∈Rm×n，存在正交矩阵U∈Rm×m和V∈Rn×n，以及
| $\Sigma \sim = \left[ {\begin{array}{*{20}{c}} {{\Sigma _1}}&0\\ 0&0 \end{array}} \right]$ | (8) |
从而将矩阵A分解为3个矩阵的乘积
| $A = U\Sigma {V^T}$ | (9) |
式中，Σ是大小为m×n的非奇异对角阵。若r是A的秩，则Σ1的对角线上元素由大到小排列为
| ${\sigma _1} \ge {\sigma _2} \ge \ldots \ge {\sigma _r} > 0$ | (10) |
由于正交矩阵U和V依赖于A，因此SVD是非线性的，且A和Σ1是等价的。同时，由于
| ${A^T}A = \left[ {\begin{array}{*{20}{c}} {\sigma _1^2}&{}&{}&{}\\ {}&{\sigma _2^2}&{}&{}\\ {}&{}& \ddots &{}\\ {}&{}&{}&{\sigma _r^2} \end{array}} \right]$ | (11) |
即Σ1的元素是矩阵A特征值的均方根，把这些元素称作A的奇异值。一般而论，它们都比较稳定，当矩阵A变化较小时，其奇异值的改变不会大于振动矩阵的2-范数。奇异值能够很好地反映图像的代数特征，奇异值越大表明拥有的信息越多。
由于颜色衰减和噪声的影响，相比于清晰图像，降质图像的奇异值发生某种的改变，因此可以通过某种方式重构奇异值来对降质图像进行恢复。考虑较大的奇异值包含了图像中绝大部分信息，可以看做图像的主体结构部分，而较小的数值可以认为是图像的噪声部分，因此可以通过对A进行阈值收缩，实现图像去噪。
2.2 基于奇异值分解的图像增强
文献[16]提出一种基于奇异值分解的图像增强算法。首先将图像进行归一化处理。考虑一幅8-bit的对比度较低的暗图像，其像素均值小于128；而一幅对比度较低的亮图像，其像素值大于128。图像增强的目的是使得对比度较低的暗(亮)图像的像素均值在128附近。如用max(ΣD)表示暗图像的最大的奇异值，max(ΣB)表示亮图像的最大的奇异值，而max(Σ128)表示像素均值为128的图像的最大的奇异值，那么满足
| $max({\Sigma _D}) < max({\Sigma _{128}}) < max({\Sigma _B})$ | (12) |
为了增强图像，构造图像ΩM×N，使得它的所有元素的值均为128。然后计算该图像与低对比度图像A的比例系数为
| $\xi = \frac{{max({\Sigma _\Omega })}}{{max({\Sigma _A})}}$ | (13) |
式中，ΣΩ为构造图像ΩM×N的奇异值矩阵，ΣA为图像A的奇异值矩阵。很显然，如果图像A是暗图像，那么ξ>1，如果图像A为亮图像，那么ξ<1。基于ξ，可以构造新的奇异值矩阵为
| ${{\bar \sum }_A} = \xi {\Sigma _A}$ | (14) |
| $\bar A = {U_A}{{\bar \sum }_A}V_A^T$ | (15) |
由于对原图像求取的奇异值包含了图像的照度信息，修正奇异值后所获取的图像中的照度信息也将受到影响。同时，在计算比例系数ξ时选取的是无任何细节结构的图像，其最终结果表现出比较明显的颜色偏移。
为了克服SVD方法存在的问题，有许多研究者对此进行了改进。文献[16]基于离散沃尔什变换(DWT)扩展了该方法。首先，通过DWT，图像被分解为不同的频域子带，其中LL子带集中了图像的低频信息，可以看做是图像的平缓变换的照度信息，而其他子带包括了图像的高频信息，即图像的细节信息等。通过对LL进行修正，从而实现图像的增强。考虑无任何细节结构的均值图像所带来的问题，首先对原图像进行直方图均衡化操作，将处理后的图像作为对比图像来计算比例系数ξ，即
| $\xi = \frac{{max({\Sigma _{L{L_{\bar A}}}})}}{{max({\Sigma _{LL}}_A)}}$ | (16) |
式中，ΣLL
2.3 改进的基于奇异值分解的图像增强算法
通过对奇异值进行缩放来增强图像会产生欠增强或过增强的问题，尤其是对像素均值在128附近的低对比度图像。为解决这些问题，在此基础上进行改进。首先，考虑离散余弦变换(DCT)是将原图像数据映射到频域。经过DCT变换，其低频分量集中在图像的左上角，高频分量集中于矩阵的右下角。因此使用DCT变换得到频域图像来计算奇异值。其次，在原图像的奇异值矩阵和直方图均衡化后的图像的奇异值矩阵的基础上构造新的奇异值矩阵，即
| ${{\bar \sum }_{new}} = \frac{1}{2}\left( {\xi {\Sigma _{LL}}_A + \frac{1}{\xi }{\Sigma _{L{L_{\bar A}}}}} \right)$ | (17) |
式中，ΣLL
| ${{\bar U}_A} = U_A^\gamma ,{{\bar V}_A} = V_A^\gamma $ | (18) |
式中，
本文提出的改进的基于奇异值分解的图像增强算法的流程如图 4所示。首先将沙尘图像作为输入图像I1，同时对I1进行直方图均衡化得到I2。对I1和I2进行离散余弦变换得到相应变换域图像T1和T2，通过对T1和T2的LL子带进行奇异值分解得到相应的奇异值矩阵，根据式(16) 获得比例系数ξ，然后根据式(17) 求得新的奇异值矩阵。最后利用新的奇异值矩阵求得新的LL子带，并利用反离散余弦变换(IDCT)获得增强后的图像。
3 本文算法流程
按照上述思路，本文提出融合自适应颜色调整和改进的基于SVD图像增强的沙尘降质图像清晰化的算法：
1) 对沙尘降质图像按照1.3节提出的自适应颜色调整方法进行颜色调整，解决颜色偏移问题；
2) 根据2.3节提出的改进的基于SVD的图像增强方法对1) 得到的图像的各通道分别进行增强；
3) 合并三通道，得到最后增强后的图像。
4 实验评价
为检验本文算法的有效性和实用性，使用Matlab在AMD Athlon II X3 445 processor，3.1 GHz，8 GB内存的PC机上编程实现本文算法，并对从Flick，Bing image和Baidu images上选取的具有代表性的100余幅图像进行测试。实验中的参数全部采用文中所推荐的参数，用于对照的实验也与相应文章的推荐参数相一致。
图 5展示了本文算法的一组实验流程，分别为原始沙尘降质图像、自适应颜色调整后的图像、对比度增强后的图像，以及相应的三通道颜色直方图。从图 5可以看到，经过自适应颜色调整后的图像，已经初步消除了色彩偏移，能够比较清晰地分辨出图像中的要素。通过对比这两幅图像可以发现，沙尘降质图像的散通道颜色直方图分离比较严重，经过颜色调整后的图像三通道颜色直方图却相对集中。同时，颜色调整后的图像整体亮度偏暗，同时存在一些噪声，经过基于奇异值分解的图像增强后，其对比度显著增加，同时亮度提升，视觉信息更加丰富。
图 6—图 8展示了本文算法与带有色彩恢复的多尺度Retinex算法[17](MSRCR)，GUM算法[18]，Tarels的算法[19]以及Fu等人提出的融合算法[11]的对比结果。从色彩恢复方面来看,MSRCR算法，GUM算法，以及Tarels算法虽然显著地提升了图像对比度，但都未能很好地解决沙尘降质图像的颜色偏移问题。而基于融合的算法以及本文算法能够比较好地解决图像的色彩偏移问题，但从图像整体的效果来讲，基于融合算法处理的图像画面整体偏暗，存在轻微的色彩偏移，同时整体对比度不高。而本文的处理结果在色彩校正，以及对比度增强方面都较上述算法表现好，显示了本文算法的有效性。
5 结 论
针对沙尘降质图像的清晰化问题，基于颜色调整和对比度增强设计了一种新的算法。通过对沙尘降质图像和清晰图像的三通道颜色直方图的分析，提出了沙尘降质图像具有集中性、顺序性和偏离性的特点，并采用高斯模型对其进行建模。进而根据模型参数对沙尘降质图像的三通颜色进行调整，从而解决颜色偏移问题。为增强颜色调整后图像的对比度同时降低噪声，本文对基于奇异值分解的图像增强方法进行改进，从而有效地增强了沙尘降质图像的对比度。
从实验结果来看，本文算法能够有效解决降质图像的颜色偏移与失真，提高图像对比度，并在一定程度上抑制图像的噪声，显示了本文算法的优越性。但是在处理存在较大景深的沙尘降质图像时，本文算法的增强效果还有待提高。
参考文献
-
[1] He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2011, 33 (12) : 2341–2353. DOI:10.1109/TPAMI.2010.168]
-
[2] Fattal R. Single image dehazing[J]. ACM Transactions on Graphics , 2008, 27 (3) : #72.
-
[3] Gibson K B, Nguyen T Q. An analysis of single image defogging methods using a color ellipsoid framework[J]. EURASIP Journal on Image and Video Processing , 2013, 2013 (1) : #37. DOI:10.1186/1687-5281-2013-37]
-
[4] Ancuti C O, Ancuti C. Single image dehazing by multi-scale fusion[J]. IEEE Transactions on Image Processing , 2013, 22 (8) : 3271–3282. DOI:10.1109/TIP.2013.2262284]
-
[5] Liu Q, Chen M Y, Zhou D H. Single image haze removal via depth-based contrast stretching transform[J]. Science China Information Sciences , 2015, 58 (1) : 1–17. DOI:10.1007/s11432-014-5143-3]
-
[6] Chen B H, Huang S C. Improved visibility of single hazy images captured in inclement weather conditions[C]//2013 IEEE International Symposium on Multimedia. Anaheim, CA, USA:IEEE, 2013:267-270.[DOI:10.1109/ISM.2013.51]
-
[7] Yan T, Wang L J, Wang J X. Video image enhancement method research in the dust environment[J]. Laser Journal , 2014 (4) : 23–25. [ 延婷, 汪烈军, 王佳星. 沙尘环境下视频图像增强方法的研究[J]. 激光杂志 , 2014 (4) : 23–25. DOI:10.3969/j.issn.0253-2743.2014.04.011 ]
-
[8] Huang S C, Chen B H, Wang W J. Visibility restoration of single hazy images captured in real-world weather conditions[J]. IEEE Transactions on Circuits and Systems for Video Technology , 2014, 24 (10) : 1814–1824. DOI:10.1109/TCSVT.2014.2317854]
-
[9] Huang S C, Ye J H, Chen B H. An advancedsingle-image visibility restoration algorithm for real-world hazy scenes[J]. IEEE Transactions on Industrial Electronics , 2015, 62 (5) : 2962–2972. DOI:10.1109/TIE.2014.2364798]
-
[10] Gao H,Wei P, Ke J. Color enhancement and image defogging in HSI based on Retinex model[C]//Proceedings of SPIE 9622, 2015 International Conference on Optical Instruments and Technology:Optoelectronic Imaging and Processing Technology. Beijing, China:SPIE, 2015.[DOI:10.1117/12.2193264]
-
[11] Rizzi A, Gatta C, Marini D. Color correction between gray world and white patch[C]//Proceedings of SPIE 4662, Human Vision and Electronic Imaging VⅡ. San Jose, CA:SPIE, 2002:367-375.[DOI:10.1117/12.469534]
-
[12] Getreuer P. Automatic color enhancement (ACE) and its fast implementation[J]. Image Processing on Line , 2012, 2 : 266–277. DOI:10.5201/ipol.2012.g-ace]
-
[13] Fu X Y, Huang Y, Zeng D L, et al. A fusion-based enhancing approach for single sandstorm image[C]//Proceedings of the 2014 IEEE 16th International Workshop on Multimedia Signal Processing. Jakarta, Indonesia:IEEE, 2014:1-5.[DOI:10.1109/MMSP.2014.6958791]
-
[14] Klema V, Laub A. The singular value decomposition:its computation and some applications[J]. IEEE Transactions on Automatic Control , 1980, 25 (2) : 164–176. DOI:10.1109/TAC.1980.1102314]
-
[15] Kashkush K, Feldman M, Levy A A. Transcriptional activation of retrotransposons alters the expression of adjacent genes in wheat[J]. Nature Genetics , 2003, 33 (1) : 102–106. DOI:10.1038/ng1063]
-
[16] Demirel H, Anbarjafari G, Jahromi M N S. Image equalization based on singular value decomposition[C]//The 23rd International Symposium on Computer and Information Sciences. Istanbul, Turkey:IEEE, 2008:1-5.[DOI:10.1109/ISCIS.2008.4717878]
-
[17] Rahman Z U, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement[J]. Journal of Electronic Imaging , 2004, 13 (1) : 100–110. DOI:10.1117/1.1636183]
-
[18] Deng G. A generalized unsharp masking algorithm[J]. IEEE Transactions on Image Processing , 2011, 20 (5) : 1249–1261. DOI:10.1109/TIP.2010.2092441]
-
[19] Tarel J P, Hautière N. Fast visibility restoration from a single color or gray level image[C]//Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Kyoto, Japan:IEEE, 2009:2201-2208.[DOI:10.1109/ICCV.2009.5459251]
