Print

发布时间: 2020-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190565
2020 | Volume 25 | Number 7




    图像处理和编码    




  <<上一篇 




  下一篇>> 





烧结断面火焰图像退化模型及断面图像复原
expand article info 王福斌1, 刘贺飞1, 武晨2
1. 华北理工大学电气工程学院, 唐山 063210;
2. 唐钢国际工程技术股份有限公司, 唐山 063000

摘要

目的 图像复原是基于物理模型提高退化图像质量的一种客观方法,复原图像无失真且细节丰富。烧结机尾断面火焰图像可以反映料层的烧结状态,对烧结矿质量的检测起到至关重要的作用。由于烧结机尾环境恶劣,存在大量的烟气、粉尘以及亮度不均等干扰因素,导致相机采集到的烧结断面火焰图像存在退化现象。为消除这些影响,本文建立了烧结断面火焰图像退化模型,提出了有效的烧结断面火焰图像复原算法。方法 基于大气散射模型,采用一级多散射方法对烟尘多次散射过程进行简化,建立烧结断面火焰图像退化模型,依据Retinex理论,将场景成像分解为环境光照射分量与反射率的乘积,明确复原图像所求参数。1)求取原始图像亮度,利用Retinex理论分解原始图像,使用双边滤波来调整亮度图像,采用Sigmoid函数对反射图像进行增强,得到亮度平衡后新的烧结断面火焰图像;2)利用暗通道原理估计环境光值,结合引导滤波细化图像透射率分布;3)采用容差机制改进火焰区域的透射率,得到复原图像。结果 使用本文方法对单幅图像进行复原并与其他4种方法进行主客观评价,结果表明本文得到的复原图像亮度均衡,火焰区域细节清晰并且与烧结料层区别明显,在保持较高图像对比度的同时,图像信息熵和峰值信噪比分别为17.532 bit与22.127 dB,相比其他算法明显提高。结论 本文研究了烧结断面火焰图像的退化模型,提出有效的复原算法,实现了Retinex理论与暗通道原理的有机结合,复原图像质量较高,为烧结火焰特征准确提取打下基础。

关键词

图像复原; Retinex; 暗通道先验; 火焰图像; 烧结机

Degradation model and restoration of flame image of sintering section
expand article info Wang Fubin1, Liu Hefei1, Wu Chen2
1. College of Electrical Engineering, North China University of Science and Technology, Tangshan 063210, China;
2. Tang Steel International Engineering Technology Corp, Tangshan 063000, China

Abstract

Objective Compared with traditional subjective image enhancement methods, image restoration is an objective method to improve the quality of degraded images on the basis of physical models. The result presents no distortion, low noise, and rich image details. The grade of sinter, which is the main raw material for blast furnace ironmaking, is directly related to the condition of the blast furnace and the output of molten iron. The flame image of the tail section of a sinter machine can fully reflect the sintering state of the material layer, which plays an important role in the detection of the quality of a sintered ore. However, the harsh environment of the sintering machine tail has caused numerous interference factors, such as smoke, dust, and uneven brightness. Such factors lead to the degradation of the flame image of the sintered section collected using a camera. An accurate ambient light value is difficult to obtain by using the dark channel principle alone. This limitation results in halo and distortion. Therefore, obtaining a clear and undistorted cross-section flame image of the tailing layer of the sintering machine is the primary problem in accurately identifying the end point of sintering, and it has an important engineering application value for improving the yield of sintered ore and reducing energy consumption. In this study, a new flame image degradation model for the sintered section is established, and an effective flame image restoration algorithm for the sintered section is proposed. Method The basis of the image restoration algorithm based on physical model is to establish a degradation model of the image. The atmospheric scattering model proposed by Narasimhan is widely used in the fields of computer vision and image processing. The image degradation model is established based on the atmospheric scattering model; it fully considers the scattering and attenuation characteristics of soot particles in the tail environment of the sintering machine. The model uses a first-order multiscattering method to simplify the multiscattering process of soot and Retinex theory to decompose the image. First, the proposed algorithm calculates the brightness of the original image and adjusts the overall brightness of the image based on the bilateral filtering Retinex method in accordance with the uneven luminance caused by the sintering flame. Second, from the results of image brightness balance, we estimate the ambient light of the sintering machine tail by using the transcendental principle of dark channel and enlarge the image transmissivity distribution with guided filtering. Finally, for the image of the area containing a large region of flame in the smoke environment of the sintering section, we use the tolerance mechanism to improve the transmittance of the flame area and acquire a restored image. This process prevents the color distortion of the restored image and makes the restored image close to the actual situation. Result In this experiment, a single image collected is used for restoration and subjective evaluation with four other experimental methods. Results of multiscale Retinex restoration show that the method cannot remove the smoke and dust from the flame image of the sintering section, and the noise is excessively high. Compared with the results of multiscale Retinex, the image noise generated using the method with glow and multiple light colors is smaller, but the details of the flame area are unclear and color distortion appears. The results of dark channel priori method experimental restoration improve some details of the flame area but do not eliminate the influence of soot because the flame area causes uneven brightness of the image. This condition leads to the failure of the dark channel priori to estimate the transmission of the image in the dark scene. The experimental results of the method with boundary constraint and contextual regularization present that the image brightness is balanced in a small range, and the details of the flame area are obvious. However, the overall image brightness is high, and the smoke influence remains. The results of this study show that the brightness of the restored image is balanced, the details of the flame area are clear and distinct from the sintering layer, the color is natural without distortion, and the influences of smoke and dust are eliminated. We use a statistical method for image quality evaluation, pixel value variance, average gradient, contrast, information entropy, and peak signal-to-noise ratio as objective evaluation indexes. The experimental results of dark channel priori method have lower statistics than the original image because the method does not address the problem of uneven brightness of the image caused by the sintering flame area. Compared with the statistics of the original image, the statistics of the image obtained using modified method is improved, but the restored image has the problems of noise and color distortion. The algorithm proposed in this study is superior to other methods. The algorithm results maintain a high image contrast. The image information entropy and the peak signal-to-noise ratio are 17.532 bit and 22.127 dB, respectively, which are significantly higher than those of other algorithms. Conclusion We study a degradation model for the flame image of the tail section of a sintering machine and propose an effective restoration algorithm. We achieve the brightness balance of the restored image and the effect of smoke removal, which are beneficial to the accurate extraction of sintered flame characteristics and lay a foundation for the subsequent identification of the sintering end point.

Key words

image restoration; Retinex; dark channel prior; flame image; sintering machine

0 引言

烧结矿作为高炉炼铁的主要原料,其品位的优劣直接关系到高炉炉况和炼铁工艺过程中的铁水产量。烧结终点的大量信息蕴含在烧结料层的断面火焰中,但烧结机尾料层断面火焰图像存在易受粉尘散射及热辐射等因素的影响而产生图像退化的特点,导致烧结断面火焰有效特征难以提取(刘征建等,2007)。因此获取清晰且不失真的烧结机尾料层断面火焰图像是准确识别烧结终点的首要问题,同时对提高烧结矿成品率,降低能耗具有重要的工程应用价值。

由于烧结机尾环境烟尘粒子对入射光的散射与衰减特性以及烧结火焰造成的图像亮度不均问题,使得相机采集的图像在亮度、对比度和色彩上产生了退化现象,严重影响成像质量(范新南等,2018), 因此有必要对烧结机尾断面火焰图像进行清晰化处理。然而目前对此类问题的研究甚少,烟尘环境下图像复原问题的主流解决方法是基于大气散射模型和先验知识的方法,此类方法又分为基于多幅图像的图像复原与单幅图像的图像复原(王园宇等,2018)。多幅图像的图像复原方法中,Schechner等人(2001)考虑大气散射的偏振效应,通过调节偏振片获得两幅不同偏振角度的偏振图像以计算图像的偏振度与物理模型的参数,实现了图像对比度的提高与颜色校正;Narasimhan和Nayar(2003)通过分析多幅同一场景不同天气环境图像,提出二色大气散射模型,并由此求解大气散射系数和图像深度信息;Kopf等人(2008)根据已知的模型获取深度信息进行图像复原,但是该算法约束条件较多,限制了其实际应用。目前依赖于先验知识和假设的单幅图像的图像复原方法正逐渐成为研究的主要方向。He等人(2009)提出基于无雾图像特征的暗通道先验的统计规律,结合大气散射模型并利用引导滤波细化透射率复原出高质量的图像。Pei和Lee(2012)利用颜色迁移对图像进行预处理,将偏蓝色的大气光转换成偏灰色,然后使用暗通道先验复原图像,最后采用双边滤波对比度修正算法对图像进行后处理,提高了暗原色先验算法的鲁棒性。Zhang等人(2014)利用Retinex算法提取入射光亮度对其进行Gamma校正,并校正入射光颜色,使用暗通道先验实现图像复原,该方法具有较好的色彩还原效果。Li等人(2015)考虑到不同颜色光源产生的光晕效应,将其用大气点扩散函数表示,结合暗通道先验并采用改进的图像退化模型得到复原图像,但其容易出现噪声和局部对比度过强的现象。

针对烧结机尾环境烟尘粒子对入射光的散射与衰减特性以及烧结火焰造成的图像亮度不均问题,本文建立了烧结机尾断面火焰图像退化模型,提出了一种有效的烧结断面火焰图像复原算法。根据烧结机尾烟尘分布不均且局部多散射特征,采用一级多散射改进图像退化模型,得到复原烧结断面火焰图像所需参数。本文算法充分考虑原始图像亮度不均问题,结合Retinex理论对原始烧结图像分解,采用双边滤波来调节亮度图像,并利用Sigmoid函数对烧结断面火焰的反射图像进行增强,得到新的烧结断面火焰图像,可以精确估计出环境光值;依据新的烧结断面火焰图像,使用容差机制的暗通道先验原理消除烟尘的影响,突显火焰区域细节。本文算法实现了Retinex理论与暗通道原理的有机结合,实验结果表明,该算法具有较好的图像复原效果。

1 图像退化模型

1.1 大气散射模型

基于物理模型图像复原算法的基础是建立图像的退化模型,如图 1所示。Narasimhan和Nayar(2002)提出的大气散射模型在计算机视觉与图像处理领域中广泛应用,它由大气对景物光线直接衰减项与大气光项两部分组成,可以表示为

图 1 大气散射模型示意图
Fig. 1 The general view of the atmospheric scatting model

$ I(x) = J(x)t(x) + A(1 - t(x)) $ (1)

式中,$\mathit{\boldsymbol{I}}$为相机采集到的图像强度,$\mathit{\boldsymbol{J}}$为去除大气介质干扰后实际场景强度,$A$为环境光值,$\mathit{\boldsymbol{t}}$为场景的透射率,$x$为像素坐标。$J\left(x \right)t\left(x \right)$表示实际场景强度在介质中的衰减,称为直接衰减项,$A\left({1 - t\left(x \right)} \right)$表示散射光,称为大气光项。假设大气环境为同质均匀时,$t\left(x \right)$可以表示为

$ t(x) = {{\rm{e}}^{ - \tau }} $ (2)

式中,$\tau $表示为光学厚度,$\tau = \beta d\left(x \right)$$\beta $为消光系数,$d\left(x \right)$为景深。基于物理模型图像复原的目的就是从图像$\mathit{\boldsymbol{I}}$中复原$\mathit{\boldsymbol{J}}$,获得高质量清晰图像。

1.2 烧结断面火焰图像退化模型

烧结机尾环境中由于烧结火焰光照不均匀现象以及烟尘粒子对光的散射与衰减特性,导致环境光值不恒定,图像出现整体亮度不均问题,烧结机尾烟尘如图 2所示。因此本文基于大气散射模型,针对烧结机尾环境中烟尘多散射的复杂性,实际烟尘环境光学厚度大于2且不满足Lambert-Beer定律,大气散射模型假设条件不成立的问题。假设入射光线为平面波,采用一级多散射的方法对烟尘多散射过程进行简化(李毅等,2001),烧结断面火焰图像退化模型可以表示为

图 2 烧结机尾烟尘
Fig. 2 Dust of sintering machine tail

$ \mathit{\boldsymbol{I}} = \mathit{\boldsymbol{J}}{{\rm{e}}^{ - \tau }}\left( {1 + \frac{{p(0,0)}}{{4\pi }}\tau } \right) + A(1 - {{\rm{e}}^{ - \tau }}) $ (3)

式中,$p\left({0, 0} \right)$表示相函数。将$\frac{{p\left({0, 0} \right)}}{{4{\rm{ \mathsf{ π} }}}}$视为一个常数$k$,进一步简化该模型得到

$ \mathit{\boldsymbol{I}} = \mathit{\boldsymbol{Jt}}(1 + k\tau ) + A(1 - t) $ (4)

根据Retinex理论,场景所成像等于入射光与物体表面对照射光的反射比例之积(杨爱萍和白煌煌,2017),式(4)可写为

$ \begin{array}{*{20}{l}} {\mathit{\boldsymbol{I}}_i^c = \mathit{\boldsymbol{J}}_i^c{\mathit{\boldsymbol{t}}_i}(1 + k\tau ) + \mathit{\boldsymbol{A}}_i^c(1 - {t_i}) = }\\ {{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \mathit{\boldsymbol{A}}_i^c\mathit{\boldsymbol{R}}_i^c{\mathit{\boldsymbol{t}}_i}(1 + k\tau ) + \mathit{\boldsymbol{A}}_i^c(1 - {t_i})} \end{array} $ (5)

式中,$\mathit{\boldsymbol{I}}_i^c$表示相机采集到的图像$i$点处$c$通道的像素值($c \in \left\{ {r, g, b} \right\}$, $r$$g$$b$分别表示3个色彩通道的灰度值);$\mathit{\boldsymbol{J}}_i^c$表示期望得到的清晰图像;$\mathit{\boldsymbol{A}}_i^c$表示环境光的照射分量;$\mathit{\boldsymbol{R}}_i^c$表示反射率,即反射光与亮度的比例,它与场景中物体表面的反射特性有关。因此,烧结断面火焰图像复原的目的就是从$\mathit{\boldsymbol{J}}_i^c$得到$\mathit{\boldsymbol{A}}_i^c\mathit{\boldsymbol{R}}_i^c$

2 烧结断面火焰图像复原算法

根据上述烧结断面火焰图像退化模型,本文提出了一种有效的烧结断面火焰图像复原算法,该算法流程如图 3所示。主要包括:1)求取原始图像亮度,根据烧结火焰造成的图像亮度不均问题,采用基于双边滤波的Retinex方法来调整图像整体亮度;2)根据图像亮度平衡结果估计烧结机尾环境光值,利用暗通道先验原理,结合引导滤波,细化图像的透射率分布;3)最后,利用容差机制改进火焰区域的透射率,避免复原图像出现颜色失真。

图 3 算法流程图
Fig. 3 Algorithm flowchart

2.1 基于Retinex理论的图像亮度平衡

根据Retinex理论,断面火焰图像可以看做亮度图像和反射图像的乘积(胡韦伟等,2010),则式(5)可以写为

$ \mathit{\boldsymbol{I}}_i^c = {\mathit{\boldsymbol{L}}_i}\widehat {\mathit{\boldsymbol{R}}_i^c} $ (6)

式中,${\mathit{\boldsymbol{L}}_i}$表示烧结断面火焰烟尘环境下的亮度图像;$\mathit{\boldsymbol{\hat R}}_i^c = \mathit{\boldsymbol{R}}_i^c{\mathit{\boldsymbol{t}}_i}k + \left({1 - {\mathit{\boldsymbol{t}}_i}} \right)$表示烧结断面火焰烟尘环境下的反射图像。本文首先计算烧结断面火焰烟尘环境下的亮度图像

$ {\mathit{\boldsymbol{L}}_i} = 0.289 \times \mathit{\boldsymbol{r}} + 0.587 \times \mathit{\boldsymbol{g}} + 0.114 \times \mathit{\boldsymbol{b}} $ (7)

根据烧结火焰造成的图像亮度不均问题,采用具有边保特性的双边滤波对断面火焰烟尘环境下亮度图像进行亮度补偿,其输出值不仅考虑了像素间的空间位置关系,还考虑了像素值的相似程度,即图像的亮度差值。其表达式为

$ H(i) = {\eta ^{ - 1}}\sum\limits_{p \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}} {f(p - i)} g({I_p} - {I_i}){I_p} $ (8)

式中,$\eta = \sum\limits_{p \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}} {f\left({p - i} \right)} g\left({{I_p} - {I_i}} \right)$用来对输出结果进行标准化;$\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}$表示定义域,即图像的全体像素值;$f$$g$为高斯函数,分别表示$p$点空域和值域的权值贡献;${I_p}$${I_i}$表示$p$点和$i$点处的亮度值。

由式(8)可以得到,像素$i$点处的亮度大小受相邻以及相似亮度的像素影响。因此可以对烧结断面火焰亮度图像${\mathit{\boldsymbol{L}}_i}$进行双边滤波得到亮度提高的图像$\mathit{\boldsymbol{L}}_i^\lambda $。原始亮度图像经双边滤波后的图像亮度得到明显提升,而直方图均衡化的结果虽然其灰度直方图分布更加均匀,但对火焰周围区域过度增强,使火焰区域与料层区域分辨不佳。对数运算的结果相比双边滤波仅是进行了低灰度级部分拓展,高灰度级部分压缩,图像亮度均衡性欠佳。如图 4所示。

图 4 亮度图像与灰度直方图
Fig. 4 Image brightness and gray histogram
((a) original image; (b) histogram equalization; (c) logarithmic; (d) bilateral filtering)

烧结断面火焰烟尘环境下的反射图像包含大量的图像细节信息,可以通过对原图像进行对数变换得到

$ {\rm{lg}}{\kern 1pt} {\kern 1pt} \widehat {\mathit{\boldsymbol{R}}_i^c} = {\rm{lg}}{\kern 1pt} {\kern 1pt} \mathit{\boldsymbol{I}}_i^c - {\rm{lg}}{\kern 1pt} {\kern 1pt} {\mathit{\boldsymbol{L}}_i} $ (9)

采用Sigmoid函数对烧结断面火焰的反射图像进行增强

$ f(r) = \frac{2}{{1 + {{\rm{e}}^{ - a \times r}}}} - 1 $ (10)

式中,$r$表示烧结断面火焰的反射图像的亮度;$a$表示控制参数,$a$的值越大,反射图像增强越明显。

用亮度平衡的图像$\mathit{\boldsymbol{L}}_i^\lambda $加上Sigmoid函数增强后的反射图像$\mathit{\boldsymbol{\hat R}}_i^c$得到新的烧结断面火焰图像。计算相关评价参数,如表 1所示,相比原图,新的烧结断面火焰图像客观参数得到明显提高。从图 5可以看出,新的烧结断面火焰图像降低了原图的曝光程度,整幅图像的色彩更加协调自然,烧结料层与火焰边缘更加分明,为使用暗通道原理进行图像复原工作打下基础。

表 1 客观评价参数
Table 1 Objective evaluation parameter

下载CSV
指标 像素值方差 平均梯度 对比度 边缘强度 清晰度
原图 3.590 6 4.153 2 0.168 0 41.416 8 5.187 1
平衡后 4.730 3 4.215 9 0.231 8 42.157 1 5.258 6
注:加粗字体表示最优结果。
图 5 烧结断面火焰图像
Fig. 5 Flame image of sintered section
((a) flame image of the original sintered section; (b) new flame image of the sintered section)

2.2 基于暗通道先验求取透射率

He等人(2009)通过观察大量室外无雾图像,得到一种暗通道先验的统计规律,即一幅图像至少有一个颜色通道在某些像素点处具有非常低的亮度,近似为零。在烧结机尾烟尘环境下,存在着大量暗像素,可应用暗通道先验原理,将其代入烧结断面火焰图像退化模型中,可以求解场景的透射率分布,进而复原清晰的图像。暗通道先验知识可描述为

$ {J^{\rm{d}}}(x) = \mathop {{\rm{min}}}\limits_{y \in \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} [\mathop {{\rm{min}}}\limits_{c \in \{ r,g,b\} } {J^c}(y)] \approx 0 $ (11)

式中,$\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left(x \right)$表示以$x$为中心的局部区域,大小为$n \times n$$n$为区域长度;${\mathit{\boldsymbol{J}}^d}$表示$\mathit{\boldsymbol{J}}$的暗通道。

假设透射率$t\left(x \right)$$\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left(x \right)$内为常量,环境光值$A$为已知量,对式(4)进行取小运算,左右同除环境光值$A$,可以得到

$ \begin{array}{*{20}{c}} {\mathop {{\rm{min}}}\limits_{y{\kern 1pt} \in {\kern 1pt} \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left[ {\frac{{{I^c}(y)}}{{{A^c}}}} \right] = }\\ {(1 + k\tau )\tilde t(x)\mathop {{\rm{min}}}\limits_{y{\kern 1pt} \in {\kern 1pt} \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left[ {\frac{{{J^c}(y)}}{{{A^c}}}} \right] + [1 - \tilde t(x)]} \end{array} $ (12)

式中,${\mathit{\boldsymbol{I}}^c}$是烧结断面火焰图像经双边滤波的Retinex方法得到的亮度平衡的图像;$\tilde t\left(x \right)$$t\left(x \right)$的估值。对式中3个色彩通道进行取小运算,得到

$ \begin{array}{*{20}{c}} {\mathop {{\rm{min}}}\limits_{y{\kern 1pt} \in {\kern 1pt} \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left\{ {\mathop {{\rm{min}}}\limits_{c \in \{ 1,g,b\} } \left[ {\frac{{{I^c}(y)}}{{{A^c}}}} \right]} \right\} = }\\ {(1 + k\tau )\tilde t(x)\mathop {{\rm{min}}}\limits_{y{\kern 1pt} \in {\kern 1pt} \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left\{ {\mathop {{\rm{min}}}\limits_{c \in \{ 1,g,b\} } \left[ {\frac{{{J^c}(y)}}{{{A^c}}}} \right]} \right\} + [1 - \tilde t(x)]} \end{array} $ (13)

由于环境光值$A$恒为正数,根据暗通道先验知识,有

$ {\mathop {{\rm{min}}}\limits_{y{\kern 1pt} \in {\kern 1pt} \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left\{ {\mathop {{\rm{min}}}\limits_{c \in \{ 1,g,b\} } \left[ {\frac{{{J^c}(y)}}{{{A^c}}}} \right]} \right\} = 0} $ (14)

将式(14)代入到式(13)中,可得透射率的估计值为

$ \tilde t(x) = 1 - \omega \mathop {{\rm{min}}}\limits_{y{\kern 1pt} \in {\kern 1pt} \mathit{\boldsymbol{ \boldsymbol{\varOmega} }}(x)} \left\{ {\mathop {{\rm{min}}}\limits_{c \in \{ 1,g,b\} } \left[ {\frac{{{J^c}(y)}}{{{A^c}}}} \right]} \right\} $ (15)

式中,$\omega \left({0 < \omega \le 1} \right)$表示烟尘的去除程度,通常设置为0.95,如果完全去除烟尘,复原图像可能看起来不自然并且会丢失深度信息。

由于透射率$\tilde t\left(x \right)$的粗略求解采用局部处理的方式,会出现明显的分块现象,所以利用引导滤波(He等,2013)来细化透射率$t\left(x \right)$,烟尘区域更加明显,保持复原效果的同时又具有良好的实时性。如图 6所示。

图 6 透射率图
Fig. 6 Transmittance image((a) original transmittance image; (b) guided filtered transmittance image)

2.3 图像复原

首先,取亮度平衡图像的暗通道${\mathit{\boldsymbol{J}}^{\rm{d}}}$中居千分之一最大亮度的像素,然后将这些像素对应在亮度平衡图像中的最大值作为环境光$A$的值。

在暗通道先验原理的基础上,针对烧结断面烟尘环境下含有大面积火焰区域的图像,采用容差机制(蒋建国等,2011),对透射率$\tilde t\left(x \right)$进行修正,可以消除图像的颜色失真,使复原图像更贴近实际情况,修正后的透射率如图 7所示。复原图像可表示为式(16)。

图 7 修正后的透射率图
Fig. 7 Revised transmittance image

$ J(x) = \frac{{I(x) - A}}{{{\rm{min}}\left\{ {{\rm{max}}\left( {\frac{K}{{|I(x) - A|}},1} \right) \cdot {\rm{max}}[(1 + k|{\rm{ln}}{\kern 1pt} {\kern 1pt} t(x)|)t(x),{t_0}],1} \right\}}} + \frac{A}{{1 + k|{\rm{ln}}{\kern 1pt} {\kern 1pt} t(x)|}} $ (16)

式中,$K$表示容差,对于$\left| {I\left(x \right) - A} \right|$小于$K$的区域,重新计算透射率,对于$\left| {I\left(x \right) - A} \right|$大于$K$的区域,保持原来的透射率不变;${t_0}$表示阈值,通常取值为0.1。

3 实验与结果分析

本文实验用于图像处理的计算机具有Intel i5-5200U处理器、8 GB的RAM,使用MATLAB 2019a软件进行编程,常数$k$=0.05;双边滤波器的大小为20×20像素,Sigmoid函数$a$=6;局部区域$\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}\left(x \right)$像素,$ω$=0.95,${t_0}$=0.1;引导滤波窗口半径为60,正则化参数为0.000 1;容差$K$=70。实验结果对比如图 8所示。

图 8 实验结果对比
Fig. 8 Comparison of experimental results((a) original images; (b) multi-scale Retinex (MSR); (c) Li et al.(2015); (d) He et al.(2009); (e) Meng et al.(2013); (f) ours)

3.1 主观评价

为了验证本文算法的有效性,将本文算法的复原图像与多尺度Retinex(multiple scale Retinex, MSR)和其他对比算法(Li等,2015He等,2009Meng等,2013)的结果进行对比。图 8 (a)为原图,图 8 (b)为MSR算法复原得到的结果,该方法未能去除烧结断面火焰图像的烟尘并且噪声过大。图 8 (c)Li等人(2015)的实验结果,相比图 8 (b),该方法图像噪声相对较小,但是火焰区域的细节不清晰,出现颜色失真。图 8 (d)He等人(2009)实验复原的结果,其中火焰区域部分细节得到提升,图像相对较暗,并未基本消除烟尘的影响,原因在于火焰区域造成图像的亮度不均问题导致暗通道先验对估计黑暗场景中图像的透射率是失效的。图 8 (e)Meng等人(2013)的实验结果,可以看出图像亮度得到小范围内均衡,火焰区域的细节比较明显,但是整体图像亮度较大,仍存在烟尘影响。图 8 (f)为本文算法的实验结果,可以看出图像亮度均衡,火焰区域细节清晰,火焰与烧结料层区别明显,色彩自然,基本消除烟尘影响,因此本文算法对于烧结断面火焰处理更具有适用性。

3.2 客观评价

本文采用Jobson等人(2002)提出的图像质量评价方法,计算统计量$\bar I \times \bar \sigma $,其表示图像非重叠块的方差平均值与标准差平均值之间的乘积,该值越大,表示图像质量越好。本文选取10幅不同时刻的烧结断面火焰图像,利用图 8不同方法得到的实验结果并计算其统计量$\bar I \times \bar \sigma $,如图 9所示。

图 9 不同方法统计量对比
Fig. 9 Statistical comparison of different methods

图 9可以得出,He等人(2009)方法的实验结果相比原图有较低的统计量,其原因在于该方法并未处理烧结火焰区域造成图像的亮度不均问题。Li等人(2015)方法的处理结果相比原图的统计量有所提高,但复原图像存在噪声以及色彩失真问题。本文算法与其他方法相比,图像质量较高,具有更好的复原效果。

为了进一步验证本文算法的有效性,采用图像的像素值方差、平均梯度、对比度、边缘强度、信息熵和峰值信噪比作为图 8第4幅原图实验结果的客观评价指标。其中像素值方差表示图像像素值与均值的离散程度,一般像素值方差越大,图像质量越高;平均梯度体现了图像微小细节的反差,边缘强度为图像边缘点梯度的幅值,二者均能反映出图像的清晰度和纹理变化。通常情况下,平均梯度与边缘强度越大,说明图像越清晰,反之,图像越模糊;对比度表示图像亮区域与暗区域的亮度差异程度,其值越大,差异越大;信息熵反映了图像的平均信息量,表示图像灰度分布的聚集特征,信息熵越大,图像越清晰;峰值信噪比是衡量图像噪声水平的客观标准,与原图之间的峰值信噪比越大,噪声越小。

表 2中的数据可以得出,MSR与Li等人(2015)方法平均梯度与边缘强度相比本文方法较高,这是由于MSR与Li等人(2015)方法对烟尘的去除效果并不理想,复原图像保留了部分噪声,结合图 8判断MSR与Li等人(2015)方法并不适用于烧结断面火焰图像处理。本文算法图像像素值方差、信息熵和峰值信噪比相比其他方法提升较为明显,平均梯度与边缘强度也相对He等人(2009)Meng等人(2013)图像结果较高,复原图像在保持较高图像对比度的同时,可以提供更清晰的烧结断面图像火焰区域细节特征。

表 2 各方法实验结果对比
Table 2 Comparison of each algorithm's experimental result

下载CSV
方法 像素值方差 平均梯度 对比度 边缘强度 信息熵 峰值信噪比/dB
原图 3.591 4.153 0.168 41.417 15.256
MSR 3.388 9.817 0.179 95.405 14.033 14.267
He等人(2009) 4.008 4.743 0.169 47.252 15.826 19.383
Meng等人(2013) 4.371 4.619 0.154 46.465 16.487 19.837
Li等人(2015) 3.454 8.407 0.201 83.246 15.366 18.592
本文 4.786 4.975 0.243 50.290 17.532 22.127
注:加粗字体表示每列最优结果;“—”表示空值。

4 结论

本文针对烧结火焰造成的图像亮度不均以及烧结机尾环境中烟尘粒子对光的散射与衰减特性,建立了一种新的烧结断面火焰图像退化模型,提出了一种有效的烧结断面火焰图像复原算法,复原图像基本消除了烟尘的干扰,解决了黑暗场景中暗通道原理失效的问题。

实验结果表明,相比其他算法,本文算法能够实现烟尘环境下烧结断面火焰图像复原,复原图像质量显著提高,火焰细节明显,能够获得更丰富的图像信息,图像像素值方差、信息熵和峰值信噪比提升较为明显。

但是,本文只针对单幅图像进行复原,尚未考虑处理过程实时性的要求,在今后的工作中,将进一步优化程序,在保证图像质量的同时缩短运行时间;由于本文方法与Li等人(2015)Meng等人(2013)方法均是在大气散射模型的基础上进行改进的,所以复原效果较为接近,后续工作将对算法步骤进行更为仔细的对比。

参考文献

  • Fan X N, Chen J Y, Zhang X W, Shi P F, Zhang Z. 2018. Underwater polarized images restoration algorithm based on structural similarity. Journal of Image and Graphics, 23(7): 1033-1041 (范新南, 陈建跃, 张学武, 史朋飞, 张卓. 2018. 结构相似性的水下偏振图像复原. 中国图象图形学报, 23(7): 1033-1041) [DOI:10.11834/jig.180009]
  • He K M, Sun J and Tang X O. 2009. Single image haze removal using dark channel prior//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE: 1956-1963[DOI: 10.1109/CVPR.2009.5206515]
  • He K M, Sun J, Tang X O. 2013. Guided image filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(6): 1397-1409 [DOI:10.1109/TPAMI.2012.213]
  • Hu W W, Wang R G, Fang S, Hu Q. 2010. Retinex algorithm for image enhancement based on bilateral filtering. Journal of Engineering Graphics, 31(2): 104-109 (胡韦伟, 汪荣贵, 方帅, 胡琼. 2010. 基于双边滤波的Retinex图像增强算法. 工程图学学报, 31(2): 104-109) [DOI:10.3969/j.issn.1003-0158.2010.02.018]
  • Jiang J G, Hou T F, Qi M B. 2011. Improved algorithm on image haze removal using dark channel prior. Journal of Circuits and Systems, 16(2): 7-12 (蒋建国, 侯天峰, 齐美彬. 2011. 改进的基于暗原色先验的图像去雾算法. 电路与系统学报, 16(2): 7-12) [DOI:10.3969/j.issn.1007-0249.2011.02.002]
  • Jobson D J, Rahman Z U and Woodell G A. 2002. Statistics of visual representation//Proceedings of Visual information processing XI. Orlando, FL, United States: SPIE: 25-35[DOI: 10.1117/12.477589]
  • Kopf J, Neubert B, Chen B, Cohen M, Cohen-Or D, Deussen O, Uyttendaele M, Lischinski. 2008. Deep photo:model-based photograph enhancement and viewing. ACM Transactions on Graphics, 27(5): #116 [DOI:10.1145/1409060.1409069]
  • Li Y, Pan G P, Wang X. 2001. Calculation of smoke transmission based on first-order multiple scattering approximation. Chinese Journal of Explosives and Propellants, 24(2): 39-41, 34 (李毅, 潘功配, 王雪. 2001. 一级多次散射近似法求解烟幕透过率. 火炸药学报, 24(2): 34, 39-41) [DOI:10.3969/j.issn.1007-7812.2001.02.013]
  • Li Y, Tan R T and Brown M S. 2015. Nighttime haze removal with glow and multiple light colors//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE: 226-234[DOI: 10.1109/ICCV.2015.34]
  • Liu Z J, Zuo H B, Guo H W, Yang T J. 2007. Application and development of monitoring system for sintering machine plant-tail section (A). Metallurgical Industry Automation, 31(2): 11-13, 23 (刘征建, 左海滨, 国宏伟, 杨天钧. 2007. 烧结机尾断面监视系统的应用与发展(上). 冶金自动化, 31(2): 11-13, 23) [DOI:10.3969/j.issn.1000-7059.2007.02.003]
  • Meng G F, Wang Y, Duan J Y, Xiang S M and Pan C H. 2013. Efficient image dehazing with boundary constraint and contextual regularization//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney: IEEE: 617-624[DOI: 10.1109/ICCV.2013.82]
  • Narasimhan S G, Nayar S K. 2002. Vision and the atmosphere. International Journal of Computer Vision, 48(3): 233-254 [DOI:10.1023/a:1016328200723]
  • Narasimhan S G, Nayar S K. 2003. Contrast restoration of weather degraded images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(6): 713-724 [DOI:10.1109/TPAMI.2003.1201821]
  • Pei S C and Lee T Y. 2012. Nighttime haze removal using color transfer pre-processing and dark channel prior//Proceedings of 2012 IEEE International Conference on Image Processing. Orlando, FL, USA: IEEE: 957-960[DOI: 10.1109/ICIP.2012.6467020]
  • Schechner Y Y, Narasimhan S G and Nayar S K. 2001. Instant dehazing of images using polarization//Proceedings of 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE: 325-332[DOI: 10.1109/CVPR.2001.990493]
  • Wang Y Y, Zhang Y F, Wang Y F. 2018. Slices reconstruction method for single image dedusting. Journal of Computer Applications, 38(4): 1117-1120, 1140 (王园宇, 张一凡, 王云飞. 2018. 单幅粉尘图像的切片重构恢复方法. 计算机应用, 38(4): 1117-1120, 1140) [DOI:10.11772/j.issn.1001-9081.2017092388]
  • Yang A P, Bai H H. 2017. Nighttime image defogging based on the theory of Retinex and dark channel prior. Laser and Optoelectronics Progress, 54(4): 141-147 (杨爱萍, 白煌煌. 2017. 基于Retinex理论和暗通道先验的夜间图像去雾算法. 激光与光电子学进展, 54(4): 141-147) [DOI:10.3788/LOP54.041002]
  • Zhang J, Cao Y and Wang Z F. 2014. Nighttime haze removal based on a new imaging model//Proceedings of 2014 IEEE International Conference on Image Processing. Paris: IEEE: 4557-4561[DOI: 10.1109/ICIP.2014.7025924]