Print

发布时间: 2016-08-25
摘要点击次数: 288
全文下载次数: 39
DOI: 10.11834/jig.20160805
2016 | Volumn 21 | Number 8




    图像处理和编码    




  <<上一篇 




  下一篇>> 





大气模型与亮度传播图相结合的低照度视频增强算法
expand article info 胡茵萌1, 尚媛园1,2, 付小雁1,3, 丁辉1,2
1. 首都师范大学信息工程学院,北京 100048;
2. 首都师范大学高可靠嵌入式系统技术北京市工程技术研究中心,北京 100048;
3. 首都师范大学电子系统可靠性技术北京市重点实验室,北京 100048

摘要

目的 为解决低照度视频亮度和对比度低、噪声大等问题,提出一种将Retinex理论和暗通道先验理论相结合的低照度视频快速增强算法。 方法 鉴于增强视频时会放大噪声,在增强之前先对视频进行去噪处理,之后结合引导滤波和中值滤波的优势提出综合去噪算法,并将其应用于YCbCr空间。其次提取亮度分量来估计亮度传播图,利用大气模型复原低照度视频。最后综合考虑帧间处理技术,加入场景检测、边缘补偿和帧间补偿。 结果 为了验证本文算法的实际效果和有效性,对低照度视频进行增强实验并将本文算法与Retinex增强算法、去雾技术增强算法进行了比较,本文算法有效地提高了低照度视频的亮度和对比度,减小了噪声,增强了视频的细节信息并减轻了视频闪烁现象,从而改善了视频质量。算法处理速率有着非常明显的优势,相比文中其他两种算法的速率提升了将近十倍。 结论 本文算法保持了帧间运动的连续性,在保证增强效果的同时提升了处理速率,对细节和边缘轮廓部分的处理非常精细,具有目前同类算法所不能达到的优良效果,适用于视频监控、目标跟踪、智能交通等众多领域,可实现视频的实时增强。

关键词

低照度视频增强; 大气物理模型; 亮度传播图; 去噪; 帧间处理

Low-illumination video enhancement algorithm based on combined atmospheric physical model and luminance transmission map
expand article info Hu Yinmeng1, Shang Yuanyuan1,2, Fu Xiaoyan1,3, Ding Hui1,2
1. College of Information Engineering Capital Normal University, Beijing 100048, China;
2. College of Information Engineering Capital Normal University, Beijing Engineering Research Center of High Reliable Embedded System, Beijing 100048, China;
3. College of Information Engineering Capital Normal University, Beijing Key Laboratory of Electronic System Reliability Technology, Beijing 100048, China
Supported by: National Natural Science Foundation of China (61303104, 61373090, 61203238, 11178017)

Abstract

Objective To solve the problems of low contrast and brightness as well as high noise level in low-illumination videos, a fast and effective low-illumination video enhancement algorithm is proposed by combining retinex theory with dark channel prior theory to improve contrast and reduce noise. Method Considering enhancing low illumination videos and amplifying noise simultaneously, removing noise before enhancing videos is beneficial to improving video enhancement effects. Therefore, this study combines the advantages of guided filtering and median filtering to propose an improved comprehensive denoising algorithm, which is applied to the YCbCr space. Then, the luminance transmission map is estimated by extracting luminance components. Furthermore, the atmospheric model is applied to recover the low-illumination video. Finally, scene detection, edge compensation, and inter-frame compensation are added to further improve the effectiveness and speed of the process. Result The proposed algorithm can effectively improve the brightness and contrast of low-illumination videos, reduce noise, strengthen the detailed information of videos, and diminish video scintillation, thereby improving the quality of videos. The proposed algorithm has a dominant advantage in processing speed, which is over 10 times faster than Dong's algorithm and the Retinex algorithm. Conclusion Experimental results show that the proposed algorithm exhibit superior performance over other algorithms. First, the continuity of inter-frame motion can be guaranteed. Second, the enhancement effects and processing speed can be improved. Third, details and edging outlines are processed carefully, which results in unique effects that cannot be achieved by other algorithms. Therefore, the proposed algorithm can be applied in various areas, such as video surveillance, target tracking, and intelligent transportation systems, to achieve real-time video enhancement

Key words

low-illumination video enhancement; atmospheric physical model; luminance transmission map; noise reduction; inter-frame processing

0 引言

在低照度条件下,如黄昏天、阴雨天、夜晚或矿井等特殊场景,由于光照不足而且缺乏外加光源的条件,采集得到的视频存在分辨率较低且细节信息被模糊的问题,这给后续的视频处理分析、特征提取和机器识别带来了很大困难。为了改善视频质量,必须对低照度视频进行对比度和清晰度的增强处理,从而更多地提取视频中的有效信息。低照度视频增强技术现已被广泛应用于视频监控、人员搜救、居民安防、智能交通、深海探测等众多领域[1-3]

从2001年开始,相继有学者进行了低照度视频增强技术的研究,主要分为硬件技术和图像处理技术两类。通过硬件技术可以改善夜晚视频,例如基于红外辐射的方法[4],此方法是依据不同类型物体的温度差异来进行识别,而对于温度相近的不同物体将难以有效区分。文献[5]通过复杂可编程逻辑器件(CPLD)对数字视频信号的灰度值进行线性变换来增强低照度视频,虽然简单易实现,但依赖硬件,且只能处理灰度视频图像。

另一类采用图像处理技术来增强低照度视频。Bennett和McMillan[6]提出了VEC(virtual exposure camera)算法,利用时空累积双边滤波和色调映射提高低照度图像的动态范围,但计算量大,难以满足实时性要求。近几年,针对低照度视频自身特点进行增强的算法研究已取得了很大进步,这些方法主要分为以下几类:直方图均衡化的改进算法[7-8],计算较简单但细节灰度级损失比较严重,处理效果不理想;基于Retinex理论的增强算法[9-11]对光照不均视频的处理效果较好,但对噪声敏感,在明暗对比强烈的边缘位置会出现光晕现象,而且对整体较暗的夜间视频处理后会出现灰化现象;多幅图像融合的方法[12-13]增强效果很好,但需要同一场景下白天的高质量视频信息,对于地下矿井这类特殊场景来说并不具备获得白天高质量视频的条件,所以这类算法的适用场合较局限,而且大量迭代使计算复杂度较高;此外,基于模糊规则推理的图像增强算法[14]将3种传统增强方法与模糊理论、机器学习相结合建立出一套模糊规则,针对不同图像自适应选择出最佳的增强算法来实现图像增强,该方法还能够客观准确地评价图像的增强效果。

2011年,清华大学学者首次提出一种基于反转去雾方法的低照度视频增强算法[15],该算法新颖有效,但是在亮点存在或场景深度不连续的地方会出现光斑,并存在大量噪声,另外由于多次逐像素最小值滤波造成计算量大,很难做到视频的实时处理。

本文将反转去雾方法应用于低照度视频,提出一种大气模型与亮度传播图相结合的低照度视频快速增强算法。为了避免视频增强时噪声放大的问题,在增强视频之前先对低照度视频进行去噪处理,现有去噪算法对精度提升和时效性各有侧重,而视频增强算法对实时性要求较高,会更多注重去噪的时效性;而且,由于视频具有帧间连续性的特点,因此可以适当降低对单帧去噪精度的要求。综合以上两点考虑,本文提出改进的综合去噪算法,该算法将引导滤波速度快、边缘保持好的优势与中值滤波平滑效果好的特点相结合,在一定程度上解决了视频去噪问题。其次为了提升透射率估计的速度,本文用亮度传播图来替代透射率,即首先提取亮度分量粗略估计传播图,然后结合Retinex算法[16]对亮度传播图进行细化以克服粗估计亮度传播图不够精细带来的细节丢失的缺点。最后为了防止相邻两帧之间的亮度变化过大,保证视频增强后各帧之间仍具有运动连续性,本文算法通过帧间补偿处理平滑相邻的视频帧;同时加入场景检测处理来减少对环境光估计的次数,降低计算开销。值得一提的是,这两部分的后处理有效地抑制了视频增强后可能会出现的闪烁效应。

1 相关理论

现阶段针对低照度视频增强问题的研究大多建立在经典的Koschmieder大气散射模型上,同时结合暗通道先验理论来估计大气模型中的参数。

1.1 大气模型

Koschmieder经典大气散射模型公式为

$\boldsymbol{I}\left(x \right)=\boldsymbol{J}\left(x \right)t\left(x \right) + \boldsymbol{A}\left({1-t\left(x \right)} \right)$ (1)

$t\left(x \right)={e^{-\beta d\left(x \right)}}$ (2)

式中,A是无穷远处的天空亮度即大气光,I (x)是观测图像即有雾图像,J (x)为景物光线即清晰图像,t(x)是大气传输函数即透射率,β是大气散射系数,d(x)为场景景深。式(1)中J (x)t(x)为直接衰减项,由于场景反射光传播至成像设备过程中大气粒子的散射进而衰减造成的,A(1-t(x))为环境光,由自然光散射而造成的。

1.2 暗原色先验理论

He等人[17]对5 000幅户外无雾图像进行观察和统计得到暗原色先验理论,该理论开创了去雾理论的新领域。用公式描述,对于任意一幅图像J定义为

${J^{{\rm{dark}}}}\left(x \right)=\mathop {\min }\limits_{y \in \Omega \left(x \right)} \left({\mathop {\min }\limits_{c \in \left\{ {r, g, b} \right\}} {J^c}\left(y \right)} \right)$ (3)

式中,Jdark(x)表示图像在局部区域Ω(x)的暗通道图像,Jc表示J的某一个颜色通道,Ω(x)是以x为中心的一个矩形区域。根据暗原色先验理论,如果J是户外的无雾图像,非天空区域Jdark的强度总是很低并且趋近于零,He等人用约5 000幅去掉了天空区域部分的图像验证了该理论的正确性。本文的视频增强算法是基于暗通道先验理论进行改进的。

2 本文的低照度视频增强算法

本文根据实际低照度环境下获取视频的特性,提出了一个完整的用于低照度视频增强的算法流程,如图 1所示。

图 1 低照度视频增强算法流程图
Fig. 1 The algorithm flow chart for low illumination video enhancement

本文的单帧图像增强算法是基于大气模型和亮度传播图提出的,据文献[15]对30组视频图像观察统计可知,低照度视频反转之后,天空和背景区域的像素强度在每个颜色通道中都很高,而非天空区域的像素亮度至少在一个通道中比较低,这与浓雾条件下得到的视频很相似,因此可将去雾算法应用于反转之后的低照度视频来实现增强处理。但低照度视频与有雾视频在成像本质上有所不同,雾天视频的透射率与景深有关,而低照度视频的传播图与亮度紧密联系,所以本文提出利用亮度分量估计亮度传播图来替代雾天模型中的大气透射率,并利用Retinex算法对亮度传播图细化,使图像增强后细节更丰富、景深感更强。同时利用效率较高的四叉树算法来估计环境光,处理速度很快。

在视频增强后处理算法中,首先加入场景检测处理,根据相邻帧信息检测出相同的场景,然后利用其前一帧的环境光参数作为当前帧的环境光来减少环境光的参数估计,不仅能减轻环境光差异造成的视频闪烁现象,而且能进一步提高算法效率。其次边缘补偿处理可加强视频的细节信息,提升算法效果。最后帧间补偿处理用于平滑相邻视频帧,防止相邻两帧之间的亮度变化过大,保证帧间运动的连续性,改善视频质量。

另一方面,通常在低照度环境下,RGB分量不均衡,某些分量可能相对其它分量偏低,如果直接增强,偏低的分量与其他分量的差异会变大,视频将会产生偏色。以往通常采用灰度世界法、全反射法对图像进行白平衡。考虑到低照度视频自身的特性,本文对灰度世界白平衡法进行改进,即根据所求雾调整参数对视频帧的RGB分量进行调整:首先求取图像中3个颜色通道像素值总和最大的前10 %的像素点的均值,作为雾颜色,然后计算各个通道的雾调整参数,最后按该参数调整原图像的RGB分量。实验发现,对于极低照度、无光源的视频来说,由于信息丢失较严重,容易在增强后产生偏色,所以在增强前先进行白平衡处理将有助于提升增强效果。但是对于夜晚这类带有强光源的视频,白平衡处理对最终的增强结果影响较小,所以处理这类视频时可以去掉白平衡这一步骤,提高算法效率。

2.1 基于YCbCr颜色空间的去噪方法

低照度视频通常含有大量噪声,为避免增强视频的同时放大噪声,在视频增强之前进行去噪,将有助于提高视频增强效果。目前常用于低照度图像的去噪算法主要有3维块匹配去噪法(BM3D)[18]、矩阵填充去噪算法[19]和自适应流形滤波(AMF)[20]等。这3种去噪算法的去噪效果都不错,但多次的块匹配或迭代造成运算量大、处理时间较长,由于算法本身复杂度较高,即使采用硬件或GPU加速也不适合应用于实时性要求较高的视频增强算法。

视频增强处理的特点是对实时性的要求较高,而对单帧去噪精度的要求可以适当降低,所以要寻求一种适用于低照度视频且具有时效性的去噪算法。首先为避免视频去噪后产生颜色失真,本文使用亮度和颜色分离的YCbCr空间作为视频图像去噪特征空间。由于低照度条件下Y分量包含的噪声最强且人眼对视频的Y分量更敏感,故只需要对Y分量进行去噪处理就可以抑制大部分的噪声,从而大大提高处理效率。其次由分析可知,泊松噪声对低照度视频图像的影响最大,而在照度非常小的情况下,泊松噪声通常可以认为是椒盐噪声,可以采用中值滤波进行处理,但中值滤波在去除噪声的同时也会造成视频的边缘轮廓模糊。He提出的引导滤波[21]是最快的边缘保持滤波器之一,有良好的边缘保持平滑效果,而且没有双边滤波产生的“梯度逆转”伪影。但由于缺少无噪图像无法有效地利用引导滤波,所以本文对引导滤波进行改进提出了一种综合去噪算法,将引导滤波速度快、边缘保持好的优势与中值滤波平滑效果好的特点相结合,利用中值滤波后的图像来引导含噪图像进行平滑,以实现对低照度图像的去噪,即

${I_{{\rm{denoise}}}}\left(x \right)=GF\left({I\left(x \right), p\left(x \right), r, \varepsilon } \right)$ (4)

式中,输入图I是含有噪声的原始低照度图像,引导图p=MF(Igray)是低照度图像的灰度图Igray=IY=0.299 I R+0.587 IG+0.114 IB经过中值滤波后得到的图像,MFGF分别表示中值滤波和引导滤波,r是局部窗半径,ε是归一化参数。选择合适的参数对去噪效果有着很大的影响,本文算法中取r=8、ε=0.012、中值滤波半径为3时,效果最佳。

下面从主观视觉效果和客观评价标准两方面对AMF算法、BM3D算法以及本文综合去噪算法的处理效果和性能进行比较,在MATLAB R2012b上进行实验,图像均归一化至[0,1]区间,最终实验结果如表 1图 2所示。本文通过估计特定区域噪声空间的统计特性来定性定量评价不同去噪算法的去噪效果,即随机选取图像中灰度变换较平缓的ROI区域,如图 2中的红色矩形区域所示,计算该区域的灰度均值和标准差。实验结果表明,AMF算法去噪后的图像中,ROI区域的标准差较小,说明其平滑效果很好,但是会造成图 2(c)中部分景物边缘细节的丢失。

表 1 去噪算法处理性能比较
Table 1 Comparison of functions of denoising approaches

下载CSV
图像 未去噪 AMF BM3D 本文算法
分辨率/像素 788×591 788×591 788×591 788×591
时间/s 16.17 4.53 0.65
ROI均值 0.200 1 0.197 4 0.254 1 0.167 3
ROI标准差 0.048 5 0.015 9 0.031 1 0.021 7
图 2 去噪算法处理效果比较(红色区域为ROI区域)
Fig. 2 Comparison of processing effects of noise removal approaches (the red box is the ROI; (a) noisy frame; (b) denoised frame by the BM3D method; (c) denoised frame by the AMF method; (d) denoised frame by our algorithm)

BM3D算法的去噪效果如图 2(b)所示,由于多次分组并采用协同滤波来得到最优估计从而造成运算量较大。由表 1可以看出,经本文算法去噪后得到的图像,ROI区域的均值较低,说明去噪处理有效地抑制了噪声亮点带来的干扰,故该区域的整体亮度稍微有所降低;ROI区域的标准差较低说明去噪处理的平滑效果较好,由图 2可以看出,本文算法与AMF算法的平滑效果相差无几,但本文算法结合了引导滤波保留了图 2中马路、房屋处更多的边缘细节。综合表 1图 2以及上述对比分析来看,本文去噪算法虽然适当降低了对单帧去噪的精度的要求,但整体去噪效果仍可与其他两种算法比肩,同时处理速度比其他两种算法快很多,因此本文算法在平衡去噪效果和处理速度上有着一定优势。

2.2 单帧图像增强

由式(1)可以看出,基于大气模型的图像复原需要准确地估计出透射率t(x)和环境光A,因此本文的单帧图像增强包括亮度传播图估计、环境光A估计以及视频帧复原3个步骤。

首先是利用亮度分量来估计亮度传播图。由式(2)可以看出透射率t(x)随场景深度增加呈指数衰减趋势,越远的景物具有越小的透射率。低照度视频的反转视频与雾天视频具有相似性,而两者的区别在于:低照度视频的传播图与亮度紧密联系,原始视频越暗的地方,相应的反转视频图像中透射率越小,而不是像雾天视频那样透射率随景深衰减,如图 3(c)所示。在这种情况下,可以利用亮度分量来估计传播图,用亮度传播图替代大气物理模型中的透射率来完善在低照度条件下的成像模型。另外由于低照度视频的各颜色通道所含噪声的差异比较大[22],故提取亮度分量作为亮度传播图的基础估计,即

图 3 低照度视频帧增强
Fig. 3 Low illumination video frame enhancement ((a) input video frame; (b) result after denoising and balancing; (c) inverted result from Ib(x); (d) atmospheric light estimation; (e) estimated transmission map; (f) final output R; (g) estimated transmission map by reference [15]; (h) final output in reference[15])

$L=0.299 \times R + 0.587 \times G + 0.114 \times B$ (5)

同时为保证亮度传播图与透射率的功能相似性,采用对低照度视频帧的亮度分量进行微调之后的灰度图作为粗估计的亮度传播图,即

$\tilde t\left(x \right)=C\left({255-k} \right)L$ (6)

式中,L为低照度视频帧的亮度分量,k值为低照度视频帧中亮度直方图频数最高的像素值,C为常数。

由于粗估计亮度传播图的场景轮廓并没有被改变,用这样的传播函数进行处理时容易造成细节信息掩盖[23],结果并不理想。根据Retinex理论,实际亮度分量是反射分量和照度分量的合成,所以本文使用Retinex算法对亮度分量细化,分离出照度分量,使用高斯函数作为中心环绕函数对亮度分量处理,即

${L_m}\left({x, y} \right)=G\left({x, y} \right) * L\left({x, y} \right)$ (7)

$t\left(x \right){\rm{=}}C\left({255-k} \right){L_m}$ (8)

此方法在估计出照度分量的同时还能够模糊边缘轮廓,满足了对亮度传播函数的要求。最终估计的亮度传播图如图 3(e)所示,Dong[15]利用暗原色先验理论所求的透射率和复原的视频帧如图 3(g)(h)所示,对比二者算法,本文算法淡化了粗估计亮度传播图的轮廓,使增强后的视频具有更丰富的细节,景深感更强。

其次是环境光A的估计,采用目前比较流行的四叉树分割搜索算法。该算法与He[17]的利用暗原色先验来估计大气光 A 的方法相比,可取得相同效果且具有更快的处理速度。算法流程为:首先将图像均分为4个矩形区域,计算每个区域内所有像素的平均值减去其标准差的值作为该区域的分数;选择得分最高的区域作为下一次的迭代区域,将其继续均分为四个更小的区域;重复迭代此过程直到所选区域的尺寸小于预先设定的阈值为止。例如图 3(d)中的红色块就是最终选择的区域,在该区域中选择与最亮点差值最小的像素值作为环境光的值。该算法的收敛速度很快,时间复杂度较低,非常适合应用于视频处理。本文中区域尺寸的预设值为60,可以根据图像尺寸的大小进行调整,建议不超过图像尺寸的0.5 %,过大或过小会造成环境光的误估计。

最后是视频帧反转和复原。根据反转去雾的思想,首先要对经过去噪、白平衡处理的原始视频帧Ib(x)进行反转,即

${{\bar I}^c}\left(x \right)=255-I{b^c}\left(x \right)$ (9)

式中,${\bar I^c}\left(x \right)$是低照度视频帧的反转,如图 3(c)。根据式(1)对${\bar I^c}$进行处理,复原视频帧,即

${J^c}\left(x \right)=\frac{{{{\bar I}^c}\left(x \right)-{A^c}}}{{\max \left({t\left(x \right), {t_0}} \right)}} + {A^c}$ (10)

式中,t(x)和A是前两个步骤中估计的亮度传播图和环境光。同时为了防止t(x)太小,给t(x)设定一个下限值t0,通常t0取0.1。最后对式(10)还原的J再次进行反转得到低照度视频帧的增强图像

${R^c}\left(x \right)=255-{J^c}\left(x \right)$ (11)

2.3 视频增强后处理

2.2节中的单帧图像增强算法对静态图像处理的效果较好,但独立应用于视频序列的每一帧时,可能会破坏帧间运动的连续性,复原的视频会产生严重的闪烁效应。以往低照度视频增强处理的算法通常也是先将视频拆分成帧,但是在每帧图像增强以后并没有试图恢复帧间的相关性,因而视频出现了闪烁。除此之外,逐帧处理会造成计算量较大。本文提出的视频增强后处理算法可以有效解决上述问题,共包括3个处理部分:场景检测、边缘补偿和帧间处理。

1)场景检测处理。实验发现,不同的环境光估计值会影响最终复原视频的亮度,对于具有相同场景的相邻帧,由于视频帧中部分物体存在差异,故通过2.2节估计出的环境光值也会存在一些差异,使最终复原的视频可能会出现闪烁现象。因此,本文的场景检测处理首先根据相邻帧信息检测出具有相同场景的视频帧,然后利用其前一帧的环境光参数作为当前帧的环境光来减少环境光参数的估计,从而减轻环境光差异造成的视频闪烁现象,并可以进一步提高算法效率,这在之前的低照度视频增强算法研究中并没有被考虑到。设去噪处理后的视频帧经过白平衡处理后得到的视频帧为Ib(x),则相邻的两个视频帧可表示为Ibk-1(x)和Ibk(x),定义经过白平衡处理的相邻两帧之间的差值为

${\tau _k}=\mathop {\sum {} }\limits_{c \in \left\{ {r, g, b} \right\}} \mathop {\sum {} }\limits_{x \in Ib} \frac{{\left| {Ib_c^k\left(x \right)-Ib_c^{k-1}\left(x \right)} \right|}}{N}$ (12)

式中,N为视频帧Ib中像素点的个数,预先设定差值阈值τk0,当差值τk>τk0时,认为场景发生变化,重新估计当前帧的环境光A;否则直接调用存储的前一帧的环境光值作为当前帧的环境光A。通过大量实验结果发现,相同场景下相邻两帧之间的差值τk一般不超过50,本文建议τk0设为50,当然实际应用时可以根据不同的场景对阈值进行适当调整。

2)边缘补偿处理。用于抑制视频去噪后造成的图像边缘模糊,加强视频的细节信息,提升处理效果。首先对原始视频帧Ic(x, y)进行高斯滤波,得到低频成分$ {{\hat f}^c}\left({x, y} \right)$;然后计算图像的细节分量

${g^c}\left({x, y} \right)={I^c}\left({x, y} \right)-{{\hat f}^c}\left({x, y} \right)$ (13)

去除式(13)细节分量中幅值较小或RGB分量差异极大的噪声点以实现对细节分量的修正,即

$\begin{array}{l} {g^c}\left({x, y} \right)=\left\{ \begin{array}{l} 0\;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \left| {{g^c}\left({x, y} \right)} \right| \le 10\\ {g^c}\left({x, y} \right)\; \;\; \;\; \;\; \;\; \;\; \;其他\end{array} \right.\\ {g^c}\left({x, y} \right)=\left\{ \begin{array}{l} 0\;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; T > 255\\ {g^c}\left({x, y} \right)\; \;\; \;\; \;\; \;其他\end{array} \right. \end{array}$ (14)

式中,T=|gR(x, y)-gG(x, y)|+|gR(x, y)-gB(x, y)|+|gG(x, y)-gB(x, y)|。

最后将式(11)中增强后的视频帧与细节分量累加,即得到边缘补偿后的视频帧

$R_1^c\left({x, y} \right)={R^c}\left({x, y} \right) + \alpha \cdot {g^c}\left({x, y} \right)$ (15)

式中,α是一个控制系数,当视频所含噪声较小时α取大一些,反之α取小一些,根据所采集视频的含噪程度,本文算法中α取5较为合适。

3)帧间处理。用于对视频帧进行平滑,防止视频增强后相邻两帧之间的亮度变化过大,在保证帧间运动连续性的同时,还可在一定程度上减小噪声的干扰。采用概率统计中的相关理论,假设视频帧中的噪声为零均值的高斯噪声且相邻两帧之间存在整体亮度的变化,如果相邻两帧对应块没发生变化,那么相邻两帧对应块相减后所得的信号也满足高斯分布,即满足

$\frac{{\bar X-u}}{{S/\sqrt n }} \sim t\left({n-1} \right)$ (16)

式中,S2为样本方差,${\bar X}$为样本均值,u表示高斯变量的数学期望,n为自由度。基于该理论,通过假设检验来判断对应块是否发生变化,本文直接用高斯滤波的结果fc(x, y)进行判断。帧间处理的流程如下:首先对f c(x, y)进行彩色转亮度分量,并将相邻两帧的亮度分量相减得到帧差信号fd(x, y)=fYk (x, y)-fYk-1(x, y),对帧差信号进行分块,并计算每块的统计均值${{\hat f}_d}$和方差S2,本文算法中块的大小设为16×16。然后计算t值,考虑两种场景:

(1)场景中相邻帧的亮度变化较小,此时帧差信号满足零均值高斯分布,计算t值,即

$t=\frac{{{{\bar f}_d}}}{{\left({S/\sqrt N } \right)}}$ (17)

该场景下的帧间补偿主要为了减小噪声。

(2)场景中相邻帧的亮度变化较大,此时帧差信号满足均值不为零的高斯分布,计算t值,即

$t=\frac{{{{\bar f}_d}-u}}{{\left({S/\sqrt N } \right)}}$ (18)

式中,u为帧差信号的整体均值,N为块中像素的个数,该场景下的帧间补偿主要为了减小帧间的亮度差异。最后利用假设检验进行帧间处理:当n>45时,认为t(n)为标准正态分布,取置信度为0.99,即若|t|≤2.575,则认为相邻视频帧的对应块没有改变,对式(15)得到的边缘补偿后的视频帧R1c所对应的块进行帧间补偿,否则不做处理。即

$R_{2c}^k\left({x, y} \right)=\left\{ \begin{array}{l} \beta R_{2c}^{k-1}\left({x, y} \right) + \left({1-\beta } \right)R_{1c}^k\left({x, y} \right)\\ \; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\; \;\left| t \right| \le 2.575\\ R_{1c}^k\left({x, y} \right)\; \;\; \;\; \;\; \;\; \;\; \;\; \;\left| t \right| > 2.575 \end{array} \right.$ (19)

式中,(x, y)∈WW表示16×16的块,R2ck-1表示前一帧经过帧间处理后的视频帧,R1ck表示当前帧经过边缘补偿后的视频帧,R2ck表示当前帧经过帧间处理后的视频帧,β为补偿系数。本文算法中β取0.5时,可以有效调节相邻帧间的亮度变化,保留当前帧的信息,使二者之间达到平衡。

使用本文视频增强算法对21点左右拍摄的视频进行处理,效果如图 3所示,从增强后的结果图中可以清晰地看到路人和附近的建筑物,不仅有效地去除了噪声,而且很好地保留了视频帧的边缘信息,取得了不错的增强效果。

本文增强算法是基于大气物理模型进行复原的,巧妙地利用亮度分量来估计传播图,且对每帧视频的亮度分量仅做一次卷积运算,同时采用效率较高的四叉树分割算法来估计环境光A,从而提升了单帧图像增强算法的处理速度;所提出的综合去噪算法结合引导滤波和中值滤波的优势进行快速保边去噪;另外帧间处理和场景检测处理充分利用了帧间信息,不仅减少了参数估计而且抑制了视频的闪烁现象。以上几点使本文视频增强算法在提升增强效果的同时,很大程度上节约了时间开销。

3 实验结果与分析

为了验证本文算法的实际效果和有效性,对低照度视频进行增强实验。本次实验环境为:MATLAB R2012b版本,Inter(R) Core(TM) i5-3470 CPU @ 3.20 GHz,4 GB内存,Window 7操作系统。使用手机拍摄校园、楼道、室内等不同场景下的几组低照度视频,视频采集设备为魅族MX4,分辨率为480×720像素。分别采用Retinex算法[24](两个双边滤波的参数设置分别为Pl=15, σr=0.3, σs=100;Pr=4, σr=0.3, σs=100)、去雾技术增强算法[15]以及本文算法对楼道、校园的低照度视频进行处理。另外由于Retinex算法对噪声较敏感,为了公平地比较算法的处理性能,在Retinex增强前先采用本文所提的去噪算法进行预处理。受篇幅限制,仅截取视频中的部分帧的增强效果如图 4图 5所示。

图 4 楼道场景低照度视频序列增强效果对比
Fig. 4 Comparison of low illumination video enhancement approaches for Corridor sequence ((a) input video sequence; (b) Retinex algorithm[24]; (c) our proposed algorithm)
图 5 校园场景低照度视频序列增强效果对比
Fig. 5 Comparison of low illumination video enhancement approaches for Campus sequence ((a) input video sequence; (b) Dong's algorithm[25]; (c) our proposed algorithm)

从整体增强效果来看,Retinex算法处理低照度视频后会产生颜色失真和灰化效应,就像有一层灰色遮盖物覆盖在视频上面,视觉效果不太理想;去雾技术增强算法处理后,视频的亮度和对比度有所提升,但整体亮度仍然偏暗,并伴有颜色失真和大量噪声;而本文算法很明显地提高了视频的亮度和对比度,有效抑制了噪声,同时保留了视频中的细节信息。

对以上3种增强算法处理后的视频帧的同一局部区域进行放大,如图 6所示,再观察细节部分(路灯、地面、窗户3个细节)的处理效果。可以看出,在对路灯这种局部高强度的目标处理时,去雾技术增强算法处理后会在路灯的边缘形成暗环,截断了路灯的光线,显得非常不自然;Retinex算法则直接模糊了路灯的信息;而本文算法虽然会产生一点光晕效应,但处理效果还是不错的。对于低照度条件下拍摄时产生的大量噪声,本文算法处理后去除了地面上的噪声,地面变得非常平坦光滑;而Retinex算法处理效果也不错,但如果不进行预处理去噪的话,处理后会出现彩色斑块。另外,对窗户的边缘轮廓和墙壁进行观察,可以明显看到其他两种算法处理后窗户的边缘轮廓存在伪影,墙壁上有很多光斑,而本文算法在处理细节方面有着明显的优势,能够很好地还原边缘轮廓信息。

图 6 局部细节放大对比
Fig. 6 Comparison of enlarged partial details ((a) Retinex algorithm[24]; (b) Dong's algorithm[25]; (c) our proposed algorithm)

进一步,通过客观参数对本文算法的性能和优劣性进行评价。首先对楼道场景视频序列的处理效果进行比较,计算视频序列每一帧的亮度均值、信息熵和绝对亮度平均误差AMBE,结果如图 7所示。从图中可以看出,除了Retinex算法产生的灰化效应和整体的颜色失真而表现出较高的亮度均值之外,本文算法的处理效果和性能要优于Retinex算法,在提升亮度和对比度的同时,具有更好的保真度,包含更丰富的信息量。

图 7 楼道场景视频序列增强算法性能比较
Fig. 7 Comparison of functions in terms of video enhancement approaches for Corridor sequence ((a) mean brightness comparison; (b) entropy comparison; (c) compare absolute mean brightness error)

图 8是去雾技术增强算法和本文算法对校园场景视频序列的处理效果的比较结果,计算视频序列每一帧的亮度均值、信息熵和相邻帧的MSE。相邻帧的MSE是用于衡量连续帧的波动情况和帧间运动连续性的指标。由图 8可以看出,本文算法的亮度均值和信息熵均高于去雾技术增强算法且曲线较平缓,其相邻帧的MSE曲线也基本低于去雾技术增强算法的相邻帧MSE曲线,而且曲线的波动也较小。而图 8(b)中红色曲线的大幅波动说明经去雾技术增强算法处理后的视频信息熵不稳定,这应该是受随机噪声的干扰造成的。图 8(a)(b)两幅图中,在第135、136帧之间出现了断层跳变,这是由于校园场景这段视频并不是固定拍摄的,在移动拍摄过程中受光照突变的影响,从第136帧开始视频的整体亮度有所提升,故而亮度均值和信息熵在第136帧处迅速提高。相邻帧MSE曲线的波动一般是由于连续帧之间的色调亮度突变、噪声的干扰而造成了闪烁效应,从而破坏了帧间运动连续性。因此光照的突变使第136帧与其前一帧图像的均方误差突然变大,而在第136帧之后的光照较稳定,故相邻帧的MSE迅速减小并同样保持稳定趋势,这就使图 8(c)在第136帧处出现了一个峰值。另外,由于去雾技术增强算法对视频增强后整体亮度偏暗,所以其相邻帧的MSE在个别区域的值也会偏小,造成图 8(c)中个别区域的红色曲线值小于绿色曲线值,形成曲线交错。从整体角度来看,本文算法的相邻帧MSE值较低,曲线波动也较小,特别是对第138~161帧和第200帧之后这些亮度较高的视频序列,其相邻帧MSE曲线的值和波动情况明显小于去雾技术增强算法。所以本文算法能更有效地抑制噪声,减轻视频的波动和闪烁效应,从而保证帧间运动的连续性。

图 8 校园场景视频序列增强算法性能比较
Fig. 8 Comparison of functions in terms of video enhancement approaches for Campus sequence ((a) mean brightness comparison; (b) entropy comparison; (c) compare MSE values between consecutive frames)

最后,对算法的处理速率进行比较,如表 2所示,不同增强算法对3组分辨率不同的视频分别进行处理,实验统计时本文算法含去噪时间,而其他两种算法不含去噪时间。分析算法可知,表 2中包含本文算法在内的3种算法都采用逐像素处理的方式,设N为像素总数,则它们的时间复杂度均为O(N),虽然本文2.3节的帧间处理算法中有涉及分块思想,但此处的时间复杂度仍与O(N)具有相同数量级。因此这3种算法的时间复杂度相同,但频度系数却不同。从表 2可以看出,本文算法的处理速率有着非常明显的优势,比其他两种算法的速率快十倍乃至几十倍以上,这主要是由于巧妙地利用了亮度分量来估计传播图的缘故。后期会将该算法在OpenCV上实现并进行GPU加速优化,理论上可以实现实时处理。

表 2 算法处理速率比较
Table 2 Comparison of algorithmic processing speed rate

下载CSV
/(s/帧)
视频 分辨率/
像素
去雾增强
算法
Retinex
算法
本文
算法
楼道场景 720×480 7.45 32.35 0.68
校园场景 720×480 7.78 32.65 0.66
室内场景 1 280×720 20.06 86.95 1.89

因此,从主观视觉效果和客观参数上看,本文算法的处理效果、有效性及实用性均具有很大优势。

4 结论

针对低照度视频的特性,本文在大气散射物理模型基础上,结合暗通道先验理论、Retinex算法和帧间处理技术对低照度视频进行增强,在提高视频亮度和对比度、快速去噪的同时,具有非常好的去噪效果,保留了更多的细节,并减轻了视频闪烁现象,保证了帧间运动的连续性。除此之外,本文改进的综合去噪算法、亮度传播图和环境光的快速估计以及用于减少环境光估计次数的场景检测处理使算法在时效性方面也有很大改善。多组实验对比表明,本文算法对细节和边缘轮廓部分的处理非常精细,同时权衡了增强效果和处理速率,具有目前低照度视频增强算法所不能达到的优良效果。而如何处理低照度视频增强后强光源附近出现的光晕现象以及进一步提高运算效率将是下一步工作的主要研究方向。

参考文献

  • [1] Shiau Y H, Chen P Y, Yang H Y, et al. A low-cost hardware architecture for illumination adjustment in real-time applications[J].IEEE Transactions on Intelligent Transportation Systems,2015,16(2): 934–946. [DOI:10.1109/TITS.2014.2347701]
  • [2] Anbarjafari G, Jafari A, Jahromi M N S, et al. Image illumination enhancement with an objective no-reference measure of illumination assessment based on Gaussian distribution mapping[J].Engineering Science and Technology, An International Journal,2015,18(4): 696–703. [DOI:10.1016/j.jestch.2015.04.011]
  • [3] Kim M, Park D, Han D K, et al. A novel approach for denoising and enhancement of extremely low-light video[J].IEEE Transactions on Consumer Electronics,2015,61(1): 72–80. [DOI:10.1109/TCE.2015.7064113]
  • [4] Ngo H, Tao L, Zhang M, et al.A visibility improvement system for low vision drivers by nonlinear enhancement of fused visible and infrared video[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. San Diego, CA, USA: IEEE, 2005: 25-31.[DOI: 10.1109/CVPR.2005.400]
  • [5] Shi L, Liu J W. Gray enhancement for low-light-level video based on CPLD[J].Electronic Measurement Technology,2008,31(8): 174–177. [ 石磊, 刘久文. 基于CPLD的微光图像灰度增强[J].电子测量技术,2008,31(8): 174–177.] [DOI:10.3969/j.issn.1002-7300.2008.08.049]
  • [6] Bennett E P, McMillan L. Video enhancement using per-pixel virtual exposures[J].ACM Transactions on Graphics,2005,24(3): 845–852. [DOI:10.1145/1073204.1073272]
  • [7] Han D Y. Details keeping histogram equalization approach of low-illumination video image[J].Computer Simulation,2013,30(8): 233–236. [ 韩殿元. 低照度下视频图像保细节直方图均衡化方法[J].计算机仿真,2013,30(8): 233–236.] [DOI:10.3969/j.issn.1006-9348.2013.08.054]
  • [8] Ibrahim H, Kong N S P. Brightness preserving dynamic histogram equalization for image contrast enhancement[J].IEEE Transactions on Consumer Electronics,2007,53(4): 1752–1758. [DOI:10.1109/TCE.2007.4429280]
  • [9] Piao Y, Liu L, Liu X Y. Enhancement technology of video under low illumination[J].Infrared and Laser Engineering,2014,43(6): 2021–2026. [ 朴燕, 刘磊, 刘笑宇. 低照度环境下视频增强技术[J].红外与激光工程,2014,43(6): 2021–2026.] [DOI:10.3969/j.issn.1007-2276.2014.06.057]
  • [10] Hu H Q, Ni G Q.Color image enhancement based on the improved retinex[C]//Proceedings of 2010 International Conference on Multimedia Technology. Ningbo, China: IEEE, 2010: 1-4. [DOI: 10.1109/ICMULT.2010.5630938]
  • [11] Chen Z, Jiang Y C, Yin F L. Low contrast video enhancement with illumination nonlinear mapping and interframe information fusion[J].Journal of Signal Processing,2013,29(12): 1632–1637. [ 陈喆, 蒋羽超, 殷福亮. 利用β函数映射与帧间信息融合的低照度视频图像增强方法[J].信号处理,2013,29(12): 1632–1637.]
  • [12] Zhu J Y, Wang Z Y. Low-illumination surveillance image enhancement based on similar scenes[J].Computer Applications and Software,2015,32(1): 203–205. [ 朱婧雅, 王中元. 基于相似场景的低照度监控图像增强[J].计算机应用与软件,2015,32(1): 203–205.] [DOI:10.3969/j.issn.1000-386x.2015.01.051]
  • [13] Rao Y B, Chen Z H, Sun M T, et al.An effecive night video enhancement algorithm[C]// Proceedings of the IEEE Visual Communications and Image Processing. Tainan, Taiwan, China: IEEE, 2011: 1-4.[DOI: 10.1109/VCIP.2011.6115933]
  • [14] Cepeda-Negrete J, Sanchez-Yanez R E. Automatic selection of color constancy algorithms for dark image enhancement by fuzzy rule-based reasoning[J].Applied Soft Computing,2015,28: 1–10. [DOI:10.1016/j.asoc.2014.11.034]
  • [15] Dong X, Wang G, Pang Y, et al.Fast efficient algorithm for enhancement of low lighting video[C]//Proceedings of IEEE International Conference on Multimedia and Expo. Barcelona, Spain: IEEE, 2011: 1-6.[DOI: 10.1109/ICME.2011.6012107]
  • [16] Jobson D J, Rahman Z, Woodell G A. Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3): 451–462. [DOI:10.1109/83.557356]
  • [17] He K M, Sun J, Tang X O.Single image haze removal using dark channel prior[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL: IEEE, 2009: 1956-1963. [DOI: 10.1109/CVPR.2009.5206515]
  • [18] Dabov K, Foi A, Katkovnik V, et al. Image denoising by sparse 3D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8): 2080–2095. [DOI:10.1109/TIP.2007.901238]
  • [19] Ji H, Liu C Q, Shen Z W, et al.Robust video denoising using low rank matrix completion[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 1791-1798. [DOI: 10.1109/CVPR.2010.5539849]
  • [20] Gastal E S L, Oliveira M M. Adaptive manifolds for real-time high-dimensional filtering[J].ACM Transactions on Graphics,2012,31(4). [DOI:10.1145/2185520.2185529]
  • [21] He K M, Sun J, Tang X O. Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6): 1397–1409. [DOI:10.1109/TPAMI.2012.213]
  • [22] Malm H, Oskarsson M, Warrant E, et al.Adaptive enhancement and noise reduction in very low light-level video[C]//Proceedings of the IEEE 11th International Conference on Computer Vision. Rio de Janeiro, Brazil: IEEE, 2007: 1-8. [DOI: 10.1109/ICCV.2007.4409007]
  • [23] Guo F, Cai Z X, Xie B, et al. New algorithm of automatic haze removal for single image[J].Journal of Image and Graphics,2011,16(4): 516–521.
  • [24] [ 郭璠, 蔡自兴, 谢斌, 等. 单幅图像自动去雾新算法[J].中国图象图形学报,2011,16(4): 516–521.] [DOI:10.11834/jig.20110421]
  • [25] Elad M.Retinex by Two Bilateral Filters[C]//Proceedings of the 5th International Conference on Scale Space. Berlin Heidelberg: Springer-Verlag, 2005: 217-229.[DOI: 10.1007/11408031_19]