|
|
|
发布时间: 2018-06-16 |
图像处理和编码 |
|
|
|
孙京1, 袁强强3, 李冀玮1, 周春平1, 沈焕锋1 |
收稿日期: 2017-09-08; 修回日期: 2017-12-16
基金项目: 国家自然科学基金项目（61671334，41661134015）
第一作者简介:
孙京(1992-), 男, 现为武汉大学资源与环境科学学院地图学与地理信息系统专业博士研究生, 主要研究方向为图像超分辨率重建。E-mail:rainsunny@hotmail.com.
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2018)06-0802-12
|
摘要
目的 受成像距离、光照条件、动态模糊等因素影响，监控系统拍摄的车牌图像往往并不具备较高的可辨识度。为改善成像质量，提升对车牌的识别能力，提出一种基于亮度与梯度联合约束的车牌图像超分辨率重建方法。方法 首先充分结合亮度约束和梯度约束的优势，实现对运动位移和模糊函数的精确估计；为抑制重建图像中的噪声与伪影，基于车牌图像的文字化特征，进一步确定了亮度与梯度联合约束的图像先验模型。结果 为验证该方法的有效性，利用监控系统获得4组车牌图像，分别进行模拟和真实的超分辨率重建实验。在模拟实验中将联合约束图像先验重建结果与拉普拉斯、Huber-Markov（HMRF）以及总变分（TV）先验的处理结果进行对比，联合约束先验对车牌纹理信息的恢复效果优于其他3种常见图像先验；同时，在模拟和真实实验中，将本文算法与双三次插值、传统最大后验概率、非线性扩散正则化和自适应范数正则化方法的超分辨率重建结果进行比较，模拟实验的结果表明，在不添加噪声情况下，该算法峰值信噪比（PSNR）和结构相似性（SSIM）指标分别为35.326 dB和0.958，优于其他4种算法；该算法在真实实验中，能够有效增强车牌图像纹理信息，获得较优的视觉效果，通过对重建车牌图像的字符识别精度比较，本文算法重建结果的识别精度远高于其他3种算法，平均字符差距为1.3。结论 模拟和真实图像序列的实验结果证明，基于亮度—梯度联合约束的超分辨率重建方法，能够降低运动和模糊等参数的估计误差，有效减少图像中存在的模糊和噪声，提高车牌的识别精度。该算法广泛适用于因光照变化、相对运动等因素影响下的低质量车牌图像超分辨率重建。
关键词
超分辨率重建; 联合约束; 最大后验概率; 光流估计; 模糊估计; 图像先验
Sun Jing1, Yuan Qiangqiang3, Li Jiwei1, Zhou Chunping1, Shen Huanfeng1 Abstract
Objective License plate images captured by monitoring systems often have relatively low spatial resolution and are thus difficult to identify due to the large distances between vehicles and cameras, the low resolution of the imaging devices used for video images, and factors such as atmospheric disturbances, lighting conditions, and motion blur. The high-resolution reconstruction of low-resolution license plate images is crucial in enhancing license plate image resolution and thus increasing the accuracy of license plate recognition. Multiframe super-resolution techniques are particularly well suited for this application because they facilitate recovery of valid results from low-quality images by gathering information not only from the image itself but also from the constraints that must be satisfied. In this work, a super-resolution reconstruction algorithm based on intensity-gradient prior combinations is proposed to improve the quality and detectability of license plate images. Method The proposed algorithm includes three steps. First, the motion displacement between the multiframe images is estimated with a novel optical flow estimation method under a robust data function. The data fidelity model that adds gradient constancy constraints to the color constancy constraint is more accurate in terms of modeling the confidence of pixel correspondence than that using only one out of the two terms, which is not appropriate because the color constancy constraint is often violated when illumination or exposure changes. In the optical flow estimation model, the selective combination of the color and gradient constraints in defining the data term enables the recovery of many motion details that are robust to outliers. The blur function of the reference license plate image is then estimated with a blind deblurring method that is based on regularized intensity and gradient prior in the second step of the algorithm. The proposed intensity and gradient prior, which is based on distinctive properties such that text and background regions usually have nearly uniform intensity values in clear images without blurs, is effective for cases with rich text, which can be modeled by two-tone distributions. We can reliably estimate the blur kernel with an efficient optimization algorithm. By combining the advantages of intensity and gradient constraints fully combined, we can realize the high accurate estimation of accurately estimate the motion displacement and the blur function. Meanwhile, an intensity-gradient image prior combination model based on the characterization of license plate images is also further utilized in the super-resolution algorithm to suppress the noise and artifacts in the reconstructed images. Result To verify the effectiveness of the proposed algorithm, experiments with simulated and real license plate images are implemented. The proposed algorithm is utilized to reconstruct a low-quality license plate image and compare its results with those obtained by bicubic, traditional maximum a posterior, nonlinear diffusion regularization, and adaptive norm regularized methods, which are used as benchmarks. Qualitative and quantitative analyses are conducted to evaluate the proposed algorithm. Experimental results show that the proposed technique can remove image noise and blur and produce the best reconstructed image among all compared methods. The peak signal-to-noise ratio (PSNR) and structure similarity image measure (SSIM) value of the proposed method are higher than those of the four other algorithms. The PSNR and SSIM values obtained by the proposed method without Gaussian noise in the simulated license plate image experiments are 35.326 dB and 0.958, respectively. The proposed method can also effectively enhance the detailed information of license plate images and obtain superior visual effect in the real experiments. In addition, the license plate recognition accuracy of the proposed algorithm is higher than that of the three other algorithms. Conclusion The proposed method can effectively eliminate artifacts and compensate for the texture information of low-quality license plate images. The effectiveness of the proposed method is validated by simulation and real image reconstruction experiments. The results of these experiments demonstrate that the proposed method can significantly reduce the error of motion and blur estimation, effectively decrease image blur and noise, and achieve promising PSNRs. Notably, the proposed method performs better than existing methods in terms of accuracy and visual improvement results, which are natural and consistent with those of the human visual system. The accuracy of the license plate image detection results shows that the super-resolution reconstruction method proposed in this study significantly improves the identification of license plate characters. Consequently, this method can also enhance license plate image resolution and effectively increase the accuracy of license plate recognition. The proposed method can be widely applied to the super-resolution reconstruction of license plate images, which are seriously affected by illumination variation and motion blur.
Key words
super-resolution reconstruction; combined constraints; maximum a posterior; optical flow estimation; blur estimation; image prior
0 引言
车牌图像在智能交通系统和公共安全领域中起着重要作用，然而在实际监控视频中，由于摄像机与车辆距离较远、光照不足、相对运动等因素，往往导致获取的车牌图像分辨率较低，从而影响了车牌图像的读取辨识能力及其后续应用[1]。为了有效地改善车牌图像的分辨率，增强车牌字符识别精度，从低分辨率车牌图像重建得到高分辨率图像尤其重要。图像超分辨率重建通过对多幅具有互补信息的低分辨率图像进行处理，重构出一幅或多幅高分辨率图像[2-3]，可以提高车牌图像的空间分辨率，改善成像质量，进而提升对车牌的识别能力。
图像超分辨率重建技术是由Tsai和Huang首次提出，他们发展了一种利用多幅具有亚像素位移的图像实现超分辨率重建的频率域方法[4]。之后, 一些学者在此基础上进行了改进和发展[5-7], 但由于频率域方法难以融入先验信息，频率域方法已不再是研究热点。目前，国内外学者已经发展了多个空域处理的框架，主要包括非均匀内插[8]、迭代反投影[9]、凸集投影(POCS)[10]、最大拟然估计(ML)[11]、最大后验(MAP)估计[12]等。在这些研究框架中，基于最大后验估计(MAP)的方法引入正则化理论, 将超分辨率重建转化成有唯一解的能量泛函最优化问题，具有降噪能力强、融入空间先验约束能力强等优点, 广泛应用在遥感[13]、视频监控[14]和医学图像处理[15]等多个领域，成为当前研究的主流框架模型。
在视频监控领域，针对车牌图像重建，Suresh等人[16]为了充分利用
为了提升车牌图像的可辨识度，本文提出一种基于亮度与梯度联合约束的超分辨率重建方法。通过亮度与梯度联合约束的光流估计进行图像之间的运动位移估计，同时采用由粗到精的多尺度处理兼顾大尺度位移和细微位移的情况，提高运动参数估计的精度；基于车牌号图像的文字化特征，在模糊函数估计和超分辨率重建模型中，引入
1 亮度—梯度联合约束超分辨率模型
1.1 超分辨率重建框架
在超分辨率重建中，观测模型描述了理想高分辨率图像和低分辨率观测图像之间的关系，建立精确的观测模型是进行高质量超分辨率重建的关键。低分辨率图像可以看做是由高分辨率图像经过一系列的降质过程产生[2]，降质过程包括几何运动、光学模糊、降采样以及附加噪声等。实际情况中的低分辨率序列图像在获取过程中经历的模糊程度大致相同，得到常用的图像观测模型
| $ {\mathit{\boldsymbol{g}}_i} = \mathit{\boldsymbol{DB}}{\mathit{\boldsymbol{M}}_k}\mathit{\boldsymbol{z}} + {\mathit{\boldsymbol{n}}_k} $ | (1) |
式中，
在本文中，采用基于最大后验估计(MAP)的超分辨率重建方法，对上述病态问题进行有效的正则化约束, 转化成能量泛函最优化问题，即
| $ \mathit{\boldsymbol{\hat z}} = \arg \mathop {\min }\limits_z \left\{ {\sum\limits_k^K {\left\| {{\mathit{\boldsymbol{g}}_k} - \mathit{\boldsymbol{DB}}{\mathit{\boldsymbol{M}}_k}\mathit{\boldsymbol{z}}} \right\|_2^2} + \lambda U\left( \mathit{\boldsymbol{z}} \right)} \right\} $ | (2) |
式(2)主要由2项组成，第1项
由上述模型可知，图像超分辨率重建主要需要解决以下3个方面的问题：1)精确有效的运动估计，用来提供序列图像间的亚像素位移，即求运动矩阵
1.2 联合约束的重建方法
在MAP框架下进行图像超分辨率重建时，运动位移和模糊函数的求解精度直接影响重建图像的质量。高精度的运动参数为图像重建提供精确的互补信息，盲模糊估计方法能够在模糊退化函数未知的情况下，估计获得与实际情况下近似的模糊参数，有效地移除重建图像中的模糊。本文从提高运动位移、模糊函数两个参数的求解精度上，抑制参数估计误差对重建结果的影响，并基于特定的亮度—梯度联合约束图像先验，增强重建图像的细节信息。
1.2.1 光流运动估计
光流的直观解释是图像序列中2维图像亮度的流动，而光流场描述图像亮度模式的表观运动，反映了图像中像素灰度的变化趋势。光流场模型的基本假设是图像亮度恒定，即短时间间隔的运动前后，特定点的图像灰度保持不变[27]。通常情况下，该方法基于两帧图像对应特征来构造能量函数，将运动估计转换为能量泛函最小化问题，通过迭代优化，得到每个像素的最优运动位移。光流估计一般的能量泛函模型构造如下：
| $ E\left( \mathit{\boldsymbol{m}} \right) = \arg \mathop {\min }\limits_\mathit{\boldsymbol{m}} \sum\limits_\mathit{\boldsymbol{x}} {\left[ \begin{array}{l} \left\| {{\mathit{\boldsymbol{I}}_2}\left( {\mathit{\boldsymbol{x}} + \mathit{\boldsymbol{m}}} \right) - {\mathit{\boldsymbol{I}}_1}\left( \mathit{\boldsymbol{x}} \right)} \right\| + \\ \gamma \rho \left( \mathit{\boldsymbol{m}} \right) \end{array} \right]} $ | (3) |
式中，
由于车牌图像成像过程中，经常出现遮挡、光源变化的情况，光流场模型的亮度恒定假设并不成立。引入一种基于亮度与梯度选择性约束的光流估计方法，该方法是由Jia等人[28]在前期研究基础上发展而来。在图像的亮度或光照条件发生改变时，虽然亮度恒定假设并不满足，但像素梯度仍能很好地保持一致；当有遮挡或者旋转的圆球型物体时，像素梯度发生变化，此时亮度约束能起到补充作用。因此，联合约束可以弥补各自的缺点，增加模型适用情况，减少运动估计误差。针对车牌图像的运动特点，将在全局光流估计框架中，采用亮度与梯度约束选择性结合的方式来构建数据保真项，增强算法对光照变化情况下运动估计的稳定性，同时为减少奇异点的影响，采用
| $ \begin{array}{*{20}{c}} {E\left( \mathit{\boldsymbol{m}} \right) = \arg \mathop {\min }\limits_\mathit{\boldsymbol{m}} \sum\limits_\mathit{\boldsymbol{x}} {\alpha \left( \mathit{\boldsymbol{x}} \right)\left\| {{\mathit{\boldsymbol{I}}_2}\left( {\mathit{\boldsymbol{x}} + \mathit{\boldsymbol{m}}} \right) - {\mathit{\boldsymbol{I}}_1}\left( \mathit{\boldsymbol{x}} \right)} \right\|} + }\\ {\sum\limits_\mathit{\boldsymbol{x}} {\left( {1 - \alpha \left( \mathit{\boldsymbol{x}} \right)} \right)\left\| {\nabla {\mathit{\boldsymbol{I}}_2}\left( {\mathit{\boldsymbol{x}} + \mathit{\boldsymbol{m}}} \right) - \nabla {\mathit{\boldsymbol{I}}_1}\left( \mathit{\boldsymbol{x}} \right)} \right\|} + \gamma T\left( \mathit{\boldsymbol{m}} \right)} \end{array} $ | (4) |
式中，
1.2.2 模糊估计方法
图像模糊主要来源于成像目标在曝光期间与成像系统之间的相对运动和成像时传感器对焦不准等因素，通常釆用点扩散函数(PSF)对模糊过程进行描述。模糊估计方法就是寻找一个连续PSF的离散描述，称之为模糊核，从一幅模糊图像中恢复得到干净图像和相应的模糊核的过程就是图像去模糊。图像模糊退化过程可以描述成一个线性模型，模糊图像可以看做是清晰图像和模糊核通过卷积运算再加上一定的噪声，噪声通常假设为加性高斯白噪声，图像模糊模型为
| $ \mathit{\boldsymbol{g}} = \mathit{\boldsymbol{I}} * \mathit{\boldsymbol{k}} + \mathit{\boldsymbol{e}} $ | (5) |
式中，
基于MAP的模糊估计方法，由于其灵活选取先验的特点，成为模糊函数估计中应用最普遍的一类框架。在本文中，将采用基于最大后验估计的方法进行模糊估计，在数据一致性项用
| $ \left( {\mathit{\boldsymbol{I}},\mathit{\boldsymbol{k}}} \right) = \arg \mathop {\min }\limits_{\mathit{\boldsymbol{I}},\mathit{\boldsymbol{k}}} \left\| {\mathit{\boldsymbol{I}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{g}}} \right\|_2^2 + \alpha \left\| \mathit{\boldsymbol{k}} \right\|_2^2 + \sigma U\left( \mathit{\boldsymbol{I}} \right) $ | (6) |
式中，
在图像先验选取上，根据车牌图像的文字化特征，其灰度满足双峰值分布，采用亮度与梯度联合约束的图像先验，该先验模型是由Pan等人[29]基于文字图像的统计特征而提出。单一的亮度约束是基于独立像元，在图像去模糊中会引入严重的噪声和伪影；梯度约束是基于相邻像素差异，可以减少伪影但一定程度上会增强图像平滑程度。联合亮度与梯度约束可以增强图像的先验信息，同时减少噪声与伪影，抑制图像的过度平滑。构建的
| $ U\left( \mathit{\boldsymbol{I}} \right) = {\left\| \mathit{\boldsymbol{I}} \right\|_0} + {\left\| {\nabla \mathit{\boldsymbol{I}}} \right\|_0} $ | (7) |
因此，通过引入联合先验约束模型，式(6)可以表示为
| $ \left( {\mathit{\boldsymbol{I}},\mathit{\boldsymbol{k}}} \right) = \arg \mathop {\min }\limits_{\mathit{\boldsymbol{I}},\mathit{\boldsymbol{k}}} \left[ \begin{array}{l} \left\| {\mathit{\boldsymbol{I}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{g}}} \right\|_2^2 + \alpha \left\| \mathit{\boldsymbol{k}} \right\|_2^2 + \\ \sigma \left( {{{\left\| \mathit{\boldsymbol{I}} \right\|}_0} + {{\left\| {\nabla \mathit{\boldsymbol{I}}} \right\|}_0}} \right) \end{array} \right] $ | (8) |
式中，为方便计算，亮度与梯度的约束认为是同等强度。上述能量泛函中除参数外，主要有图像
1.2.3 重建模型及数值求解
在MAP图像超分辨率重建模型中，常用的先验模型有拉普拉斯先验[30]、TV先验[14]、马尔可夫随机场先验[31]，但在图像重建中，都会造成图像边缘和细节信息的模糊。考虑车牌图像背景与目标像素之间具有高度对比的特征，利用基于特征的亮度与梯度联合约束先验进行车牌图像的约束重建，根据上述求得的运动场
| $ \mathit{\boldsymbol{\hat z}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{z}} \left\{ \begin{array}{l} \sum\limits_k^K {\left\| {{\mathit{\boldsymbol{g}}_k} - {\mathit{\boldsymbol{W}}_k}\mathit{\boldsymbol{z}}} \right\|_2^2} + \\ \lambda \left( {{{\left\| \mathit{\boldsymbol{z}} \right\|}_0} + {{\left\| {\nabla \mathit{\boldsymbol{z}}} \right\|}_0}} \right) \end{array} \right\} $ | (9) |
在重建模型中存在
| $ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{\hat z}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{z}} \left\{ \begin{array}{l} \sum\limits_k^K {\left\| {{\mathit{\boldsymbol{g}}_k} - {\mathit{\boldsymbol{W}}_k}\mathit{\boldsymbol{z}}} \right\|_2^2} + \\ \lambda \left( {{{\left\| \mathit{\boldsymbol{u}} \right\|}_0} + {{\left\| \mathit{\boldsymbol{v}} \right\|}_0}} \right) \end{array} \right\}}\\ {{\rm{s}}.\;\;{\rm{t}}.\;\;\;\;\mathit{\boldsymbol{u}} = z,\mathit{\boldsymbol{v}} = \nabla \mathit{\boldsymbol{z}}} \end{array} $ | (10) |
利用增广拉格朗日的方法，将式(10)转为无约束的优化问题
| $ \mathit{\boldsymbol{\hat z}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{z}} \left\{ \begin{array}{l} \sum\limits_k^K {\left\| {{\mathit{\boldsymbol{g}}_k} - {\mathit{\boldsymbol{W}}_k}\mathit{\boldsymbol{z}}} \right\|_2^2} + \\ \beta \mathit{\boldsymbol{P}}_1^{\rm{T}}\left( {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right) + \frac{\beta }{2}\left\| {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right\|_2^2 + \\ \mu \mathit{\boldsymbol{P}}_2^{\rm{T}}\left( {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right) + \frac{\mu }{2}\left\| {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right\|_2^2 + \\ \lambda \left( {{{\left\| \mathit{\boldsymbol{u}} \right\|}_0} + {{\left\| \mathit{\boldsymbol{v}} \right\|}_0}} \right) \end{array} \right\} $ | (11) |
式中，
对于式(11)的无约束优化问题，通过交替优化来求解，固定
1) 求解
| $ \mathit{\boldsymbol{\hat z}} = \arg \mathop {\min }\limits_z \left\{ \begin{array}{l} \sum\limits_k^K {\left\| {{\mathit{\boldsymbol{g}}_k} - {\mathit{\boldsymbol{W}}_k}\mathit{\boldsymbol{z}}} \right\|_2^2} + \\ \beta \mathit{\boldsymbol{P}}_1^{\rm{T}}\left( {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right) + \frac{\beta }{2}\left\| {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right\|_2^2 + \\ \mu \mathit{\boldsymbol{P}}_2^{\rm{T}}\left( {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right) + \frac{\mu }{2}\left\| {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right\|_2^2 \end{array} \right\} $ | (12) |
使式(12)达到最小的必要条件是使其对于
| $ \begin{array}{*{20}{c}} {\sum\limits_k^K {\mathit{\boldsymbol{W}}_k^{\rm{T}}\left( {{\mathit{\boldsymbol{W}}_k}\mathit{\boldsymbol{z}} - {\mathit{\boldsymbol{g}}_k}} \right)} + \beta \mathit{\boldsymbol{P}}_1^{\rm{T}} + \beta \left( {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right) + }\\ {\mu {\mathit{\boldsymbol{P}}_2}{\nabla ^{\rm{T}}} + \mu {\nabla ^{\rm{T}}}\left( {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right) = 0} \end{array} $ | (13) |
整理得
| $ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{z}} = {{\left( {\sum\limits_k^K {\mathit{\boldsymbol{W}}_k^{\rm{T}}{\mathit{\boldsymbol{W}}_k}} + \beta + \mu {\nabla ^{\rm{T}}}\nabla } \right)}^{ - 1}} \times }\\ {\left( {\sum\limits_k^K {\mathit{\boldsymbol{W}}_k^{\rm{T}}{\mathit{\boldsymbol{g}}_k}} + \beta \left( {\mathit{\boldsymbol{u}} - \mathit{\boldsymbol{P}}_1^{\rm{T}}} \right) + \mu {\nabla ^{\rm{T}}}\left( {\mathit{\boldsymbol{v}} - {\mathit{\boldsymbol{P}}_2}} \right)} \right)} \end{array} $ | (14) |
2) 更新变量
| $ \mathit{\boldsymbol{\hat u}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{u}} \left\{ \begin{array}{l} \beta \mathit{\boldsymbol{P}}_1^{\rm{T}}\left( {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right) + \\ \frac{\beta }{2}\left\| {\mathit{\boldsymbol{z}} - \mathit{\boldsymbol{u}}} \right\|_2^2 + \lambda {\left\| \mathit{\boldsymbol{u}} \right\|_0} \end{array} \right\} $ | (15) |
| $ \mathit{\boldsymbol{\hat v}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{v}} \left\{ \begin{array}{l} \mu \mathit{\boldsymbol{P}}_2^{\rm{T}}\left( {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right) + \\ \frac{\mu }{2}\left\| {\nabla \mathit{\boldsymbol{z}} - \mathit{\boldsymbol{v}}} \right\|_2^2 + \lambda {\left\| \mathit{\boldsymbol{v}} \right\|_0} \end{array} \right\} $ | (16) |
式(15)(16)是基于像素的最小化问题，可以利用硬阈值的方法进行变量
| $ \begin{array}{l} \left\{ \begin{array}{l} {\mathit{\boldsymbol{u}}^{n + 1}} = {S_{2\lambda /\beta }}\left( {{\mathit{\boldsymbol{z}}^{n + 1}} + \mathit{\boldsymbol{P}}_1^n} \right)\\ \mathit{\boldsymbol{P}}_1^{n + 1} = \mathit{\boldsymbol{P}}_1^n + \left( {{\mathit{\boldsymbol{z}}^{n + 1}} - {\mathit{\boldsymbol{u}}^{n + 1}}} \right) \end{array} \right.\\ {S_{2\lambda /\beta }}\left( \mathit{\boldsymbol{x}} \right) = \left\{ \begin{array}{l} \mathit{\boldsymbol{x}}\;\;\;\;{\left| \mathit{\boldsymbol{x}} \right|^2} \ge 2\lambda /\beta \\ 0\;\;\;\;\;其他 \end{array} \right. \end{array} $ | (17) |
| $ \begin{array}{l} \left\{ \begin{array}{l} {\mathit{\boldsymbol{v}}^{n + 1}} = {S_{2\lambda /\mu }}\left( {\nabla {\mathit{\boldsymbol{z}}^{n + 1}} + \mathit{\boldsymbol{P}}_2^n} \right)\\ \mathit{\boldsymbol{P}}_2^{n + 1} = \mathit{\boldsymbol{P}}_2^n + \left( {\nabla {\mathit{\boldsymbol{z}}^{n + 1}} - {\mathit{\boldsymbol{v}}^{n + 1}}} \right) \end{array} \right.\\ {S_{2\lambda /\mu }}\left( \mathit{\boldsymbol{x}} \right) = \left\{ \begin{array}{l} \mathit{\boldsymbol{x}}\;\;\;\;{\left| \mathit{\boldsymbol{x}} \right|^2} \ge 2\lambda /\mu \\ 0\;\;\;\;\;其他 \end{array} \right. \end{array} $ | (18) |
通过交替迭代求解，最后可以得到3个变量
完整的车牌图像超分辨重建流程如图 1所示，从序列图像中选定一幅低分辨率图像作为参考图像，利用光流运动估计，求解其他低分辨率图像相对于参考图像的亚像素位移；再通过模糊估计方法得到低分辨率图像的模糊函数；最后根据得到的运动位移、模糊函数等参数，选择稳定的联合约束图像先验，利用MAP重建模型进行车牌图像超分辨率重建。
2 实验与结果
2.1 模拟序列图像实验
实验中的图像是通过监控系统获取，通过裁剪得到213×141像素和131×82像素大小包含车牌号区域的图像，如图 2(a)(b)所示。对于每一幅原高分辨率图像，根据式(1)的图像观测模型，可以得到4幅具有亚像素位移的模拟图像。4幅图像的亚像素位移分别为(0，0)、(0，0.5)、(0.5，0)、(0.5，0.5)；模糊函数采用支持域为7×7、方差为1的高斯模糊；通过隔像素取平均的方法对降质图像进行降采样，采样因子设为2；最后对得到的4幅无噪低分辨率图像分别添加均值为0，方差为0、0.000 1、0.000 5(归一化后)的高斯噪声；从而得到3组低分辨率图像序列，每组具有4幅低分辨率图像，在实验中将使用这3组图像进行实验，验证本文算法在不同噪声程度影响下的有效性。在实验中，采用峰值信噪比(PSNR)和结构相似性指数(SSIM)作为重建图像的评价标准。通常，PSNR和SSIM值越大，表示重建结果越理想。
在模拟序列图像实验中，首先利用联合约束的图像先验进行车牌图像的超分辨率重建，同时将其与拉普拉斯(Laplacian)先验和Huber-Markov(HMRF)先验以及总变分(TV)先验处理的结果进行对比分析。以图 2(a)作为本组模拟实验的原始图像，根据上述方法模拟出3组图像进行重建实验，实验中的重建倍数根据采样因子设为2。图 3给出了不同先验函数下超分辨率重建的结果，表 1给出了实验具体的PSNR和SSIM评价指标结果。通过实验的视觉效果比较可以看出，拉普拉斯先验在噪声抑制方面的效果最差，在保证细节信息的前提下，图像的平滑区域中残留有大量噪声；TV先验通过梯度计算来约束图像的总变化程度，但强噪声不能完全去除，在实验结果中图像的平滑区域产生了一定程度的阶梯效应；Huber-Markov先验是一种分区域的混合范数先验模型，能够达到既能抑制噪声又不损失图像细节信息的效果，但对噪声较敏感，会产生分段判别的误差，稳定性较差。这些传统的图像先验，都是针对图像的普适特征，本研究所采用的联合约束图像先验是直接针对车牌这类文本图像，通过统计得到的特定先验信息，相比于传统的图像先验，能够提供更多的细节信息，有效地减少噪声和伪影。从相应的区域放大图可以清晰辨别联合约束先验在超分辨率过程中对车牌图像细节信息的恢复能力要远胜于其他几种常见的图像先验。
表 1
不同先验函数的重建结果比较
Table 1
Comparison for reconstruction results with different image prior under different noise case
| 噪声方差 | 评价指标 | 拉普拉斯先验 | Huber-Markov先验 | TV先验 | 联合先验(本文方法) |
| 0 | PSNR | 35.657 | 35.893 | 37.635 | 37.454 |
| SSIM | 0.92 | 0.954 | 0.972 | 0.974 | |
| 0.000 1 | PSNR | 31.329 | 31.398 | 32.422 | 32.735 |
| SSIM | 0.852 | 0.891 | 0.914 | 0.932 | |
| 0.000 5 | PSNR | 29.734 | 29.966 | 30.509 | 30.707 |
| SSIM | 0.817 | 0.861 | 0.877 | 0.894 |
第1组模拟实验，通过不同图像先验函数的重建结果对比，验证了本文联合约束图像先验在车牌图像重建中的有效性；第2组实验中将进行不同重建方法的对比分析，通过对比双三次内插、传统MAP方法[14]、非线性扩散正则化方法(Maiseli)[33]、自适应范数正则化方法(Shen)[34]和本文提出的基于亮度和梯度联合约束重建方法的实验结果，来比较不同方法的重建性能。以图 2(b)作为本组模拟实验原始图像，模拟过程中的模糊函数采用支持域为7×7、方差为2的高斯模糊，其他参数与第1组模拟情况相同，重建倍数设为2。图 4给出了不同超分辨率方法的重建结果及其相应的区域放大图，表 2给出了实验中具体的PSNR和SSIM评价指标结果，并在图 5中描述了几种不同方法重建结果的定量评价指标变化趋势。根据PSNR和SSIM两种客观评价指标，本文提出的基于联合约束的重建方法表现出最佳的重建性能；相比双三次内插和传统MAP[14]等方法，随着噪声强度的增加，其重建结果性能优势更加明显；自适应范数正则化方法(Shen)[34]针对不同区域选择不同范数进行先验约束，在车牌实验中获得较好的重建结果。通过实验结果的视觉效果对比，非线性扩散正则化方法(Maiseli)[33]能很好地抑制噪声，但在车牌区域产生一定程度的平滑，影响了车牌字符的重建效果；本文提出的重建方法在噪声去除和图像边缘保护上能达到较好的平衡效果，并且车牌图像的细节信息恢复上性能更加显著。对比相应的区域放大图，传统MAP方法[14]和非线性扩散正则化方法(Maiseli)[33]的重建结果表现了一定程度的过度平滑，自适应范数正则化方法(Shen)[34]在车牌汉字字符的重建上还有待提升，而本文方法的重建结果有效地保护了车牌图像的边缘细节，提供更多的纹理信息。
表 2
不同重建方法的结果比较
Table 2
Comparison for reconstruction results with different methods under different noise case
2.2 真实序列图像实验
在本文中展示了两组真实实验，实验中重建倍数均为2，实验采用通过监控系统获取的同一场景车牌图像，每组实验选取其中6幅。通过裁剪分别得到136×75和202×202像素大小，包含车牌号区域的图像进行超分辨率重建。图 6和图 7分别为每组实验中的参考图像、双三次内插结果、传统MAP[14]重建结果、非线性扩散正则化(Maiseli)[33]重建结果、自适应范数正则化(Shen)[34]重建结果和本文方法重建结果及其相应的区域放大图。从视觉效果分析，双三次内插的结果比较模糊，本文算法、传统MAP[14]、非线性扩散正则化(Maiseli)[33]和自适应范数正则化(Shen)[34]等方法能得到质量更好的高分辨率图像；同时，本文算法在车牌字符重建的视觉效果上明显优于其他几种方法，有效减少图像中存在的模糊和噪声，增强细节信息，重建车牌图像上的车牌号字符等内容更清晰，真实序列的图像重建实验再次验证了本文算法的有效性。
2.3 车牌图像识别实验
车牌图像超分辨率重建的实际应用在于通过对图像纹理细节的恢复，提高车牌字符检测识别的精度。为验证本文算法在车牌图像实际应用中的作用，利用开源项目里的车牌检测软件EasyPR[35]，对重建的车牌结果进行字符检测识别，根据字符识别的精度，评估图像重建效果。由于文中测试的原始低分辨率图像尺度较小，在EasyPR软件中不能定位到车牌位置，每组实验的双三次内插结果比较模糊，不能识别出车牌字符，所以在车牌图像识别实验中，只针对上述图 4、图 6和图 7中(c)(d)(e)(f)的重建结果。表 3给出了上述3组实验中不同方法重建的车牌图像识别结果。统计得到的平均字符差距表明，图 6实验组的车牌重建效果最好，图 7实验组的车牌重建结果都具有一定的模糊，有多个字符在车牌识别中难以精确识别；根据不同重建方法的车牌识别精度对比，本文方法在3组实验中的字符差距都是最小的，车牌字符识别精度最高，重建的效果最好，其余3种方法重建的车牌识别精度相差较小。
表 3
不同重建方法的车牌识别结果比较
Table 3
Comparison for License plate recognition results with different methods
3 结论
本文提出基于亮度与梯度联合约束的方法进行车牌的超分辨率重建，对重建中的运动位移和模糊函数等参数进行精确估计，提高超分辨率重建中相关参数的估计精度；并基于车牌图像的文字化特征，在重建模型中，选择特定针对文本图像的亮度与梯度联合约束图像先验，增强图像的先验信息，抑制重建结果中的噪声与伪影。在模拟和真实实验中，本文提出的亮度梯度联合约束的超分辨率重建方法减少了图像中存在的模糊和噪声，增强图像细节信息；通过对不同方法重建结果进行车牌字符检测识别，识别结果表明本文重建方法能有效提高车牌号重建精度，进而提升对车牌字符的识别能力。本文从参数估计方法上来提高参数精度，通过运动估计、模糊函数和图像重建的联合求解能够减少参数估计误差对重建效果的影响，充分利用这三者之间相互促进、相互制约的关系，将是下一步研究的重点方向。
参考文献
-
[1] Wang Y M. Research on super-resolution reconstruction algorithm of vehicle plate images[D]. Dalian: Dalian Maritime University, 2016. [王艳梅. 车牌图像超分辨率重建算法研究[D]. 大连: 大连海事大学, 2016.] http://cdmd.cnki.com.cn/Article/CDMD-10151-1017039283.htm
-
[2] Park S C, Park M K, Kang M G. Super-resolution image reconstruction:a technical overview[J]. IEEE Signal Processing Magazine, 2003, 20(3): 21–36. [DOI:10.1109/MSP.2003.1203207]
-
[3] Su B H, Jin W Q, Niu L H, et al. Super-resolution image restoration and progress[J]. Optical Technique, 2001, 27(1): 6–9. [苏秉华, 金伟其, 牛丽红, 等. 超分辨率图像复原及其进展[J]. 光学技术, 2001, 27(1): 6–9. ] [DOI:10.3321/j.issn:1002-1582.2001.01.018]
-
[4] Tsai R Y, Huang T S. Multiframe image restoration and registration[M]//Huang T S. Advances in Computer Vision and Image Processing. Greenwich: JAI Press, 1984: 317-339.
-
[5] Tekalp A M, Ozkan M K, Sezan M I. High-resolution image reconstruction from lower-resolution image sequences and space-varying image restoration[C]//Proceedings of 1992 IEEE International Conference on Acoustics, Speech, and Signal Processing. San Francisco: IEEE, 1992: 169-172. [DOI:10.1109/ICASSP.1992.226249]
-
[6] Davila C E. Recursive total least squares algorithms for adaptive filtering[C]//Proceedings of 1991 International Conference on Acoustics, Speech, and Signal Processing. Toronto: IEEE, 1991: 1853-1856. [DOI:10.1109/ICASSP.1991.150722]
-
[7] Kaltenbacher E, Hardie R C. High resolution infrared image reconstruction using multiple, low resolution, aliased frames[C]//Proceedings of IEEE 1996 National Aerospace and Electronics Conference. Dayton: IEEE, 1996: 702-709. [DOI:10.1109/NAECON.1996.517726]
-
[8] Shah N R, Zakhor A. Resolution enhancement of color video sequences[J]. IEEE Transactions on Image Processing, 1999, 8(6): 879–885. [DOI:10.1109/83.766865]
-
[9] Irani M, Peleg S. Improving resolution by image registration[J]. CVGIP:Graphical Models and Image Processing, 1991, 53(3): 231–239. [DOI:10.1016/1049-9652(91)90045-L]
-
[10] Liang F M, Xu Y J, Zhang M X, et al. A POCS algorithm based on text features for the reconstruction of document images at super-resolution[J]. Symmetry, 2016, 8(10): #102. [DOI:10.3390/sym8100102]
-
[11] Schultz R R, Stevenson R L. Extraction of high-resolution frames from video sequences[J]. IEEE Transactions on Image Processing, 1996, 5(6): 996–1011. [DOI:10.1109/83.503915]
-
[12] Shen H F, Zhang L P, Huang B, et al. A MAP approach for joint motion estimation, segmentation, and super resolution[J]. IEEE Transactions on Image Processing, 2007, 16(2): 479–490. [DOI:10.1109/TIP.2006.888334]
-
[13] Akgun T, Altunbasak Y, Mersereau R M. Super-resolution reconstruction of hyperspectral images[J]. IEEE Transactions on Image Processing, 2005, 14(11): 1860–1875. [DOI:10.1109/TIP.2005.854479]
-
[14] Zhang L P, Zhang H Y, Shen H F, et al. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Processing, 2010, 90(3): 848–859. [DOI:10.1016/j.sigpro.2009.09.002]
-
[15] Isaac J S, Kulkarni R. Super resolution techniques for medical image processing[C]//Proceedings of 2015 International Conference on Technologies for Sustainable Development. Mumbai: IEEE, 2015: 1-6. [DOI:10.1109/ICTSD.2015.7095900]
-
[16] Suresh K V, Kumar G M, Rajagopalan A N. Superresolution of license plates in real traffic videos[J]. IEEE Transactions on Intelligent Transportation Systems, 2007, 8(2): 321–331. [DOI:10.1109/TITS.2007.895291]
-
[17] Zeng W L, Lu X B. A generalized DAMRF image modeling for superresolution of license plates[J]. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(2): 828–837. [DOI:10.1109/TITS.2011.2180714]
-
[18] Wei L N, Liu Y. A license plate super-resolution reconstruction algorithm based on manifold learning[C]//Proceedings of the 17th IEEE International Conference on Computational Science and Engineering. Chengdu: IEEE, 2014: 1855-1859. [DOI:10.1109/CSE.2014.340]
-
[19] Chuang C H, Tsai L W, Deng M S, et al. Vehicle licence plate recognition using super-resolution technique[C]//Proceedings of the 201411th IEEE International Conference on Advanced Video and Signal Based Surveillance. Seoul: IEEE, 2014: 411-416. [DOI:10.1109/AVSS.2014.6918703]
-
[20] Marsi S, Carrato S, Ramponi G. Arobust tracking algorithm for super-resolution reconstruction of vehicle license plates[M]//De Gloria A. Applications in Electronics Pervading Industry, Environment and Society. Cham: Springer, 2016: 65-73. [DOI:10.1007/978-3-319-20227-3_9]
-
[21] Jin R C, Zhao S R, Xu X Y, et al. Multiframe superresolution of vehicle license plates based on distribution estimation approach[J]. Journal of Control Science and Engineering, 2016, 2016: #4194309. [DOI:10.1155/2016/4194309]
-
[22] Wu W, Yang X M, Qing L B, et al. Low-resolution license plate images restoration based on MRF[J]. Application Research of Computers, 2010, 27(3): 1170–1172, 1186. [吴炜, 杨晓敏, 卿粼波, 等. 基于马尔可夫随机场的低分辨率车牌图像复原算法[J]. 计算机应用研究, 2010, 27(3): 1170–1172, 1186. ] [DOI:10.3969/j.issn.1001-3695.2010.03.102]
-
[23] Zhou L, Lu X B, Yang L. A local structure adaptive super-resolution reconstruction method based on BTV regularization[J]. Multimedia Tools and Applications, 2014, 71(3): 1879–1892. [DOI:10.1007/s11042-012-1311-x]
-
[24] Zhang D, He J Z. Super-resolution reconstruction of low-resolution vehicle plates: a comparative study and a new algorithm[C]//Proceedings of the 20147th International Congress on Image and Signal Processing. Dalian: IEEE, 2015: 359-364. [DOI:10.1109/CISP.2014.7003806]
-
[25] Lou Y F, Bertozzi A L, Soatto S. Direct sparse deblurring[J]. Journal of Mathematical Imaging and Vision, 2011, 39(1): 1–12. [DOI:10.1007/s10851-010-0220-8]
-
[26] Protter M, Elad M. Super resolution with probabilistic motion estimation[J]. IEEE Transactions on Image Processing, 2009, 18(8): 1899–1904. [DOI:10.1109/TIP.2009.2022440]
-
[27] Yuan X H, Ouyang X L, Xia D S. An overview on super resolution image restoration[J]. Geography and Geo-Information Science, 2006, 22(3): 43–47. [袁小华, 欧阳晓丽, 夏德深. 超分辨率图像恢复研究综述[J]. 地理与地理信息科学, 2006, 22(3): 43–47. ] [DOI:10.3969/j.issn.1672-0504.2006.03.010]
-
[28] Xu L, Jia J Y, Matsushita Y. Motion detail preserving optical flow estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(9): 1744–1757. [DOI:10.1109/TPAMI.2011.236]
-
[29] Pan J S, Hu Z, Su Z X, et al. L0-regularized intensity and gradient prior for deblurring text images and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 342–355. [DOI:10.1109/TPAMI.2016.2551244]
-
[30] Shen D F, Chiu C W. Fundamental techniques for resolution enhancement of average subsampled images[J]. Journal of Electronic Imaging, 2012, 21(3): #033027. [DOI:10.1117/1.JEI.21.3.033027]
-
[31] Gleich D. Markov random field models for non-quadratic regularization of complex SAR images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(3): 952–961. [DOI:10.1109/JSTARS.2011.2179524]
-
[32] Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends® in Machine Learning, 2011, 3(1): 1–122. [DOI:10.1561/2200000016]
-
[33] Maiseli B J, Ally N, Gao H J. A noise-suppressing and edge-preserving multiframe super-resolution image reconstruction method[J]. Signal Processing:Image Communication, 2015, 34: 1–13. [DOI:10.1016/j.image.2015.03.001]
-
[34] Shen H F, Peng L, Yue L W, et al. Adaptive norm selection for regularized image restoration and super-resolution[J]. IEEE Transactions on Cybernetics, 2016, 46(6): 1388–1399. [DOI:10.1109/TCYB.2015.2446755]
-
[35] EasyPR software[CP/OL]. [2017-11-01]. https://github.com/liuruoze/EasyPR.
