Print

发布时间: 2018-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170599
2018 | Volume 23 | Number 7




    图像处理和编码    




  <<上一篇 




  下一篇>> 





混合特性正则化约束的运动模糊盲复原
expand article info 李喆1, 李建增1, 张岩1, 王哲2
1. 陆军工程大学无人机工程系, 石家庄 050003;
2. 重庆大学材料科学与工程学院, 重庆 400030

摘要

目的 为了提高运动模糊图像盲复原清晰度,提出一种混合特性正则化约束的运动模糊盲复原算法。方法 首先利用基于局部加权全变差的结构提取算法提取显著边缘,降低了噪声对边缘提取的影响。然后改进模糊核模型的平滑与保真正则项,在保证精确估计的同时,增强了模糊核的抗噪性能。最后改进梯度拟合策略,并加入保边正则项,使图像梯度更加符合重尾分布特性,且保证了边缘细节。结果 本文通过两组实验验证改进模型与所提算法的优越性。实验1以模拟运动模糊图像作为实验对象,通过对比分析5种组合步骤算法的复原效果,验证了本文改进模糊核模型与改进复原图像模型的鲁棒性较强。实验结果表明,本文改进模型复原图像的边缘细节更加清晰自然,评价指标明显提升。实验2以小型无人机真实运动模糊图像为实验对象,通过与传统算法进行对比,对比分析了所提算法的鲁棒性与实用性。实验结果表明,本文算法复原图像的标准差提升约11.4%,平均梯度提升约30.1%,信息熵提升约2.2%,且具有较好的主观视觉效果。结论 针对运动模糊图像盲复原,通过理论分析和实验验证,说明了本文改进模型的优越性,所提算法的复原效果较好。

关键词

图像盲复原; 运动模糊; 混合特征; 正则化约束; 边缘检测; 模糊核

Mixed-feature regularization constraint for motion blur blind restoration
expand article info Li Zhe1, Li Jianzeng1, Zhang Yan1, Wang Zhe2
1. Department of UAV engineering, Army Engineering University, Shijiazhuang 050003, China;
2. College of Materials Science and Engineering, Chongqing University, Chongqing 400030, China
Supported by: National Natural Science Foundation of China (51307183)

Abstract

Objective Motion blur blind restoration is the process of restoring a clear image without knowledge of the motion blur kernel function of the image. Resolving the fuzzy kernel and the clear image accurately and efficiently is the key to blind restoration. The regularization constraint technique approximates the reconstructed image to the ideal image by properly adding regular items with prior knowledge in the model. The blind restoration problem can be solved quickly and effectively using this technique. Unlike the single regularization method, the hybrid property regularization method can use known multiple prior conditions to impose numerous constraints on the model. While improving the accuracy of model solving, the number of iterations is reduced. Therefore, the multiple mixed feature regularization constraint method for the motion blur blind restoration method should be studied. To address the problems of poor anti-noise performance, incomplete fuzzy kernel smoothness constraint, and edge blurring of restored images in existing methods, a mixed feature regularization constraint method for the motion blur blind restoration method is proposed. Method First, to improve the accuracy of the estimated fuzzy kernel model, the edge of the image is extracted to act on the fidelity term and thus estimate the fuzzy kernel. Edge extraction is easily disturbed by noise, thereby leading to the generation of false edges or additional noise and consequently reducing the estimation accuracy of the fuzzy kernel model. Therefore, the Local weighted total variation structure extraction algorithm is used to detect the significant edges of the blurred image to improve the anti-noise performance of the fuzzy kernel model. Then, sparse regular items and improved smooth regular items are added in this work to improve the sparsity and smoothness of the fuzzy kernel. L0 norm smoothness regularization is complicated; thus, the L1 norm of the fuzzy kernel is used to achieve the sparse constraint. An improved multiple mixed regularization term is used to achieve the smoothing restraint while further suppressing the outlier value due to the insignificant suppression effect of the Tikhonov regularization term outlier value. Finally, for the restored image to have a heavy-tailed character and to enhance the sharpness of the edge of the restored image, the super Laplacian prior and edge-preserving regularization terms are added in this work. The Laplacian prior is used to fit the gradient distribution of the clear image to enrich the edge details due to the poor fitting effect of other prior distributions. The edge resolution of the restored image is poor because only the heavy-tailed property constraint is used on the restored image model. Therefore, edge preserving regularization items are added to make the edge of the restored image close to the sharpened edge of the clear image. Result In this study, the advantages of the improved model and the proposed algorithm are verified by two groups of experiments. In the first experiment, the simulated motion blur image is taken as the experimental object. A comparison and an analysis of the restoration effects of the five combined steps verifies the robustness of the improved fuzzy kernel model and the improved restored image model. Experimental results show that the edge details of the improved model restoration image in this work are clear and natural and the evaluation index is noticeably improved. In the second experiment, the real motion blur image of a small UAV is used as the experimental object. The robustness and practicability of the proposed algorithm are analyzed. Moreover, the proposed algorithm is compared with the traditional algorithm. Experimental results show that the standard deviation of the restored image increases by approximately 11.4%. The average gradient increases by approximately 30.1%. The information entropy increases by approximately 2.2%. Furthermore, our method has better subjective visual effects than the traditional method has. Conclusion For the blind restoration of motion blur images, the superiority of the improved model proposed in this work is demonstrated through theoretical analysis and experimental verification. Restoration through the proposed algorithm is better than that with the traditional algorithm.

Key words

blind image restoration; motion blur; mixed feature; regularization constraint; edge detection; blur kernel

0 引言

运动模糊盲复原是在图像运动模糊核函数未知的情况下,复原出清晰图像的过程。如何准确高效地解决运动模糊核与清晰图像的求解问题,是盲复原的关键[1]。正则化约束技术通过在模型中适当的加入具有先验知识的正则项,使复原图像逼近理想图像,可以快速有效的解决盲复原求解问题。混合特性正则化方法较单一特性正则化方法可以利用已知的多种先验条件,对模型进行多重约束,在提高模型求解精度的同时,减少了迭代次数。因此研究一种基于混合特性正则化约束的运动模糊盲复原算法具有重要意义。

在基于正则化约束的图像盲复原方面,学者做了大量工作。Fergus等人[2]提出基于变分贝叶斯的图像盲去相机抖动模糊算法。在多尺度复原框架下,分别利用混合指数分布和混合高斯分布拟合模糊核函数特性和图像梯度的重尾分布特性,并运用Richardson-Lucy(RL)算法复原图像。该算法为之后此类图像复原算法的研究奠定了基础,但复原效果并不突出,振铃效应明显,且运算速度缓慢。Krishnan等人[3]提出了基于超拉普拉斯分布的图像复原算法。通过对比分析,发现相较于混合高斯分布,超拉普拉斯分布可以更好地拟合图像梯度的重尾分布。该算法一定程度提高了复原图像的边缘清晰度,但较单一的正则约束,限制了模型估计的精度。Almeida等人[4]提出一种基于边缘稀疏特性的图像盲复原算法。利用类全变差(TV)正则化项表示图像边缘稀疏特性。依此构建的复原图像模型更符合自然图像特性,具有较好的复原效果,但算法未涉及模糊核模型的改进,模糊核的估计偏差限制了图像复原精度。Xu等人[5-6]提出一种模糊核模型优化估计的盲复原算法。通过实验验证,某些图像边缘尺度需要大于模糊核模型尺度才有利于正确的模糊核函数估计,基于此理论提出梯度信息筛选规则。应用该梯度筛选规则可以得到更准确的模糊核模型,但由于边缘筛选机制的引入,导致算法复杂度较高。Li等人[7]提出基于分裂布雷格曼迭代的图像盲复原算法。在模型求解的迭代策略上做出改进,将分裂布雷格曼迭代方法引入复原算法。算法速度得到一定提升,但图像复原质量并没有明显提升。Tang等人[8-9]提出一种多正则化混合约束的模糊图像盲复原算法。在模糊核模型估计阶段利用稀疏性和连续平滑性对模糊核模型进行多重约束,在复原图像模型估计阶段加入一种有利于边缘锐化的正则化项。模糊核估计的准确度得到进一步提升,复原图像更加清晰,但未过多考虑噪声对模型估计的影响,算法抗噪性有待提升。

上述图像盲复原算法针对算法的不同阶段进行了优化与创新,但仍存在以下问题:边缘提取算法抗噪性较差,使模糊核模型估计出现偏差;模糊核平滑约束不全面,估计的模糊核存在异常值;复原图像边缘模糊,保边约束不足。

针对以上问题,本文提出一种混合特性正则化约束(MFRC)的运动模糊盲复原算法,首先利用基于局部加权全变差(LWTV)的结构提取算法提取显著边缘,然后改进模糊核模型的平滑与保真正则项,随后改进梯度拟合策略,并加入保边正则项,最后进行了实验验证。

1 MFRC算法流程

基于正则化的图像盲复原算法一般分为5个步骤:1)尺度空间构建;2)模糊核建模;3)复原图像建模;4)模型优化约束;5)模型迭代求解策略。本文主要针对模型构建(步骤2、步骤3)进行了改进与优化,提出了一种混合特性正则化约束的图像盲复原算法,算法流程如图 1所示。

图 1 MFRC算法流程图
Fig. 1 Flowchart of MFRC

1) 尺度空间构建。首先构建模糊图像多尺度金字塔(下采样因子为$\sqrt 2 $),然后在各分辨率层进行模型迭代(迭代次数为7);

2) 模糊核建模。首先利用一种快速鲁棒的结构提取算法提取图像显著边缘,作用于保真项,然后引入针对模糊核稀疏平滑特性的多正则项;

3) 复原图像建模。首先利用超拉普拉斯函数拟合图像梯度的重尾分布,然后加入保边正则项;

4) 模型修正。首先对求得的模糊核模型进行非负性和能量守恒约束,然后对复原图像模型进行非负性约束;

5) 模型迭代求解策略。利用一种半二次变量分裂策略对提出的模糊核模型、复原图像模型进行优化求解。

2 改进的模糊核模型

2.1 研究思路

为了使模糊核模型估计更加准确,本文提取图像边缘作用于保真项对模糊核进行估计。由于边缘细节提取易受到噪声的干扰,出现伪边缘或产生新的噪声,降低模糊核模型的估计精度,所以利用文献[10]提出的LWTV结构提取算法对模糊图像进行显著边缘细节提取,以达到提高模糊核模型抗噪性能的目的。

为了使模糊核具有稀疏、平滑的性质[11],本文增加稀疏正则项和改进的平滑正则项。由于${{\text{L}}_0}$范数平滑正则项运算复杂,所以利用模糊核的${{\text{L}}_1}$范数,以达到稀疏约束的目的。由于Tikhonov正则化项异常值抑制效果不显著,所以利用改进的混合平滑正则项,以达到平滑约束效果的同时进一步抑制异常值的目的。

2.2 具体流程

2.2.1 边缘的提取锐化

首先利用LWTV算法对图像进行显著边缘提取。然后利用冲击滤波器(SF)对提取出的边缘进行锐化,得到锐化的显著边缘图像,为了便于后续模糊核模型的计算,将锐化的显著边缘表示为$SF\left( {{L_{{\text{LWTV}}}}} \right)$。最后将锐化的显著边缘作用于模糊核模型中的保真项。

2.2.2 模型构建

改进的稀疏平滑正则化约束模糊核模型表达式为

$ \begin{array}{l} \mathit{\boldsymbol{\hat k}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{k}} \left( {\frac{1}{2}\left\| {\nabla {\rm{SF}}\left( {{L_{{\rm{LWTV}}}}} \right) * \mathit{\boldsymbol{k}} - \nabla \mathit{\boldsymbol{B}}} \right\|_2^2 + } \right.\\ \;\;\;\;\;\;\left. {{\lambda _{k1}}\left\| \mathit{\boldsymbol{k}} \right\|_1^1 + {\lambda _{k2}}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2 + {\lambda _{k3}}\left\| {{\nabla ^2}\mathit{\boldsymbol{k}}} \right\|_2^2} \right) \end{array} $ (1)

式中,${\left\| \cdot \right\|_1}$${\left\| \cdot \right\|_2}$分别表示${L_1}$${L_2}$范数,$\nabla \mathit{\boldsymbol{k}}$${\nabla ^2}\mathit{\boldsymbol{k}}$分别表示模糊核的一阶偏导和二阶偏导,$\left\| \mathit{\boldsymbol{k}} \right\|_1^1$为稀疏正则项,$\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2 + \left\| {{\nabla ^2}\mathit{\boldsymbol{k}}} \right\|_2^2$为平滑正则项,${\lambda _{k1}} $${\lambda _{k2}}$${\lambda _{k3}}$分别为各正则化项的参数。

2.2.3 模型修正

为了使求得的模糊核模型更准确,需要根据实际物理意义对模型进行修正,根据模糊核的像素非负性和能量守恒特性对模糊核修正,即

$ k\left( {i,j} \right) = \left\{ \begin{array}{l} k\left( {i,j} \right)\;\;\;\;\;k\left( {i,j} \right) > \mu \;\max \left( {k\left( : \right)} \right)\\ 0\;\;\;\;\;\;\;\;\;\;\;\;k\left( {i,j} \right) \le \mu \;\max \left( {k\left( : \right)} \right) \end{array} \right. $ (2)

$ \int {\mathit{\boldsymbol{k}}\left( {x,y} \right){\rm{d}}x{\rm{d}}y} = 1 $ (3)

式中,$\left( {i, j} \right)$为模糊核坐标,$k\left( : \right)$表示遍历所有的像素值,$\max \left( {k\left( : \right)} \right)$为模糊核最大像素值,$\mu $为阈值系数,式(3)表示对模糊核进行归一化处理。

2.3 相关说明

1) 模型求解。利用半二次变量分裂策略[12]求解本文提出的模型,引入约束项${\mathit{\boldsymbol{b}}_1} = \mathit{\boldsymbol{k}}$,利用二次型惩罚函数$\frac{{{\gamma _k}}}{2}\left\| {{\mathit{\boldsymbol{b}}_1}-\mathit{\boldsymbol{k}}} \right\|_2^2$将约束条件合并到式(1)中,使其转化为非约束最优化问题,即

$ \begin{array}{*{20}{c}} {\left( {\mathit{\boldsymbol{\hat k}},{{\hat b}_1}} \right) = \arg \mathop {\min }\limits_{\mathit{\boldsymbol{k}},{\mathit{\boldsymbol{b}}_1}} \left( {\frac{1}{2}\left\| {\nabla {\rm{SF}}\left( {{\mathit{\boldsymbol{L}}_{{\rm{LWTV}}}}} \right) * \mathit{\boldsymbol{k}} - \nabla \mathit{\boldsymbol{B}}} \right\|_2^2 + } \right.}\\ {{\lambda _{k1}}\left\| {{\mathit{\boldsymbol{b}}_1}} \right\|_1^1 + \frac{{{\gamma _k}}}{2}\left\| {{\mathit{\boldsymbol{b}}_1} - \mathit{\boldsymbol{k}}} \right\|_2^2 + {\lambda _{k2}}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2 + }\\ {\left. {{\lambda _{k3}}\left\| {{\nabla ^2}\mathit{\boldsymbol{k}}} \right\|_2^2} \right)} \end{array} $ (4)

采用交互式迭代法对式(4)进行计算,即固定$\mathit{\boldsymbol{L}}$${\mathit{\boldsymbol{b}}_1}$$\mathit{\boldsymbol{k}}$,即

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{k}}^{i + 1}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{k}} \left( {\frac{1}{2}\left\| {\nabla {\rm{SF}}\left( {\mathit{\boldsymbol{L}}_{{\rm{LWTV}}}^i} \right) * \mathit{\boldsymbol{k}} - \nabla \mathit{\boldsymbol{B}}} \right\|_2^2 + } \right.}\\ {\left. {\frac{{{\gamma _k}}}{2}\left\| {\mathit{\boldsymbol{b}}_1^i - \mathit{\boldsymbol{k}}} \right\|_2^2 + {\lambda _{k2}}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2 + {\lambda _{k3}}\left\| {{\nabla ^2}\mathit{\boldsymbol{k}}} \right\|_2^2} \right)} \end{array} $ (5)

通过快速傅里叶变换求解得

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{k}}^{i + 1}} = {F^{ - 1}}}\\ {\left( {\frac{{\begin{array}{*{20}{c}} {\bar F\left( {{\nabla _h}{\mathit{\boldsymbol{M}}^i}} \right) \circ F\left( {{\nabla _h}\mathit{\boldsymbol{B}}} \right) + }\\ {\bar F\left( {{\nabla _v}{\mathit{\boldsymbol{M}}^i}} \right) \circ F\left( {{\nabla _v}\mathit{\boldsymbol{B}}} \right) + {\gamma _k}F\left( {\mathit{\boldsymbol{b}}_1^i} \right)} \end{array}}}{{\begin{array}{*{20}{c}} {{\gamma _k} + \bar F\left( {{\nabla _h}{\mathit{\boldsymbol{M}}^i}} \right) \circ F\left( {{\nabla _h}{\mathit{\boldsymbol{M}}^i}} \right) + }\\ {\bar F\left( {{\nabla _v}{\mathit{\boldsymbol{M}}^i}} \right) \circ F\left( {{\nabla _v}{\mathit{\boldsymbol{M}}^i}} \right) + }\\ {2{\lambda _{k2}}\left( {\bar F\left( {{\nabla _h}} \right) \circ F\left( {{\nabla _h}} \right) + \bar F\left( {{\nabla _v}} \right) \circ F\left( {{\nabla _v}} \right)} \right) + }\\ {2{\lambda _{k3}}\left( {\bar F\left( {\nabla _h^2} \right) \circ F\left( {\nabla _h^2} \right) + \bar F\left( {\nabla _v^2} \right) \circ F\left( {\nabla _v^2} \right)} \right)} \end{array}}}} \right)} \end{array} $ (6)

式中,“°”表示逐元素相乘,$F$为快速傅里叶变换,${F^{-1}}$为其逆变换,$\bar F$为其复共轭,为了便于表示,令$\mathit{\boldsymbol{M}} = SF\left( {{\mathit{\boldsymbol{L}}_{{\text{LWTV}}}}} \right)$${\mathit{\boldsymbol{M}}^i}$为第$i$次迭代得到的边缘锐化图像。迭代过程中,利用soft-threshold函数对${\mathit{\boldsymbol{b}}_1}$进行更新。

2) 相较于其他图像边缘提取锐化策略,本文所提方法鲁棒性更强,速度更快,且更适用于模糊核模型中的保真项估计。

3) ${{\text{L}}_1}$范数是${{\text{L}}_0}$范数的最优凸近似,${{\text{L}}_0}$${{\text{L}}_1}$范数规范的矩阵均具有良好稀疏效果,但由于${{\text{L}}_0}$范数运算复杂,因此使用${{\text{L}}_1}$范数作为模糊核模型的稀疏规则算子,提高算法运算速度。

4) ${{\text{L}}_2}$范数相较${{\text{L}}_1}$范数可以有效提高模型的泛化能力,防止模型过拟合。结合图像一阶、二阶偏导特性,使用模糊核图像一阶、二阶偏导的$ {{\text{L}}_2}$范数组成多混合正则化项进行平滑约束,提高平滑约束效果的同时进一步抑制了模糊核中的异常值。

5) 与其他算法中提出的稀疏平滑特性的双正则化模糊核模型相比,本文改进了模糊核模型的平滑与保真正则项,在保证精确估计的同时,增强了模糊核的抗噪性能。

3 改进的复原图像模型

3.1 研究思路

为了使复原图像具有重尾特性[2],同时进一步增强复原图像边缘的清晰度,本文增加超拉普拉斯先验项和保边正则项。由于其他先验分布拟合效果较差,所以利用超拉普拉斯先验拟合清晰图像梯度分布,以达到丰富边缘细节的目的。由于只对复原图像模型进行重尾特性约束,复原图像的边缘清晰度差,所以引入文献[9]中的保边正则项,使复原图像边缘更趋近于清晰图像的锐化边缘。

3.2 具体流程

3.2.1 模型构建

保边正则项为[9]

$ E\left( \mathit{\boldsymbol{L}} \right) = \left\| {\nabla \mathit{\boldsymbol{L}} - \nabla \left( {SF\left( {{\mathit{\boldsymbol{L}}^ * }} \right)} \right)} \right\|_2^2 $ (7)

式中,$SF\left( {{\mathit{\boldsymbol{L}}^*}} \right)$为经过Shock滤波器处理的真实清晰图像。

结合超拉普拉斯函数和保边正则项,本文构建的复原图像模型为

$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{\hat L = }}\arg \mathop {\min }\limits_\mathit{\boldsymbol{L}} \left( {\frac{1}{2}\left\| {\mathit{\boldsymbol{L}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{B}}} \right\|_2^2 + } \right.}\\ {\left. {{\lambda _{{\rm{L1}}}}\left\| {\nabla \mathit{\boldsymbol{L}}} \right\|_p^p + {\lambda _{{\rm{L2}}}}E\left( \mathit{\boldsymbol{L}} \right)} \right)} \end{array} $ (8)

式中,$\left\| {\nabla \mathit{\boldsymbol{L}}} \right\|_p^p$为超拉普拉斯先验项。

3.2.2 模型修正

为了使求得的复原图像更加准确,对复原图像进行非负特性修正,即

$ L\left( {i,j} \right) = \left\{ \begin{array}{l} L\left( {i,j} \right)\;\;\;\;L\left( {i,j} \right) > 0\\ 0\;\;\;\;\;\;\;\;\;\;\;\;L\left( {i,j} \right) \le 0 \end{array} \right. $ (9)

3.3 相关说明

1) 模型求解。引入约束项${\mathit{\boldsymbol{b}}_2} = \nabla \mathit{\boldsymbol{L}}$,利用二次型惩罚函数$\frac{{{\gamma _u}}}{2}\left\| {{\mathit{\boldsymbol{b}}_2}-\nabla \mathit{\boldsymbol{L}}} \right\|_2^2$将约束条件合并到式(8)中,使其转化为非约束最优化问题,即

$ \begin{array}{*{20}{c}} {\left( {\mathit{\boldsymbol{\hat L}},{{\mathit{\boldsymbol{\hat b}}}_2}} \right) = \arg \mathop {\min }\limits_{\mathit{\boldsymbol{L}},{\mathit{\boldsymbol{b}}_2}} \left( {\frac{1}{2}\left\| {\mathit{\boldsymbol{L}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{B}}} \right\|_2^2 + } \right.}\\ {{\lambda _{{\rm{L1}}}}\left\| {\nabla \mathit{\boldsymbol{L}}} \right\|_p^p + \frac{{{\gamma _u}}}{2}\left\| {{\mathit{\boldsymbol{b}}_2} - \nabla \mathit{\boldsymbol{L}}} \right\|_2^2 + }\\ {\left. {{\lambda _{{\rm{L2}}}}\left\| {\nabla \mathit{\boldsymbol{L}} - \nabla \left( {SF\left( {{\mathit{\boldsymbol{L}}^ * }} \right)} \right)} \right\|_2^2} \right)} \end{array} $ (10)

式(10)可转化为如下迭代的子问题,即

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{L}}^{i + 1}} = \arg \mathop {\min }\limits_\mathit{\boldsymbol{L}} \left( {\frac{1}{2}\left\| {\mathit{\boldsymbol{L}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{B}}} \right\|_2^2 + \frac{{{\gamma _u}}}{2}\left\| {{\mathit{\boldsymbol{b}}_2} - \nabla \mathit{\boldsymbol{L}}} \right\|_2^2 + } \right.}\\ {\left. {{\lambda _{{\rm{L2}}}}\left\| {\nabla \mathit{\boldsymbol{L}} - \nabla \left( {SF\left( {{\mathit{\boldsymbol{L}}^ * }} \right)} \right)} \right\|_2^2} \right)} \end{array} $ (11)

$ \mathit{\boldsymbol{b}}_2^{i + 1} = \arg \mathop {\min }\limits_{{\mathit{\boldsymbol{b}}_2}} \left( {{\lambda _{{\rm{L1}}}}\left\| {\nabla \mathit{\boldsymbol{L}}} \right\|_p^p + \frac{{{\gamma _u}}}{2}\left\| {{\mathit{\boldsymbol{b}}_2} - \nabla \mathit{\boldsymbol{L}}} \right\|_2^2} \right) $ (12)

式(11)的求解同式(5),通过快速傅里叶变化得

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{L}}^{i + 1}} = }\\ {{F^{ - 1}}\left( {\frac{{\begin{array}{*{20}{c}} {\bar F\left( {{\mathit{\boldsymbol{k}}^{i + 1}}} \right) \circ F\left( \mathit{\boldsymbol{B}} \right) + {\gamma _u}\left( {\bar F\left( {{\nabla _h}} \right) \circ F\left( {\mathit{\boldsymbol{b}}_{2h}^i} \right) + } \right.}\\ {\left. {\bar F\left( {{\nabla _v}} \right) \circ F\left( {\mathit{\boldsymbol{b}}_{2v}^i} \right)} \right) + }\\ {2{\lambda _{L2}}\left( {\bar F\left( {{\nabla _h}} \right) \circ F\left( {{\nabla _h}\left( {SF\left( {{\mathit{\boldsymbol{L}}^ * }} \right)} \right)} \right) + } \right.}\\ {\left. {\bar F\left( {{\nabla _v}} \right) \circ F\left( {{\nabla _v}\left( {SF\left( {{\mathit{\boldsymbol{L}}^ * }} \right)} \right)} \right)} \right)} \end{array}}}{{\begin{array}{*{20}{c}} {\bar F\left( {{\mathit{\boldsymbol{k}}^{i + 1}}} \right) \circ F\left( {{\mathit{\boldsymbol{k}}^{i + 1}}} \right) + }\\ {\left( {{\gamma _u} + 2{\lambda _{L2}}} \right)\left( {\bar F\left( {{\nabla _h}} \right) \circ F\left( {{\nabla _h}} \right) + } \right.}\\ {\left. {\bar F\left( {{\nabla _v}} \right) \circ F\left( {{\nabla _v}} \right)} \right)} \end{array}}}} \right)} \end{array} $ (13)

式(12)采用文献[13]中的求解策略,在使用牛顿迭代法求解的同时利用查表法保存已得结果,以此提高收敛速度。

2) 图 2所示为几种先验分布拟合清晰自然图像梯度分布的效果图,可以看出与高斯分布、拉普拉斯分布相比,超拉普拉斯分布拟合效果最佳,所以在复原图像模型估计阶段采用超拉普拉斯先验构造图像正则项,可以使得到的复原图像的边缘细节更丰富。

图 2 拟合效果对比图
Fig. 2 Comparison diagram of fitting effect

3) 保边正则项能够较好地补偿全变差模型中出现的模糊效应,有效地克服了现有方法中存在的不能复原出高质量清晰图像的问题。保边正则项越小,表明生成的复原图像边缘越接近锐化的清晰图像边缘。

4 实验与分析

4.1 实验设置

4.1.1 实验平台参数

笔记本计算机:联想拯救者R720-15IKB;CPU:Inter(R)-Core(TM) i7-7700HQ 2.80 GHz;操作系统:Win10 64位;编程环境:Matlab R2015a。

4.1.2 数据集

实验采用模拟模糊图像和小型无人机拍摄的真实模糊图像验证算法的鲁棒性与实用性。

模拟模糊图像通过清晰图像与模糊核卷积之后加入高斯噪声得到。图 3为两种21×21像素大小的模糊核卷积,其中${k_1}$是135°方向的直线运动模糊,${k_2}$是一种自定义的不规则运动模糊。图 4为256×256像素大小的Cameraman、Barbara、Hill标准测试图像及对应的两类模糊图像。

图 3 两种模糊核
Fig. 3 Two kinds of blur kernels
((a) ${k_1}$; (b) ${k_2}$)
图 4 标准测试图像
Fig. 4 Standard test image
((a) Cameraman; (b) blurred image of ${k_1}$; (c) blurred image of ${k_2}$; (d) Barbara; (e) blurred image of ${k_1}$; (f) blurred image of ${k_2}$; (g) Hill; (h) blurred image of ${k_1}$; (i) blurred image of ${k_2}$)

小型无人机拍摄的真实模糊图像,随机取自DJI Phantom 3 Professional型无人机拍摄的系列运动模糊图像,如图 5所示。

图 5 小型无人机拍摄的真实模糊图
Fig. 5 Small UAV blurred images

4.1.3 实验对象及相关参数设置

算法复原步骤:

1) 模糊核模型:传统TV模糊核模型(式(14)中的$\mathit{\boldsymbol{\hat k}}$)(简称A1);文献[9]模糊核模型(式(15)中的$\mathit{\boldsymbol{\hat k}}$)(简称A2);MFRC模糊核模型(式(1)) (简称A3)。

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{\hat k}} = \mathop {\min }\limits_\mathit{\boldsymbol{k}} \left( {\frac{1}{2}\left\| {\nabla \mathit{\boldsymbol{L}} * \mathit{\boldsymbol{k}} - \nabla \mathit{\boldsymbol{B}}} \right\|_2^2 + {\lambda _k}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_1^1} \right)\\ \mathit{\boldsymbol{\hat L}} = \mathop {\min }\limits_\mathit{\boldsymbol{L}} \left( {\frac{1}{2}\left\| {\mathit{\boldsymbol{L}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{B}}} \right\|_2^2 + {\lambda _L}\left\| {\nabla \mathit{\boldsymbol{L}}} \right\|_1^1} \right) \end{array} \right. $ (14)

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{\hat k}} = \mathop {\min }\limits_k \left( {\frac{1}{2}\left\| {\nabla {\mathit{\boldsymbol{L}}_{\mathit{\boldsymbol{FE}}}} * \mathit{\boldsymbol{k}} - \nabla \mathit{\boldsymbol{B}}} \right\|_2^2 + } \right.\\ \left. {{\lambda _{k1}}\left\| {\mathit{\boldsymbol{k}}} \right\|_1^1 + {\lambda _{k2}}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2} \right)\\ \mathit{\boldsymbol{\hat L}} = \mathop {\min }\limits_\mathit{\boldsymbol{L}} \left( {\frac{1}{2}\left\| {\mathit{\boldsymbol{L}} * \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{B}}} \right\|_2^2 + {\lambda _{{\rm{L1}}}}\left\| {\nabla \mathit{\boldsymbol{L}}} \right\|_1^1 + } \right.\\ \left. {{\lambda _{{\rm{L2}}}}\left\| {\nabla \mathit{\boldsymbol{L}} - \nabla \left( {SF\left( {{\mathit{\boldsymbol{L}}^ * }} \right)} \right)} \right\|_2^2} \right) \end{array} \right. $ (15)

2) 复原图像模型:传统TV复原图像模型(式(14)中的$\mathit{\boldsymbol{\hat L}}$)(简称B1);文献[9]复原图像模型(式(15)中的$\mathit{\boldsymbol{\hat L}}$)(简称B2);MFRC复原图像模型(式(8)) (简称B3)。

3) 迭代策略:尺度空间策略(简称C),利用双线性下采样对模糊图像建立多层图像金字塔,然后在每个分辨率层循环地进行模型迭代,下采样因子为$\sqrt 2 $,迭代次数为7。

实验对象如表 1所示。

表 1 实验对象
Table 1 Experimental subjects

下载CSV
算法序号 算法
1 A1+B3+C
2 A2+B3+C
3 A3+B1+C
4 A3+B2+C
5 A3+B3+C(MFRC复原算法)

合理的参数设置是保证高质量图像复原的关键,本文算法中涉及的几种参数都是相对固定的值,在实际进行图像复原时只需在同一数量级范围内进行微调,即可达到较好的复原效果。通过反复实验,给出几种主要参数设置,如表 2所示。

表 2 参数设置
Table 2 Parameter settings

下载CSV
主要参数 取值
$p$ 0.5
${\gamma _k}$ $35 \times {10^{-7}} \times \sum\limits_{\left( {i, j} \right)} {B\left( {i, j} \right)} $
${\lambda _{L1}}$ 6×10-4
${\gamma _u}$ $10 \times {\lambda _{L1}}$
${\lambda _{k2}}$ $35 \times {10^{-9}} \times \sum\limits_{\left( {i, j} \right)} {B\left( {i, j} \right)} $
${\lambda _{k3}}$ $20 \times {10^{-9}} \times \sum\limits_{\left( {i, j} \right)} {B\left( {i, j} \right)} $
${\lambda _{k1}}$ $\frac{{10}}{{{\gamma _k}}}$

4.1.4 评估准则

1) 有参考评价指标:

(1) 峰值信噪比(PSNR)。PSNR主要衡量算法的去噪能力,其越大表明算法的去噪能力越强,其数学表达式定义为

$ P = 20 \cdot {\log _{10}}\left( {\frac{{{M_I}}}{{\sqrt A }}} \right) $ (16)

式中,$P$表示PSNR,$M_I $为最大灰度值,$A $为均方差。

(2) 结构相似性指数(SSIM)[14]。SSIM是图像结构信息相似度的指标,值越大复原图像失真度越小,其数学表达式定义为

$ S = \frac{{\left( {2{\mu _x}{\mu _y} + {c_1}} \right)\left( {2{\sigma _{xy}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} $ (17)

式中,$S$表示SSIM,${\mu _x}$${\mu _y}$为灰度值均值,$\sigma _x^2$$\sigma _y^2$为灰度值方差,${c_1}$${c_2}$为稳定常量,其中${c_1} = {\left( {{k_1}L} \right)^2}$${c_2} = {\left( {{k_2}L} \right)^2}\left( {{k_1} = 0.01, {k_2} = 0.03} \right)$$L$为像素值的动态范围。

2) 无参考评价指标:

(1) 标准差。标准差反应整幅图像的对比度,值越大复原图像整体清晰度越高,其数学表达式定义为

$ \sigma = \sqrt {\frac{{\sum\limits_{i = 1}^n {{{\left( {{x_i} - \bar x} \right)}^2}} }}{n}} $ (18)

式中,$n$表示总像素数,$x_i$表示单个像素点的像素值,$\bar x$表示像素均值。

(2) 平均梯度。平均梯度反应图像细节纹理的清晰程度,值越高复原图像细节纹理越明显,其数学表达式定义为

$ \begin{array}{*{20}{c}} {{g_{{\rm{ave}}}} = \frac{1}{{mn}} \times }\\ {\sum\limits_{x = 1}^m {\sum\limits_{y = 1}^n {\sqrt {\frac{{{{\left( {\frac{{\partial \mathit{\boldsymbol{f}}\left( {x,y} \right)}}{{\partial x}}} \right)}^2} + {{\left( {\frac{{\partial \mathit{\boldsymbol{f}}\left( {x,y} \right)}}{{\partial y}}} \right)}^2}}}{2}} } } } \end{array} $ (19)

式中,$m$$n$表示图像尺寸大小,$\left( {x, y} \right)$为像素点坐标。

(3) 信息熵。信息熵反应图像包含的信息量大小,值越高复原图像传递的信息量越大,其数学表达式定义为

$ H = - \sum\limits_{i = 0}^{k - 1} {{p_i}\log \left( {{p_i}} \right)} $ (20)

式中,$k$表示整幅图像的灰度级,$p_i$表示每个灰度级出现的概率。

4.1.5 实验过程

1) 为验证本文改进模型的鲁棒性,本文实验遵循控制变量原则,利用表 1中的5种算法对模糊图像数据集内的图像进行图像复原实验。

(1) 固定标准图像Cameraman与模糊核$ k_1$,控制添加高斯噪声的标准偏差由1变化至10,得到模糊图像,利用原始清晰图像和5种复原图像计算PSNR和SSIM。

(2) 固定高斯噪声的标准偏差为5,改变模糊图像类别,得到模糊图像,利用原始清晰图像和5种算法对应的复原图像计算PSNR和SSIM。

通过对比各步骤组合算法的复原效果,可以验证本文改进的模糊核模型和复原图像模型相较其他的模型具有更强的鲁棒性。

2) 小型无人机运动模糊图像复原实验。为验证本文算法的实用性,对小型无人机运动模糊图像进行复原实验,并与文献[9]算法进行对比分析。

4.2 图像复原实验

实验1的对比结果如图 6图 7表 3所示。

图 6 不同噪声下的算法复原效果比较
Fig. 6 Comparison of algorithm restoration effects under
((a) PSNR; (b) SSIM)
图 7 不同模糊图像复原效果对比图
((a) blurred images;(b) algorithm 1;(c) algorithm 2;(d) algorithm 3;(e) algorithm 4;(f) algorithm 5)
Fig. 7 Contrast image of restoration effect of different blur images

表 3 不同模糊图像下的复原图像评价指标
Table 3 Evaluation index of restoration image under different blur images

下载CSV
图像 指标 模糊核 算法1 算法2 算法3 算法4 算法5
Man PSNR/dB $k_1$ 69.075 3 69.090 9 69.573 8 69.666 3 69.78
$k_2$ 66.896 7 67.567 6 67.437 1 67.824 8 68.148 9
SSIM $k_1$ 0.606 0.605 3 0.609 5 0.615 1 0.615 9
$k_2$ 0.513 9 0.559 3 0.534 3 0.569 7 0.569 9
Barbara PSNR/dB $k_1$ 67.738 67.764 7 67.742 9 67.983 2 68.069 9
$k_2$ 69.417 4 69.523 2 69.703 9 70.025 2 70.174 7
SSIM $k_1$ 0.508 7 0.511 7 0.511 2 0.531 8 0.536 3
$k_2$ 0.601 3 0.607 2 0.615 1 0.626 8 0.635 5
Hill PSNR/dB $k_1$ 66.859 4 66.893 3 66.885 5 67.049 2 67.055 6
$k_2$ 64.457 1 64.594 65.813 9 68.066 3 68.093 3
SSIM $k_1$ 0.300 2 0.306 8 0.308 1 0.342 1 0.342 9
$k_2$ 0.192 6 0.193 2 0.262 0.458 7 0.460 3

图 6 (a)(b)分析可得:

1) 对同一模糊图像,随着随机噪声的增加,图像复原效果整体呈现下降态势,相较于其他模型,本文所提模型复原效果最好;

2) 由A1+B3+C、A2+B3+C与A3+B3+C的对比,可以说明:相较其他模糊核模型,本文改进的模糊核模型对整个图像复原过程更为有利,间接证明模糊核模型的鲁棒性;

3) 由A3+B1+C、A3+B2+C与A3+B3+C的对比,可以说明:相较其他复原图像模型,本文改进的复原图像模型复原出的图像效果最好,间接证明复原图像模型的优异性;

图 7为不同模糊图像复原效果对比图,限于篇幅大小仅给出${k_2}$部分,对比图 7(b)(c)(f)可以发现:本文提出的模糊核模型所估计的模糊核图像更接近真实模糊核图像,且所复原的图像更清晰;对比图 7(d)(e)(f)可以发现:本文提出的复原图像模型所复原的模糊图像主观视觉效果更好,振铃效应得到一定程度弱化,边缘清晰程度得到较好提升。

表 3图 7复原效果的量化体现,进一步验证了本文所提模型的鲁棒性。

将实验2结果分析如下:

1) 由表 4分析可得:对比3种客观指标评价,本文算法较文献[9]算法,复原图像的标准差提升约11.4%,平均梯度提升约30.1%,信息熵提升约2.2%,由此可见本文算法复原效果较好;

表 4 无人机运动模糊复原图像评价指标
Table 4 Evaluation index of restoration image under different blur images

下载CSV
算法 指标 UAV1 UAV2 UAV3 UAV4 UAV5 UAV6
文献[9] $\sigma $ 63.406 5 39.857 3 38.089 7 19.734 4 47.562 7 57.010 3
${g_{{\text{ave}}}}$ 0.016 0 0.009 5 0.002 1 0.002 2 0.008 8 0.012 6
$H$ 7.416 7 6.368 4 5.848 0 5.552 1 6.407 8 7.469 0
本文 $\sigma $ 70.623 8 45.511 6 40.103 0 21.958 8 52.938 8 65.531 6
${g_{{\text{ave}}}}$ 0.019 0 0.012 7 0.002 9 0.003 0 0.010 1 0.017 5
$H$ 7.443 6 6.536 0 5.870 0 5.614 6 6.852 2 7.620 5

2) 由图 8(b)(c)分析可得:相较文献[9]算法,本文算法复原图像整体对比度更好,图像更加清晰;

图 8 小型无人机运动模糊图像复原效果
Fig. 8 Restoration effect of motion blurred image for small UAV
((a) blurred image for small UAV; (b) diffuse component of reference [9]; (c) diffuse component of ours; (d) detail comparison 1;(e) detail comparison 2;(f) detail comparison 3; (g) kernel estimation results of reference [9]; (h) kernel estimation results of ours)

3) 由图 8(d)(e)(f)分析可得:复原图像边缘细节更加明显,重影现象得到较好的改善;

4) 整体实验证明:本文算法可以有效应用于无人机运动模糊图像盲复原,实用性较强。

5 结论

本文提出MFRC运动模糊盲复原算法,并通过理论与实验验证了运动模糊盲复原算法的可行性与优势。主要得到以下结论:

1) 本文利用LWTV对模糊图像进行显著边缘检测,有利于提高模糊核模型抗噪性能;

2) 本文改进的平滑正则项在提高平滑约束效果的同时,进一步抑制了模糊核中的异常值;

3) 超拉普拉斯先验项可以使得复原图像的边缘细节更自然;

4) 保边正则项的加入使复原的图像边缘更清晰;

5) 相同条件下,本文改进的模型较其他对比模型,图像复原效果更好;

6) MFRC运动模糊盲复原算法的鲁棒性强,且具有一定的实用性。

参考文献

  • [1] You Y L, Kaveh M. A regularization approach to joint blur identification and image restoration[J]. IEEE Transactions on Image Processing, 1996, 5(3): 416–428. [DOI:10.1109/83.491316]
  • [2] Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787–794. [DOI:10.1145/1141911.1141956]
  • [3] Krishnan D, Fergus R. Fast image deconvolution using hyper-Laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems. Vancouver, British Columbia, Canada: Curran Associates Inc, 2009: 1033-1041.
  • [4] Almeida M S C, Almeida L B. Blind and Semi-Blind Deblurring of Natural Images[J]. IEEE Transactions on Image Processing, 2010, 19(1): 36–52. [DOI:10.1109/TIP.2009.2031231]
  • [5] Xu L, Jia J Y. Two-Phase Kernel Estimation for Robust Motion Deblurring[C]//Proceedings of the 11th European Conference on Computer Vision Computer Vision-ECCV 2010. Heraklion, Crete, Greece: Springer, 2010: 157-170. [DOI:10.1007/978-3-642-15549-9_12]
  • [6] Xu L, Zheng S C, Jia J Y. Unnatural L0 Sparse representation for natural image deblurring[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR, USA: IEEE, 2013: 1107-1114. [DOI:10.1109/CVPR.2013.147]
  • [7] Li W H, Li Q L, Gong W G, et al. Total variation blind deconvolution employing split Bregman iteration[J]. Journal of Visual Communication and Image Representation, 2012, 23(3): 409–417. [DOI:10.1016/j.jvcir.2011.12.003]
  • [8] Tang S, Gong W G, Zhong J H. Sparsity and smoothing multi-regularization constraints for blind image deblurring[J]. Journal of Software, 2013, 24(5): 1143–1154. [唐述, 龚卫国, 仲建华. 稀疏平滑特性的多正则化约束图像盲复原方法[J]. 软件学报, 2013, 24(5): 1143–1154. ] [DOI:10.3724/SP.J.1001.2013.04256]
  • [9] Tang S, Xie X Z. Multi-regularization hybrid constraints method for blind image restoration[J]. Journal of Electronics & Information Technology, 2015, 37(4): 770–776. [唐述, 谢显中. 多正则化混合约束的模糊图像盲复原方法[J]. 电子与信息学报, 2015, 37(4): 770–776. ] [DOI:10.11999/JEIT140949]
  • [10] Pan J S, Liu R, Su Z X, et al. Kernel estimation form salient structure for robust motion deblurring[J]. Signal Processing:Image Communication, 2013, 28(9): 1156–1170. [DOI:10.1016/j.image.2013.05.001]
  • [11] Gu Y T, Wu N H. Image-analogies based super resolution[J]. Journal of Software, 2008, 19(4): 851–860. [古元亭, 吴恩华. 基于图像类推的超分辨技术[J]. 软件学报, 2008, 19(4): 851–860. ] [DOI:10.3724/SP.J.1001.2008.00851]
  • [12] Shan Q, Jia J, Agarwala A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): 73:1–73:10. [DOI:10.1145/1399504.1360672]
  • [13] Fu Y, Wu X, Zhou J L. Image motion deblurring with multi-regularization constraints[J]. Advanced Engineering Sciences, 2017, 49(3): 123–128. [符颖, 吴锡, 周激流. 基于多正则化约束的图像去运动模糊[J]. 工程科学与技术, 2017, 49(3): 123–128. ] [DOI:10.15961/j.jsuese.201600037]
  • [14] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment:from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600–612. [DOI:10.1109/TIP.2003.819861]