|
发布时间: 2017-08-16 |
图像处理和编码 |
|
|
收稿日期: 2017-02-14; 修回日期: 2017-04-24
基金项目: 浙江省自然科学基金项目(Y1111213)
第一作者简介: 陈华华(1975—), 男, 副教授, 2005年于浙江大学获通信与信息系统专业工学博士学位, 主要研究方向为图像处理、计算机视觉、模式识别。E-mail:iseealv@hdu.edu.cn
中图法分类号: TN911.73
文献标识码: A
文章编号: 1006-8961(2017)08-1034-11
|
摘要
目的 在图像的获取过程中,成像设备与拍摄场景发生了相对位移,导致获取的实际图像存在信息丢失、模糊退化的现象,这极大地影响了图像的质量和人们的视觉体验,也影响了图像的后续处理。盲去卷积旨在从观测图像中估计模糊核并获得清晰图像,为此提出了一种基于强边缘的运动图像盲去模糊算法。方法 结合图像梯度稀疏性,采用自适应l0范数约束待估计图像梯度的强边缘;针对模糊核稀疏性和连续性,以l0-l2范数分别约束模糊核的像素和梯度,同时把模糊核归一化先验作为正则项引入模型中,以强边缘指导模糊核估计。在去模糊阶段,结合全变分与超拉普拉斯正则化方法的优点,将两种方法复原的图像取平均,以减轻复原图像中的振铃效应,同时保留更多的图像细节。结果 为了检验本文算法的有效性,对Levin测试集和实际拍摄的模糊图像分别进行仿真,并同现有算法进行比较。Levin测试集上的实验结果表明,提出的盲反卷积成功率为100%且在对比算法中具有最高PSNR;实际彩色图像的盲反卷积实验表明,相比于其他算法,本文算法获得的模糊核具有更准确的支撑和较少的噪点,获得的清晰图像具有较优的视觉效果。结论 该方法从定量和定性比较上都体现了较好的去运动模糊能力,可适用于遥感、医学等领域。
关键词
盲去模糊; 强边缘; 模糊核; 振铃效应; 稀疏性
Abstract
Objective
In image acquisition, the relative displacement between the imaging device and shooting scene causes loss of information and blurring degradation, which significantly affects image quality and visual experience and results in various complicated processing on the images.Non-blind deconvolution obtains a sharp latent image from a blurred image with a known blur kernel.By contrast, blind deconvolution, which aims to estimate the unknown blur from the observed blurred image and recover a sharp original image, is challenging.Thus, blind deconvolution has been an active research area in image processing communities over the last four decades.Given the problem of image deblurring, most approaches introduce an image prior that favors natural images over degraded ones.This approach can achieve high-quality results.Thus, a blind deblurring approach based on strong edges is proposed in this study.
Method
The sparsity of image gradient is combined with the strong edges of the latent image gradient and then regularized by an adaptive l0-norm.The adaptive l0-norm is a weighted metric that measures the usefulness of gradients, the large metric corresponding to pixels in flat regions or rich-texture regions, and the small metric corresponding to pixels in strong-edged regions.For the sparsity and the continuity of the blur kernel, the pixels and the gradient of the blur kernel are regularized using the l0 and l2 norms, respectively.Meanwhile, the blur kernel is normalized in advanced and introduced into the optimization model as a regularized term, where strong edges are used to direct the blur kernel estimate.The prior sparse gradient image and the compound priors for sparsity of the gradient of the blur kernel, the continuity and the normalization of the blur kernel are considered; thus the proposed model favors sharp images over the degraded images.Obtaining an accurate solution using the proposed model is slightly complicated.Thus, an alternating iteration approach is performed to solve the model by updating the process iteration through two easy sub-problems, namely, latent image estimate and blur kernel estimate.An augmented Lagrangian method (ALM) is used to identify the latent image, and a quadratic function method is used to determine the blur kernel.For the latent image solution, the sub-problem is equivalently formulated as an unconstrained optimization problem by introducing an auxiliary variable
Key words
blind deblurring; strong edges; blur kernel; ringing effect; sparsity
0 引言
在现代化的图像应用中,例如航天图像,生物医学成像,计算摄影和显微成像等,单幅图像的盲反卷积已经引起了广泛的关注,对于整图唯一的模糊核
$\mathit{\boldsymbol{B}} = \mathit{\boldsymbol{L}} \otimes \mathit{\boldsymbol{k + \xi }}$ | (1) |
式中,⊗表示卷积操作,
为了减轻盲反卷积的病态性,往往需要将图像先验与模糊核先验作为正则项加入图像盲去模糊模型中。Fergus[1]指出自然图像梯度服从重尾分布,并且假设模糊核服从混合指数分布,在其盲去模糊模型中以混合高斯模型刻画重尾分布,然后变分推演估计出模糊核。Shan[2]以分段函数刻画图像的重尾分布先验,同时为了抑制振铃效应引入局部先验,提高了模糊核的估计精度。Krishnan[3]提出一种非自然图像先验,在其盲去模糊模型中以l1/l2范数约束图像梯度稀疏性,以l1范数约束模糊核稀疏性取得了较好的效果。之后Kotera[4]和Xu[5]分别提出基于l0.3范数和基于逼近l0范数的MAP型盲去模糊算法。Shao[6]引入l0-l2正则项同时约束待估图像与模糊核,并利用交替迭代、算子分裂和增广拉格朗日法求解其盲去模糊模型,导出一种快速图像盲去模糊算法。Daniele和Paolo[7]重新审视了基于l1范数的盲去模糊方法并且提升了模糊核的估计精度,详细地分析了所提方法成功的相关细节。Zuo[8]采用lp范数约束图像梯度并采用数据驱动方式为盲去模糊的各个阶段学习出相应先验。此外,在某种特定条件下,模糊核可以被假设为分段且足够光滑的曲线,因此有学者[5, 9-10]认为模糊核服从高斯分布并在其盲去模糊模型中引入l2范数约束模糊核解空间。
在运动图像盲复原中,图像强边缘有助于提高模糊核估计精度[6, 10-11]。为此,本文先结合图像梯度稀疏性,利用其l0范数作为正则项估计出中间图像的强边缘。运动图像的模糊核具有稀疏性,以l0范数约束模糊核,同时,为确保模糊核中元素不发生突变,即模糊核的连续性,采用l2范数约束模糊核的梯度,此外,模糊核元素往往具有归一化特性,在此基础上以强边缘指导模糊核估计。结合以上先验,本文提出了基于强边缘的盲去模糊方法。为进一步减轻非盲去模糊过程中的振铃效应且更多地保留图像细节,分别采用TV范数和lp范数作为正则项求解清晰图像,然后再将求得的结果取平均,作为最终的清晰图像。实验结果表明,提出的盲去模糊算法能够准确地估计模糊核和复原图像。
1 提出的盲去模糊模型
目前,众多盲去模糊方法采用先估计中间清晰图像,然后利用中间清晰图像的梯度信息估计模糊核。研究表明[5, 12]直接利用图像像素信息估计获得的模糊核精度不高,使用图像梯度信息则可提高模糊核估计精度。为此,采用先估计清晰图像的梯度,然后由梯度图像估计模糊核以提高其估计精度。考虑到图像梯度的稀疏性先验,引入l0范数约束图像梯度;考虑到模糊核的稀疏性,引入l0范数约束模糊核;为确保模糊核元素不发生突变,即模糊核具有连续性,引入l2范数约束模糊核梯度;结合以上先验以及模糊核元素的归一化特性,提出了基于l0-l2范数的多先验协同盲去模糊模型,即
$\begin{array}{l} \mathop {\min }\limits_{x,k} \frac{1}{2}\left\| {\mathit{\boldsymbol{x}} \otimes \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + \gamma {\left\| \mathit{\boldsymbol{x}} \right\|_0} + \\ \quad \quad \quad {\eta _1}{\left\| \mathit{\boldsymbol{k}} \right\|_0} + {\eta _2}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2\\ \quad \quad \quad \quad {\rm{s}}{\rm{.t}}.\;\sum\limits_i {{k_i} = 1} \end{array}$ | (2) |
式中,
Xu[5]和Pan[10]指出并非所有的边缘都有利于模糊核的估计,因此采用Pan[10]提出的自适应加权方式对待估清晰图像的不同区域采用不同的正则化参数,以抑制微小细节,从而恢复出有利于模糊核估计的强边缘。于是盲去模糊模型式(2) 改写为
$\begin{array}{l} \mathop {\min }\limits_{x,k} \frac{1}{2}\left\| {\mathit{\boldsymbol{x}} \otimes \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + \gamma \mathit{\boldsymbol{\kappa }} \circ {\left\| \mathit{\boldsymbol{x}} \right\|_0} + \\ \quad \quad \quad {\eta _1}{\left\| \mathit{\boldsymbol{k}} \right\|_0} + {\eta _2}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2\\ \quad \quad \quad \quad {\rm{s}}{\rm{.t}}.\;\sum\limits_i {{k_i} = 1} \end{array}$ | (3) |
式中,
$\mathit{\boldsymbol{r}}\left( p \right) = \frac{{\left\| {\sum\limits_{q \in {N_h}\left( p \right)} {\nabla \mathit{\boldsymbol{B}}\left( q \right)} } \right\|_2^2}}{{\left\| {\sum\limits_{q \in {N_h}\left( p \right)} {\nabla \mathit{\boldsymbol{B}}\left( q \right)} } \right\|_2^2 + 0.5}}$ | (4) |
式中,
2 模型求解
直接对模型式(3) 优化
$\mathop {\min }\limits_x \frac{1}{2}\left\| {\mathit{\boldsymbol{x}} \otimes \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + \gamma \mathit{\boldsymbol{\kappa }} \circ {\left\| \mathit{\boldsymbol{x}} \right\|_0}$ | (5) |
$\begin{array}{l} \mathop {\min }\limits_k \frac{1}{2}\left\| {\mathit{\boldsymbol{x}} \otimes \mathit{\boldsymbol{k}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + {\eta _1}{\left\| \mathit{\boldsymbol{k}} \right\|_0} + {\eta _2}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2\\ \quad \quad \quad \quad \quad {\rm{s}}{\rm{.t}}.\;\sum\limits_i {{k_i} = 1} \end{array}$ | (6) |
在模型式(5) 中固定
2.1 中间清晰图像的求解
式(5) 含l0范数,是一个高度非凸最优化问题,求解l0范数是一个NP难问题。为此采用增广拉格朗日方法,引入辅助变量
$\begin{array}{l} \mathop {\min }\limits_{x,w} \frac{1}{2}\left\| {\mathit{\boldsymbol{Kx}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + \gamma \mathit{\boldsymbol{\kappa }} \circ {\left\| \mathit{\boldsymbol{w}} \right\|_0}\\ \quad \quad \quad \;{\rm{s}}{\rm{.t}}.\mathit{\boldsymbol{w}} = \mathit{\boldsymbol{x}} \end{array}$ | (7) |
式中,
$\begin{array}{l} \left( {{\mathit{\boldsymbol{w}}^{l + 1}},{\mathit{\boldsymbol{x}}^{l + 1}}} \right) = \mathop {\min }\limits_{x,w} \frac{1}{2}\left\| {\mathit{\boldsymbol{Kx}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + \gamma \mathit{\boldsymbol{\kappa }} \circ {\left\| \mathit{\boldsymbol{w}} \right\|_0} + \\ \quad \quad \quad \quad {\left( {\mathit{\boldsymbol{\mu }}_x^l} \right)^{\rm{T}}}\left( {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{w}}} \right) + \frac{{\gamma _x^l}}{2}\left\| {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{w}}} \right\|_2^2 \end{array}$ | (8) |
式中,
$\mathit{\boldsymbol{\mu }}_x^{l + 1} = \mathit{\boldsymbol{\mu }}_x^l + \gamma _x^l\left( {{\mathit{\boldsymbol{x}}^{l + 1}} - {\mathit{\boldsymbol{w}}^{l + 1}}} \right)$ | (9) |
原则上拉格朗日惩罚参数
式(8) 可转换为两个优化问题间的交替迭代,即
${\mathit{\boldsymbol{w}}^{l + 1}} = \mathop {\min }\limits_w \left[ {\begin{array}{*{20}{l}} {\frac{{\gamma _x^l}}{2}\left\| {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{w}}} \right\|_2^2 + }\\ {{{\left( {\mathit{\boldsymbol{\mu }}_x^l} \right)}^{\rm{T}}}\left( {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{w}}} \right) + }\\ {\gamma \mathit{\boldsymbol{\kappa }} \circ {{\left\| \mathit{\boldsymbol{w}} \right\|}_0}} \end{array}} \right]$ | (10) |
${\mathit{\boldsymbol{x}}^{l + 1}} = \mathop {\min }\limits_x \left[ {\begin{array}{*{20}{l}} {\frac{1}{2}\left\| {\mathit{\boldsymbol{Kx}} - \mathit{\boldsymbol{y}}} \right\|_2^2 + }\\ {{{\left( {\mathit{\boldsymbol{\mu }}_x^l} \right)}^{\rm{T}}}\left( {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{w}}} \right) + }\\ {\frac{{\gamma _x^l}}{2}\left\| {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{w}}} \right\|_2^2} \end{array}} \right]$ | (11) |
式(10) 经整理后得
${\mathit{\boldsymbol{w}}^{l + 1}} = \mathop {\min }\limits_w \left[ {\begin{array}{*{20}{l}} {\frac{{\gamma _x^l}}{2}\left\| {\mathit{\boldsymbol{w}} - \left( {{\mathit{\boldsymbol{x}}^l} + \mathit{\boldsymbol{\mu }}_x^l/\gamma _x^l} \right)} \right\|_2^2 + }\\ {\gamma \mathit{\boldsymbol{\kappa }} \circ {{\left\| \mathit{\boldsymbol{w}} \right\|}_0}} \end{array}} \right]$ | (12) |
式(12) 可以通过硬阈值方法求解,即
${\mathit{\boldsymbol{w}}^{l + 1}} = {\Theta _{{\rm{Hard}}}}\left( {{\mathit{\boldsymbol{x}}^l} + \mathit{\boldsymbol{\mu }}_x^l/\gamma _x^l,{{\left( {2\gamma \mathit{\boldsymbol{\kappa }}/\gamma _x^l} \right)}^{\frac{1}{2}}}} \right)$ | (13) |
式中,ΘHard定义为ΘHard(
$\begin{array}{l} \quad \left( {{\mathit{\boldsymbol{K}}^{\rm{T}}}\mathit{\boldsymbol{K}} + \gamma _x^l\mathit{\boldsymbol{I}}} \right)\mathit{\boldsymbol{x}}_x^l = \\ {\mathit{\boldsymbol{K}}^{\rm{T}}}\mathit{\boldsymbol{y + }}\gamma _x^l\left( {\mathit{\boldsymbol{w}} - \mathit{\boldsymbol{\mu }}_x^l/\gamma _x^l} \right) \end{array}$ | (14) |
式中,
${\mathit{\boldsymbol{x}}^{l + 1}} = {F^{ - 1}}\left( {\frac{{\overline {F\left( \mathit{\boldsymbol{k}} \right)} F\left( \mathit{\boldsymbol{y}} \right) + \gamma _x^lF\left( {\mathit{\boldsymbol{w}} - {\mathit{\boldsymbol{\mu }}_x}/\gamma _x^l} \right)}}{{\overline {F\left( \mathit{\boldsymbol{k}} \right)} F\left( \mathit{\boldsymbol{k}} \right) + \gamma _x^l}}} \right)$ | (15) |
式中,
输入:模糊图像
1) 通过计算式(13) 更新辅助变量
2) 通过计算式(15) 更新中间清晰图像
3) 更新拉格朗日乘子
$\mathit{\boldsymbol{\mu }}_x^{l + 1} = \mathit{\boldsymbol{\mu }}_x^l + \gamma _x^l\left( {{\mathit{\boldsymbol{x}}^{l + 1}} - {\mathit{\boldsymbol{w}}^{l + 1}}} \right)$ |
4) 更新惩罚参数
$\gamma _x^{l + 1} = {\rho _x} \times \gamma _x^l$ |
5) 检查算法收敛条件:
条件1:
${\left\| {{\mathit{\boldsymbol{w}}^{l + 1}} - {\mathit{\boldsymbol{x}}^{l + 1}}} \right\|_\infty }<\varepsilon $ |
条件2:
6) 迭代次数加1
$l = l + 1$ |
直到:满足收敛条件。
输出:中间梯度图像
上述过程中的2个收敛条件,只要满足条件1或条件2中的任何一个,算法都将停止迭代,收敛条件1中l∞范数表示向量中各元素分量绝对值的最大值。
2.2 半二次函数法求解模糊核
由式(5) 估计获得清晰边缘图像
$\begin{array}{l} \quad \mathop {\min }\limits_{k,g} \frac{1}{2}\sum\limits_{d \in \Lambda } {\left\| {{\mathit{\boldsymbol{X}}_d}\mathit{\boldsymbol{k}} - {\mathit{\boldsymbol{y}}_d}} \right\|_2^2} + {\eta _1}{\left\| \mathit{\boldsymbol{g}} \right\|_0} + \\ {\eta _2}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2 + \frac{{{\delta _1}}}{2}\left\| {\mathit{\boldsymbol{k}} - \mathit{\boldsymbol{g}}} \right\|_2^2 + \frac{{{\delta _2}}}{2}\left\| {{{\bf{1}}^{\rm{T}}}\mathit{\boldsymbol{k}} - 1} \right\|_2^2 \end{array}$ | (16) |
式中,
采用交替迭代的方式求解式(16)。首先将其转化为两个易求的子问题,即
${\mathit{\boldsymbol{g}}^{l + 1}} = \mathop {\min }\limits_g \frac{{{\delta _1}}}{2}\left\| {\mathit{\boldsymbol{g}} - {\mathit{\boldsymbol{k}}^l}} \right\|_2^2 + {\eta _1}{\left\| \mathit{\boldsymbol{g}} \right\|_0}$ | (17) |
$\begin{array}{l} {\mathit{\boldsymbol{k}}^{l + 1}} = \mathop {\min }\limits_k \left[ {\frac{1}{2}} \right.\sum\limits_{d \in \Lambda } {\left\| {{\mathit{\boldsymbol{X}}_d}\mathit{\boldsymbol{k}} - {\mathit{\boldsymbol{y}}_d}} \right\|_2^2} + {\eta _2}\left\| {\nabla \mathit{\boldsymbol{k}}} \right\|_2^2 + \\ \quad \quad \quad \left. {\frac{{{\delta _1}}}{2}\left\| {\mathit{\boldsymbol{k}} - {\mathit{\boldsymbol{g}}^{l + 1}}} \right\|_2^2 + \frac{{{\delta _2}}}{2}\left\| {{{\bf{1}}^{\rm{T}}}\mathit{\boldsymbol{k}} - 1} \right\|_2^2} \right] \end{array}$ | (18) |
式中,
式(17) 可以使用硬阈值方法求得,即
${\mathit{\boldsymbol{g}}^{l + 1}} = {\Theta _{{\rm{Hard}}}}\left( {{\mathit{\boldsymbol{k}}^l},{{\left( {2{\eta _1}/{\delta _1}} \right)}^{\frac{1}{2}}}} \right)$ | (19) |
式(18) 是一个二次函数优化问题,它具有闭合形式的解,即
$\begin{array}{l} \left( {\sum\limits_{d \in \Lambda } {\mathit{\boldsymbol{X}}_d^{\rm{T}}{\mathit{\boldsymbol{X}}_d} + 2{\eta _2}{\nabla ^{\rm{T}}}\nabla + {\delta _2}\mathit{\pmb{11}}^ {\rm{T}} + {\delta _1}\mathit{\boldsymbol{I}}} } \right){\mathit{\boldsymbol{k}}^{l + 1}} = \\ \quad \quad \quad \quad \quad \sum\limits_{d \in \Lambda } {\mathit{\boldsymbol{X}}_d^{\rm{T}}{\mathit{\boldsymbol{y}}_d}} + {\delta _2}{\bf{1}} + {\delta _1}{\mathit{\boldsymbol{g}}^{l + 1}} \end{array}$ | (20) |
$\begin{array}{l} {\mathit{\boldsymbol{k}}^{l + 1}} = {\left( {\sum\limits_{d \in \Lambda } {\mathit{\boldsymbol{X}}_d^{\rm{T}}{\mathit{\boldsymbol{X}}_d} + 2{\eta _2}{\nabla ^{\rm{T}}}\nabla + {\delta _2}\mathit{\pmb{11}}^ {\rm{T}} + {\delta _1}\mathit{\boldsymbol{I}}} } \right)^{ - 1}} \times \\ \quad \quad \quad \quad \quad \left( {\sum\limits_{d \in \Lambda } {\mathit{\boldsymbol{X}}_d^{\rm{T}}{\mathit{\boldsymbol{y}}_d}} + {\delta _2}{\bf{1}} + {\delta _1}{\mathit{\boldsymbol{g}}^{l + 1}}} \right) \end{array}$ | (21) |
式中,
输入:模糊图像
迭代:
1) 通过计算式(19) 更新辅助变量
2) 通过计算式(21) 更新中间清晰图像
3) 更新惩罚参数
4) 检查算法收敛条件:
5) 迭代次数加1:
直到:满足收敛条件。
输出:模糊核
上述过程中第4) 步收敛条件成立则停止迭代并输出模糊核。
3 图像非盲去模糊
获得模糊核
$\mathop {\min }\limits_{{L_1}} \left\| {{\mathit{\boldsymbol{L}}_1} \otimes \mathit{\boldsymbol{k}} - {\mathit{\boldsymbol{I}}_s}} \right\|_2^2 + \rho {\left\| {\nabla {\mathit{\boldsymbol{L}}_1}} \right\|^\alpha }$ | (22) |
式中,
$\mathop {\min }\limits_{{L_2}} \left\| {{\mathit{\boldsymbol{L}}_2} \otimes \mathit{\boldsymbol{k}} - {\mathit{\boldsymbol{I}}_s}} \right\|_2^2 + \mu {\left\| {\nabla {\mathit{\boldsymbol{L}}_2}} \right\|_{TV}}$ | (23) |
${\left\| {\nabla {\mathit{\boldsymbol{L}}_2}} \right\|_{TV}} = \sqrt {{{\left( {{\partial _x}{\mathit{\boldsymbol{L}}_2}} \right)}^2} + {{\left( {{\partial _y}{\mathit{\boldsymbol{L}}_2}} \right)}^2}} $ | (24) |
式中,
最终的清晰图像
$\mathit{\boldsymbol{L}} = \left( {{\mathit{\boldsymbol{L}}_1} + {\mathit{\boldsymbol{L}}_2}} \right)/2$ | (25) |
4 实验结果与分析
4.1 Levin标准测试集实验
Levin[17]的测试集包含32幅模糊图像,由4幅清晰图像分别与8个尺寸范围从13×13像素到27×27像素大小不同的模糊核卷积产生的。图 1给出了这4幅清晰图像和8个真实的模糊核。
图 2给出了Levin[17]测试图像的盲去模糊误差比值的累积直方图。其中,盲去模糊误差比值定义[17]为
$RDE = \frac{{\sum\limits_{a = 1}^A {\sum\limits_{b = 1}^B {{{\left\| {u\left( {a,b} \right) - \bar u\left( {a,b} \right)} \right\|}^2}} } }}{{\sum\limits_{a = 1}^A {\sum\limits_{b = 1}^B {{{\left\| {u\left( {a,b} \right) - {u_r}\left( {a,b} \right)} \right\|}^2}} } }}$ | (26) |
式中,
此外,图 3给出了本文算法与其他盲去模糊算法在Levin[17]的测试集图像im02上的8幅模糊图像上估计得到的模糊核。图 3中从上到下依次对应真实的模糊核,Fergus算法[1],Cho和Lee算法[18],Levin算法[12],Xu和Jia算法[5],Zuo算法[8],Pan算法[10]以及本文算法估计得到的模糊核。对比图 3中的真实模糊核发现,本文算法估计的模糊核与其他算法估计出来的模糊核相比拥有更准确的支撑和较少的孤立噪点。
图 4针对测试图像-04和模糊核-04生成的模糊图像,给出了本文算法与其他几种盲去模糊算法的最终反卷积得到的清晰图像及估计出的模糊核。为了从客观上验证算法的有效性,同时计算了反卷积得到的清晰图像的峰值信噪(PSNR)。图 4中从左到右从上到下依次为模糊图像,已知真实模糊核下的使用本文图像非盲去模糊算法得到的图像,Fergus算法[1],Pan算法[10],Levin算法[12],Krishnan算法[3],Zuo算法[8],Xu算法[5]以及本文算法。对比真实图像及对应的模糊核可知,Fergus算法[1]不能很好地从大尺度的模糊图像估计出模糊核,针对im04-ker04的模糊图像的盲反卷积复原图像完全失败。对比真实模糊核-04,Krishnan算法[3],Levin算法[12],估计的模糊核与真实的模糊核之间存在比较大偏差;Pan算法[10]获得的模糊核存在明显的拖尾,而本文方法估计的模糊核更接近于真实模糊核。从视觉效果上,本文算法以及文献[5, 8, 12]的最终复原清晰图像优于文献[1, 3, 10]。从客观评价来看,本文算法估计出清晰图像的PSNR为30.59 dB,在对比算法中具有最高的PSNR。
4.2 实际彩色模糊图像的实验
为了进一步验证本文算法的有效性,采用实际彩色模糊图像作为实验数据,并与文献[1, 3-5, 8, 10, 18-19]所提算法进行比较。获得模糊核后,将使用式(25) 得到最终的清晰图像。图 5—图 7列出了不同模糊程度的模糊图像及各种算法估计获得的模糊核和最终反卷积得到的清晰图像。由图 5—图 7可知,本文算法可以较好地去除实际彩色图像的运动模糊,具有较高的视觉质量,这得益于模糊核的准确估计。结合清晰图像和估计的模糊核发现,本文算法估计的模糊核具有更准确的支撑和更少的噪声,这也使获得的清晰图像具有更清晰的细节以及更为锐化的边缘。除Cai[19]算法外,3幅图像模糊核依次设置为31×31像素,55×55像素,51×51像素。由图 5图像的盲去模糊结果可知,Kotera算法[4]估计的模糊核含有较多的噪点,导致最终的清晰图像含有大量的振铃;Fergus算法[1],Pan算法[10]以及Krishnan算法[3]估计的清晰图像在视觉效果上优于Kotera算法[4]估计的清晰图像,但Fergus算法[1]估计的模糊核仍有一定程度的拖尾;而Krishnan算法[3]和Pan算法[10]的模糊核含有明显的孤立噪点。Cai算法[19]获得的模糊核类似于脉冲函数,其获得的“清晰图像”较为模糊;Xu和Jia[5]获得的模糊核有少量孤立噪声存在,其清晰图像左上方出现了振铃。相比之下只有Zuo算法[8]获得清晰图像在视觉上与本文最为接近,但Zuo算法获得的图像右上角的“小白块”处有轻微的振铃现象。由图 6和图 7模糊图像的复原实验可知,Kotera算法[4]和Krishnan算法[3]复原的清晰图像视觉效果较差;Cho和Lee[18]算法也不能从wall模糊图像中较好地估计出模糊核,导致最终的清晰图像出现大量的伪迹。Zuo算法[8]复原wall图像时也出现了伪迹,复原roma图像出现严重的重影,极大的影响了视觉效果。由比较可知,本文算法均能从3幅模糊图像中获得较好的清晰图像和模糊核。实验结果表明,本文算法可以从实际模糊图像中较准确地估计出模糊核,使得最终的清晰图像具有较高的视觉质量。
为了更好地评价本文算法,表 1给出了本文算法与其他各种盲去模糊算法在不同尺寸模糊图像上的计算时间。由表 1可知,本文算法采用l0范数作为正则约束项进行优化,过程比较耗时,因此在计算时间上并不是最优的。后续研究将通过C+ +优化算法代码并结合GPU并行计算提升算法运行效率。
表 1
各算法在不同尺寸模糊图像上的计算时间
Table 1
Computation time of different methods on blurred image with different size
5 结论
在基于正则化的图像盲复原框架下,提出了一种基于强边缘的盲去模糊算法。采用自适应加权l0约束图像,隐式地估计出图像强边缘,用于指导模糊核估计;利用l0约束模糊核像素和范数l2约束模糊核梯度,确保模糊核的稀疏性和连续性;最后把模糊核归一化先验加入盲去模糊模型,并给出了最终的优化模型及相应的求解算法。实验结果表明,相比于其他算法,本文算法获得的模糊核具有更准确的支撑和较少的噪点,获得的清晰图像具有较优的视觉效果。
本文盲去模糊模型所含参数较多,实际调参比较困难,后期工作将通过数据驱动的方式为模型自动学习正则化参数,进一步提高模糊核估计精度;此外,本文算法的模糊核需要人工设定模糊大小,并不能由模糊图像估计出模糊核的尺度,因此有必要研究模糊核尺寸自适应调整的盲去模糊算法。同时,算法代码优化和并行实现也是后续的研究内容之一。
参考文献
-
[1] Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics, 2006, 25(3): 787–794. [DOI:10.1145/1141911.1141956]
-
[2] Shan Q, Jia J Y, Agarwala A. High-quality motion deblurring from a single image[J]. ACM Transactions on Graphics, 2008, 27(3): #73. [DOI:10.1145/1360612.1360672]
-
[3] Krishnan D, Tay T, Fergus R.Blind deconvolution using a normalized sparsity measure[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence, RI:IEEE, 2011:233-240.[DOI:10.1109/CVPR.2011.5995521]
-
[4] Kotera J, Šroubek F, Milanfar P.Blind deconvolution using alternating maximum a posteriori estimation with heavy-tailed priors[C]//Proceedings of the 15th International Conference on Computer Analysis of Images and Patterns.Berlin Heidelberg:Springer, 2013:59-66.[DOI:10.1007/978-3-642-40246-3_8]
-
[5] Xu L, Zheng S C, Jia J Y.Unnatural L0 sparse representation for natural image deblurring[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland, OR:IEEE, 2013:1107-1114.[DOI:10.1109/CVPR.2013.147]
-
[6] Shao W Z, Li H B, Elad M. Bi-l0-l2-norm regularization for blind motion deblurring[J]. Journal of Visual Communication and Image Representation, 2015, 33: 42–59. [DOI:10.1016/j.jvcir.2015.08.017]
-
[7] Perrone D, Favaro P.Total variation blind deconvolution:the devil is in the details[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus, OH:IEEE, 2014:2909-2916.[DOI:10.1109/CVPR.2014.372]
-
[8] Zuo W M, Ren D W, Gu S H, et al.Discriminative learning of iteration-wise priors for blind deconvolution[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston, MA:IEEE, 2015:3232-3240.[DOI:10.1109/CVPR.2015.7298943]
-
[9] Sun L B, Cho S, Wang J, et al.Edge-based blur kernel estimation using patch priors[C]//Proceedings of the 2013 IEEE International Conference on Computational Photography.Cambridge, MA, USA:IEEE, 2013:1-8.[DOI:10.1109/ICCPhot.2013.6528301]
-
[10] Pan J S, Su Z X. Fast l0-regularized kernel estimation for robust motion deblurring[J]. IEEE Signal Processing Letters, 2013, 20(9): 841–844. [DOI:10.1109/LSP.2013.2261986]
-
[11] Hu Z, Yang M H.Good regions to deblur[C]//Proceedings of the 12th European Conference on Computer Vision.Berlin Heidelberg:Springer, 2012:59-72.[DOI:10.1007/978-3-642-33715-4_5]
-
[12] Levin A, Weiss Y, Durand F, et al.Efficient marginal likelihood optimization in blind deconvolution[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence, RI:IEEE, 2011:2657-2664.[DOI:10.1109/CVPR.2011.5995308]
-
[13] Xu L, Lu C W, Xu Y, et al. Image smoothing via L0 gradient minimization[J]. ACM Transactions on Graphics, 2011, 30(6): #174. [DOI:10.1145/2070781.2024208]
-
[14] Krishnan D, Fergus R.Fast image deconvolution using hyper-Laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems.Vancouver, British Columbia, Canada:ACM, 2009:1033-1041.
-
[15] Chan S H, Khoshabeh R, Gibson K B, et al.An augmented Lagrangian method for video restoration[C]//Proceedings of the 2011 IEEE International Conference on Acoustics, Speech and Signal Processing.Prague, Czech Republic:IEEE, 2011:941-944.[DOI:10.1109/ICASSP.2011.5946560]
-
[16] Zhang X X, Wang R G, Tian Y H, et al.Image deblurring using robust sparsity priors[C]//Proceedings of the 2015 IEEE International Conference on Image Processing.Quebec City, Canada:IEEE, 2015:138-142.[DOI:10.1109/ICIP.2015.7350775]
-
[17] Levin A, Weiss Y, Durand F, et al. Understanding blind deconvolution algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2354–2367. [DOI:10.1109/TPAMI.2011.148]
-
[18] Cho S, Lee S. Fast motion deblurring[J]. ACM Transactions on Graphics, 2009, 28(5): #145. [DOI:10.1145/1618452.1618491]
-
[19] Cai J F, Ji H, Liu C Q, et al. Framelet-based blind motion deblurring from a single image[J]. IEEE Transactions on Image Processing, 2012, 21(2): 562–572. [DOI:10.1109/TIP.2011.2164413]