|
发布时间: 2019-02-16 |
图像处理和编码 |
|
|
收稿日期: 2018-06-20; 修回日期: 2018-08-20
基金项目: 国家自然科学基金项目(61401132,61771418);浙江省自然科学基金项目(LY17F020027)
第一作者简介:
杨洁, 1990年生, 男, 硕士研究生, 主要研究方向为视频图像处理、Android图像处理软件开发。E-mail:yangjie2107@hotmail.com;
谢菲, 男, 硕士研究生, 主要研究方向为多路视频图像分析与协同编码。E-mail:walkman159@163.com; 张旭光, 男, 教授, 博士, 主要研究方向为视频图像处理与行为分析。E-mail:zhangxg@hdu.edu.cn.
中图法分类号: TP391.6
文献标识码: A
文章编号: 1006-8961(2019)02-0180-12
|
摘要
目的 图像的梯度分布被广泛应用在自然图像去模糊中,但研究结果显示先前的梯度参数估计方法不能很好地适应图像局部纹理变化。为此根据图像分块平稳的特点提出一种采用局部自适应梯度稀疏模型的图像去模糊模型。方法 该模型采用广义高斯分布(GGD)来描述图像不同区域的梯度分布,在最大后验概率框架下建立自适应梯度稀疏模型,然后采用变量分裂交替优化算法来求解模型中的最小化问题。在GGD参数估计中,先对模糊图像进行预处理,并将预处理后的图像分成纹理区和平滑区,仅对纹理区采用全局收敛算法进行GGD参数估计,而对平滑区设置固定参数值。结果 本文算法与近年来常用的去模糊去噪算法在不同类型的自然图像上进行了对比。实验结果表明,本文的参数估计法能精确地表达图像局部纹理变化,当在低噪声(加1%噪声),分别加入模糊核1和2的条件下,经本文算法去除模糊和噪声后的图像相较对比算法能分别提高信噪比值0.04~2.96 dB和0.14~3.19 dB;在高噪声(加4%噪声)不同模糊核下,能分别提高0.19~4.50 dB和0.20~3.63 dB,同时本文算法相比2017年Pan等人提出的算法(加2%噪声)能提升0.15~0.36 dB。此外,本文算法在主观视觉上能获得更清晰的纹理和边缘结构信息。结论 本文算法在主客观评价上都表现出了良好的去模糊性能,可应用在自然图像和低照明图像等的去模糊领域。
关键词
图像去模糊; 自适应梯度稀疏; 统计先验; 分布参数估计; 图像反卷积
Abstract
Objective
Natural images generally consist of smooth regions with sharp edges, which lead to a heavy-tailed gradient distribution. The gradient priors of these images are commonly used for image deblurring. However, previous results show that existing parameter estimation methods cannot tightly fit the texture change of different image patches. This study presents an image deblurring algorithm that uses a local adaptive sparse gradient model that is based on a blocky stationary distribution characteristic of a natural image.
Method
First, our method uses a generalized Gaussian distribution (GGD) to represent the image's heavy-tailed gradient statistics. Second, an adaptive sparse gradient model is established to estimate a clean image via the maximization of posterior probability. In the model, different patches have different gradient statistics distribution, even within a single image, rather than assigning a single image gradient prior to an entire image. Third, an alternating minimization algorithm based on a variable-splitting technique is employed to solve the optimization problem of the deblurring model. This optimization problem is divided into two sub-problems, namely, latent image
Key words
image deblurring; adaptive sparse gradient; statistical prior; distribution parameter estimation; image deconvolution
0 引言
在图像的获取、传输及保存过程中,由于成像设备的相对抖动、相机对焦不准确、图像压缩编码,以及拍摄、存储、传输过程中引入的噪声等因素的影响都会引起图像质量退化,导致接收端获取的图像变模糊。图像复原就是去除或减轻图像信号获取过程中产生的质量退化现象,尽最大可能复原出原始图像的特征,其中模糊图像的复原又称图像去模糊,它是从运动模糊、离焦模糊等的图像中恢复得到图像的原始信息,在刑事侦查、遥感观测、医疗成像、物质分析、视频监控等领域有着广泛应用。图像去模糊涉及对图像退化模糊过程、噪声形式以及图像自身信息等的表示、理解和建模,是数字图像处理和计算机视觉领域的一项基础性难题[1]。
鉴于图像去模糊技术的普适性,研究者对图像去模糊技术展开了深入研究并提出了许多算法,按其所采用的理论,可大体分成以下4类:1)基于滤波的图像去模糊方法;2)基于统计的图像去模糊方法;3)基于卷积神经网络的图像去模糊方法;4)基于正则化的图像去模糊方法。同时上述4类方法相互联系,可结合使用在去模糊算法中。在第1类基于滤波的方法中,典型方法有基于最小化均方复原误差的维纳滤波法、卡尔曼递归滤波法、偏微分方程扩展滤波[2]等。第2类基于统计的图像去模糊方法是通过求取条件概率最大化进行图像复原。典型方法有采用总变分贝叶斯原理的图像复原方法[3]、文献[4]提出的基于贝叶斯回归中长钉状(spike)和板钉状(slab)先验分布模型的变分盲去卷积方法。由于图像去模糊问题是图像反卷积问题的一个重要子问题,第3类图像去模糊方法是采用基于卷积神经网络的深度学习法。Gong等人[1]使用全卷积深度神经网络从运动模糊图像中估计出运动流来去除各种运动模糊。Schuler等人[5]将卷积神经网络嵌入到盲去卷积方法中来估计模糊核。Sun等人[6]采用深度学习法来预测图像块非均匀运动模糊的分布概率,进而给出了一种非均匀去模糊模型来消除图像运动模糊。
由于模糊核矩阵是不可逆或是奇异的,从模糊图像恢复出清晰图像通常是一个病态问题,需通过正则化来约束求解,所以基于图像先验的正则化去模糊方法是学者们的研究重点。文献[7]利用遥感图像模糊核的稀疏特性,提出了基于正则化约束的遥感图像多尺度去模糊方法。文献[8]把模糊核归一化先验作为正则项引入去模糊模型中, 以强边缘指导模糊核估计。文献[9]提出了基于投影的稀疏表示和非局部正则化相结合的图像去模糊方法。Pan等人[10]根据自然景物中到处都是阴影或者深彩色,给出了一种基于暗通道先验的模糊核估计方法。文献[11]提出了一种基于低秩先验的图像盲去模糊方法。由于自然图像通常只包含一小部分边缘或者纹理区域,大部分梯度值集中在零附近,导致自然图像梯度分布具有“重尾”特性[12]。Krishnan等人[13]发现超拉氏分布更接近自然图像梯度分布的“重尾”性质,并使用
本文从图像梯度流出发,针对先前的梯度参数估计算法不能准确表达图像局部纹理变化的问题,提出了一种分区域局部自适应的梯度参数估计方法,并在此基础上进行图像去模糊。该方法假定图像的梯度满足参数化GGD分布,在最大后验概率(MAP)框架下建立自适应梯度稀疏正则化去模糊模型,然后采用变量分裂方法将去模糊问题转化为一个二次优化问题和一个
1 自适应梯度稀疏正则化去模糊模型
1.1 图像去模糊模型
图像去模糊模型通常表示为
$ \mathit{\boldsymbol{g}} = \mathit{\boldsymbol{h}} \otimes \mathit{\boldsymbol{u}} + \mathit{\boldsymbol{n}} $ | (1) |
式中,
$ \mathop {\min }\limits_\mathit{\boldsymbol{u}} \left( {\frac{1}{2}\left\| {\mathit{\boldsymbol{u}} \otimes \mathit{\boldsymbol{h}} - \mathit{\boldsymbol{g}}} \right\|_2^2 + \lambda \left\| {\nabla \mathit{\boldsymbol{u}}} \right\|_p^p} \right) $ | (2) |
式中,
1.2 基于变量分裂框架的自适应梯度稀疏模型
先前的大多数复原算法是在整幅图像中使用梯度稀疏先验,尽管可以去除失真及噪声,但也使得复原结果呈分段平滑,导致中频纹理信息丢失而影响视觉质量。考虑到图像一般是分块平稳的,各局部区域的特征存在不同,采用单一的
$ \begin{array}{*{20}{c}} {f\left( {{x_i};\lambda ,p} \right) = \frac{{p{\lambda ^{1/p}}}}{{2\mathit{\Gamma }\left( {1/p} \right)}} \times }\\ {\exp \left( { - \lambda {{\left| {{x_i} - \mathit{\boldsymbol{e}}} \right|}^p}} \right)} \end{array} $ | (3) |
式中,
接着,将式(1)的去模糊问题在MAP框架下进行建模,使得对真实图像
$ P\left( {\mathit{\boldsymbol{u}}\left| \mathit{\boldsymbol{g}} \right.} \right) = \frac{{P\left( {\mathit{\boldsymbol{g}}\left| \mathit{\boldsymbol{u}} \right.} \right)P\left( \mathit{\boldsymbol{u}} \right)}}{{P\left( \mathit{\boldsymbol{g}} \right)}} $ | (4) |
最大化。式中分母与
$ P\left( {{g_i}\left| {{u_i}} \right.} \right) = {C_0}\exp \left( { - \frac{{{{\left( {{g_i} - {u_i}} \right)}^2}}}{{2{\sigma ^2}}}} \right) $ | (5) |
式中,
$ P\left( {\nabla {u_i}} \right) = \frac{{{p_i}\lambda _i^{1/{p_i}}}}{{2\mathit{\Gamma }\left( {1/{p_i}} \right)}}\exp \left( { - {\lambda _i}{{\left| {\nabla {u_i} - {e_i}} \right|}^{{p_i}}}} \right) $ | (6) |
式中,每个像素
$ \begin{array}{*{20}{c}} {P\left( \mathit{\boldsymbol{u}} \right) = \prod\limits_i {P\left( {\nabla {u_i}} \right)} = \prod\limits_i {P\left( {{\nabla ^{\rm{h}}}{u_i}} \right)P\left( {{\nabla ^{\rm{v}}}{u_i}} \right)} = }\\ {\prod\limits_i {C_i^{\rm{h}}\exp \left\{ { - \lambda _i^{\rm{h}}{{\left| {{\nabla ^{\rm{h}}}{u_i} - e_i^{\rm{h}}} \right|}^{p_i^{\rm{h}}}}} \right\}} \times }\\ {C_i^{\rm{v}}\exp \left\{ { - \lambda _i^{\rm{v}}{{\left| {{\nabla ^{\rm{v}}}{u_i} - e_i^{\rm{v}}} \right|}^{p_i^{\rm{v}}}}} \right\}} \end{array} $ | (7) |
式中,
$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_\mathit{\boldsymbol{u}} \sum\limits_i {\left\{ {{{\left( {{g_i} - {u_i}} \right)}^2}/2{\sigma ^2} + } \right.} }\\ {\left. {\lambda _i^{\rm{h}}{{\left| {{\nabla ^{\rm{h}}}{u_i} - e_i^{\rm{h}}} \right|}^{p_i^{\rm{h}}}} + \lambda _i^{\rm{v}}{{\left| {{\nabla ^{\rm{v}}}{u_i} - e_i^{\rm{v}}} \right|}^{p_i^{\rm{v}}}}} \right\}} \end{array} $ | (8) |
结合式(1)改写式(8),可得到MAP框架下的自适应梯度稀疏正则化图像去模糊模型
$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_\mathit{\boldsymbol{u}} \left\{ {\frac{1}{{2{\sigma ^2}}}\left\| {\mathit{\boldsymbol{g}} - \mathit{\boldsymbol{h}} \otimes \mathit{\boldsymbol{u}}} \right\|_2^2 + } \right.}\\ {\left. {{\mathit{\boldsymbol{\lambda }}^{\rm{h}}}\left\| {{\nabla ^{\rm{h}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{e}}^{\rm{h}}}} \right\|_{{\mathit{\boldsymbol{p}}^{\rm{h}}}}^{{\mathit{\boldsymbol{p}}^{\rm{h}}}} + {\mathit{\boldsymbol{\lambda }}^{\rm{v}}}\left\| {{\nabla ^{\rm{v}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{e}}^{\rm{v}}}} \right\|_{{\mathit{\boldsymbol{p}}^{\rm{v}}}}^{{\mathit{\boldsymbol{p}}^{\rm{v}}}}} \right)} \end{array} $ | (9) |
式中,参数矩阵
由于
$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{\mathit{\boldsymbol{u}},\mathit{\boldsymbol{\omega }}} \left\{ {\frac{1}{{2{\sigma ^2}}}\left\| {\mathit{\boldsymbol{g}} - \mathit{\boldsymbol{h}} \otimes \mathit{\boldsymbol{u}}} \right\|_2^2 + } \right.}\\ {{\mathit{\boldsymbol{\lambda }}^{\rm{h}}}\left\| {{\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \right\|_{{\mathit{\boldsymbol{p}}^{\rm{h}}}}^{{\mathit{\boldsymbol{p}}^{\rm{h}}}} + \frac{{\eta {\mathit{\boldsymbol{\lambda }}^{\rm{h}}}}}{2}\left\| {{\nabla ^{\rm{h}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{e}}^{\rm{h}}} - {\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \right\|_2^2 + }\\ {\left. {{\mathit{\boldsymbol{\lambda }}^{\rm{v}}}\left\| {{\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \right\|_{{\mathit{\boldsymbol{p}}^{\rm{v}}}}^{{\mathit{\boldsymbol{p}}^{\rm{v}}}} + \frac{{\eta {\mathit{\boldsymbol{\lambda }}^{\rm{v}}}}}{2}\left\| {{\nabla ^{\rm{v}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{e}}^{\rm{v}}} - {\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \right\|_2^2} \right)} \end{array} $ | (10) |
式中,当权重因子
然后使用迭代交替优化法[20]解式(10),即:
1) 求解
固定
$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_\mathit{\boldsymbol{u}} \left( {\frac{{\left\| {\mathit{\boldsymbol{h}} \otimes \mathit{\boldsymbol{u}} - \mathit{\boldsymbol{g}}} \right\|_2^2}}{{2{\sigma ^2}}} + } \right.}\\ {\left. {\frac{{\eta {\mathit{\boldsymbol{\lambda }}^{\rm{h}}}}}{2}\left\| {{\nabla ^{\rm{h}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \right\|_2^2 + \frac{{\eta {\mathit{\boldsymbol{\lambda }}^{\rm{v}}}}}{2}\left\| {{\nabla ^{\rm{v}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \right\|_2^2} \right)} \end{array} $ | (11) |
$ \mathit{\boldsymbol{u}} = {\wp ^{ - 1}}\left( {\frac{{\begin{array}{*{20}{c}} {{\sigma ^2}\wp {{\left( \mathit{\boldsymbol{h}} \right)}^ * } \circ \wp \left( \mathit{\boldsymbol{g}} \right) + }\\ {\eta {\mathit{\boldsymbol{\lambda }}^{\rm{h}}}\wp \left( {{\nabla ^{\rm{h}}}{\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \right) + }\\ {\eta {\mathit{\boldsymbol{\lambda }}^{\rm{v}}}\wp \left( {{\nabla ^{\rm{v}}}{\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \right)} \end{array}}}{{\begin{array}{*{20}{c}} {\wp {{\left( \mathit{\boldsymbol{h}} \right)}^ * } \circ \wp \left( \mathit{\boldsymbol{h}} \right) + }\\ {\eta {\mathit{\boldsymbol{\lambda }}^{\rm{h}}}\wp \left( {{\nabla ^{{\rm{hT}}}}{\nabla ^{\rm{h}}}} \right) + }\\ {\eta {\mathit{\boldsymbol{\lambda }}^{\rm{v}}}\wp \left( {{\nabla ^{{\rm{vT}}}}{\nabla ^{\rm{v}}}} \right)} \end{array}}}} \right) $ | (12) |
式中,*表示取复共轭,
2) 求解
固定
$ \mathop {\min }\limits_{{\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \left( {\frac{\eta }{2}\left\| {{\nabla ^{\rm{h}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \right\|_2^2 + \left\| {{\mathit{\boldsymbol{\omega }}^{\rm{h}}}} \right\|_{{\mathit{\boldsymbol{p}}^{\rm{h}}}}^{{\mathit{\boldsymbol{p}}^{\rm{h}}}}} \right) $ | (13) |
$ \mathop {\min }\limits_{{\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \left( {\frac{\eta }{2}\left\| {{\nabla ^{\rm{v}}}\mathit{\boldsymbol{u}} - {\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \right\|_2^2 + \left\| {{\mathit{\boldsymbol{\omega }}^{\rm{v}}}} \right\|_{{\mathit{\boldsymbol{p}}^{\rm{v}}}}^{{\mathit{\boldsymbol{p}}^{\rm{v}}}}} \right) $ | (14) |
式中,当|
1.3 GGD参数估计
为估计GGD分布的形状参数矩阵
假设式(3)中的随机变量
$ {Z_n}\left( p \right) \buildrel \Delta \over = \frac{{\frac{1}{n}\sum\limits_{i = 1}^n {{{\left| {{x_i}} \right|}^{2p}}} }}{{{{\left( {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left| {{x_i}} \right|}^p}} } \right)}^2}}} - \left( {1 + p} \right) $ | (15) |
式中,
$ {m_k} = \frac{1}{n} \cdot \sum\limits_{i = 1}^n {{{\left| {{x_i}} \right|}^k}} $ | (16) |
记
$ R\left( p \right) = \frac{{{m_1}}}{{\sqrt {{m_2}} }} = \frac{{\mathit{\Gamma }\left( {2/p} \right)}}{{\sqrt {\mathit{\Gamma }\left( {1/p} \right)\mathit{\Gamma }\left( {3/p} \right)} }} $ | (17) |
根据文献[24],通过求解
$ \hat p = {R^{ - 1}}\left( {\frac{{{m_1}}}{{\sqrt {{m_2}} }}} \right) $ | (18) |
进而得到参数
$ \lambda = \frac{{p\sqrt {\mathit{\Gamma }\left( {3/p} \right)} }}{{2\sigma \mathit{\Gamma }\left( {1/p} \right)\sqrt {\mathit{\Gamma }\left( {1/p} \right)} }} $ | (19) |
由于初始输入不是真实图像的梯度而是模糊图像,因此先预处理模糊图像,获取包含更多纹理细节的中间图像
1.4 质量提升
在实际应用中,发现对一幅图像中所有区域都采用GCM算法来估计
$ TS\left( n \right) = \frac{1}{N}\left( {\sum\limits_{i = 1}^N {\left| {{G_{\rm{h}}}\left( i \right)} \right|} + \sum\limits_{i = 1}^N {\left| {{G_{\rm{v}}}\left( i \right)} \right|} } \right) $ | (20) |
式中,
通过实验验证采用分区处理能提高复原质量,图 1所示为本文GGD参数估计方法的实验例子。图 1(a)为自然图像,图 1(b)为估计得到的梯度形状参数
1.5 算法总结与复杂度说明
前文已给出去模糊中的非凸优化问题和GGD参数估计问题的解决方法,基于自适应稀疏模型的图像非盲去模糊算法步骤如表 1所示。
表 1
采用自适应梯度稀疏模型的图像去模糊算法步骤
Table 1
Image deblurring via an adaptive sparse gradient model
输入:模糊图像 关于 内部迭代次数 |
1) 2) 计算式(12)中的常数项; 3) 对 4) 划分纹理区和平滑区; 5) 估计纹理区形状参数矩阵 6) while 7) for 8) 给出 9) 给出 10) end for 11) 12) end while |
输出:复原图像 |
在交替优化式(12)的
2 实验比较与分析
2.1 参数设置
为验证算法有效性,将本文算法分别与以下4种经典的非盲算法做对比,分别为:1)总变分(TV)法[20],其中迭代次数选取800次为最佳效果;2)查找表(LUT)法[13],选取指数
实验在win7系统下利用MATLAB软件进行,实验中把每种算法都调整到最佳效果,各算法的图像填充统一采用文献[16]中的方法。本文算法的参数设置为
实验中使用两种噪声水平(高噪声与低噪声)分别进行多组实验比较。低噪声水平添加1%的噪声,此时设置
$ f = 10 \times \lg \frac{{\left\| \mathit{\boldsymbol{u}} \right\|_2^2}}{{\left\| {\mathit{\boldsymbol{u}} - \mathit{\boldsymbol{\hat u}}} \right\|_2^2}} $ | (21) |
2.2 实验结果比较
考虑高噪声水平(加4%高斯噪声),模糊核选择kernel1(23×23像素),图 2所示为图像“hat”的实验结果。图 2(a)为原始图像,其左下角为模糊核;图 2(b)为模糊退化图像,SNR为7.18 dB。图 2(c)是先对模糊图像预处理,再使用本文GGD参数估计法得到的
然后,使用预处理后的图像(图 2(b))作为实验输入进行去模糊实验,实验结果如图 3所示。通过比较不同方法去模糊后的图像SNR值得到:本文算法取得的SNR值最高,且在整幅图像去模糊效果和局部纹理区域上都具有相对最好的主观视觉效果。
再考虑低噪声水平(加1%高斯噪声),同样使用图 2的“hat”图像进行实验,模糊核不变,获得模糊图像(SNR为8.12 dB)。然后对模糊图像进行复原,5种复原算法的信噪比(SNR)结果如表 2所示。实验结果表明在低噪声水平下,本文算法也能取得良好的去模糊效果。
表 2
5种复原算法的SNR值
Table 2
SNR of five recovery algorithms
为进一步验证本文算法的性能,本文还单独与文献[12, 17-18]3种算法进行比较。为了与文献[17]算法中的实验设置保持一致,与文献[17]算法对比时使用的原始图像和对比结果如图 4所示。图 4(a)为4幅原始图像;图 4(b)为原始图像与模糊核相卷积,再添加相同的2%噪声获得的模糊图像,其中模糊核在第1幅原始图像的右下角;图 4(c) (d)分别是文献[17]算法和本文算法的实验结果。从实验对比图可以看出:在平滑区,本文算法的复原结果更接近于真实图像,视觉效果上更加光滑;在纹理区,本文算法实现结果比文献[17]算法更加清晰,表明本文算法能取得更好的主观视觉效果。同时在客观质量上比较,本文算法去模糊后的SNR值相对文献[17]算法能提高0.85~1.76 dB。
此外,与文献[12, 18]对比使用的原始图像如图 5所示,其中第1幅图像右下角为本实验使用的模糊核,大小为13×13像素。图 6给出了本文算法与文献[12, 18]算法的实验对比结果,图 6(a)为输入模糊图像(同样添加2%噪声),图 6(b)为文献[18]算法的结果,图 6(c)为文献[12]算法的结果,图 6(d)为本文算法的实验结果,复原图像的右下角为图像中放大后的某块纹理区域。通过观察实验结果和对比局部放大区域可以发现,经本文算法去模糊后的纹理区域能保持丰富的纹理细节,且平滑区没有颗粒感而显得更加自然。同时,通过对比整体SNR值,可知本文算法相对文献[18]算法能提高0.33~0.89 dB,相比文献[12]算法能提高0.15~0.36 dB,这表明本文算法能取得更好的主客观质量。
为了更加直观地体现本文方法去模糊后图像质量的提高值,图 7分别给出了kernel1和kernel2模糊核加1%噪声条件下的去模糊质量对比柱状图,图 7清楚显示了各方法的实验结果。同时,为进一步验证本文算法的有效性,表 3和表 4分别给出了针对不同测试图像,使用不同模糊核和添加不同噪声水平下的各种算法去模糊效果。其中,表 3为在采用kernel1模糊核条件下,分别添加1%噪声和4%噪声,经各算法去模糊后的复原图像与原始图像的SNR值。表 4为采用kernel2模糊核,分别添加1%噪声和4%噪声条件下,各算法获得的SNR值。上述结果表明,相较于对比算法,对于不同场景、不同光照条件和不同纹理复杂度的测试图像,本文方法均能获取更好的复原效果。
表 3
不同噪声等级下使用kernel1时各算法SNR结果
Table 3
The SNR results of different algorithms with kernel1 and different noise levels
/dB | ||||||||||||
原始图像 | 模糊图像 | 算法(加1%噪声) | 模糊图像 | 算法(加4%噪声) | ||||||||
文献[16] | 文献[13] | 文献[25] | 文献[20] | 本文 | 文献[16] | 文献[13] | 文献[25] | 文献[20] | 本文 | |||
wall | 2.82 | 7.92 | 7.90 | 7.02 | 7.63 | 8.30 | 2.36 | 5.67 | 5.51 | 4.34 | 5.59 | 6.11 |
lighthouse | 5.35 | 11.98 | 11.96 | 10.41 | 11.62 | 12.23 | 4.76 | 9.19 | 9.15 | 7.39 | 9.13 | 9.71 |
hat | 8.12 | 14.51 | 14.76 | 12.49 | 14.86 | 15.46 | 7.18 | 12.72 | 12.64 | 8.85 | 12.89 | 13.35 |
flower | 4.94 | 11.53 | 11.59 | 9.67 | 11.52 | 11.96 | 4.14 | 8.89 | 8.64 | 6.22 | 8.91 | 9.32 |
house | 6.58 | 11.85 | 11.81 | 9.40 | 11.62 | 12.12 | 5.64 | 9.65 | 9.53 | 7.33 | 9.62 | 10.01 |
parrot | 9.60 | 15.61 | 15.62 | 13.60 | 15.50 | 15.87 | 8.22 | 13.41 | 13.35 | 10.5 | 13.33 | 13.78 |
river | 3.96 | 8.95 | 8.91 | 7.91 | 8.51 | 9.21 | 3.63 | 6.72 | 6.51 | 5.24 | 6.64 | 6.91 |
girl | 7.71 | 14.80 | 13.94 | 14.40 | 14.83 | 14.98 | 5.37 | 12.16 | 11.85 | 12.3 | 11.71 | 13.18 |
bike | 8.30 | 14.95 | 12.62 | 15.17 | 15.09 | 15.16 | 6.64 | 11.41 | 11.76 | 12.1 | 11.88 | 12.73 |
lake | 6.37 | 11.65 | 10.69 | 11.23 | 11.71 | 11.94 | 4.46 | 9.68 | 9.07 | 9.73 | 9.72 | 10.49 |
door | 9.55 | 18.51 | 15.04 | 17.82 | 18.26 | 18.68 | 7.46 | 16.31 | 15.88 | 15.82 | 16.26 | 16.99 |
castle | 5.98 | 14.00 | 11.39 | 13.82 | 14.12 | 14.15 | 3.72 | 11.06 | 10.37 | 11.69 | 11.22 | 12.5 |
boat | 9.91 | 15.15 | 13.72 | 15.09 | 15.25 | 15.19 | 7.47 | 13.34 | 12.86 | 13.17 | 12.85 | 13.78 |
yacht | 5.50 | 9.02 | 7.70 | 8.96 | 9.06 | 9.15 | 3.67 | 7.84 | 6.6 | 6.98 | 7.55 | 8.84 |
注:加粗字体表示最优结果。 |
表 4
不同噪声等级下使用kernel2时各算法SNR结果
Table 4
The SNR results of different algorithms with kernel2 and different noise levels
/dB | ||||||||||||
原始图像 | 模糊图像 | 算法(加1%噪声) | 模糊图像 | 算法(加4%噪声) | ||||||||
文献[16] | 文献[13] | 文献[25] | 文献[20] | 本文 | 文献[16] | 文献[13] | 文献[25] | 文献[20] | 本文 | |||
wall | 2.21 | 7.86 | 7.85 | 6.69 | 7.69 | 8.18 | 1.84 | 5.34 | 5.21 | 4.11 | 5.22 | 5.54 |
lighthouse | 4.64 | 10.97 | 10.95 | 8.82 | 10.68 | 11.11 | 4.17 | 8.71 | 8.69 | 5.87 | 8.54 | 9.02 |
hat | 7.1 | 14.16 | 14.26 | 12.44 | 14.23 | 14.6 | 6.01 | 12.16 | 12.13 | 8.50 | 12.44 | 12.83 |
flower | 4.09 | 10.21 | 10.16 | 8.45 | 9.95 | 10.74 | 3.43 | 7.85 | 7.80 | 5.43 | 7.96 | 8.12 |
house | 5.85 | 11.39 | 11.38 | 8.76 | 11.2 | 11.95 | 5.06 | 9.31 | 9.25 | 6.82 | 9.28 | 9.73 |
parrot | 8.16 | 14.66 | 14.64 | 12.34 | 14.6 | 15.02 | 7.16 | 12.56 | 12.52 | 9.38 | 12.61 | 13.01 |
river | 3.71 | 8.91 | 8.86 | 7.38 | 8.42 | 9.1 | 3.40 | 6.11 | 6.04 | 4.94 | 6.26 | 6.52 |
girl | 7.93 | 14.8 | 13.94 | 14.4 | 14.83 | 14.98 | 5.79 | 12.37 | 11.56 | 12.19 | 12.05 | 13.13 |
bike | 8.87 | 14.48 | 13.74 | 14.36 | 14.29 | 15.34 | 6.17 | 11.87 | 10.58 | 11.34 | 11.79 | 12.46 |
lake | 7.03 | 12.11 | 11.73 | 11.86 | 11.49 | 12.98 | 4.33 | 8.98 | 9.19 | 8.74 | 8.73 | 10.52 |
door | 9.89 | 17.54 | 16.81 | 17.63 | 17.96 | 18.33 | 7.35 | 15.47 | 14.82 | 15.34 | 15.32 | 16.63 |
castle | 6.05 | 14.45 | 13.52 | 13.18 | 13.48 | 15.69 | 3.37 | 11.60 | 10.97 | 11.77 | 11.32 | 12.54 |
boat | 9.68 | 15.68 | 14.05 | 15.51 | 15.07 | 16.49 | 7.12 | 12.33 | 11.67 | 12.15 | 12.55 | 13.30 |
yacht | 5.7 | 9.67 | 8.73 | 8.81 | 9.66 | 10.47 | 3.43 | 7.16 | 6.20 | 6.87 | 7.04 | 7.83 |
注:加粗字体表示最优结果。 |
3 结论
本文根据图像分块平稳的特点,提出了一种采用自适应梯度稀疏正则化模型的图像非盲去模糊算法。该算法使用广义高斯分布(GGD)来描述图像梯度分布,在MAP框架下建立自适应梯度稀疏图像去模糊模型,并采用变量分裂交替优化的方法对该模型进行求解。同时,在GGD参数估计中,本文先对模糊图像进行预处理,接着将预处理后的图像分成纹理区和平滑区,在纹理区采用全局收敛算法进行GGD参数估计,而在平滑区设置固定的GGD参数值,可以减少复原图像平滑区域中存在的噪声和振铃失真,实验表明该参数估计法能够有效地适应图像的纹理变化。相较于其他去模糊算法,本文算法取得了更高的SNR值;同时在主观质量上,图像平滑区没有噪点而显得自然顺滑,而纹理区域显得更加清晰。下一步工作拟将分析稀疏理论应用到图像去模糊中,并充分挖掘图像其他先验信息,构建更快速的图像反卷积算法。
参考文献
-
[1] Gong D, Yang J, Liu L Q, et al. From motion blur to motion flow: a deep learning solution for removing heterogeneous motion blur[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 3806-3815.[DOI:10.1109/cvpr.2017.405]
-
[2] Tschumperle D, Deriche R. Vector-valued image regularization with PDEs:a common framework for different applications[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(4): 506–517. [DOI:10.1109/TPAMI.2005.87]
-
[3] Babacan S D, Molina R, Katsaggelos A K. Parameter estimation in TV image restoration using variational distribution approximation[J]. IEEE Transactions on Image Processing, 2008, 17(3): 326–339. [DOI:10.1109/tip.2007.916051]
-
[4] Serra J G, Mateos J, Molina R, et al. Spike and slab variational inference for blind image deconvolution[C]//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE, 2017: 3765-3769.[DOI:10.1109/icip.2017.8296986]
-
[5] Schuler C J, Hirsch M, Harmeling S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(7): 1439–1451. [DOI:10.1109/tpami.2015.2481418]
-
[6] Sun J, Cao W F, Xu Z B, et al. Learning a convolutional neural network for non-uniform motion blur removal[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015: 769-777.[DOI:10.1109/cvpr.2015.7298677]
-
[7] Tan H P, Zeng X J, Niu S J, et al. Remote sensing image multi-scale deblurring based on regularizatio n constraint[J]. Journal of Image and Graphics, 2015, 20(3): 0386–0394. [谭海鹏, 曾炫杰, 牛四杰, 等. 基于正则化约束的遥感图像多尺度去模糊[J]. 中国图象图形学报, 2015, 20(3): 0386–0394. ] [DOI:10.11834/jig.20150310]
-
[8] Cheng H H, Bao Z P. Strong edge-oriented blind deblurring algorithm[J]. Journal of Image and Graphics, 2017, 22(8): 1034–1044. [陈华华, 鲍宗袍. 强边缘导向的盲去模糊算法[J]. 中国图象图形学报, 2017, 22(8): 1034–1044. ] [DOI:10.11834/jig.170020]
-
[9] Xu H Y, Sun Q S, Li D Y, et al. Projection-based image restoration via sparse representation and nonlocal regularization[J]. Acta Electronica Sinica, 2014, 42(7): 1299–1304. [徐焕宇, 孙权森, 李大禹, 等. 基于投影的稀疏表示与非局部正则化图像复原方法[J]. 电子学报, 2014, 42(7): 1299–1304. ] [DOI:10.3969/j.issn.0372-2112.2014.07.009]
-
[10] Pan J S, Sun D Q, Pfister H, et al. Blind image deblurring using dark channel prior[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016: 1628-1636.[DOI:10.1109/cvpr.2016.180]
-
[11] Ren W, Cao X C, Pan J S, et al. Image deblurring via enhanced low-rank prior[J]. IEEE Transactions on Image Processing, 2016, 25(7): 3426–3437. [DOI:10.1109/tip.2016.2571062]
-
[12] Pan J S, Hu Z, Sun Z X, et al.
${l_0}$ -regularized intensity and gradient prior for deblurring text images and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 342–355. [DOI:10.1109/TPAMI.2016.2551244] -
[13] Krishnan D, Fergus R. Fast image deconvolution using hyper-laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems. Vancouver, Columbia, Canada: Curran Associates Inc., 2009: 1033-1041.
-
[14] Liu W H, Mei L, Cai X, et al. Regularized image restoration algorithm on sparse gradient prior model[J]. Journal of Image and Graphics, 2012, 17(12): 1485–1491. [刘伟豪, 梅林, 蔡烜, 等. 稀疏梯度先验模型的正则化图像复原[J]. 中国图象图形学报, 2012, 17(12): 1485–1491. ] [DOI:10.11834/jig.20121204]
-
[15] Xu L, Zheng S C, Jia J Y. Unnatural
${l_0}$ sparse representation for natural image deblurring[C]//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA: IEEE, 2013: 1107-1114.[DOI:10.1109/cvpr. 2013.147] -
[16] Zuo W M, Meng D Y, Zhang L, et al. A generalized iterated shrinkage algorithm for non-convex sparse coding[C]//Proceedings of 2013 IEEE International Conference on Computer Vision. Sydney, Australia: IEEE, 2013: 217-224.[DOI:10.1109/iccv.2013.34]
-
[17] Cho T S, Joshi N, Zitnick C L, et al. A content-aware image prior[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010: 169-176.[DOI:10.1109/cvpr.2010.5540214]
-
[18] Cho T S, Zitnick C L, Joshi N, et al. Image restoration by matching gradient distributions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 683–694. [DOI:10.1109/tpami.2011.166]
-
[19] Song K S. A globally convergent and consistent method for estimating the shape parameter of a generalized Gaussian distribution[J]. IEEE Transactions on Information Theory, 2006, 52(2): 510–527. [DOI:10.1109/tit.2005.860423]
-
[20] Wang Y L, Yang J F, Yin W T. A new alternating minimization algorithm for total variation image reconstruction[J]. SIAM Journal on Imaging Sciences, 2008, 1(3): 248–272. [DOI:10.1137/080724265]
-
[21] Geman D, Yang C D. Nonlinear image recovery with half-quadratic regularization[J]. IEEE Transactions on Image Processing, 1995, 4(7): 932–946. [DOI:10.1109/83.392335]
-
[22] Yu S, Zhang A, Li H. A review of estimating the shape parameter of generalized Gaussian distribution[J]. Journal of Computational Information Systems, 2012, 8(21): 9055–9064.
-
[23] Krupiński R, Purczyński J. Approximated fast estimator for the shape parameter of generalized Gaussian distribution[J]. Signal Processing, 2006, 86(2): 205–211. [DOI:10.1016/j.sigpro.2005.05.003]
-
[24] Wang T Y, Li Z M. A fast parameter estimation of generalized Gaussian distribution[J]. Chinese Journal of Engineering Geophysics, 2006, 3(3): 172–176. [汪太月, 李志明. 一种广义高斯分布的参数快速估计法[J]. 工程地球物理学报, 2006, 3(3): 172–176. ] [DOI:10.3969/j.issn.1672-7940.2006.03.003]
-
[25] Fortunato H, Oliveira M M. Fast high-quality non-blind deconvolution using sparse adaptive priors[J]. The Visual Computer, 2014, 30(6): 661–671. [DOI:10.1007/s00371-014-0966-x]