Print

发布时间: 2018-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170477
2018 | Volume 23 | Number 3




    图像处理和编码    




  <<上一篇 




  下一篇>> 





稳定场图像重建中的传递函数研究
expand article info 李晓菲1, 叶学义1, 陈慧云1, 夏胡云1, 陈华华1,2
1. 模式识别与信息安全实验室, 杭州电子科技大学通信工程学院, 杭州 310018;
2. 三维通信股份有限公司, 杭州 310018

摘要

目的 针对2维图像重建(或修复)的准确性和效率问题,以传递函数为核心并提出相关重建算法。方法 在图像局部纹理稳定场模型的基础上,针对每一个缺损像素点,考虑其周围已知区域的像素点都对它进行能量传递,且在重建过程中首先将能量传递到最近邻域内,由此构造传递函数并引入标量场的二阶泰勒展开来完成,最终依据最近邻域内的能量值,以插值完成重建。结果 采用重新构造的传递函数并结合不同的插值方法分别对缺损的几何图形、灰度图像及彩色图像进行重建,结果与图像场方向导数的局部区域重建算法、典型的CDD(curvature driven diffusion)、BSCB(Bertalmio Sapiro Caselles Ballester)、TV(total variation)重建算法相比,重建准确率分别提高了6%、10%、15%、13%,峰值信噪比(PSNR)分别提高了2 dB、1 dB、3 dB、2.5 dB,并且图像缺损边缘及纹理细节的重建更加清晰。结论 对2维图像重建的传递函数的研究及所提出的相关重建算法,对于不同类型图像不同程度的缺损,以保持较好的整体视觉效果和重建效率为前提,较大地提高了重建准确性和PSNR,尤其在图像缺损区域边缘及纹理细节的重建上表现出色。

关键词

2维图像重建; 稳定场; 传递函数; 最近邻域; 二阶泰勒展开

Transfer function research of stable field reconstruction
expand article info Li Xiaofei1, Ye Xueyi1, Chen Huiyun1, Xia Huyun1, Chen Huahua1,2
1. Lab of Pattern Recognition & Information Security, Hangzhou Dianzi University, Hangzhou 310018, China;
2. Sunwave Communications Co., Ltd., Hangzhou 310018, China
Supported by: National Natural Science Foundation of China(60802047, 60702018)

Abstract

Objective Reconstructing defective images accurately and efficiently has become increasingly important nowadays. With the development of image analysis and recognition, many reconstructed images have been used for feature extraction, and few algorithms can realize accurate and efficient reconstruction effect. This study reconstructs local image regions based on the directional derivative of a field and proposes a stable field model of image local texture to achieve accuracy and reconstruction efficiency. The point source effect function is chosen as the transfer function of the pixel information relationship between the known region and the defect region. However, the designed point source effect function only considered the function of the gradient in the process of energy transfer. The energy transfer value of pixels in the defective region is calculated. The weighted summation is realized by average filtering. Experimental data show that the reconstruction of the edge of the geometry is not fine enough to greatly improve the accuracy of the actual image reconstruction. Given the problem of the accuracy and efficiency of the two-dimensional image reconstruction (or inpainting), this study designed the transfer function as the core function, proposed a new relative reconstruction algorithm, and mainly introduced the transfer function because this function involved energy transformation. Method Stationary images can be regarded as a stable energy field because of the stable result of the interaction between the surface and structure of object and light. Several studies have reconstructed defect images based on a stable field and have proven that the reconstruction effects can achieve the desired visual effect and high accuracy rate. Thus, the stable field model is used in this paper to describe the image local region. The energy value of the defect points is almost the same as that of the points in the nearest neighborhood. Thus, considering the value of these points is of great importance. In view of each pixel in the defect region, a reconstruction model considers the pixels in the known region as transmitting energy to each known pixel. During the reconstruction process, the energy is first transmitted into the nearest neighborhood, the transfer function is then constructed, and second-order Taylor expansion is introduced to achieve this process. Finally, the reconstruction is completed by interpolation according to the energy value in the nearest neighbor domain. Result This study reconstructed defect typical geometric graphs, gray images, and color images by using an algorithm that contains the transfer function and different interpolation methods. The interpolation methods include nearest neighbor interpolation, bilinear interpolation, and cubic convolution interpolation. Reconstruction results obtained by different interpolation methods are different. Compared with studies on reconstructing image local regions based on the directional derivative of a field, the typical curvature-driven diffusion, Bertalmio-Sapiro-Caselles-Ballester method, and total variation reconstruction algorithms, the reconstruction accuracy increased by approximately 6%, 10%, 15%, and 13% respectively, and the peak signal-to-noise ratio (PSNR) increased by approximately 2, 1, 3, and 2.5 dB, respectively. The reconstruction of the damaged edges and texture is clearer than that of the relative reconstruction models. Results improved considerably compared with traditional models because the proposed algorithm differs from traditional algorithms in certain aspects. For traditional algorithms, the main research idea is to use the information around the image defect area to transfer the inside of the region through several iterations. Once an iteration is performed, the value of the transfer function is updated to satisfy the visual effect of human visual observation. However, our algorithm does not involve iterations and transfers the energy value only once. Conclusion An improved algorithm based on the foundation of the image local region's stable field model and the inpainting algorithms based on the stable field is proposed in this study, which investigates the transfer function of two-dimensional image reconstruction and the related reconstruction algorithms and shows the reconstruction of image edge and texture details. To maintain a good visual effect, the proposed method greatly improved reconstruction accuracy and PSNR, especially in the image defect region edge, and performs well in reconstructing texture details. Experimental results show that the proposed algorithm obtains good effects and has universal applicability to different types of images with varying degrees of defect.

Key words

accurate reconstruction of 2-D image; stable field; transfer function; the nearest neighborhood; the second-order Taylor expansion

0 引言

图像(或者视频数据)已经成为大数据信息流的主要部分,但是采集、传输、保存或者人为等因素都可能导致图像局部关键信息的缺损,因此需要专门技术重建图像的缺损信息,如目前通常称为图像修复[1]的关于老旧图片的修复和视频文字去除[2]等方面的重建研究。该类重建研究主要分为:基于几何特征(Inpainting[3])和基于纹理填充(Completion[4]);前者主要针对图像边缘等几何特征纹理区域,大多采用高阶偏微分方程求解的计算模式,具有代表性的算法有BSCB(Bertalmio Sapiro Caselles Ballester)[5]、TV(total variation)[6]及CDD(curvature driven diffusion)[7],其主要研究思路是利用图像缺损区域周围的信息经过若干次迭代传递到区域内部,每进行一次迭代,就更新一次传递函数值[8],使得重建后的图像满足人眼观察的视觉效果;后者则主要针对较大的图像细节纹理区域,首先在缺损区域内选取优先权最大的待修复块,然后寻找与该缺损区域周围最相似的块,以填充的方式完成重建,而在此信息传递的过程中只涉及源区域块与待修复块之间像素信息的简单填充。

上述称为“图像修复”的图像重建研究,其目标是使重建结果满足人眼的视觉要求,并不考虑重建的准确性;并且由于大量的迭代和相似块的寻找,导致重建效率较低。由于这种重建不考虑准确性,如果利用其结果进行特征提取或者识别,可能会带来不可预知的错误[9];同时,在视频重建的研究中,由于对视频处理的实时性要求也使得重建效率得到更多的关注。由此,文献[10]提出了图像局部纹理的稳定场模型,以满足准确性和重建效率等更高的图像重建要求为目标,选择点源影响函数作为已知区域与缺损区域之间像素信息关系的传递函数,但是,在设计点源影响函数时,仅仅考虑梯度在能量传递过程中的作用,较为粗略地计算了已知区域像素对缺损区域像素的能量传递值,最后采用平均滤波实现加权求和,而没有进行区分处理。导致该方法的实验数据表现出对几何图形边缘的重建不够精细,未能大幅提高实际图像重建准确性。

本文通过对2维图像重建或修复的准确性及效率的分析,考虑传递函数在稳定场中的核心作用,提出相关的重建算法。本算法在图像局部纹理稳定场模型的基础上,针对每一个缺损像素点,考虑其周围已知区域的像素点都对它进行能量传递;为了更有效地重建缺损像素点,考虑距离缺损点单位距离内的点不仅与缺损点的距离极小而且区域内各点的能量值非常接近,进而选择该区域为合适区域对各个传递函数值进行区分处理,因此在重建过程中首先将能量传递到最近邻域内,由此考虑能量传递与一阶偏导数及二阶偏导数的关系来实现对传递函数的构造;在传递函数的构造过程中,引入标量场的二阶泰勒展开来完成;最后,依据最近邻域内的能量值,以插值完成重建。这种通过考虑传递函数提出的图像重建算法,主要是为了在保持较好重建图像整体视觉效果以及重建效率的基础上,使得所提出的重建模型能够对几何图形缺损区域的边缘及纹理细节进行清晰且准确性较高的重建,以提高实际图像的重建准确率。

1 稳定场重建模型与传递函数

稳定场[11]作为一个数理概念,它的数学物理方程[12]具有准确的求解过程,可以实现对区域内任意点的准确描述[13],同时,稳定场的能量在传递过程中不存在迭代过程[8],因此将图像纹理[14]与稳定场作对比,并将图像局部纹理的先验模型用稳定场来描述,具有内在的合理性[15]。结合图像处理相关知识,最初将图像考虑成像素场,并利用稳定场来描述图像的局部纹理,建立图像局部纹理的稳定场方程[10]

$ \Delta I\left( r \right) = f,\left( {r \in \mathit{\boldsymbol{D}}} \right) $ (1)

式中,$I\left( r \right)$为描述图像局部纹理的函数,对于灰度图像,$I\left( r \right)$的值表示对应空间点的灰度值,对于彩色图像,如RGB图像,$I\left( r \right)$表示其中任一颜色的值,再分别计算即可;$r$表示图像局部纹理的空间坐标;在能量传递的过程中,$f$表示已知像素点为缺损像素点提供能量的源[10]

图像局部纹理的稳定场模型如图 1所示,图中$I\left( r \right)$为描述阴影部分图像局部纹理缺失区域$\mathit{\boldsymbol{D}}$的函数;$r \in \mathit{\boldsymbol{D}}$,表示缺损像素点的坐标;$f$为描述图像已知区域的任意点源;$\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}$为包围图像缺损区域的边界$\left( {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }} \in \mathit{\boldsymbol{D}}} \right)$${\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_{\rm{1}}}$是以$r$为圆心,任意小距离为半径的圆,${r_i}$${\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_{\rm{1}}}$上任意一点。

图 1 图像局部纹理的稳定场模型
Fig. 1 Stable field model of image local texture

式(1)所示的图像局部纹理的稳定场方程,可以看作是有源场的拉普拉斯方程,利用格林函数法对其求解。在求解过程中,由于重建过程是从边界开始的,重建过程所选取的$r$满足$r \in \mathit{\boldsymbol{D}}$,因此对于任意半径的${\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_{\rm{1}}}$,必能找到位于已知区域的像素点${r_i}$,设${r_i}$$r$的传递函数为$T\left( {r, {r_i}} \right)$,其物理意义是:当仅考虑位于${r_i}$点的单位强度像素点单独作用,即$f = \delta \left( {r- {r_i}} \right)$时,将像素信息传递到缺损点后在$r$点产生的像素场。

$ \delta \left( {r - {r_i}} \right) = \left\{ \begin{array}{l} 1\;\;\;\;r = {r_i}\\ 0\;\;\;\;其他 \end{array} \right. $ (2)

$T\left( {r, {r_i}} \right)$代入式(1),得

$ \Delta T\left( {r,{r_i}} \right) = \delta \left( {r - {r_i}} \right) $ (3)

根据文献[10]中线性方程的求解方式对式(3)进行处理,可以得到当${r_i}$处只有强度为$\phi \left( {{r_i}} \right)$的点单独作用时,方程(1)的解为

$ I\left( r \right) = T\left( {r,{r_i}} \right)\phi \left( {{r_i}} \right) $ (4)

式中,$\phi \left( {{r_i}} \right)$${r_i}$点的像素值,$T\left( {r, {r_i}} \right)$表示任意半径${\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_{\rm{1}}}$上的${r_i}$点的像素信息传递到$r$点过程中的传递函数。因此$T\left( {r, {r_i}} \right)$$\phi \left( {{r_i}} \right)$表征了${r_i}$点传递到$r$点的能量值。由于${r_i}$有不同的取值,所传递到缺损点的能量就不同,因此可以通过不同${r_i}$点传递到缺损点的能量值的组合来实现对缺损点的重建。

文献[10]中提到所有的已知像素点都会将像素信息传递给缺损像素点,但是由于距离$r$点较远的点将信息传递给缺损点的能力较弱可以忽略不计。在实际重建的过程中,为了更好地对已知点传递到缺损点的能量进行区分处理,本文考虑缺损点周围的已知点首先将能量传递到缺损点的最近邻域,最终依据最近邻域内的能量值,通过不同的插值方法完成重建。在此过程中最重要的就是传递函数的确定,因此本文引入二阶泰勒展开来对传递函数进行构造。

2 基于二阶泰勒展开的传递函数

2.1 最近邻域与二阶泰勒展开

在实际重建的过程中,首先需要将能量信息传递到距离缺损点最近的区域,因此选择缺损点周围半径小于单位长度的区域中的任一子区域作为缺损点周围的最近邻域,如图 2所示。

图 2 最近邻域示意图
Fig. 2 Schematic diagram of the nearest neighborhood

图 2中,阴影部分为缺损点(用$r$表示),其周围的“ $ \circ $ ”点为最近邻域内的亚像素点(根据不同的插值方法,在缺损点单位距离内的已知区域选取,图中${r_0}$为其中一点),“×”点为缺损点周围的有效整数像素点(${r_i}$为其中一点),${\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_3}$则为所选取的所有邻域内虚拟点的边界,Δ $l$$r$点和${r_i}$点之间的直线距离,这里用有向箭头表征缺损区域的能量均由已知区域的能量传递而来,Δ$l$1为虚拟点${r_0}$和缺损点$r$之间的直线距离,直线仅表示${r_0}$点和$r$点之间的距离而不考虑能量之间的传递。在重建过程中,本文考虑能量优先传递到最近邻域内,所以对于最近邻域内各虚拟点的能量值,均由其周围的整数像素点的能量传递而来,因而引入泰勒展开来设计传递函数的表达方式。

在标量场中,对某一函数$I\left( r \right)$,满足其周围任意两点$r$${r_i}$之间的距离Δ$l$无限小的条件;同时,该函数足够平滑,$r$点邻域内任意一点存任意阶导数,则由泰勒公式利用${r_i}$点的值就可以得到其附近$r$点的取值。即对任一足够平滑的函数,距离其最近的区域内的任意点存在二阶导数,可根据二阶微分近似法得到如下二阶泰勒展开[16]式,即

$ \begin{array}{*{20}{c}} {{I_0}\left( r \right) \approx {I_0}\left( {{r_i}} \right) + {{I'}_0}\left( {{r_i}} \right) \times \Delta l + \frac{1}{2} \times }\\ {{{I''}_0}\left( {{r_i}} \right) \times \Delta {l^2}} \end{array} $ (5)

式中,一阶偏导数${{I'}_0}\left( {{r_i}} \right)$与梯度存在确定的计算关系,二阶偏导数${{I''}_0}\left( {{r_i}} \right)$的绝对值与曲率$K\left( {{r_i}} \right)$的大小成正比,满足关系

$ \left| {{{I''}_0}\left( {{r_i}} \right)} \right| = {\left[ {1 + {{\left( {{{I'}_0}\left( {{r_i}} \right)} \right)}^2}} \right]^{\frac{3}{2}}} \times K\left( {{r_i}} \right) $ (6)

因此二阶泰勒展开式除了梯度信息以外还加入了曲率信息,即在信息沿着等照度线方向传递的条件下加入了等照度线的几何信息。使得用式(5)对${I_0}\left( r \right)$进行近似计算的结果更为准确。

在实际图像重建的过程中,由于较远的点的传递能力太小可忽略不计,将与目标重建点之间距离不大于$\sqrt 5 $的区域作为有效作用区域,考虑该区域内的整数点对最近邻域进行能量传递,如图 3所示。

图 3 有效整数作用区域示意图
Fig. 3 Schematic diagram of effective integer field

选取缺损点$r $作为目标重建点,如图 3所示,${r_1} \sim {r_{20}}$这20个点均处于有效作用区域,若它们都为已知点,则

$ {I_0}\left( {{r_i}} \right) = \left\{ \begin{array}{l} \phi \left( {{r_i}} \right)\;\;\;\;\;{r_i}\;为已知\\ 0\;\;\;\;\;\;\;\;\;\;{r_i}\;为未知 \end{array} \right. $ (7)

${{I'}_0}\left( {{r_i}} \right) $表示${r_i}$点在${r_0}$${r_i}$方向上的一阶偏导数,${{I''}_0}\left( {{r_i}} \right)$表示${r_i}$点在${r_0}$${r_i}$方向上的二阶偏导数,$|{r_0} - {r_i}|$表征${r_i}$${r_0}$之间的距离,箭头方向表征能量从已知的整数像素点传递到最近邻域内的虚拟像素点。为了使得$|{r_0} - {r_i}|$相对于局部区域的尺度满足合适的数量级以达到二阶泰勒展开的条件,需要对$|{r_0} - {r_i}|$进行归一化。由于本实验中选择的最近邻域与缺损点的距离小于1,而图 3$|{r_0} - {r_i}|$的取值范围为$\left[{1, \sqrt 5 } \right]$,因此归一化值取${d_{r{r_i}}} = |r - {r_i}|/\sqrt 5 \in \left[{0, 1} \right]$,因此由式(5)同样可得图像标量场的二阶泰勒展开式为

$ \begin{array}{*{20}{c}} {{I_0}\left( {{r_0}} \right) = {{\hat I}_0}\left( {{r_0},{r_i}} \right) \approx {I_0}\left( {{r_i}} \right) + {{I'}_0}\left( {{r_i}} \right) \times {d_{{r_0}{r_i}}} + }\\ {\frac{1}{2} \times {{I''}_0}\left( {{r_i}} \right) \times d_{{r_0}{r_i}}^2} \end{array} $ (8)

$\hat I\left( {{r_0}, {r_i}} \right)$表示仅有${r_i}$点时,该点传递给最近邻域的能量信息。转变$\hat I\left( {{r_0}, {r_i}} \right)$的表达方式,得

$ \begin{array}{*{20}{c}} {\hat I\left( {{r_0},{r_i}} \right) = }\\ {{I_0}\left( {{r_i}} \right)\left( {1 + \frac{{{{I'}_0}\left( {{r_i}} \right) \times {d_{{r_0}{r_i}}} + \frac{1}{2} \times {{I''}_0}\left( {{r_i}} \right) \times d_{{r_0}{r_i}}^2}}{{{I_0}\left( {{r_i}} \right)}}} \right)} \end{array} $ (9)

2.2 传递函数的构造

为了得到第1节中传递函数的具体表达形式,利用二阶泰勒求解得到式(9)所示的最近邻域的像素估计值之后,需要考虑能量在传递过程中相对于距离的平方的衰减,因此需要对传递函数进行进一步构造。

参照文献[10]中点源影响函数的构造方法,首先考虑最近邻域与有效作用点之间的联系性,利用二阶泰勒展开估计得到的最近邻域内相应点的像素值与已知像素点的像素值作差,定义它们之间的差值比为

$ \begin{array}{*{20}{c}} {dif\left( {{r_0},{r_i}} \right) = \frac{{\left| {\hat I\left( {{r_0},{r_i}} \right) - {I_0}\left( {{r_i}} \right)} \right|}}{{{I_0}\left( {{r_i}} \right)}} = }\\ {\frac{{\left| {{{I'}_0}\left( {{r_i}} \right) \times {d_{{r_0}{r_i}}} + \frac{1}{2} \times {{I''}_0}\left( {{r_i}} \right) \times d_{{r_0}{r_i}}^2} \right|}}{{{I_0}\left( {{r_i}} \right)}}} \end{array} $ (10)

$dif\left( {{r_0}, {r_i}} \right)$值越大说明${r_0}$越偏离${r_i}$的等照度线方向,即有效点传递到最近邻域的信息与真实值相差越大;$dif\left( {{r_0}, {r_i}} \right)$值为0表明${r_i}$${r_0}$处于同一等照度线上。结合实验分析,令

$ g\left( {{r_0},{r_i}} \right) = \sqrt {1 - dif\left( {{r_0},{r_i}} \right)} $ (11)

$ \begin{array}{*{20}{c}} {g\left( {{r_0},{r_i}} \right) = }\\ {\sqrt {1 - \left( {\frac{{\left| {{{I'}_0}\left( {{r_i}} \right) \times {d_{{r_0}{r_i}}} + \frac{1}{2} \times {{I''}_0}\left( {{r_i}} \right) \times d_{{r_0}{r_i}}^2} \right|}}{{{I_0}\left( {{r_i}} \right) + t}}} \right)} } \end{array} $ (12)

其次,考虑能量传递过程中的衰减,可以得到有效整数像素点与最近邻域内各点传递函数的最终表达式为

$ T\left( {{r_0},{r_i}} \right) = \frac{{g\left( {{r_0},{r_i}} \right)k\left( {{r_i}} \right)}}{{d_{{r_0}{r_i}}^2}} $ (13)

式中

$ k\left( {{r_i}} \right) = \left\{ \begin{array}{l} 0\;\;\;\;{r_i} \in 缺损区域\\ 1\;\;\;\;{r_i} \notin 缺损区域 \end{array} \right. $ (14)

式中,为了避免分母为0,设置了一个极小的数$t$ (这里$t$取0.01)。由于最小邻域内的所有像素点一般不会全部位于已知区域,$k\left( {{r_i}} \right)$可避免将缺损点计算在内。

最终求解最近邻域内相应点的能量值为

$ I\left( {{r_0}} \right) = \sum\limits_{i = 1}^{20} {T\left( {{r_0},{r_i}} \right){I_0}\left( {{r_i}} \right)} $ (15)

因此,接下来需要考虑虚拟像素点的选取以及对这些虚拟像素点的像素值进行处理,以重建缺损像素点的值。

2.3 基于最近邻域的差值重建

通过分析可知,最近邻域内的点与缺损点的距离小于1,并且通过传递函数计算得到的能量值非常接近,为了对这些近似的能量值的进行区分处理,可以利用不同的插值法[17]直接计算缺损点的像素值,以达到准确重建缺损点的目的。而不同的插值法决定了在最近邻域内所选择的虚拟点的位置及个数。本文采用最近邻插值[18]、双线性插值[19]和立方卷积插值[20]三种插值方法,分别考虑不同位置、不同个数的虚拟点的选取对图像重建效果的影响。

在实际重建的过程中,建立直角坐标系,对于任何一个缺损像素点,设为$\left( {x, y} \right)$,缺损点的最终重建值为$I\left( {x, y} \right)$$I\left( {x + i, y + j} \right)$表示距离缺损点最近的已知虚拟点的能量值,$i$$j$的取值范围是(0, 1]。对于最近邻域内各个点的坐标设为$ \left( {x + {i_n}, y + {j_n}} \right)$,其中${{i_n}}$${{j_n}}$的取值范围是(0, 1]。

最近邻插值是以待插像素点周围最近的已知像素点的能量值作为插值像素点的能量值,认为插值像素点的能量全部由距离自身最近的已知像素点传递而来。因此利用最近邻差值法进行最终重建计算时,选择可以求解并且距离缺损点最近的虚拟像素点进行计算,计算公式为

$ I\left( {x,y} \right) = I\left( {x + i,y + j} \right) $ (16)

$ \left( {x + i,y + j} \right) = \min \left[ {\left( {x + {i_n},y + {j_n}} \right)} \right] $ (17)

双线性插值的核心思想是在两个方向分别进行一次线性插值,在对缺损点的重建过程中,缺损点的能量值由其周围最近邻域内4个已求得的虚拟像素点的能量值进行双线性插值得到的。假设在最近邻域内所选取的参与插值计算的4个点的坐标分别$\left( {x + {i_1}, y + {j_1}} \right)$$\left( {x + {i_1}, y + {j_2}} \right)$$\left( {x + {i_2}, y + {j_1}} \right)$$\left( {x + {i_2}, y + {j_2}} \right)$,用其能量值进行缺损点的重建公式为

$ \begin{array}{*{20}{c}} {I\left( {x,y} \right) = \frac{{{i_2} \times {j_2}}}{{\left( {{i_2} - {i_1}} \right) \times \left( {{j_2} - {j_1}} \right)}}I\left( {x + {i_1},y + } \right.}\\ {\left. {{j_1}} \right) + \frac{{ - {i_1} \times {j_2}}}{{\left( {{i_2} - {i_1}} \right) \times \left( {{j_2} - {j_1}} \right)}}I\left( {x + {i_2},y + {j_1}} \right) + }\\ {\frac{{ - {j_1} \times {j_2}}}{{\left( {{i_2} - {i_1}} \right) \times \left( {{j_2} - {j_1}} \right)}}I\left( {x + {i_1},y + {j_2}} \right) + }\\ {\frac{{{i_1} \times {j_1}}}{{\left( {{i_2} - {i_1}} \right) \times \left( {{j_2} - {j_1}} \right)}}I\left( {x + {i_2},y + {j_2}} \right)} \end{array} $ (18)

在图像重建过程中,立方卷积插值不仅考虑到4个直接相邻的虚拟像素点的能量值对插值点的影响,还考虑到了各相邻虚拟点之间能量值变化率对插值点的影响,在计算过程中涉及中心点周围的16个虚拟像素点,$d$表示这些点与缺损点的距离。因此在稳定场的重建中,用立方卷积插值可以更加准确地重建缺损点的像素值。为了便于计算,本文选择极小的$u$$v$参与计算$\left( {u = v = 0.0001} \right)$,得到立方卷积核函数及计算过程为

$ \begin{array}{*{20}{c}} {S\left( d \right) = }\\ {\left\{ \begin{array}{l} 1 - 2 \times \left| d \right| + {\left| d \right|^3}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left| d \right| < 0.5\\ 4 - 8 \times \left| d \right| + 5 \times {\left| d \right|^2} - {\left| d \right|^3}\;\;\;\;\;0.5 \le \left| d \right| \le 1\\ 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left| d \right| \ge 1 \end{array} \right.} \end{array} $ (19)

$ \mathit{\boldsymbol{A}} = \left[ {\begin{array}{*{20}{c}} {S\left( {1 + u} \right)}&{S\left( u \right)}&{S\left( {1 - u} \right)}&{S\left( {2 - u} \right)} \end{array}} \right] $ (20)

$ \mathit{\boldsymbol{B}} = \left[ {\begin{array}{*{20}{c}} {I\left( {x - {i_1},y - {j_1}} \right)}&{I\left( {x - {i_1},y} \right)}&{I\left( {x - {i_1},y + {j_1}} \right)}&{I\left( {x - {i_1},y + {j_2}} \right)}\\ {I\left( {x,y - {j_1}} \right)}&{I\left( {x,y} \right)}&{I\left( {x,y + {j_1}} \right)}&{I\left( {x,y + {j_2}} \right)}\\ {I\left( {x + {i_1},y - {j_1}} \right)}&{I\left( {x + {i_1},y} \right)}&{I\left( {x + {i_1},y + {j_1}} \right)}&{I\left( {x + {i_1},y + {j_2}} \right)}\\ {I\left( {x + {i_2},y - {j_1}} \right)}&{I\left( {x + {i_2},y} \right)}&{I\left( {x + {i_2},y + {j_1}} \right)}&{I\left( {x + {i_2},y + {j_2}} \right)} \end{array}} \right] $ (21)

$ \mathit{\boldsymbol{C}} = \left[ {\begin{array}{*{20}{c}} {S\left( {1 + v} \right)}&{S\left( v \right)}&{S\left( {1 - v} \right)}&{S\left( {2 - v} \right)} \end{array}} \right] $ (22)

$ I\left( {x,y} \right) \approx I\left( {x + u,y + v} \right) = \mathit{\boldsymbol{A}} \cdot \mathit{\boldsymbol{B}} \cdot \mathit{\boldsymbol{C}} $ (23)

式中,$S\left( d \right)$为立方卷积核函数,$\mathit{\boldsymbol{A}}$$\mathit{\boldsymbol{C}}$都是根据$S\left( d \right)$求解得到的两个矩阵,$\mathit{\boldsymbol{B}}$表征了最近邻域内的16个像素点,最终通过式(23)计算缺损点的像素重建值。

3 仿真实验与结果分析

为了验证本文的重建模型及算法的重建效果,选取了具有代表性的BSCB模型、TV模型、CDD模型及同样基于稳定场的文献[10]算法,与本文模型进行比较。由于本文在最近邻域进行插值重建时,不同的插值方法对重建结果有不同的影响,因此针对最近邻插值法、双线性插值法以及立方卷积插值法分别进行重建实验。根据缺损图像的不同类型,实验对象分为典型几何图形、灰度图像和彩色图像三类,从主观视觉角度定性分析仿真结果的同时采用算法运行时间、峰值信噪比(PSNR)以及重建正确率作为评价标准,定量比较各算法的重建结果。

3.1 典型几何图形

图 4所示的是不同算法对几种典型几何图形的修复及重建边缘的比较。

图 4 典型几何图形的修复及重建结果
Fig. 4 Repair and restoration effects for typical geometric graph
((a)defect images; (b)BSCB model; (c)TV model; (d)CDD model; (e)reference[10];(f)the nearest neighbor interpolation; (g)the bilinear interpolation; (h)the cubic convolution interpolation)

其中,图像T1~T4的缺损区域为白色部分,T5~T7的缺损部分为灰色部分,缺损区域覆盖了图像的不同边缘。实验结果显示,前3种模型对几何图形的重建结果存在不同程度的模糊,未能成功重建出图形的边缘;采用文献[10]算法和本文算法的重建结果就完整清晰得多;基于稳定场模型的文献[10]算法虽然足够清晰,但重建后图形的边缘存在着锯齿形与一定的延伸,而采用本文算法进行重建,不论是通过最近邻插值法、双线性插值法还是立方卷积插值法实现最终的重建计算都表现出更好的重建效果,特别是采用立方卷积插值法对最近邻域内的虚拟点进行最终重建计算时,对于每一幅几何图形的边缘重建都清晰准确。说明本文算法对图像边缘的重建表现出较好的平滑处理能力及对不同方向的缺损具有鲁棒性。

3.2 灰度图像

图 4的重建结果展示了单值图像的边缘重建结果,为了进一步比较各算法对图像的边缘以及对平坦区域重建效果,图 5选择了3幅纹理及边缘细节丰富的灰度图像,在其边缘及纹理区域进行不同程度的破坏,且令缺损区域覆盖几乎全部的纹理变化范围及边缘,得到缺损图像L1、L2、L4;同时考虑L2和L4的划痕较细,选择来源于同一原始图像加大划痕、加大划痕同时添加斑点及加马赛克等得到缺损图像L3、L5、L6,再分别对它们利用不同的重建模型进行恢复,比较不同算法的修复及重建效果。

图 5 灰度图像的修复及重建结果
Fig. 5 Repair and restoration effects for gray images
((a)defect images; (b)BSCB model; (c)TV model; (d)CDD model; (e)reference[10];(f)the nearest neighbor interpolation; (g)the bilinear interpolation; (h)the cubic convolution interpolation)

对于图像L1中白色斑点在边缘处(如肩膀、手臂、腰部、裤子、支架及远处高楼)的重建,前3种算法出现不同程度的模糊,其中TV算法的模糊最为明显,CDD算法次之,BSCB算法的重建效果模糊程度较轻,但其结果图中相机的左支架处存在非常明显的偏差;文献[10]算法的重建虽然足够清晰,但对边缘的处理不够精细,边缘并不平滑,多为锯齿形态,而本文算法则基本不存在这样的问题,相比而言,采用立方卷积插值处理后可以说达到了清晰准确的要求;从L2~L6的重建结果可以看出,缺损区域越大,则重建结果越不理想,如缺损区域包含划痕及斑点的L5,白色划痕在边缘处(如帽檐、头发、脸颊、肩膀、胳膊及背景柱子)的重建,前3种算法存在不同程度的模糊,其中BSCB和TV算法的模糊程度较重,对比之下,文献[10]算法和本文算法的重建效果更为清晰准确。

3.3 彩色图像

最后对两幅纹理信息复杂、尺寸较大的彩色图像也进行不同程度的破坏,破坏区域同样包含大部分纹理变化范围及边缘,再用不同的重建模型对其进行重建,更加全面地比较不同算法的修复及重建结果,如图 6所示。

图 6 彩色图像的修复及重建结果
Fig. 6 Repair and restoration effects for color images
((a)defect images; (b)BSCB model; (c)TV model; (d)CDD model; (e)reference[10];(f)the nearest neighbor interpolation; (g)the bilinear interpolation; (h)the cubic convolution interpolation)

图 6彩色图像缺损区域为红色部分,除了观察到BSCB模型未能完整重建以外,其余重建结果从主观视觉角度较难进行分析比较,因此需要从客观角度分析重建效果。

3.4 重建结果的定量比较

针对上述图像类型、破损类型及缺损区域大小方面的不同,表 1列出了上述参与重建的部分图像的总像素数及缺损像素个数,图 7-图 9分别给出了各算法的实测数据:重建时间、线图。其中图 7以缺损像素个数为横坐标,评价了各算法的重建效率,图 8图 9都是以缺损点像素数与总像素数的百分比为横坐标,分别评价了上述5种不同算法的重建效果和重建准确度[8]。考虑到重建准确率,本文进行实验分析时均考虑对于缺损区域有意义的有效区域,而不是整个图像区域,如本文中考虑的最大的有效区域加上缺损区域才是总的区域(像素),由此会导致一系列的不同。

表 1 缺损图像的总像素数及缺损像素个数
Table 1 The number of total pixels and defective pixels of the defective images

下载CSV
图像 尺寸/像素 缺损像素数
L1 256×256 737
L2 295×272 845
L3 295×272 2 082
L4 512×512 7 046
L5 512×512 9 009
L6 512×512 25 126
C1 256×256 619
C2 256×256 1 666
C3 686×1 024×3 4 887
C4 686×1 024×3 11 879
C5 686×1 024×3 26 574
C6 686×1 024×3 23 051
C6 686×1 024×3 17 563
C6 686×1 024×3 19 002
图 7 重建效率比较
Fig. 7 The comparison of reconstruction efficiency
图 8 重建效果比较
Fig. 8 The comparison of reconstruction result
图 9 重建正确率比较
Fig. 9 The comparison of reconstruction accuracy

针对图 7进行横向观察,可以看到参与比较的7种重建模型中,TV模型与CDD模型随着缺损区域的增加,上下波动较大,而BSCB模型和基于稳定场的4种重建模型在缺损点较小时,所需要的时间都较少,且重建时间随着缺损像素的增加平稳增大;说明TV算法与CDD算法的重建时间不仅与缺损区域的大小有关,还受图像自身尺寸的影响,BSCB模型和基于稳定场的重建算法则几乎由缺损区域大小决定;纵向比较可以看到,文献[10]算法和本文算法的重建效率相比于需要若干次迭代的BSCB、TV及CDD模型具有较大的优势;本文算法由于采用插值法参与最终的重建计算,因此相比于文献[10]算法略繁琐,所需重建时间更长,但是仍然保持了稳定场模型的重建效率。

对于重建效果的比较,从图 8可以看出:随着缺损百分比的增大,经典的BSCB及TV模型曲线上下波动较大,因此这两种模型对于不同程度的缺损不具有鲁棒性;本文算法对于重建效果均有一定的提高,其中利用立方卷积插值法参与最终计算时,重建效果提高最明显,其相比于文献[10],PSNR提高大约在2 dB左右;相比于较为稳定的经典的CDD模型,采用最近邻插值的计算方法在某些点处的PSNR值会略有不及,但是双线性插值与立方卷积插值重建后的PSNR均普遍高于CDD模型,提高在1 dB左右;立方卷积差值重建结果相比于BSCB模型和TV模型,PSNR分别提高为3 dB和2.5 dB左右。图 8中,随着缺损像素点所占百分比的增加,PSNR值在较为平稳地下降时略有波动,这是由于图像尺寸与图像类型不同会对重建效果产生影响。

对于准确度的评价,从图 9可以看到:本文模型的重建准确率相比于其他模型均有提高;当缺损百分比较大时,双线性插值法与立方卷积插值法相比于CDD模型,重建正确率提高分别在5 %和10 %左右;立方卷积差值相比于文献[10]算法,正确率提高约为6 %左右;本文采用的最近邻插值法实现最终重建与TV模型对于重建正确率均表现较差,而立方卷积差值与BSCB和TV模型相比,重建正确率提高分别为15 %和13 %左右;图 9中重建准确率随着缺损像素点所占百分比的增加较为平稳地下降。

综上所述,本文算法与其他4种算法对图像重建的整体视觉效果都较好;相比于文献[10]算法,由于本文考虑缺损点周围每一个像素点都将能量优先传递到最近邻域内,且利用不同的插值法对最近邻域内各能量值进行计算,使得本文能更加清晰地重建出缺损图像的边缘及纹理细节,较好地提高了重建后图像的准确率,但是由于本文模型对传递函数的计算模式及最终对各能量值的计算方法较为复杂,导致重建效率略有降低;此外,本文只考虑了其中一种能量传递模式,导致能量信息在场中的传递方式具有局限性,不能达到完全准确重建复杂图像边缘的目的。

4 结论

现有的2维图像重建或修复算法多以人眼难以察觉为目标,重视重建的视觉效果,忽视重建准确率,没有考虑重建图像的特征提取或者分析。因此本文在基于稳定场图像重建模型的基础上,针对能量传递过程的传递函数进行深入研究。针对每一个缺损像素点,认为场中各有效像素点都对缺损点进行能量传递,且能量首先传递到距离缺损点单位长度的最近邻域内,由此根据二阶泰勒展开,考虑缺损点与最近邻域内的虚拟像素点的关系以及能量在传递过程中与距离之间的关系,建立涉及一阶偏导数及二阶偏导数的传递函数;最后通过插值法直接计算缺损点的重建像素值,即对缺损点的像素值进行更加细致的处理;并通过实验对比了最近邻插值法、双线性插值法以及立方卷积插值法进行最终计算的重建结果。实验结果表明,本文算法实现了对不同类型及不同破损程度的图像的边缘及纹理细节完整清晰且准确性较高的重建,同时保持了较好的视觉效果;此外,由于该算法无需迭代,具有较高的重建效率,适用于信息的实时处理。但是该重建模型的传递函数只考虑了一种能量传递方式,对图像边缘的重建仍然存在瑕疵,且对复杂图像的重建没有达到完全准确。因此,考虑多种能量传递方式以实现正确率更高的重建是本研究接下来需要解决的问题。

参考文献

  • [1] Wu Y D, Zhang H Y, Wu B. Digital Image Inpainting[M]. Beijing: Science Press, 2010: 1-19. [ 吴亚东, 张红英, 吴斌. 数字图像修复技术[M]. 北京: 科学出版社, 2010: 1-19.]
  • [2] Dickerman L. Reviewed work:the commissar vanishes:the falsification of photographs and art in Stalin's Russia by David King[J]. The Art Bulletin, 1998, 80(4): 755–757. [DOI:10.2307/3051326]
  • [3] Barbu T. Variational image inpainting technique based on nonlinear second-order diffusions[J]. Computers & Electrical Engineering, 2016, 54: 345–353. [DOI:10.1016/j.compeleceng.2016.04.012]
  • [4] Xiang C Y, Cao Y J, Duan P S, et al. An improved exemplar-based image inpainting algorithm[C]//Proceedings of the 9th International Conference on Computer Science & Education. Vancouver, BC, Canada: IEEE, 2014: 770-775. [DOI: 10.1109/ICCSE.2014.6926566]
  • [5] Bertalmío M, Sapiro G, Caselles V, et al. Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York, USA: ACM, 2000: 417-424. [DOI: 10.1145/344779.344972]
  • [6] Chan T F, Shen J H. Mathematical models for local nontexture inpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019–1043. [DOI:10.1137/S0036139900368844]
  • [7] Chan T F, Shen J H. Nontexture inpainting by curvature-driven diffusion[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436–449. [DOI:10.1006/jvci.2001.0487]
  • [8] Hui S Y. Study on local image reconstructing algorithm based on the static magnetic field[D]. Hangzhou: Hangzhou Dianzi University, 2016. [惠舒芸. 基于静磁场模型的图像局部重建算法研究[D]. 杭州: 杭州电子科技大学, 2016.]
  • [9] Ye X Y. Iris and face based multi-biometrics identification and fusion methods[D]. Hefei: University of Science and Technology of China, 2006. [叶学义. 基于虹膜和脸像的多生物特征身份识别及融合算法的研究[D]. 合肥: 中国科学技术大学, 2006.]
  • [10] Ye X Y, Qi Z Z, He Z W, et al. Reconstructing image local regions based on directional derivative of a field[J]. Journal of Image and Graphics, 2014, 19(7): 998–1005. [叶学义, 齐珍珍, 何志伟, 等. 图像场方向导数的局部区域重建[J]. 中国图象图形学报, 2014, 19(7): 998–1005. ] [DOI:10.11834/jig.20140702]
  • [11] Landau L D, Lifshitz E M, Holbrow C H. The classical theory of fields[J]. Physics Today, 1963, 16(6): 72. [DOI:10.1063/1.3050989]
  • [12] Yang H J. Methods of Mathematical Physics and Computer Simulation[M]. Beijing: Publishing House of Electronics Industry, 2005: 31-54. [ 杨华军. 数学物理方法与计算机仿真[M]. 北京: 电子工业出版社, 2005: 31-54.]
  • [13] Courant R, Hilbert D. Methods of mathematical physics[J]. Physics Today, 1954, 7(5): 17. [DOI:10.1063/1.3061619]
  • [14] Gimel'farb G. Modeling image textures by Gibbs random fields[J]. Pattern Recognition Letters, 1999, 20(11-13): 1123–1132. [DOI:10.1016/S0167-8655(99)00079-3]
  • [15] Wang J. Research on digital image inpainting technology[D]. Hangzhou: Hangzhou Dianzi University, 2012. [王靖. 数字图像修复技术研究[D]. 杭州: 杭州电子科技大学, 2012.]
  • [16] Duan H G, Wang J W. Image restoration based on differential approximation[J]. Information Technology, 2007(5): 25–27. [段汉根, 汪继文. 基于微分近似的图像修复[J]. 信息技术, 2007(5): 25–27. ] [DOI:10.13274/j.cnki.hdzj.2007.05.007]
  • [17] Lv H, Wang R G, Li Y, et al. A resolution-adaptive interpolation filter for video codec[C]//Proceedings of 2014 IEEE International Symposium on Circuits and Systems. Melbourne VIC, Australia: IEEE, 2014: 542-545. [DOI: 10.1109/ISCAS.2014.6865192]
  • [18] Michael D. Automated optical inspection apparatus using nearest neighbor interpolation: US, 6061467[P]. 2000-05-09.
  • [19] Zhang X G. A new kind of super-resolution reconstruction algorithm based on the ICM and the bilinear interpolation[C]//Proceedings of 2008 International Seminar on Future BioMedical Information Engineering. Wuhan, Hubei, China: IEEE, 2008: 661-664. [DOI: 10.1109/FBIE.2008.44]
  • [20] Poggio T P, Voorhees H, Yuille A. A regularized solution to edge detection[J]. Journal of Complexity, 1988, 4(2): 106–123. [DOI:10.1016/0885-064X(88)90024-6]