尽管过去十多年时间里相机传感器技术取得了长足的进展，产生了许多高质量的高分辨率数码摄像机，然而诸如卫星遥感影像、目标探测和医学影像等众多计算机可视应用通常对图像的高分辨率有更加强烈的需求，这种需求往往超出了一般高分辨率摄像机的能力,并且成像器件物理条件和构建成本等多方面的限制使得单纯从硬件工艺角度来达到图像的超分辨率变得非常困难，近年来基于图像处理技术的高质量超分辨率图像重建(SRIR)技术研究受到关注并成为前沿问题^[1]。所谓图像超分辨率重建是指利用单幅或多幅低分辨率图像信息通过相应的信号及图像处理技术重构出对应场景的高分辨率图像。重建过程涉及到逆问题求解，通常具有较为严重的不适定问题^[2]，因而一般重建的结果并不唯一。对于基于多幅低分辨率图像的重建技术，它利用对同一场景的具有亚像素位移的多幅低分辨率图像来提高重建图像精度^[3-4]，由于利用了多幅图像的信息，该类技术可在一定程度上提高问题的适定性，然而在实际应用中一方面很难用同一成像设备捕捉到亚像素位移的多幅图像，另一方面从理论上也已证明采用多幅图像融合的超分辨率技术很难重建出超过两倍分辨率的输出图像^[5]。对于以单幅低分辨率图像和单幅高分辨率图像分别作为输入和输出的图像重建技术^[6]，不再利用额外的样本库信息进行低分辨率输入到高分辨率输出映射关系的学习，而是利用低分辨率图像本身的自相似性和冗余特性^[7-8]来挖掘这种映射关系。这种基于单帧的重建模式通常具有低内存需求和速度快的特点，对于诸如图像处理芯片的设计等特性条件的实际应用具有不可替代的优势。

在单幅图像的重建技术中，基于插值的重建方法总体上是通过一些线性和非线性运算利用已知的样点信息恢复出采样过程中所丢失的相应信息，该类方法通常因所具有的直观和简单特性而受到重视。传统的图像插值方法包括最近邻域插值法、双线性插值法和双三次插值法等^[9]。 该类插值方法可在一定程度上消除采样误差和虚假响应，但通常会引起两种失真，即图像边缘阶梯形失真效应和严重的图像边缘模糊现象，有时还会产生边缘锯齿化和引入振铃噪声等，特别是对于纹理丰富的区域^[10]。究其原因是该类方法没有考虑图像的局部图区域特性，对整幅图像采用了相同的处理过程，无论是灰度平坦区域还是纹理丰富区域均通过插值点局部区域像素灰度值的加权平均来获取插值的灰度值。为了提升插值方法对纹理丰富区域的插值效果，近年来人们对基于边缘信息的图像非线性插值方法进行了研究，文献[11]提出了一种基于方向滤波和信息融合的插值方案，将插值点附近的像素分为两个正交方向组并以此作为生成插值像素点沿着两个方向的估计值，进而与原始像素点进行融合来提高纹理区域插值点对方向的适应性；文献[12]提出一种基于自适应2维自回归模型和软决策估计的插值算法，依据高、低分辨率图像块的几何对偶性来估计高分辨率图像的插值点，并通过采用反馈机制来提高插值精度；文献[13]提出了一种图像基于多尺度分解的变换域插值方案，通过对原始低分辨率图像Wavelet小波变换的线性插值图像作为初始估计，通过基于Contourlet变换高频系数的约束和插值迭代来提高对放大图像边缘信息的保持。与传统方案不同，该类方案对不同的图像区域采用了不同的处理方法，从而使插值后的图像较好地保留图像的纹理信息。然而，这些方法在很大程度上受限于对图像不同特性区域的划分，并且一般都具有较高的计算复杂度。事实上，在基于图像边缘信息的非线性插值方法中，如何对边缘的方向进行有效地估计将会直接影响到最后边缘的插值效果。基于这种考虑，文献[14]提出了一种基于活动轮廓的图像边缘自适应非线性插值方法，很好地克服了传统插值方法所产生的边缘模糊和边缘锯齿化等负面效果。该方法中图像的边缘轮廓是通过总变分(TV)模型进行估计的，即通过计算基于轮廓曲线总变分范数的最小值来从候选的轮廓模板中确定边缘轮廓。理论上，对于连续的轮廓曲线，利用该TV模型可以精确地确定出图像的边缘轮廓，而实际应用中轮廓曲线需要以离散化的方式参与运算，并且离散化的精度将直接影响到对边缘轮廓的估计精度。文献[14]提出了8个方向轮廓模板(contour stencils)来离散化轮廓曲线，在一定程度上保证了对边缘轮廓的有效捕捉。然而对于诸如纹理密集且不规则的纹理图像，这种有限的方向轮廓模板将会使丰富纹理区域边缘轮廓的估计存在一定的误差，从而带来了最后高分辨率重构图像细节的失真。

本文提出一种基于TV模型进行边缘轮廓估计的多方向轮廓模板方案，并给出了利用所获取的轮廓方向进行自适应非线性插值提高图像分辨率的实现过程。该方案能够很好地满足复杂纹理区域对边缘轮廓进行估计的精度要求，在一定程度上提高了重构高分辨率图像的细节精度。

在基于插值的图像超分辨率重建方法中，如何有效地利用复杂纹理区域的局部边缘信息来提升插值点的合理性和精度成为该类方法的一个关键问题。

文献[14]提出了一种基于轮廓模板的非线性图像插值方案，通过测量图像曲线的总变分来评估图像的局部轮廓，并将其应用于边缘自适应插值。

设u是一个图像，轮廓模板定义为描述像素间连接关系的一个函数$ S\text{ }:{{\mathbb{Z}}^{2}}\times {{\mathbb{Z}}^{2}}\to \mathbb{R} $，即

$ \begin{align} & (S*\left[u \right])\left( k \right):= \\ & \sum\limits_{m,n\in {{\mathbb{Z}}^{2}}}{s\left( m,n \right)\left| {{u}_{k+m}}-{{u}_{k+n}} \right|} \end{align} $

(1)

式中，k是当前像素，S(m,n)是像素m和n的边缘权重，其中较大的值代表较强的连接。

进一步将式(1)看为TV模型沿着像素k处轮廓曲线的一个离散估计，文献[14]提出了如图 1所示的8种轮廓模板Σ，通过寻找使式(1)达到最小的模板S^*(k)来估计图像中k处的边缘轮廓，即$ {{S}^{*}}\left( k \right)=\arg \ \underset{s\in \sum }{\mathop{\min }}\,\left( S*\left[u \right] \right)\left( k \right) $。

在此基础上，利用S^*(k)所确定的方向实现基于方向的图像插值来获得高分辨率图像，从而在一定程度上保证了插值图像边缘处的精度。然而，较少方向的轮廓模板将会产生对复杂、多方向纹理轮廓方向捕捉的误差，而基于这种粗糙轮廓方向的插值将会导致所获取插值图像边缘细节的平滑和失真。

TV模型最早是由Rudin等人在文献[15-16]中提出的用于降噪和去模糊问题的非线性数学模型，在此基础上产生了许多扩展模型^[17]。该模型的卓越特性主要来自其所采用的Radon测度对图像中边特征的有效处理。其基本表现形式为：

令$ \Omega \in {{\mathbb{R}}^{2}} $为一有界开集(通常被假定为Lipschitz域)，且u=u(x,y)是光滑的，则u的全变分T[u]定义为

$ T\left[u \right]=\int_{\Omega }{\left| \nabla u \right|}\text{d}x\text{d}y,\nabla u=\left( {{u}_{x}},{{u}_{y}} \right) $

(2)

对于图像u，如果T[u] < ∞，则称其为有界变分的。

采用将总变分模型与活动轮廓曲线相结合的TV模型来对图像的轮廓进行估计。

对于图像u和其上的简单光滑曲线C，定义

$ {{\left\| u \right\|}_{T\left( C \right)}}=\int_{0}^{t}{\left| \frac{\partial }{\partial t}u\left( \gamma \left( t \right) \right) \right|\text{d}t} $

(3)

式中，γ∶[0,t]→C为曲线C的参数。通过寻找使$ {{\left\| u \right\|}_{T\left( C \right)}} $达到最小的C来确定u中近似的轮廓。

$ \left( {{\boldsymbol{S}_k} * \left[u \right]\left( {i,j} \right)} \right): = {\boldsymbol{S}_k} \cdot \boldsymbol{B}\left( {i,j} \right) $

(4)

式中，S_k(k=0,1,…,27)为

$ \begin{array}{*{20}{c}} {{S_0}}&{{S_1}}&{{S_2}}&{{S_3}}&{{S_4}}&{{S_5}}&{{S_6}}\\ {\left[{\begin{array}{*{20}{c}} 0&0&0\\ 1&{ - 2}&1\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&1\\ 0&{ - 2}&0\\ 0&0&1 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&1&0\\ 0&{ - 2}&0\\ 0&0&1 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&1\\ 0&{ - 2}&1\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&1\\ 0&{ - 2}&0\\ 0&1&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 0&{ - 2}&1\\ 0&0&1 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&1\\ 0&{ - 2}&0\\ 1&0&0 \end{array}} \right]}\\ {{S_7}}&{{S_8}}&{{S_9}}&{{S_{10}}}&{{S_{11}}}&{{S_{12}}}&{{S_{13}}}\\ {\left[{\begin{array}{*{20}{c}} 0&1&0\\ 0&{ - 2}&1\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&0&0\\ 0&{ - 2}&0\\ 0&0&1 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 0&{ - 2}&1\\ 0&1&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&0&0\\ 0&{ - 2}&1\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&1&1\\ 0&{ - 2}&0\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 0&{ - 2}&1\\ 1&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 0&{ - 2}&0\\ 0&1&1 \end{array}} \right]}\\ {{S_{14}}}&{{S_{15}}}&{{S_{16}}}&{{S_{17}}}&{{S_{18}}}&{{S_{19}}}&{{S_{20}}}\\ {\left[{\begin{array}{*{20}{c}} 0&1&0\\ 0&{ - 2}&0\\ 0&1&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&0&1\\ 0&{ - 2}&0\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 0&{ - 2}&0\\ 1&0&1 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&1\\ 1&{ - 2}&0\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&1&0\\ 0&{ - 2}&0\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 0&{ - 2}&0\\ 1&1&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 1&{ - 2}&0\\ 0&0&1 \end{array}} \right]}\\ {{S_{21}}}&{{S_{22}}}&{{S_{23}}}&{{S_{24}}}&{{S_{25}}}&{{S_{26}}}&{{S_{27}}}\\ {\left[{\begin{array}{*{20}{c}} 0&1&0\\ 1&{ - 2}&0\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 1&{ - 2}&0\\ 0&1&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&1&0\\ 0&{ - 2}&0\\ 1&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&0&0\\ 1&{ - 2}&0\\ 0&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&0&0\\ 0&{ - 2}&0\\ 0&1&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 0&0&0\\ 1&{ - 2}&0\\ 1&0&0 \end{array}} \right]}&{\left[{\begin{array}{*{20}{c}} 1&0&0\\ 0&{ - 2}&0\\ 1&0&0 \end{array}} \right]} \end{array} $

这些模板矩阵所对应的方向如图 2所示。

B(i,j)为像素(i,j)与周边像素系数差矩阵

$ \left[{\begin{array}{*{20}{c}} {\left| {{u_{i + 1,j - 1}} - {u_{i,j}}} \right|}&{\left| {{u_{i,j - 1}} - {u_{i,j}}} \right|}&{\left| {{u_{i - 1,j - 1}} - {u_{i,j}}} \right|}\\ {\left| {{u_{i + 1,j}} - {u_{i,j}}} \right|}&0&{\left| {{u_{i - 1,j}} - {u_{i,j}}} \right|}\\ {\left| {{u_{i + 1,j + 1}} - {u_{i,j}}} \right|}&{\left| {{u_{i,j + 1}} - {u_{i,j}}} \right|}&{\left| {{u_{i - 1,j + 1}} - {u_{i,j}}} \right|} \end{array}} \right] $

进一步将$ \left( {{\boldsymbol{S}_k} * [u]} \right)\left( {i,j} \right): = {\boldsymbol{S}_k} \cdot \boldsymbol{B}\left( {i,j} \right) $看做TV模型沿着(i,j)处轮廓曲线的一个离散估计，即假设

$ \begin{array}{ccccc} \left( {{\boldsymbol{S}_k} * [u]} \right)\left( {i,j} \right): = \\ {JCS_k} \cdot B\left( {i,j} \right) \approx {\left\| u \right\|_{T\left( C \right)}} \end{array} $

(5)

通过寻找使式(5)达到最小的S_k来估计图像中(i,j)处边缘轮廓的方向，即有

$ {S^*}\left( {i,j} \right) = \arg \;\mathop {\min }\limits_{k = 0,1 \cdots ,27} \left( {{S_k} * [u]} \right)\left( {i,j} \right) $

(6)

对于输入离散图像v和点扩散函数h(x,y)(选取其为标准差为0.5的高斯型点扩散函数)，构建超分辨率图像u(x,y)满足

$ {v_{i,j}} = \left( {h * u} \right)\left( {i,j} \right) $

(7)

参照文献[14]，将基于所提出多方向模板的插值重建分为局部重建和全局重建两个过程：

1)局部重建。为了通过式(6)在反卷积确定u时保持计算效率，结合所提出的多方向模板实现下列局部重建

$ \begin{array}{ccccc} {u_{i,j}}\left( {x,y} \right) = {v_{i,j}} + \\ \sum\limits_{\left( {m,n} \right) \in N} {\left( {{v_{i + m,j + n}} - {v_{i,j}}} \right)\varphi S*} \left( {i,j} \right)\left( {x - m,y - n} \right) \end{array} $

(8)

式中，N ={－1,0,1}×{－1,0,1}为以当前像素(x,y)为中心3×3窗口内的邻点域；φ_S^*(i,j)为基于多方向模板最佳拟合的高斯型建模，其表达式为

$ {\varphi _{S*\left( {i,j} \right)}}\left( {x,y} \right) = \exp \left( {\frac{{{\tau ^2}}}{{2\sigma _\tau ^2}} - \frac{{{v^2}}}{{2\sigma _v^2}}} \right) $

(9)

式中，$ \left( {\begin{array}{*{20}{c}} \tau \\ v \end{array}} \right) = \left( {\begin{array}{*{20}{c}} {\cos {\theta _{s*\left( {i,j} \right)}} - \sin {\theta _{s*\left( {i,j} \right)}}}\\ {\sin {\theta _{s*\left( {i,j} \right)}}\;\;\cos {\theta _{s*\left( {i,j} \right)}}} \end{array}} \right)\left( {\begin{array}{*{20}{c}} x\\ y \end{array}} \right){\theta _{s*\left( {i,j} \right)}} $为最佳方向模板S^*(i,j)所对应的方向角(参见图 2)，实验中选取标准差σ_τ=σ_v=0.95。

2)全局重建。结合由式(8)所获得的局部重建u_i,j(x,y)和重叠窗口，获得最后的插值图像

$ u\left( x,y \right)=\sum\limits_{\left( i,j \right)\in {{\mathbb{Z}}^{2}}}{w\left( \left( x,y \right)-\left( i,j \right) \right){{u}_{i,j}}\left( \left( x,j \right)-\left( i,j \right) \right)} $

式中，窗口w满足

$ \left\{ \begin{matrix} \sum\limits_{\left( i,j \right)}{w\left( \left( x,y \right)-\left( i,j \right) \right)=1}\ \ \ \forall \left( x,y \right)\in {{\mathbb{R}}^{2}} \\ w\left( i,j \right)=0\ \ \ \ \ \ \left( i,j \right)\notin \boldsymbol{N} \\ \end{matrix} \right. $

实验中选取w(x,y)为双三次B样条函数，即

$ w\left( x,y \right)=B\left( x \right)B\left( y \right) $

(5)

这里，$ B\left( t \right)=\left( 1-\left| t \right|+\frac{1}{6}{{\left| t \right|}^{3}}-\frac{1}{3}{{\left| 1-\left| t \right| \right|}^{3}} \right) $ 。

为了验证本文方法的有效性，进行了大量的仿真实验，重点考查超分辨率重构图像的细节还原是否真实，重构图像的峰值信噪比与平均结构相似度是否较好，以及对噪音等是否具有较强的鲁棒性。实验环境是Windows7旗舰版32位主机上，在VC+ +6.0平台下进行的，采用的输入图像为采用二次立方下采样方法进行缩放，同时与文献[14]等典型方法进行了相应的比较和分析。对实验结果的定量分析采用了峰值信噪比(PSNR)、平均结构相似性(MSSIM)和所用时间进行了比较，其中PSNR和MSSIM为

$ \left\{ \begin{matrix} \text{PSNR=10}\times \lg \frac{{{255}^{2}}\times m\times n}{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{{{\left( u\left( i,j \right)-{{u}_{0}}\left( i,j \right) \right)}^{2}}}}} \\ \text{MSSIM=}\frac{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{{{\left( u\left( i,j \right)-{{u}_{0}}\left( i,j \right) \right)}^{2}}}}}{\sum\limits_{i=1}^{m}{\sum\limits_{j=1}^{n}{{{u}_{0}}{{\left( i,j \right)}^{2}}}}} \\ \end{matrix} \right. $

( )

式中，u₀为原始高分辨率图像。

图 3给出了本文方向提取模板与文献[14]方向模板对Lena图像进行方向提取的对比图(特别对Lena中头发纹理复杂区域的方向图进行了2倍放大显示)，可以看出本文方向提取更加精细。

进一步，图 4给出了两种方法对Frog图像和Baboon图像放大64倍(图像的长、宽各放大8倍)的重建图像，表 1为与图 4对应的PSNR和MSSIM的比较。图 5给出了两种方法对Frog图像、Baboon图像、Eye图像、Lena图像和Goldhill图像放大16倍(图像的长、宽各放大4倍) 的重建图像，表 2为与其对应的PSNR和MSSIM的比较。为了方便比较重建图像的可视效果，图 6给出了Frog、Eye、Goldhill和Lena重建图像局部区域放大的显示结果，可以看出由于方向的增加，本文方法放大图像的可视效果优于文献[14]方法，特别对纹理丰富区域。

从表 1、表 2可以看出，总体而言所提出的方法较文献[14]在重建高分辨率图像的PSNR和MSSIM均有所提高。此外在计算时间上，尽管本文方法采用了多方向模板，然而由于事先明确了各模板与相应方向角度的对应关系，无需实时计算，从而节省了算法的执行时间。

本文方法的重建结果除了与压缩倍数有关外，一般还会与重建图像大小有关，比如若原始图像过小(如256×256 像素)，若压缩倍数超过64，则因为重建图像过小，图像间的亚像素信息过少，重建图像效果将会失真严重。经过大量实验统计发现，当重建图像大小在64×64像素以上，其重建效果优于其他对比方法；但若重建图像小于64×64像素，重建效果逐渐趋于对比方法，优势不再明显。

针对传统方法的不足，提出一种基于亚像素点多方向模板变分模型的图像超分辨率重建方法，通过多方向模板可较好地对图像的轮廓方向进行捕捉，同时通过TV模型对图像的轮廓进行估计，在此基础上通过基于多方向模板的插值过程实现图像的超分辨率重建。该方法较好地克服了传统插值方法所产生的边缘模糊、边缘锯齿化和过冲等负面效果，以及较少方向模板所带来的边缘、纹理丰富区域的失真现象。尽管本文采用多方向模板取得了较好的图像重建效果，但由于所具有的模板方向还不是很多，从而对图像中更加精细的强纹理区域的重建效果还有待提高，进一步将探讨具有更加丰富方向的方向模板以及更为精细和简洁的方向计算方法，使所提出的超分辨率重建方法更具普适性。