视频监控环境中采集的图像由于环境噪声和运动目标与采集设备之间的距离较远等影响，导致视频中的人脸图像存在分辨率较低的问题，无法被人或机器所识别。人脸超分辨率重建是一种根据观测到的低质量、低分辨率人脸图像，结合从高低分辨率训练样本对中学习得到的先验知识，估计出清晰的高分辨率人脸图像的技术，有效地增加图像的分辨率提高图像视觉效果^[1]。现有的人脸超分辨率重建方法主要分为基于插值的方法、基于重构的方法和基于学习的方法^[2]。基于插值的方法通常是利用混叠特性对低分辨率图像上采样过程直接去混叠得到高分辨率图像，是在不改变低分辨率图像的像素的前提下，对缺失的高分辨率像素通过一定的插值函数进行内插；基于插值的方法生成的高分辨率图像，低分辨率像素位置的像素是不改变的，且插值过程不会增加图像的中高频分量，所以图像的细节和边缘看起来不够清晰，而基于重构的方法可以弥补插值生成图像的缺点；在基于凸集投影和最大后验概率的重建方法中，所有可用的图像信息都是从输入数据中得到，没有任何附加的背景信息，整个重建过程相当于信息提取和信息融合。这些算法依赖某种模型从输入图像中产生新的图像信息，且随着分辨率的提高，算法性能下降较快，难以改进重建效果。为了打破这种局限，出现了基于学习的超分辨率重建技术。基于学习的人脸超分辨率重建方法是目前的研究热点，最先由Freeman等人^[3]提出的，他们使用Markov网络模型(MNM)对图像进行建模，训练得到高频、低频信息对，并利用最大后验概率估计重建高分辨率图像块。其大体上可以分为3个大类：基于全局特征的方法^[3-4]、基于局部特征的方法^[5-6]、基于局部特征与全局特征相结合的方法^[7-9]。本文主要研究基于局部特征的人脸超分辨率重建方法。

基于局部特征的方法是一种基于图像局部特征的方法，即通过像素级或局部图像块特征匹配进行高频信息的预测。通常，基于局部特征的方法首先将人脸图像划分为大小相等的重叠图像块，然后按照从左到右、从上到下的顺序对每个图像块进行重建，最后对重建得到的高分辨率图像块进行拼接融合，对重叠区域做平均处理，得到最终的整幅高分辨率图像。基于图像块的人脸超分辨率重建方法均是基于高低分辨率图像块流形具有一致几何结构的前提假设。然而，高低分辨率图像之间存在“一对多”的对应关系，其提出的流形几何结构一致性的假设并不符合实际情况。原始图像降质后得到的低分辨率图像的邻域关系并不能真实反映原始图像的邻域关系。

为了解决上述问题，本文提出基于联合局部约束的邻域嵌入人脸超分辨率重建算法。输入的低分辨率图像与低分辨率样本之间的距离作为其中一项约束，输入的低分辨率图像插值得到的初始高分辨率图像与高分辨率样本之间的距离作为另一项约束，联合两项约束来更好的保持图像的几何结构，进一步优化重构权值。

Chang等人^[10]在局部线性嵌入流形学习的基础上，提出基于邻域嵌入的超分辨重建方法。该方法假设高分辨图像块与其对应的低分辨率图像块具有相似的局部几何结构。根据上述假设，求取输入的低分辨率图像块与训练样本库中的低分辨率图像块之间的线性关系，并将其映射到高分辨率图像块上，进而重构出高分辨率的图像块。基于邻域嵌入的超分辨率重建主要分为两部分，样本库的建立和匹配重建。具体流程如图 1所示。

1) 样本库的建立。首先选取大量高分辨率的图像作为训练图像，并对选取的图像进行降质，得到对应的低分辨率图像。降质模型有很多，如高斯降质模型、点平均降质模型等。由于高斯降质模型更符合真实的降质过程，因此一般采用高斯降质模型对图像进行降质处理。之后提取图像特征，低分辨率数字图像使用其一阶梯度和二阶梯度向量作为特征量，高分辨率数字图像使用去均值的亮度值作为其特征。最后，对高低分辨率图像进行重叠分块，高分辨率图像块和对应位置的低分辨率图像块分别构成相应的训练样本库。

2) 匹配重建。对待重建低分辨率图像进行特征提取和分块，然后在低分辨率图像块样本集中，为每一个待重建图像块${\mathit{\boldsymbol{x}}_t}$寻找最相似的$K$个样本块，该匹配搜索算法采用欧氏距离作为最近邻衡量标准。根据该方法的前提假设，可以获得搜索到的$K$个低分辨率近邻块所对应的高分辨率图像块，对$K$个低分辨率近邻块进行线性组合重建当前的低分辨率图像块，使重建误差最小，求取最优的重建权重。具体公式为

$ \begin{array}{*{20}{c}} {{w_t} = \arg \min \left\| {{\mathit{\boldsymbol{x}}_t} - \sum\limits_{k \in C\left( {{x_t}} \right)} {{w_k}{\mathit{\boldsymbol{x}}_k}} } \right\|_2^2}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\;\;\sum\limits_{i = 1}^N {{w_i} = 1} } \end{array} $

(1)

式中，$w$为重建权值系数；${\mathit{\boldsymbol{x}}_k}$代表与输入的低分辨率图像块${\mathit{\boldsymbol{x}}_t}$相近的第$k$个近邻块；$C({\mathit{\boldsymbol{x}}_t})$代表$k$个近邻块的集合。

求解得到最优权重后，利用该权重和对应的高分辨率图像样本块，加权求和即可得到重建后的高分辨率图像块。加权求和

$ {\mathit{\boldsymbol{y}}_t} = \sum\limits_{k \in C\left( {{\mathit{\boldsymbol{x}}_t}} \right)} {{w_k}{\mathit{\boldsymbol{y}}_k}} $

(2)

式中，${\mathit{\boldsymbol{y}}_t}$为重建后的高分辨率图像块；${\mathit{\boldsymbol{y}}_k}$为与低分辨率近邻块${\mathit{\boldsymbol{x}}_k}$相对应的高分辨率近邻块。

得到重建的高分辨率图像块后，对高分辨率图像块进行拼接，得到最终的高分辨率图像。

基于联合局部约束的邻域嵌入人脸超分辨率重建算法将输入的低分辨率图像与低分辨率样本之间的距离作为其中一项约束，输入的低分辨率图像插值得到的初始高分辨率图像与高分辨率样本之间的距离作为另一项约束，联合两项约束来更好的保持图像的几何结构，进一步优化重构权值，并重构出高分辨率的人脸图像。

对于输入的低分辨率人脸图像中的每一个图像块${\mathit{\boldsymbol{x}}_t}$，通过最小化重构误差来求解最优重构权值，目标函数为

$ \begin{array}{*{20}{c}} {J\left( w \right) = \left\| {{\mathit{\boldsymbol{x}}_t} - \sum\limits_{k \in C\left( {{y_t}} \right)} {{w_k}{\mathit{\boldsymbol{x}}_k}} } \right\|_2^2 + }\\ {\lambda \left\| {dis{t_{{\rm{L}}\left| K \right.}}w} \right\|_2^2 + \tau \left\| {dis{t_{{\rm{H}}\left| K \right.}}w} \right\|_2^2} \end{array} $

(3)

式中，${\mathit{\boldsymbol{y}}_t}$为输入低分辨率图像块经过插值运算得到的初始高分辨率图像；${\mathit{\boldsymbol{C}}}({\mathit{\boldsymbol{y}}_t})$为初始高分辨率图像在高分辨率图像样本库中的$K$个近邻块的集合。$\lambda $、$\tau $为局部约束正则化参数，用于平衡重构误差和局部先验之间的最小化；$dis{t_{{\rm{L|}}K}}$为$dis{t_{\rm{L}}}$中最小的$K$项，$dis{t_{\rm{L}}}$为输入的低分辨率图像块${\mathit{\boldsymbol{x}}_t}$与低分辨率样本集$\sum\limits_{i = 1}^{\rm{N}} {\left\{ {{x_i}} \right\}} $中图像块之间的欧氏距离，$dis{t_{\rm{L}}}$为

$ dis{t_{{\rm{L}}i}} = {\left\| {{\mathit{\boldsymbol{x}}_t} - {\mathit{\boldsymbol{x}}_i}} \right\|_2},\;\;\;\;1 \le i \le N $

(4)

$dis{t_{{\rm{H|}}K}}$为$dis{t_{\rm{H}}}$中最小的$K$项，$dis{t_{\rm{H}}}$为初始高分辨率图像块${\mathit{\boldsymbol{y}}_t}$与高分辨率样本集$\sum\limits_{i = 1}^N {\left\{ {{\mathit{\boldsymbol{y}}_i}} \right\}} $中图像块之间的欧氏距离，$dis{t_{\rm{H}}}$为

$ dis{t_{{\rm{H}}i}} = {\left\| {{\mathit{\boldsymbol{y}}_t} - {\mathit{\boldsymbol{y}}_i}} \right\|_2},\;\;\;\;1 \le i \le N $

(5)

式(3)是最小二乘问题，给定$\sum\limits_{k = 1}^K {{w_k} = 1} $，式(3)可推导出

$ \begin{array}{*{20}{c}} {J\left( w \right) = {\mathit{\boldsymbol{w}}^{\rm{T}}}\mathit{\boldsymbol{Qw}}}\\ {\mathit{\boldsymbol{Q}} = {{\left( {{\mathit{\boldsymbol{x}}_t} \cdot {{\bf{1}}^{\rm{T}}} - {\mathit{\boldsymbol{X}}_k}} \right)}^{\rm{T}}}\left( {{\mathit{\boldsymbol{x}}_t} \cdot {{\bf{1}}^{\rm{T}}} - {\mathit{\boldsymbol{X}}_k}} \right) + }\\ {\lambda dist_{{\rm{L}}\left| K \right.}^{\rm{T}}dis{t_{{\rm{L}}\left| K \right.}} + \tau dist_{{\rm{H}}\left| K \right.}^{\rm{T}}dis{t_{{\rm{H}}\left| K \right.}}} \end{array} $

(6)

式中，1是$K$×1的单位列向量，当$\sum\limits_{k = 1}^K {{w_k} = 1} $时，式(3)可写成拉格朗日函数形式

$ \mathit{\boldsymbol{J}}\left( {\mathit{\boldsymbol{w}},\mu } \right) = {\mathit{\boldsymbol{w}}^{\rm{T}}}\mathit{\boldsymbol{Qw}} + \mu \left( {{\mathit{\boldsymbol{l}}^{\rm{T}}}\mathit{\boldsymbol{w}} - 1} \right) $

(7)

式中，$\mu $为参数。

根据拉格朗日乘数法，由式(7)可得到

$ \left\{ \begin{array}{l} \frac{{\partial \mathit{\boldsymbol{J}}\left( {w,\mu } \right)}}{{\partial w}} = 2\mathit{\boldsymbol{Qw}} + \mu \mathit{\boldsymbol{l}} = 0\\ \frac{{\partial \mathit{\boldsymbol{J}}\left( {w,\mu } \right)}}{{\partial \mu }} = {\mathit{\boldsymbol{l}}^{\rm{T}}}\mathit{\boldsymbol{w}} - 1 = 0 \end{array} \right. $

(8)

求解式(8)可得

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{w}} = - \frac{\mu }{2}{\mathit{\boldsymbol{Q}}^{ - 1}}\mathit{\boldsymbol{l}}\\ {\mathit{\boldsymbol{l}}^{\rm{T}}}w = {\mathit{\boldsymbol{l}}^{\rm{T}}}\left( { - \frac{\mu }{2}{\mathit{\boldsymbol{Q}}^{ - 1}}\mathit{\boldsymbol{l}}} \right) = - \frac{\mu }{2}{\mathit{\boldsymbol{l}}^{\rm{T}}}{\mathit{\boldsymbol{Q}}^{ - 1}}\mathit{\boldsymbol{l}} = 1 \end{array} \right. $

(9)

进一步求解可得

$ - \frac{\mu }{2} = {\left( {{\mathit{\boldsymbol{l}}^{\rm{T}}}{\mathit{\boldsymbol{Q}}^{ - 1}}\mathit{\boldsymbol{l}}} \right)^{ - 1}} $

(10)

由式(9)(10)可得

$ \mathit{\boldsymbol{w}} = \frac{{{\mathit{\boldsymbol{Q}}^{ - 1}}\mathit{\boldsymbol{l}}}}{{\left( {{\mathit{\boldsymbol{l}}^{\rm{T}}}{\mathit{\boldsymbol{Q}}^{ - 1}}\mathit{\boldsymbol{l}}} \right)}} $

(11)

通过式(11)求解重构权值，需要求解$\mathit{\boldsymbol{Q}}$的逆，$\mathit{\boldsymbol{Q}}$的逆比较难计算。可以通过等式$\mathit{\boldsymbol{QW=1}}$避免求$\mathit{\boldsymbol{Q}}$的逆。因此，可得重构权值$\mathit{\boldsymbol{w}}$

$ \mathit{\boldsymbol{w}} = \mathit{\boldsymbol{Q\backslash l}} $

(12)

式中，“\”代表矩阵左除，如$\mathit{\boldsymbol{A}}\backslash \mathit{\boldsymbol{B}}$等于${\mathit{\boldsymbol{A}}^{{\rm{ - 1}}}}\mathit{\boldsymbol{B}}$。

求解得到最优权重后，利用该权重和对应的高分辨率图像样本块，加权求和即可得到重建后的高分辨率图像块，加权求和公式如式(2)所示。

本文提出的基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建方法的流程图如图 2所示。

本文算法主要包括样本库的建立和匹配重建两部分。由图 2可知，样本库的建立主要是对高低分辨率图像进行分块；匹配重建过程中，为了更好地表征原始图像块的邻域关系，本文结合低分辨率图像块在低分辨率图像块样本集中的邻域与初始高分辨率图像块在高分辨率图像块样本集中的邻域作为局部约束用于求解最优的重建权重系数。

该方法的具体步骤如下：

1) 输入：高分辨率人脸图像样本集${\mathit{\boldsymbol{I}}^{\rm{H}}}$=$\left\{ {\mathit{\boldsymbol{I}}_1^{\rm{H}}, \mathit{\boldsymbol{I}}_2^{\rm{H}}, \cdots \mathit{\boldsymbol{I}}_N^{\rm{H}}} \right\}$，对高分辨率样本集中的图像进行退化处理得到相应的低分辨率人脸图像样本集${\mathit{\boldsymbol{I}}^{\rm{L}}} = \left\{ {\mathit{\boldsymbol{I}}_1^{\rm{L}}, \mathit{\boldsymbol{I}}_2^{\rm{L}}, \cdots \mathit{\boldsymbol{I}}_N^{\rm{L}}} \right\}$，待重建的低分辨率人脸图像$\mathit{\boldsymbol{I}}_t^{\rm{L}}$，图像块大小${s_{{\rm{patch}}}}$，图像块间重叠像素${l_{{\rm{over}}}}$，图像块的最近邻个数$K$和局部约束正则化参数$\lambda $和$\tau $；输出：重建的高分辨率人脸图像$\mathit{\boldsymbol{I}}_t^\mathit{\boldsymbol{H}}$。

2) 计算图像块行数$U$和列数$V$

$ U = c\left\{ {\frac{{M - {l_{{\rm{over}}}}}}{{{s_{{\rm{patch}}}} - {l_{{\rm{over}}}}}}} \right\} $

$ V = c\left\{ {\frac{{N - {l_{{\rm{over}}}}}}{{{s_{{\rm{patch}}}} - {l_{{\rm{over}}}}}}} \right\} $

式中, $M$为图像行数，$N$为图像列数，$c$表示返回大于或等于指定表达式的最小整数的函数。

3) 对待重建的低分辨率图像$\mathit{\boldsymbol{I}}_t^{\rm{L}}$进行双三次插值，得到初始的高分辨图像$\mathit{\boldsymbol{I}}_{t\left( 0 \right)}^{\rm{H}}$。

4) 对图像进行分块，对待重建的低分辨率人脸图像$\mathit{\boldsymbol{I}}_t^{\rm{L}}$和初始高分辨率人脸图像$\mathit{\boldsymbol{I}}_{t\left( 0 \right)}^{\rm{H}}$进行分块，分别得到$\left\{ {{x_t}\left( {p, q} \right)|1 \le p \le U, 1 \le q \le V} \right\}$和$\left\{ {{y_{t\left( 0 \right)}}\left( {p, q} \right)|1 \le p \le U, 1 \le q \le V} \right\}$，将高低分辨率人脸图像样本集中的图像分割成小的图像块，构成高分辨率图像块样本集$\left\{ {{y_i}\left( {p, q} \right)|1 \le p \le U, 1 \le q \le V} \right\}$和低分辨率图像块样本集$\left\{ {{x_i}\left( {p, q} \right)|1 \le p \le U, 1 \le q \le V} \right\}$。

5) 计算待重建的低分辨率图像块${\mathit{\boldsymbol{x}}_t}(p, q)$与低分辨率图像块样本集中所有图像块之间的欧氏距离，取距离最近的$K$个低分辨率图像块；计算初始高分辨率图像块${{y_{t\left( 0 \right)}}\left( {p, q} \right)}$与高分辨率样本集中所有图像块之间的欧氏距离，取距离最近的$K$个高分辨率图像块。

6) 求解目标函数式(1)，得到最优重构权值$\mathit{\boldsymbol{w}}$。

7) 通过式(2)得到高分辨率图像块${\mathit{\boldsymbol{y}}_t}$。

8) 按照图像块在图像中的位置对重建得到的高分辨率图像块进行拼接叠加，重叠区域进行像素值平均，得到最终的完整高分辨率人脸图像。

在CAS-PEAL-R1人脸库上进行实验，并将本文提出的重建算法与前沿的人脸超分辨率重建算法进行比较，验证本文算法的有效性，实验中采用峰值信噪比(PSNR)和结构相似性(SSIM)指标来评估不同方法的重建结果的图像质量。

选择CAS-PEAL-R1正面人脸子库中的1 040幅标准人脸图像进行实验，随机选择1 000幅人脸图像用于训练，剩余40幅人脸图像用于测试。因此，所有的测试图像均不包含在训练样本中。确定训练和测试样本后，对所有的图像进行几何归一化处理，并将图像大小裁剪为128×112像素。对训练样本中的高分辨率图像进行平滑滤波和下采样得到大小为32×28像素的低分辨率图像，其中平滑滤波采用模板尺寸为4×4像素的均值滤波算子，下采样采用4倍双三次插值方法。在所提出的方法中图像块大小和局部约束参数需要设置，下面将通过实验选择合适的参数值：

1) 局部约束参数。为了验证局部约束参数$\lambda $和$\tau $对本章所提算法的影响，在CAS-PEAL-R1人脸库上进行实验，实验前提假定高分辨率图像大小取12像素，重叠区域像素取8像素，最近邻域个数取250。表 1和表 2分别给出了不同$\lambda $和$\tau $情况下的所有40幅测试人脸图像的平均PSNR和SSIM值。由表可知，当$\tau $取值在10^-2到10^-5之间，$\lambda $取值在1与10^-5之间时，40幅测试人脸图像的PSNR值稳定在27.96到27.99之间，SSIM值稳定在0.897 9到0.903 7之间。因此，选取稳定结果范围内的局部约束参数值，均能取得较好的结果，本文取$\tau $为10^-5，$\lambda $为10^-1。

2) 图像块大小。图像块尺寸和相邻图像块之间的重叠尺寸对获得高质量可靠的重建效果至关重要，设置不同的图像块大小(${s_{{\rm{patch}}}}$)，将会产生的不同的重建效果。本文重叠区域的大小(${l_{{\rm{over}}}}$)将根据图像块大小进行设置。本文分别针对${l_{{\rm{over}}}}$=${s_{{\rm{patch}}}}$-8和${l_{{\rm{over}}}}$=${s_{{\rm{patch}}}}$-4两种情况，在CAS-PEAL-R1人脸库上进行实验，假定邻域数K为250，局部约束参数$\lambda $取0.01，$\tau $取0.000 1，图 3给出了不同图像块大小情况下40幅人脸测试图像的平均PSNR和SSIM值。由图 3可知，重叠区域按照${l_{{\rm{over}}}}$=${s_{{\rm{patch}}}}$-4来进行计算时，重建图片的峰值信噪比和结构相似性指标明显高于${l_{{\rm{over}}}}$=${s_{{\rm{patch}}}}$-8的情况，因此，重叠区域越大重建效果越好。此外，图像块尺寸较小，其包含的人脸图像的结构信息较少，重建结果较差。图像块尺寸过大，重建出的高分辨率人脸图像会出现平滑现象而丢失视觉细节。根据实验结果，当图像块大小取12像素时，重建图像的PSNR值最大，SSIM值也取得较大值。因此，本文中高分辨率图像大小取12像素，重叠区域像素取8像素，相应的低分辨率图像块大小为3像素，重叠区域为2像素。

3) 自适应邻域选择。邻域数目$K$取固定值，只考虑了邻域数目对整幅图像重建结果的影响，忽略了其对每一个图像块重建结果的影响。考虑到近邻块数目对图像子块重建的重要性，本文在基于联合局部约束的邻域嵌入人脸超分辨率重建的基础上加入自适应邻域选择。为了选择每个图像子块重建效果最优的近邻块数目，本文从40幅测试人脸图像中随机挑选16幅图片用于测试图像子块的最优邻域数目。首先，将人脸图像分割成12×12像素的图像子块，按照从左到右、从上到下的顺序依次对图像块进行重建，挑选使重建图像的峰值信噪比最大时所对应的邻域数目。根据每一个人脸图像块达到最优重建时的邻域数目建立邻域选择库，测试图像重建时，针对不同位置的图像块自适应的选择邻域数目。由于图像分块后共有30行26列，每幅图像分成780个图像子块，其对应的邻域选择库较大，本文选取前5行26列图像块所对应的邻域选择库进行列举，如表 3所示。

将本文新提出的方法与Julio等人^[11]提出的几何感知领域搜索(GANS)、Qing等人^[12]提出的基于梯度锐化(GPS)的单图像超分辨率重建方法、Ma等人^[13]提出的基于最小二乘表示(LSR)的位置图像块人脸幻构方法、Jiang等人^[14]提出的基于局部约束表示(LcR)的人脸超分辨率重建方法、Jiang等人^[15-17]提出的基于吉洪诺夫正则化邻域嵌入(TRNR)的人脸超分辨率重建方法进行比较，实验结果如图 4所示。图 4从左到右分别为输入的低分辨率人脸图像、几何感知领域搜索的结果、GPS的重建结果、LSR的重建结果、LcR的重建结果、TRNR的重建结果、本文方法的重建结果、原始的高分辨率人脸图像。为了使各种方法均能达到最佳性能，对每种方法的参数进行调节。基于梯度锐化的超分辨率重建方法中邻域数目设置为150，基于局部约束表示(LcR)的人脸超分辨率重建算法中，局部约束参数取0.04，基于吉洪诺夫正则化邻域嵌入(TRNR)的人脸超分辨率重建方法中邻域数目取150，约束参数取0.01。本文方法采用自适应的邻域选择库，高分辨率图像块局部约束参数取10^-5，低分辨率图像块局部约束参数取10^-1。基于图像块的重建方法，重叠像素数越多，重建效果越好，为实现公平比对，所有基于图像块的方法中图像块大小均为12像素，重叠像素数目为8，相应的低分辨率图像块为3像素，重叠像素数目为2。

1) 主观结果对比。如图 4所示，6幅测试图像采用不同的方法进行重建，中间6列为采用不同方法进行重建的结果。第3列到第7列均为采用基于图像块的人脸超分辨率重建算法重构出的人脸图像，由图 4可知，基于图像块的人脸超分辨率重建算法重建出的人脸在视觉效果上明显优于基于几何感知领域搜索得到的人脸。在基于图像块的重建方法中，本文方法重构出的人脸图像具有更多的人脸特征细节，而且与原始高分辨率人脸图像更加相似。

2) 客观结果对比。为了进一步比对不同方法的重建性能，表 4给出了不同方法在CAS-PEAL-R1人脸库中40张测试人脸重建结果的平均PSNR和SSIM值。由表 4所知，基于局部图像块重建方法明显优于几何感知领域搜索的方法，这主要归功于图像分块策略，局部图像块包含了更多的人脸特征信息，增强了人脸训练样本库。本文方法相对于Ma提出的LSR重建方法效果显著，在PSNR上提升了0.63 dB，SSIM上提升了0.01，相较于GPS重建方法，在PSNR和SSIM上分别提升了0.34 dB和0.001 4，相较于LcR重建方法，在PSNR和SSIM上分别提升了0.36 dB和0.003 2，相较于TRNR重建方法，在PSNR和SSIM上分别提升了0.33 dB和0.001 1。本文所提算法在在PSNR和SSIM上的提升，主要归功于低分辨率空间结构局部约束和高分辨率空间结构局部约束的结合，以及邻域的自适应选择。

3) 计算复杂度。不同方法在CAS-PEAL-R1人脸库上进行实验，表 5给出了40幅测试人脸在Intel(R)Core(TM)i7-4510U 4核CPU电脑和Matlab R2013a上重建所用的平均运行时间，即单张人脸图像重建所用的时间。

由表 5可知，基于TRNR的人脸超分辨率重建方法重构出一幅图像所用用时最短，但其重建效果不及本文算法的重建效果。本文方法相比GPS重建方法和TRNR重建方法，运行时间较长，主要在于本文采用联合局部约束，需要分别计算低分辨率人脸图像块与低分辨率样本库中图像块的欧氏距离和高分辨率人脸图像块与高分辨率样本库中图像块的欧氏距离。针对耗时较长的问题，可以采用图像处理器GPU或并行处理的方式进行加速。

本文提出了一个基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建算法，并在CAS-PEAL人脸库上进行实验，通过实验确定了最优的实验参数，并与其他算法进行比较，本文所提方法的重建结果在主观视觉上具有更多的人脸特征细节，而且与原始高分辨率人脸图像更加相似，在客观评价指标上也取得了较好的结果，本文方法的PSNR和SSIM值相较其他方法均有所提高，可用于实际的视频人脸图像重建，进一步应用于各安全领域的安防监控系统，捕捉目标的人脸特征，提高安防的准确性。但该方法重建出的人脸图像仍存在平滑现象，细节不够丰富。本文对人脸图像进行统一分块，忽略了人脸的五官位置信息。结合人脸的五官位置，对人脸图像进行合理分块，充分利用人脸图像的结构先验进行超分辨率重建是未来需要进一步研究的方向。