由于人脸识别技术具有优良的非接触性、隐蔽性以及广泛的应用前景，近30年来，很多研究人员投身到人脸识别的研究当中^[1-2]。尽管之前已经有大量2维人脸识别的研究，但是仍然无法克服光照和姿态带来的影响。而在3维人脸中，几何信息和相对位置信息相对稳定，因此相比于传统的2维人脸识别，3维人脸识别对光照、姿态和表情更加地鲁棒。因而近些年来，越来越多的研究者从2维人脸识别的研究转为对3维人脸识别的研究。而且到目前为止，诸多研究人员提出了很多有效的3维人脸识别方法^[3-5]。

但是，现在的3维人脸识别算法多数是基于严格控制条件下采集到的数据，这种情况下的3维人脸点云数据大多都是正面的、没有遮挡的点云。然而，在现实情况中，3维人脸数据往往只能在非控制的情况下采集得到。此时，3维人脸数据常常会带有遮挡，如头发、眼镜、手等造成的面部遮挡。在这种情况下，大量针对非遮挡点云的3维人脸识别算法的表现难以让人满意。因此，针对遮挡情况下的3维人脸识别，成为极有意义的研究方向和研究难点。

Alyuz等人^[6]提出了一种遮挡投影(masked projection)对人脸的子空间进行处理。文章先进行鼻子区域检测，再利用其他模块和鼻子区域的偏移向量定位出24个对称模块。最后通过24个模块的排列组合得到40个不同的配准表。文献[7]提出遮挡的人脸在遮挡区域会出现明显的不同，基于这个理论，Alyuz等人计算输入人脸和平均人脸在不同区域的绝对差来检测人脸的遮挡区域。匹配时通过去除遮挡的部分，在配准表里选择合适的子空间并提取相应的子空间特征进行人脸匹配。Drira等人^[8]提出，分析和比较从鼻尖点出发的人脸径向线的形状，对每条径向线使用递归ICP(iterative closest point)算法检测和移除遮挡部分。通过测试集曲线可见部分和训练得到的曲线信息构建稀疏模型，在合适的向量空间使用PCA(principal component analysis)得到正交基来表示训练集中的人脸形状。然后通过这组基得到测试集曲线可视部分的相应参数，从而用相应的参数估计出曲线的完整形状。在匹配的阶段，提出将曲线的最优匹配转化为最优化参数的问题。最后在黎曼空间中构建目标函数，用最近邻分类器完成识别实验。Yu等人^[9]提出用Douglas-Peucker算法^[10]将以鼻尖点为中心的径向线折线化，将3维的曲线转化到2维平面上来求解。对于特征点的增加、缺失或偏移，文献[9]基于文献[11]，对于拐点的定位大于一定的范围时提出了一种合并的策略。通过计算折线中各个子线段和合并之后的线段的代价函数，用动态规划的算法生成相应径向线的相似矩阵。该方法虽然对表情变化和局部遮挡有一定的鲁棒，但是由于用Douglas-Peucker算法在每条径向线上定出拐点的数目不同，因此需要构造出相应径向线间的2维相似矩阵来进行匹配。

受文献[9]启发，选择从鼻尖点出发的径向线来表示人脸。针对径向线的特点，对径向线进行截取和采样。同时，受到3维人脸识别中基于局部特征方法^[12-13]的启发，提取采样点之间的局部区域，并在局部区域内提取局部特征，用径向线周围的局部信息来代替线段信息，以此增大径向线的有效信息。对于点云局部遮挡情况下的径向线匹配，通过均匀采样将文献[9]中的2维相似矩阵转化为具有局部匹配特性的1维相似向量，从而降低时间复杂度。在文献[9]中，针对Douglas-Peucker算法定出的拐点位置偏移较大的情况采取了合并相邻线段的思想，借鉴这个思想，本文对于点云稀疏的3维人脸点云采样不均匀的问题，也采用合并相邻局部区域的思想。具体介绍如下文所示。

首先提取3维人脸的径向线，同时对径向线进行截取和采样。提取相邻采样点之间的局部区域，最后在局部区域内提取3个局部特征构成局部特征描述子，这3个局部特征分别为局部区域的中心坐标，局部区域面积以及倾斜角直方图。

径向线指的是人脸对称面及其旋转平面和人脸曲面的交线。本文采用中心区域人脸镜像匹配法^[14]来确定人脸对称面，中心区域是指以鼻尖点^[15]为球心，以45 mm为半径的区域，如图 1(a)所示。设原始的中心区域为$E$，初始对称面选为$YOZ$平面，径向线的提取步骤为：

1) 对输入的人脸，计算其中心区域$E$和该区域关于对称面的镜像区域$E′$。

2) 对原始区域$E$和其镜像区域$E′$使用ICP算法，得到旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵应用于镜像区域$E′$，得到对齐后的镜像区域$E′′$。

3) 根据原始的区域$E$和对齐后的镜像区域$E′′$，得到中心区域对称面，将该对称面扩展到整张人脸曲面就得到镜像对称面$P$，如图 1(b)所示。

4) 在规范化的人脸点云中，将镜像对称面$P$绕着鼻尖点旋转角度$\alpha$得到平面$P′$，旋转后的平面$P′$和原始人脸曲面相交得到人脸的径向线，如图 1(c)所示。

以经过鼻尖点的水平线为界，将人脸曲面分为上下两个部分。其中，下半部分包含嘴部区域，受表情影响较大^[16]，相对地，上半部分对表情有较强的鲁棒性。因此选择上半部分人脸区域内的径向线作为有效部分。然后在每一条径向线的有效部分内截取和采样。实验中以6.5 mm为间隔均匀采样。实验结果表明，包括鼻尖点在内，每条径向线采样11个点，可以很好地表示出径向线的有效部分，如图 2所示。

定义局部点云区域为：以相邻两个采样点之间的欧氏距离为直径，以两点的中心为球心画球，将其命名为采样球(sample ball)，落在采样球内的人脸区域形成局部点云区域。由于每条径向线采样11个点，因此每条径向线上有10个局部点云区域。图 3(a) (b)分别表示没有遮挡和存在局部遮挡时的采样球，图中只展示了部分径向线。

在每个局部点云中，选取球体的球心坐标作为第1个局部特征。将点云网格化，选取局部区域中的点组成的所有三角面片面积和作为该区域的面积，以此作为第2个局部特征。除此之外，第3个局部特征选择较为复杂的倾斜角直方图$h$，长度为7。其中倾斜角$\alpha$定义为

$ \alpha ({\boldsymbol{n}_i}, {\boldsymbol{l}_q}) = {\rm{arccos}}\frac{{{\boldsymbol{l}_q} \cdot {\boldsymbol{n}_i}}}{{\left| {{\boldsymbol{l}_q}} \right|}} $

(1)

式中，向量${\boldsymbol{l}_q}$表示将第$q$个采样点和第 $q+1$个采样点相连的直线的方向向量，向量${\boldsymbol{n}_i}$表示局部区域中第$i$个点的单位法向量。

提取出来的3个局部特征表示为：球心坐标$(x,y,z)$，局部面积$s$，倾斜角直方图$h$，每个局部点云区域的特征描述子表示为$P(x,y,z,s,h)$。通过采样球提取径向线上相邻采样点间的3个局部特征构成局部特征描述子，该方法保持径向线连续性的同时充分利用了其局部信息，从而提高了识别率。

利用第1节提取的3个局部特征，构造出对应径向线间对应局部区域的代价函数，再利用局部区域代价函数的计算结果生成对应径向线的相似向量，最后利用相似向量完成径向线匹配，从而完成3维人脸识别。

令${P_A}$和${P_B}$分别表示两条径向线，定义${P_A}\left\langle i \right\rangle $为径向线${P_A}$上的第$i$个局部区域的特征描述子，相应的表达式为$({x_A}\left\langle i \right\rangle, {y_A}\left\langle i \right\rangle, {z_A}\left\langle i \right\rangle, {s_A}\left\langle i \right\rangle, {h_A}\left\langle i \right\rangle)$。定义${P_A}\left\langle {i:j} \right\rangle $为径向线${P_A}$中从第$i$个局部区域到第$j$个局部区域合并后的特征描述子。

根据第1部分提取的局部特征，径向线${P_A}$和径向线${P_B}$对应的第$i$个局部区域的相似代价函数为

$ \begin{array}{*{20}{l}} {Cost({P_A}\left\langle i \right\rangle ),{P_B}\left\langle i \right\rangle ) = \left| {{s_A}\left\langle i \right\rangle - {s_B}\left\langle i \right\rangle } \right| + }\\ {\;\;\;\;\;\;\;\;\;f({h_A}\left\langle i \right\rangle ,{h_B}\left\langle i \right\rangle ) + }\\ {\sqrt {\begin{array}{*{20}{l}} {{{({x_A}\left\langle i \right\rangle - {x_B}\left\langle i \right\rangle )}^2} + {{({y_A}\left\langle i \right\rangle - {y_B}\left\langle i \right\rangle )}^2} + }\\ {\;\;\;\;\;\;\;\;\;\;\;\;\;\;{{({z_A}\left\langle i \right\rangle - {z_B}\left\langle i \right\rangle )}^2}} \end{array}} } \end{array} $

(2)

$ \begin{array}{l} f({h_A}\left\langle i \right\rangle, {h_B}\left\langle i \right\rangle ) = \\ \arccos\frac{{{h_A}\left\langle i \right\rangle \cdot {h_B}\left\langle i \right\rangle }}{{\left| {{h_A}\left\langle i \right\rangle } \right| \times \left| {{h_B}\left\langle i \right\rangle } \right|}} \end{array} $

(3)

为对应的倾斜角直方图的夹角。

式(2)中的代价函数由3个部分构成，其中每一部分都是经过最大—最小原则归一化后得到的结果。

对于实际情况中可能存在点云稀疏造成的采样点偏移的现象，采用了一种合并算法^[11]。原始的$K$个局部区域合并为一个整体的局部区域集$P_A^k\left\langle i \right\rangle $

$ \begin{array}{l} P_A^k\left\langle i \right\rangle = P\left\langle {(i-k + 1):i} \right\rangle = \\ \;\;\;\;P(i-k + 1) \cdots {P_A}\left\langle i \right\rangle \end{array} $

(4)

该合并算法对应的合并代价函数为

$ \begin{array}{l} \;\;\;\;\;\;\;Cost(P_A^k\left\langle i \right\rangle ) = \\ g\left( {\frac{{k-1}}{{{l^k}}}\sum\limits_{q = i-k + 1}^i {\Delta ({d^k}, {d_q}) \times {l_q}} } \right) \end{array} $

(5)

式中，${{d^k}}$和${{l^k}}$分别为合并后区域首尾采样点的方向向量和首尾采样点间的欧氏距离，${d_q}$和${l_q}$分别为单一区域${P_A}\left\langle q \right\rangle $两端采样点的方向向量和和两端采样点的欧氏距离。$\Delta ({d^k}, {d^q}) \in [0, {90^ \circ }]$为两个方向向量的角度差，$g(x) = {x^2}/w$是一个非线性函数，$w=100$为训练得出的参数。

采取同时合并库集和测试集的合并策略，也就是库集和测试集合并区域的数目相同。因此对于合并后的区域集，其相似代价函数为

$ \begin{array}{*{20}{l}} {Cost(P_A^k\left\langle i \right\rangle ,P_B^k\left\langle i \right\rangle ) = \left| {s_A^k\left\langle i \right\rangle - s_B^k\left\langle i \right\rangle } \right| + }\\ {\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;f(h_A^k\left\langle i \right\rangle ,(h_B^k\left\langle i \right\rangle ) + }\\ {\sqrt {\begin{array}{*{20}{l}} {{{(x_A^k\left\langle i \right\rangle - x_B^k\left\langle i \right\rangle )}^2} + {{(y_A^k\left\langle i \right\rangle - y_B^k\left\langle i \right\rangle )}^2} + }\\ {\;\;\;\;\;\;\;\;\;\;\;\;\;\;{{(z_A^k\left\langle i \right\rangle - z_B^k\left\langle i \right\rangle )}^2}} \end{array}} } \end{array} $

(6)

式中，${s_A^k\left\langle i \right\rangle }$为区域合并后的总面积，$h_A^k\left\langle i \right\rangle $为区域合并后的倾斜角直方图，$(x_A^k\left\langle i \right\rangle, y_A^k\left\langle i \right\rangle, z_A^k\left\langle i \right\rangle)$为区域合并后首尾两端点的中点坐标。在式(6)中，当$k=1$，即区域没有合并时，式(6)就简化成了式(2)。

令${P_A} = {P_A}\left\langle 1 \right\rangle {P_A}\left\langle 2 \right\rangle \cdots {P_A}\left\langle {10} \right\rangle $和${P_B} = {P_B}\left\langle 1 \right\rangle {P_B}\left\langle 2 \right\rangle \cdots {P_B}\left\langle {10} \right\rangle $分别表示库集和测试集中对应的径向线，对应的径向线是指镜像对称面偏转的角度相同时得到的径向线。

定义一个11×1的相似向量

$ \boldsymbol{P} = {[P(0), P(1), \cdots, P(10)]^{\rm{T}}} $

(7)

式中，$P(i)$为库集径向线和测试集径向线的第$i$个区域或者第$i$个区域及其之前区域合并后的最大相似值，即

$ P(i) = \mathop {\max }\limits_k (T(k)) $

(8)

$ T(k) = \left\{ \begin{array}{l} P(i-k) + \Delta P\;\;\Delta P \ge 0\\ 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\Delta P < 0 \end{array} \right. $

(9)

式中，$\Delta P$为相似参数，用来比较阈值和总代价函数。$k$为循环变量，表示从1到合并上限的循环。通过合并前后对应$T(k)$的大小来决定是否将此区域和其前面的相邻区域进行合并。

总代价函数即为相似代价函数和合并代价函数之和，则相似参数$\Delta P$的计算公式为

$ \Delta P = \gamma- \left[\begin{array}{l} Cost(P_A^k\left\langle i \right\rangle, P_B^k\left\langle i \right\rangle ) + \\ Cost(P_A^k\left\langle i \right\rangle ) + \\ Cost(P_B^k\left\langle i \right\rangle ) \end{array} \right] $

(10)

式中，$\gamma$为决定$P_A^k\left\langle i \right\rangle $和$P_B^k\left\langle i \right\rangle $是否相似匹配的阈值。

设$limit$为区域合并的上界。为了平衡识别率和计算代价，经过反复实验比较，取$limit=3$，相似向量算法实现的具体流程如下：

输入：${P_A} = {P_A}\left\langle 1 \right\rangle \cdots {P_A}\left\langle {10} \right\rangle, {P_B} = {P_B}\left\langle 1 \right\rangle \cdots {P_B}\left\langle {10} \right\rangle $。

输出：$P({P_A}, {P_B})$

初始化：$P(0)=0$。

for   $i=1:10$

for   $k = 1:\min (limit, i)$

$ \begin{array}{l} \Delta P = \gamma- \left[\begin{array}{l} Cost(P_A^k\left\langle i \right\rangle, P_B^k\left\langle i \right\rangle ) + \\ Cost(P_A^k\left\langle i \right\rangle ) + \\ Cost(P_B^k\left\langle i \right\rangle ) \end{array} \right]\\ T(k) = \left\{ \begin{array}{l} P(i -k) + \Delta P\;\;\Delta P \ge 0\\ 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\Delta P < 0 \end{array} \right. \end{array} $

计算相似向量中两条径向线的相似程度时，需先找出相似向量中的最大数，再确定与该数相关的数，将其置零。接着找到次大数，再将和次大数相关的数置零，依次类推。则两条径向线的相似值可以表示为

$ s({P_A}, {P_B}) = \sum\limits_{i = 1}^f {{p_i}} $

(11)

式中，${{p_i}}$为相似向量中第$i$大的数，$f$为相似子区域的数目。

库集人脸和测试集人脸的相似值为提取出来的19条径向线的相似值之和。定义为

$ S = \sum\limits_{i =-9}^9 {s(P_A^\alpha, P_B^\alpha )} $

(12)

式中，$\alpha = i \times {10^ \circ }$为径向线和中心侧面轮廓线的顺时针偏转夹角, ${P_A^\alpha, P_B^\alpha }$表示偏转角度为$\alpha $对应的径向线。然后根据测试集人脸和库集人脸的相似值完成最终的人脸识别。

为了测试局部特征的有效性和本文方法对局部遮挡人脸的鲁棒性，分别在FRGC v2.0数据库^[17]和Bosphorus数据库^[18]上进行实验。FRGC v2.0收集了466个对象的4 007张点云模型。因为FRGC v2.0库的点云完整且密度大，所以选择在该库中进行局部特征测试实验；Bosphorus数据库包含105个对象(60个男人，45个女人)的4 666张人脸点云，该库包含不同部位的遮挡，如图 4所示，其中图 5(a)为头发引起的额头部分被遮挡，图 5(b)为手引起的眼睛部分被遮挡，图 5(c)为眼镜引起的遮挡。在该库中进行针对局部遮挡的3维人脸识别实验。

本小节在FRGC v2.0库上进行实验，该库包含中性和带表情的3维人脸模型，实验的目的是测试不同的局部特征的识别率。因为FRGC v2.0是大型的公共人脸库，点云质量高，因此选择在该库中进行局部特征识别率的测试实验。在该库中选取600个人脸作为训练集进行训练，得到的相似匹配阈值$\gamma =50$。在FRGC v2.0数据库中任意选择300个对象，选取每个对象的1张中性表情作为库集，另选3张人脸作为测试集。同时采用R1RR(Rank-1 recognition rate)作为识别性能指标。R1RR表示Rank等于1时的识别率，Rank为系统返回最相似点云的个数，该识别率能够很好地反映系统的识别性能。本实验结果分别与文献[12]中的形状指数直方图(HOS)、倾斜角直方图(HOSA)以及方向角直方图(HODA)，文献[13]中的mesh-LBP(local binary pattern on the mesh)描述符进行比较，实验结果如表 1所示。

从表 1可以看出，本文选取的局部特征具有较高的识别率。为了更充分地说明这些局部特征的有效性，使用CMC(cumulative match curve)曲线作为识别性能的指标，得到各算法的CMC曲线如图 5所示。该曲线主要反映最相似模型数目和识别率之间的关系。从图 5中的曲线可以看出，虽然随着最相似模型数目的增多，不同的局部特征在人脸识别率上的差距在减小，但是整体而言还是本文提出的局部特征有更好的人脸识别率。因此本文提出的局部特征能够获得更好的识别效果。

在Bosphorus库中存在不同部位被遮挡的点云，因此选择在该库中测试本文提出的方法对局部遮挡的鲁棒性。因为库中存在不同程度的遮挡，所以相似匹配阈值也相应的较大。在该人脸库中选择105个对象的1张没有遮挡的点云和3张带有遮挡的点云进行训练，得到的相似阈值$\gamma =60$。在Bosphorus库的105个对象中选择1张没有遮挡的中性人脸作为库集，任意选择300个包含不同遮挡的点云作为测试集。在相同的库集和测试集中，将本文算法和其他算法进行对比实验，比较结果如表 2所示。其中，文献[20]通过对输入人脸和特征脸的比较分析来检测遮挡部分，通过GPCA(Gappy PCA)来移除和储存遮挡部分，最后用Fisherface算法来进行识别；文献[8]用从鼻尖点出发的径向线来表征人脸，用弹性黎曼结构分析径向线并检测脸部的变形，从而处理表情变化和局部遮挡，这种表示法和弹性黎曼结构对表情、姿态变化以及局部遮挡有一定的鲁棒性；文献[9]用Douglas-Peucker算法^[10]在径向线上定点形成折线，用折线表示径向线。再通过一系列代价函数和动态规划来分析折线并进行相应的折线合并，从而生成相似矩阵来进行径向线相似识别, 但是文献[9]中用Douglas-Peucker算法在每条径向线上定出的拐点数目不同，因此必须构造2维的相似矩阵使得合并的代价较大。而本文方法利用均匀采样使每条径向线上的采样点数目一致。另外，考虑了径向线周围的局部信息，因此对识别率有一定的提升。

表 2展示了不同方法的Rank-1识别率，在相同的人脸库上，本文方法具有最高的识别率，但和文献[9]相比仅仅提高了0.4%。由于和文献[9]使用Douglas-Peucker算法在每条径向线上定出的拐点数目不同，因此需要构造2维相似矩阵，使得时间复杂度较大，因此进一步将本文方法和其他方法的时间复杂度进行比较，实验结果如表 3所示。

表 3展示了不同算法的耗时情况，在相同的人脸库上，本文算法的耗时远短于文献[9]。结合表 2和表 3的实验结果可以看出，本文具有最高的识别率，同时算法耗费的时间也是最短的，充分证明本文提出的算法是解决局部遮挡的有效算法。

提出了一种基于径向线和局部特征的3维人脸识别算法，有效地处理了局部遮挡下的3维人脸识别问题。该方法利用镜像对称面绕鼻尖旋转得到径向线，选择径向线上半部分作为有效部分，然后在每1条径向线的有效部分内截取和采样。并以两个相邻采样点的欧氏距离为直径，以两个相邻采样点的中点为球心做球，切割点云得到局部区域。在局部区域内提取3个局部特征构成局部特征描述子。选择局部区域的中点坐标，局部区域面积以及倾斜角直方图作为3个局部特征。最后通过3个局部特征构造相关代价函数，利用代价函数的计算结果生成对应径向线间的相似向量完成径向线匹配，从而实现3维人脸识别。在基于FRGC v2.0数据库的实验中，本文算法得到95.2%的R1RR, 在Bosphorus数据库的试验中，本文算法得到92.0%的R1RR, 充分证明本文算法稳定且具有较高的识别率，并对局部遮挡具有良好的鲁棒性。

本文算法需要首先定位出鼻尖点，因此对于鼻尖被遮挡的点云无法进行识别，这个问题在后续的工作中将会进一步考虑。