Print

发布时间: 2017-01-25
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.20170106
2017 | Volumn 22 | Number 1




    图像分析和识别    




  <<上一篇 




  下一篇>> 





刚性区域特征点的3维人脸识别
expand article info 袁姮1, 王志宏1, 姜文涛2
1. 辽宁工程技术大学工商管理学院, 葫芦岛 125105;
2. 辽宁工程技术大学软件学院, 葫芦岛 125105

摘要

目的 针对3维人脸识别中存在表情变化的问题,提出了一种基于刚性区域特征点的3维人脸识别方法。 方法 该方法首先在人脸纹理图像上提取人脸图像的特征点,并删除非刚性区域内的特征点,然后根据采样点的序号,在人脸空间几何信息上得到人脸图像特征点的3维几何信息,并建立以特征点为中心的刚性区域内的子区域,最后以子区域为局部特征进行人脸识别测试,得到不同子区域对人脸识别的贡献,并以此作为依据对人脸识别的结果进行加权统计。 结果 在FRGC v2.0的3维人脸数据库上进行实验测试,该方法的识别准确率为98.5%,当错误接受率(FAR)为0.001时的验证率为99.2%,结果表明,该方法对非中性表情下的3维人脸识别具有很好的准确性。 结论 该方法可以有效克服表情变化对3维人脸识别的影响,同时对3维数据中存在的空洞和尖锐噪声等因素具有较好的鲁棒性,对提高3维人脸识别性能具有重要意义。

关键词

3维人脸识别; 刚性区域; 纹理图像; 几何图像; 人脸特征点

Three dimentional face recognition method based on rigid region feature points
expand article info Yuan Heng1, Wang Zhihong1, Jiang Wentao2
1. College of Business and Management, Liaoning Technical University, Huludao 125105, China;
2. College of Software, Liaoning Technical University, Huludao 125105, China
Supported by: Supported by:National Natural Science Foundation of China (61172144)

Abstract

Objective A novel approach to 3D face recognition based on rigid region feature points is proposed to solve the problem of expression variance. Method The feature points of a face image are extracted on the face texture image by image block center vector sampling and probability map spatial relation model approximation, and the feature points in the nonrigid region are deleted. According to the serial number of the sampling points that are extracted from the face texture image, the 3D geometric information of the feature points of the face image is obtained based on the geometric information of the face space, and the subregion of the rigid region centered at the feature points is established. The subregion is used as the local feature for face recognition test. The contributions of different subregions to face recognition are obtained, and the result of face recognition is weighted by the contribution rate of different subregions. Result Experimental tests are performed on the FRGC ver2.0 3D face database. The recognition accuracy rate is 98.5%. The false accuracy rate is 0.001, and the verification rate is 99.2%. The method of non-neutral expression of 3D face recognition demonstrates good recognition performance. Conclusion The proposed approach can effectively overcome the influence of facial expression variance on 3D face recognition because of the deleted feature points in the nonrigid region and has good robustness to the holes and sharp noises in the 3D data. This approach can greatly improve the performance of 3D face recognition.

Key words

3D face recognition; rigid region; texture image; vertex image; facial feature points

0 引言

人脸识别是一种利用计算机和摄像机进行生物身份识别的技术,识别过程具有无接触、无约束、自动化程度高等特点[1-2]。经过多年发展,2维人脸识别已取得较好性能,但仍受光照、姿态、表情等因素影响,而3维人脸识别方法因使用人脸3维几何数据作为识别依据,具有处理2维识别方法所存在问题的潜能,所以3维人脸识别方法得到专家学者们的很大关注。

3维人脸识别方法不受光照和姿态变化的影响,但是对表情变化较为敏感,一般而言,处理表情变化的3维人脸识别方法分为基于形变模型和基于刚性区域两类。基于形变模型的3维人脸识别方法如Kakadiaris等人[3]提出的一种带注释的形变模型,Lu等人[4]提出的形变模型不仅可以处理人脸表情变化,且可以处理姿态变化,Al-Osaimi等人[5]提出的形变模型是同时从人脸中性表情和非中性表情中学习所得;基于刚性区域的3维人脸识别方法如文献[6-9]所提方法,只提取人脸刚性区域的特征并进行人脸身份匹配;还有一些方法将形变模型和刚性区域均纳入考虑,如文献[10-11]所提方法,将非刚性区域用形变模型表示,结合刚性区域特征,作为人脸整体特征进行匹配识别。从已有文献结果可看到,刚性区域3维人脸识别方法的整体性能好于形变模型方法,主要是因为人脸表情变化为非线性变化,形变模型难以正确描述这种变化,确定模型参数较困难,且3维人脸数据量大,建立模型和确定参数处理速度较慢。

本文方法为刚性区域3维人脸识别方法,相较于传统刚性区域3维人脸识别方法,本文方法的不同之处在于:1)在人脸结构更加明显的2维纹理图像上检测人脸图像的特征点,检测结果准确,且速度快;2)在2维图像上检测人脸图像的特征点,不需对3维点云数据进行预处理,对3维图像中存在的空洞、尖锐噪声等因素具有较好的鲁棒性;3)在刚性区域内以特征点为中心,根据特征点之间的几何距离来确定子区域的范围和大小,子区域划分更加合理;4)以子区域作为局部特征,相较于刚性区域整体特征,对表情变化具有更好的抗干扰能力,且根据子区域对人脸识别所做贡献对人脸图像识别的结果进行加权统计,使最终识别结果科学合理。

1 特征提取

3维扫描仪采集人脸3维信息就是对人的头部表面进行高密度采样,采样得到的信息包括人脸空间几何信息和彩色纹理信息,空间几何信息即为采样点的3维坐标信息,彩色纹理信息为采样点的颜色通道信息,空间几何信息和彩色纹理信息通过采样点的序号建立联系。

采样点的3维坐标信息格式为

$ Vertexnum:x, y, z $ (1)

式中,$Vertex$表示采样点的3维坐标信息,$num$为采样点的序号,$x、y、z$分别为采样点的3维坐标值。

采样点的彩色纹理信息格式为

$ Texturenum:R, G, B $ (2)

式中,$Texture$表示采样点的彩色信息,$num$为采样点的序号,$R、G、B$分别为采样点在3个颜色通道的值。

如序号为100的采样点,在3个空间坐标轴上的值分别为-87.617、-12.994、37.046,在3个颜色通道上的值分别为144、99、85,则此采样点的空间几何信息和彩色纹理信息分别为

$ \begin{array}{l} Vertex100:x =-87.617, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;y =-12.994, \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;z = 37.046\\ Texture100:R = 144, G = 99, B = 85 \end{array} $

采集得到的3维人脸图像如图 1(a)所示,图 1(b)为3维人脸图像的彩色纹理信息,图 1(c)为3维人脸图像的空间几何信息。

图 1 3维人脸图像
Fig. 1 3D face image ((a)3D image; (b) texture image; (c) vertex image)

1.1 纹理图像特征点检测

3维人脸空间几何信息是由3维采样点组成的点云数据,3维扫描仪在采集信息时,经常出现数据空洞和尖锐噪声,若在人脸空间几何信息上检测特征点,需对3维数据进行预处理操作,且3维点云数据量大,检测特征点耗时较长。相较于3维几何数据,2维纹理图像数据量少,结构清晰易操作,因此本文在2维纹理图像上检测人脸特征点,然后再根据采样点序号,对应地在3维几何数据上提取人脸特征点。

本文采用文献[12]的方法进行人脸特征检测,该方法是Martinez等人提出的一种高鲁棒人脸特征点检测方法,首先利用图像块中心点向量进行采样,然后从局部图像信息描述中获取特征点估计信息,并采用支持向量回归方法(SVR)进行局部证据融合,最后通过建立概率图空间关系模型对融合的人脸特征点进行连续逼近,以准确地检测到目标位置,该方法对不同光照、姿态和表情下的人脸特征点检测具有较高的准确率和鲁棒性。检测到的特征点如图 2所示,其中标号为1、2、9、11的点为左眼特征点,3、4、10、12为右眼特征点,5、6为左眉特征点,7、8为右眉特征点,13、14、15为鼻子特征点,16为下巴特征点,17、18、19、20为嘴部区域特征点。

图 2 2维特征点
Fig. 2 2D feature points

纹理图像中所有采样点的信息格式如式(2)所示,在纹理图像中检测到的特征点作为人脸图像的特征点,需加上标记,因此将人脸图像特征点的2维信息记为

$ Texturenum:{F^\kappa }, R, G, B $ (3)

将其他采样点记为

$ Texturenum:N, R, G, B $ (4)

式中,$F$表示此采样点为人脸图像的特征点,$κ$为人脸特征点的标号,$\kappa=1, 2, \cdots, 20$$N$表示此点不为人脸图像的特征点。

嘴巴区域易受表情变化影响,因此在特征提取步骤中不考虑标号为17、18、19、20的特征点,即剔除了易受表情变化影响的嘴部区域,只保留刚性区域内的人脸特征点。

1.2 几何图像特征提取

通过分析和研究发现,表情变化作为人脸非刚性曲面的非线性形变现象,对3维人脸图像整体特征影响较为严重,但对人脸局部特征的影响较小,因此提取3维人脸特征时,首先提取局部特征,并对局部特征进行匹配,然后将各个局部特征匹配的结果进行加权统计,得到最终3维人脸图像识别的结果,能够有效克服表情变化对3维人脸识别的影响。基于此,本文方法在3维人脸空间几何信息中,以特征点为中心点,建立人脸刚性区域内的子区域,对每个子区域分别进行特征提取和匹配,然后对这些匹配结果进行统计分析。首先给出特征提取过程:

在纹理图像中提取的人脸特征点,按照序号$num$在空间几何信息中找到相应序号的3维采样点,得到所有人脸图像特征点的3维几何信息。3维特征点的信息格式为

$ Vertexnum:{F^\kappa }, x, y, z $ (5)

同时,其他3维采样点的信息格式为

$ Vertexnum:N, x, y, z $ (6)

3维特征点如图 3(a)所示。

图 3 3维特征点子区域
Fig. 3 3D sub-areas of feature points ((a)3D feature points; (b) sub areas)

在几何图像中,每个特征点以自身为中心,建立以该特征点为中心的人脸刚性区域子区域,由于特征点17、18、19、20在易受表情变化影响的嘴部区域,因此只需建立标号为$\kappa=1, 2, \cdots, 16$的特征点的子区域,记为

$ \begin{array}{l} SubArea\kappa :\\ \;\;\;\;\;\;\;\left\{ \begin{array}{l} Vertexnum1:{F^\kappa }, x, y, z\\ Vertexnum2:N, x, y, z\\ \;\;\;\;\;\;\;\; \vdots \\ Vertexnumn:N, x, y, z \end{array} \right\} \end{array} $ (7)

式中,$\kappa $为子区域的标号,也为中心处特征点的标号,$\kappa=1, 2, \cdots, 16$,即刚性区域内划分16个子区域,$Vertexnum1:{F^\kappa }, x, y, z$为中心处特征点的3维几何信息,$num1$为中心特征点在人脸图像3维几何信息中的序号,$\kappa $为其标号,$Vertexnumn:N, x, y, z$为子区域内非特征点的3维采样点的几何信息,且$num2$ < $num3$ < … < $numn$

因不同人脸图像特征点之间的几何距离不同,在划分子区域时应根据其图像本身的性质来确定子区域的范围和大小,本文方法的具体如下:

在几何图像中,特征点1和2分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将几何图像中球形内的3维采样点组合起来,建立子区域1和2,子区域的信息格式详见式(7);特征点3和4分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域3和4;特征点5和6分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域5和6;特征点7和8分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域7和8;特征点9和11分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域9和11;特征点10和12分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域10和12;特征点13和15分别以自身为中心、两者之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域13和15;特征点14以自身为中心、与特征点19之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域14;特征点16以自身为中心、与特征点20之间几何距离的二分之一为半径画球形,将球形内的3维采样点组合并建立子区域16。本文方法所划分刚性区域的子区域如图 3(b)所示。

2 特征匹配

在空域进行曲面、曲线、点相似度直接匹配的常用方法有迭代最近点法(ICP)和Hausdorff距离法等,这类方法通常分为模型对齐和相似度计算两步[13],是目前最有效的3维数据配准方法之一。ICP和Hausdorff距离法适合于刚性曲面间的配准,而人脸曲面为非刚性曲面,人脸的塑性变形影响该类方法的性能,且该类方法采用全局迭代的方式寻找最近点,计算代价较大。

人脸表情变化导致人脸曲面的塑性变形,使传统ICP类方法的识别准确率降低,而人脸图像刚性区域的子区域为人脸图像局部特征,在一定范围内受表情变化影响较小,即在子区域内使用ICP方法进行曲面配准不易受表情变化的影响,且子区域范围较小,不需全局迭代寻找最近点,计算代价较小;子区域作为人脸图像的局部特征,受表情变化影响较小,能够较稳定地表征人脸特征点的邻域信息,但是子区域不能够全面地表达人脸特征,因此需计算子区域在人脸整体特征中对人脸识别的贡献,然后根据其贡献将子区域的识别结果进行统计,形成完整的人脸识别结果。基于此,提出本文特征匹配方法,具体如下:

$\boldsymbol{T}$为待识别人脸图像刚性区域的子区域模型,$\boldsymbol{T}=\{ {\boldsymbol{T}^1}, {\boldsymbol{T}^2}, \cdots, {\boldsymbol{T}^{16}}\} $${\boldsymbol{T}^\kappa }$为第$\kappa $个子区域,$\kappa=1, 2, \cdots, 16$,设第$\kappa $个子区域${\boldsymbol{T}^\kappa }$内有$m$个采样点,则${\boldsymbol{T}^\kappa }=\{ t_1^\kappa, {t_2}, {t_m}\, \} $$t_1^\kappa $为其中心特征点,${t_i}$为其非特征点的3维采样点,$2 \le i \le m$。设设库集中有$S$个人脸信息,${\boldsymbol{G}_s}$为某个人脸信息刚性区域的子区域模型,则$1 \le s \le S$${\boldsymbol{G}_s}=\{ {\boldsymbol{G}^1}, {\boldsymbol{G}^2}, \cdots, {\boldsymbol{G}^{16}}\} $${\boldsymbol{G}^\kappa }$为第$\kappa $个子区域,$\kappa=1, 2, \cdots, 16$,设第$\kappa $个子区域${\boldsymbol{G}^\kappa }$内有$n$个采样点,则${\boldsymbol{G}^\kappa }=\{ g_1^\kappa, {g_2}, \cdots {g_n}\} $$g_1^\kappa $为其中心特征点,${g_j}$为其非特征点的3维采样点,$2 \le j \le n$。算法特征匹配步骤为:

1)令$\kappa=1$

2)将待识别人脸图像$boldsymbol{T}$的第$\kappa $个子区域${\boldsymbol{T}^\kappa }$和人脸库某一人脸信息${\boldsymbol{G}_s}$的第$\kappa $个子区域${\boldsymbol{G}^\kappa }$进行距离计算:

(1)对于子区域${\boldsymbol{T}^\kappa }=\{ t_1^\kappa, {t_2}, \cdots, {t_m}\} $和子区域${\boldsymbol{G}^\kappa }=\{ g_1^\kappa, {g_2}, \cdots {g_n}\} $,首先将其中心特征点$t_1^\kappa $$g_1^\kappa $组成点对$\{ (t_1^\kappa, g_1^\kappa)\} $,并计算两者间的距离$d_{1, 1}^\kappa $

(2)令$i=2$

(3)对于${\boldsymbol{T}^\kappa }$中采样点${t_i}$,寻找${\boldsymbol{G}^\kappa }$中与其距离最小的点:

①令$j=2$

②计算${t_i}$${g_j}$间的距离${d_{i, j}}$

③判断$j$值,若$j < n$,则令$j = j + 1$,转②;若$j = n$,则取与${t_i}$点距离最短的距离${d_{i, j}}=\min \{ {d_{i, 2}}, {d_{i, 3}}, \cdots {d_{i, n}}\} $,并将距离最小的${t_i}$${g_j}$组成点对$\{ ({t_i}, {g_j})\} $,转步骤(4)。

(4)判断$i$值,若$i < m$,则令$i = i + 1$,转步骤(3);若$i = m$,即${\boldsymbol{T}^\kappa }$中所有采样点均找到最短距离点,转步骤3)。

3)根据所有点对$\{ ({t_i}, {g_j})\} $,计算$\min \{ \sum\limits_{i=1, j=1}^{\min \{ m, n\} } {\left\| {{\boldsymbol{R}^\kappa }{t_i} + {\boldsymbol{M}^\kappa }-{g_j}} \right\|} \} $,得到旋转矩阵${{\boldsymbol{R}^\kappa }}$和平移矩阵${{\boldsymbol{M}^\kappa }}$,并更新${\boldsymbol{T}^\kappa }$,令${\boldsymbol{T}^\kappa }={\boldsymbol{R}^\kappa }{\boldsymbol{T}^\kappa } + {\boldsymbol{M}^\kappa }$,转步骤4)。

4)计算${\boldsymbol{T}^\kappa }$${\boldsymbol{G}^\kappa }$之间的距离${d^\kappa }$,即${d^\kappa }=\frac{1}{{\min \{ m, n\} }}\sum\limits_{i=1, j=1}^{\min \{ m, n\} } {\left\| {{\boldsymbol{R}^\kappa }{t_i} + {\boldsymbol{M}^\kappa }-{g_j}} \right\|} $,以${d^\kappa }$作为待识别人脸图像$boldsymbol{T}$$\kappa $个子区域${\boldsymbol{T}^\kappa }$和库集人脸图像${\boldsymbol{G}_s}$$\kappa $个子区域${\boldsymbol{G}^\kappa }$的相似性度量。

5)以${d^\kappa }$作为人脸特征,进行人脸识别测试,得到相应的识别准确率${r^\kappa }$

6)判断$\kappa $值,若$\kappa $ < 16,则令$\kappa $=$\kappa $+1,转步骤2),计算下一子区域间的相似性度量并进行识别测试;若$\kappa $=16,即两个人脸图像所有子区域的相似度${d^\kappa }$计算完成,并得到相应的识别准确率${r^\kappa }$,转步骤7)。

7)计算各子区域在人脸整体特征识别中所占权重${\omega ^\kappa }$${\omega ^\kappa }={r^\kappa }/\sum\limits_{\kappa=1}^{16} {{\omega ^\kappa }=1} $,且知$\sum\limits_{\kappa=1}^{16} {{\omega ^\kappa }=1} $,转步骤8)。

8)将待识别人脸图像$boldsymbol{T}$和库集人脸图像${\boldsymbol{G}_s}$中所有子区域的相似性度量根据其所占权重${\omega ^\kappa }$,进行加权统计,计算两个人脸图像间的距离${d_s}$${d_s}=\sum\limits_{\kappa=1}^{16} {{\omega ^\kappa } \times {d^\kappa }} $

3 实验与分析

基于刚性区域特征点的3维人脸识别方法在P43.0 GB/1 GB机器上采用VC++语言编程实现。实验采用与本文算法应用条件相适应的FRGC v2.0的3维人脸数据库[14]进行算法测试,并和相关研究进行对比分析。

FRGC v2.0的3维人脸数据库是大型的公共3维人脸库,共有466位测试者的4 007幅3维人脸图像,数据库中的3维人脸图像有两个文件格式,3维点云数据和2维纹理图像,两者之间的数据采样点一一对应。数据库中3维人脸图像存在表情、刘海遮挡、胡须等因素,特别是2004年春季采集的图像,存在较大的表情变化,且人脸图像数据由美能达vivid 3D扫描仪采集得到,3维点云数据存在空洞和尖锐噪声等因素干扰。

3.1 子区域识别分析

为了测试本文方法所划分的子区域对人脸识别结果的贡献,首先在数据库上针对每一个子区域进行识别测试。如第2节特征匹配中步骤5)所描述,待识别人脸图像的每个子区域,以与库集对象相应子区域的距离${d^\kappa }$作为人脸特征进行识别测试,得到相应的识别准确率${r^\kappa }$

在FRGC v2.03维人脸数据库中选取60位测试者一共300幅人脸图像进行子区域识别准确率测试,每位测试者5幅图像,包含中性表情和非中性表情。每位测试者以中性表情图像作为库集对象,图像身份信息已知,以非中性表情图像作为待识别人脸对象,得到Rank-1的识别准确率,测试结果如表 1所示。

表 1 各子区域测试数据
Table 1 Experiment data of sub-areas

下载CSV
子区域$\kappa $ 识别率${r^\kappa }$/%
1 91.87
2 92.41
3 92.52
4 91.74
5 85.72
6 81.35
7 80.73
8 83.29
9 70.58
10 69.85
11 72.97
12 76.02
13 95.64
14 96.74
15 95.56
16 86.12

表 1中数据知,子区域13、14、15的识别率最高,因为这3个子区域在人脸图像鼻子区域,不易受表情变化影响;子区域1、2、3、4的识别率较高,因为这4个子区域在人脸图像眼角区域,比较能够表征人脸图像的特征;9、10、11、12子区域识别率较低,因为这4个子区域范围较小,且人脸图像睁眼、闭眼等表情变化对这4个区域的影响较大。

根据表 1中数据,计算各子区域在人脸识别中所占的权重${{\omega ^\kappa }}$,计算所得权重值如表 2所示。

表 2 各子区域权重
Table 2 Weight of sub-areas

下载CSV
子区域$\kappa $ 权重${{\omega ^\kappa }}$/%
1 6.74
2 6.78
3 6.79
4 6.73
5 6.29
6 5.97
7 5.92
8 6.11
9 5.18
10 5.12
11 5.35
12 5.58
13 7.02
14 7.10
15 7.01
16 6.32

3.2 实验结果分析

将数据库中4 007幅3维人脸图像分成3个集合,在466位测试者的所有图像中,每位测试者选取一幅中性表情图像组成集合$\boldsymbol{G}$,剩下的3 541幅图像中,将所有中性表情的图像组成集合$\boldsymbol{N}$,非中性表情的图像组成集合$\boldsymbol{E}$,即集合$\boldsymbol{N}$中包含1 944幅中性表情图像,集合$\boldsymbol{E}$中包含1 597幅非中性表情图像,再增加一个集合$\boldsymbol{A}$,为集合$\boldsymbol{N}$和集合$\boldsymbol{E}$的并集。

实验时,集合$\boldsymbol{G}$作为目标集合,$\boldsymbol{G}$中所有图像身份信息已知,集合$\boldsymbol{N}$$\boldsymbol{E}$$\boldsymbol{A}$作为待识别图像集合,通过与$\boldsymbol{G}$中图像进行匹配识别出身份信息。设计3种实验方案,$\boldsymbol{N}$ vs $\boldsymbol{G}$$\boldsymbol{E}$ vs $\boldsymbol{G}$$\boldsymbol{A}$ vs $\boldsymbol{G}$,再增加一个实验ROCⅢ,实验数据如表 3所示,3个实验方案的CMC曲线和ROC曲线如图 4所示。

图 4 本文方法的CMC和ROC曲线
Fig. 4 CMC and ROC curves of proposed algorithm ((a) CMC; (b) ROC)

表 3 本文方法FRGC v2.0数据库实验数据
Table 3 Experiment data of proposed algorithmin FRGC v2.0

下载CSV
实验方案 识别率/% 验证率/%
$\boldsymbol{N}$ vs $\boldsymbol{G}$ 99.1 99.8
$\boldsymbol{E}$ vs $\boldsymbol{G}$ 96.8 97.9
$\boldsymbol{A}$ vs $\boldsymbol{G}$ 98.5 99.2
ROCⅢ - 98.05

表 3数据知,在实验方案$\boldsymbol{N}$ vs $\boldsymbol{G}$中,本文方法的识别准确率为99.1%,即当待识别图像为中性表情图像时,准确率达到99.1%;在实验方案$\boldsymbol{E}$ vs $\boldsymbol{G}$中的识别准确率为96.8%,即当待识别图像为非中性表情图像时,准确率达到96.8%,略低于待识别图像为中性表情图像的99.1%,但仍然有较高的识别准确率,即本文方法去除了受表情影响较大的嘴部区域,具有较好的识别效果;在实验方案$\boldsymbol{A}$ vs $\boldsymbol{G}$中的识别准确率为98.5%,即当待识别图像中同时存在表情和非表情图像时,综合识别准确率为98.5%。实验中,当控制错误接受率(FAR)为0.001时,本文方法在3个实验方案中的的验证率分别为99.8%、97.9%和99.2%,实验ROCⅢ的验证率为98.05%。由以上数据可知,本文方法具有较高的识别准确率和验证率。

3.3 对比分析

为验证本文方法的有效性,将本文算法与文献[15, 16, 9]的识别方法进行对比分析。文献[15]方法首先对人脸图像进行去噪和光滑等预处理,检测鼻子区域并对图像进行区域分割,然后采用稀疏表示移除人脸图像表情变化部分,得到人脸中性表情,再采用二元树复小波变换提取人脸整体特征和6个子区域的特征,最后采用LDA和最近邻分类方法进行人脸分类识别;文献[16]提出的基于曲率分析的3维人脸识别方法首先在经过预处理的人脸图像上进行曲率分析,得到人脸图像的曲率图,然后在曲率图上分割人脸区域,分别计算得到2维人脸特征和3维人脸特征,最后以此特征进行识别分析;文献[9]提出的基于特征点表情变化的3维人脸识别方法,结合深度图像和人脸点云数据定位出人脸8个特征点,计算特征点的形状指数得到鼻子中心点,然后提取以鼻子点为中心的8条等测地轮廓线,以轮廓线与其Procrustean拟合圆之间的向量特征作为识别特征,用最近临分类器进行识别。3个文献的方法均在FRGC v2.0的3维人脸数据库上进行了测试,测试数据如表 4所示,综合实验方案$\boldsymbol{A}$ vs $\boldsymbol{G}$的CMC曲线和ROC曲线如图 5所示。

图 5 4种方法的CMC和ROC曲线
Fig. 5 CMC and ROC curves of four algorithms ((a) CMC; (b) ROC)

表 4 4种算法实验数据
Table 4 Experiment data of four algorithms

下载CSV
/%
方法 识别率 验证率 ROCⅢ
$\boldsymbol{N}$ vs $\boldsymbol{G}$ $\boldsymbol{E}$ vs $\boldsymbol{G}$ $\boldsymbol{A}$ vs $\boldsymbol{G}$ $\boldsymbol{N}$ vs $\boldsymbol{G}$ $\boldsymbol{E}$ vs $\boldsymbol{G}$ $\boldsymbol{A}$ vs $\boldsymbol{G}$ 0.1FAR 0.1%FAR
文献[15] ≈98.6 ≈94.3 ≈97.3 99.53 96.25 98.86 - 97.05
文献[16] 99.4 94.1 97.1 99.9 98 99.2 97.8 -
文献[9] - - 98.35 - - - - -
本文 99.1 96.8 98.5 99.8 97.9 99.2 - 98.05

表 4中数据可知,文献[15]在3种实验方案$\boldsymbol{N}$ vs $\boldsymbol{G}$$\boldsymbol{E}$ vs $\boldsymbol{G}$$\boldsymbol{A}$ vs $\boldsymbol{G}$中的识别准确率分别为98.6%、94.3%和97.3%,文献[16]在3种方案的识别准确率分别为99.4%,94.1%,97.1%,本文方法3种方案的识别准确率分别为99.1%、96.8%和98.5%,文献[9]方案$\boldsymbol{A}$ vs $\boldsymbol{G}$的识别准确率为98.35%;当控制$FAR$为0.001时,文献[15] 3种实验方案的验证率分别为99.53%、96.25%和98.86%,文献[16] 3种方案的验证率分别为99.9%,98%,99.2%,本文方法3种方案的验证率分别为99.8%、97.9%和99.2%;文献[15]ROCⅢ实验的FAR控制为0.001时验证率为97.05%,文献[16]ROCⅢ实验的FAR控制为0.1时验证率为97.8%,本文ROCⅢ实验的FAR控制为0.001时验证率为98.05%。通过以上数据可见,4种方法在数据库FRGC v2.0上均具有较好的识别性能。

文献[15]提取人脸整体特征和局部特征进行融合匹配,识别效果较好,但总体性能仍稍低于本文方法,因为虽采用稀疏表示移除人脸图像表情变化部分,但当待识别图像中包含非中性表情图像时,识别准确率下降明显,且由于同时提取人脸图像的整体特征和局部特征,计算代价较高;文献[16]在人脸曲率图上同时提取2维特征和3维特征进行融合匹配,算法整体性能较好,但仍稍低于本文方法,且由于同时提取两种特征,计算代价高于本文方法;文献[9]以鼻尖点为中心提取8条人脸刚性区域等测地轮廓线进行分析识别,识别性能较高,但是实验不充分,只进行了实验方案为$\boldsymbol{A}$ vs $\boldsymbol{G}$的实验。由以上分析可知,本文方法在识别性能上具有明显的低计算量、高准确率的优势,相较于其他方法,本文方法识别性能较好。

4 结论

针对3维人脸识别中存在表情变化的问题,提出了一种新的基于刚性区域特征点的3维人脸识别方法。该方法在人脸结构更加明显的2维纹理图像上提取人脸图像的特征点,提取结果准确且速度快,同时对3维点云数据中存在的空洞、尖锐噪声等因素具有较好的鲁棒性;以刚性区域内的特征点为中心、特征点之间几何距离的二分之一为半径建立子区域,以子区域为局部特征进行人脸识别,对人脸图像的表情变化具有很好的抗干扰能力。

在FRGC v2.0的3维人脸数据库上对本文方法进行综合测试,平均识别准确率为98.5%,控制FAR为0.001时的平均验证率为99.2%,综合性能较高;通过与3种不同类别的3维人脸识别方法进行对比分析,本文方法具有明显的低计算量、高准确率的优势。

本文刚性区域特征点3维人脸识别方法不仅对3维人脸识别有效,对紧凑型3维目标图像的识别也具有普遍意义,为特定3维目标图像的识别提供了新的思路。在后期工作中,将针对大表情、部分信息丢失等3维人脸识别做进一步研究。

志谢在此,对提供FRGC人脸库的美国圣母诺特丹大学表示衷心的感谢。

参考文献

  • [1] Guillaumin M, Mensink T, Verbeek J, et al. Face recognition from caption-based supervision[J]. International Journal of Computer Vision , 2012, 96 (1) : 64–82. DOI:10.1007/s11263-011-0447-x
  • [2] Zhuang L S, Chan T H, Yang A Y, et al. Sparse illumination learning and transfer for single-sample face recognition with image corruption and misalignment[J]. International Journal of Computer Vision , 2015, 114 (2-3) : 272–287. DOI:10.1007/s11263-014-0749-x
  • [3] Kakadiaris I A, Passalis G, Toderici G, et al. Three-dimensional face recognition in the presence of facial expressions:an annotated deformable model approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2007, 29 (4) : 640–649. DOI:10.1109/TPAMI.2007.1017
  • [4] Lu X G, Jain A K. Deformation modeling for robust 3D face matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2008, 30 (8) : 1346–1357. DOI:10.1109/TPAMI.2007.70784
  • [5] Al-Osaimi F, Bennamoun M, Mian A. An expression deformation approach to non-rigid 3D face recognition[J]. International Journal of Computer Vision , 2009, 81 (3) : 302–316. DOI:10.1007/s11263-008-0174-0
  • [6] Lei Y J, Bennamoun M, El-Sallam A A. An efficient 3D face recognition approach based on the fusion of novel local low-level features[J]. Pattern Recognition , 2013, 46 (1) : 24–37. DOI:10.1016/j.patcog.2012.06.023
  • [7] Li X L, Da F P. A rapid method for 3D face recognition based on rejection algorithm[J]. Acta Automatica Sinica , 2010, 36 (1) : 153–158. [ 李晓莉, 达飞鹏. 基于排除算法的快速三维人脸识别方法[J]. 自动化学报 , 2010, 36 (1) : 153–158. DOI:10.3724/SP.J.1004.2010.00153 ]
  • [8] Li X L, Da F P. 3D face recognition based on profile and rigid regions[J]. Journal of Image and Graphics , 2010, 15 (2) : 266–273. [ 李晓莉, 达飞鹏. 基于侧面轮廓线和刚性区域的3维人脸识别[J]. 中国图象图形学报 , 2010, 15 (2) : 266–273. DOI:10.11834/jig.20100213 ]
  • [9] Li Y C, Da F P. Expression-insensitive 3D face recognition method based on facial fiducial points[J]. Journal of Image and Graphics , 2014, 19 (10) : 1459–1467. [ 李燕春, 达飞鹏. 基于特征点表情变化的3维人脸识别[J]. 中国图象图形学报 , 2014, 19 (10) : 1459–1467. DOI:10.11834/jig.20141007 ]
  • [10] Wang Y M, Pan G, Liu J Z. A deformation model to reduce the effect of expressions in 3D face recognition[J]. The Visual Computer , 2011, 27 (5) : 333–345. DOI:10.1007/s00371-010-0530-2
  • [11] Lei Y J, Bennamoun M, Hayat M, et al. An efficient 3D face recognition approach using local geometrical signatures[J]. Pattern Recognition , 2014, 47 (2) : 509–524. DOI:10.1016/j.patcog.2013.07.018
  • [12] Martinez B, Valstar M F, Binefa X, et al. Local evidence aggregation for regression-based facial point detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2013, 35 (5) : 1149–1163. DOI:10.1109/TPAMI.2012.205
  • [13] Wang Y M, Pan G, Wu Z H. A survey of 3D face recognition[J]. Journal of Computer-Aided Design & Computer Graphics , 2008, 20 (7) : 819–829. [ 王跃明, 潘纲, 吴朝晖. 三维人脸识别研究综述[J]. 计算机辅助设计与图形学学报 , 2008, 20 (7) : 819–829. ]
  • [14] Phillips P J, Flynn P J, Scruggs T, et al. Overview of the face recognition grand challenge[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA:IEEE, 2005, 947-954.[DOI:10.1109/CVPR.2005.268]
  • [15] Wang X Q, Ruan Q Q, Jin Y, et al. Three-dimensional face recognition under expression variation[J]. EURASIP Journal on Image and Video Processing , 2014, 2014 : #51. DOI:10.1186/1687-5281-2014-51
  • [16] Elaiwat S, Bennamoun M, Boussaid F, et al. A curvelet-based approach for textured 3D face recognition[J]. Pattern Recognition , 2015, 48 (4) : 1235–1246. DOI:10.1016/j.patcog.2014.10.013