Print

发布时间: 2016-09-25
摘要点击次数: 288
全文下载次数: 39
DOI: 10.11834/jig.20160906
2016 | Volumn 21 | Number 9




    图像分析和识别    




  <<上一篇 




  下一篇>> 





基于频率簇模型的人脸识别
expand article info 袁姮1, 王志宏1, 姜文涛2
1. 辽宁工程技术大学工商管理学院, 葫芦岛 125105;
2. 辽宁工程技术大学软件学院, 葫芦岛 125105

摘要

目的 针对复杂条件下人脸识别鲁棒性差的问题,提出了一种基于频率簇(FC)模型的人脸识别方法。 方法 该方法首先在人脸图像内检测目标区域,在目标区域内划分特征子区域并设定采样单元,统计采样单元内前景区域和背景区域的信息熵;然后计算采样单元的熵能量和能量频率,归一化频率系数,利用能量频率的二阶偏导确定人脸子区域边界,以此得到有效采样单元,建立人脸主特征信息;最后,根据采样单元的坐标位置、熵能量和能量频率信息进行排序,得到每个采样单元的几何布局,以采样单元的熵能量、能量频率和几何布局构建人脸的频率簇模型,并以此作为人脸特征进行识别匹配。 结果 在FERET、ORL、Yale组合人脸库和CMU-PIE人脸库上进行实验测试,该方法的识别准确率分别为99.11%和97.36%,单幅人脸图像的平均识别速度为0.077 s,结果表明,该方法对复杂条件下的人脸识别具有很好的实时性和准确性。 结论 该方法可以有效克服光照变化、特征模糊、姿态和表情变化等因素对人脸识别的影响,具有较好的鲁棒性,对提高人脸识别性能具有重要意义。

关键词

人脸识别; 熵能量; 能量频率; 几何布局; 频率簇

Face recognition method based on frequency cluster
expand article info Yuan Heng1, Wang Zhihong1, Jiang Wentao2
1. College of Business and Management, Liaoning Technical University, Huludao 125105, China;
2. College of Software, Liaoning Technical University, Huludao 125105, China
Supported by: National Natural Science Foundation of China(61172144)

Abstract

Objective A novel approach to robust face recognition based on frequency cluster is proposed to solve the problem of robust face recognition under complex conditions. Method First, a continuous information sampling unit is scattered across a detected sub-region face image. Information entropy in the foreground and background regions of the sampling unit is calculated. The entropy energy and energy frequency of the sampling unit are then calculated; the weaker energy frequency is removed by filtration and the edge-of-face frequency is calculated by the second-order partial derivatives with normalized frequency coefficient. Thus, the main feature information of the face is established. Finally, the geometrical layout of each sampling unit is obtained according to the coordinate position of the sampling unit, the entropy energy, and the energy frequency. The frequency cluster model is taken as a facial feature for identification and matching, and is constructed based on entropy energy, energy frequency, and geometrical layout. Result The average recognition accuracy was 99.11% on FERET and ORL-Yale database, and 97.36% on CMU-PIE database. The average processing speed of a single face image was 0.077 seconds. Experiments showed that this method could overcome the effects of illumination, varied poses, and varied expressions, while taking advantage of the strong robustness of frequency cluster. Conclusion The proposed approach showed good adaptability to face recognition and significantly improved the robustness of face recognition under complex conditions, such as illumination variations, feature ambiguity, pose, and expression changes.

Key words

face recognition; entropy energy; energy frequency; geometrical layout; frequency cluster

0 引言

人脸识别是一种利用计算机和摄像机进行生物身份识别的技术,识别过程具有无接触、无约束、自动化程度高等特点[1-2]。人脸识别作为近代计算机模式识别领域中的研究热点之一,经过30余年的发展,取得了丰硕成果。鲁棒识别作为人脸识别技术发展的基本原则,其识别系统的自动化和智能化建设已逐步成为目前国内外模式识别领域的研究热点和难点[3-5]

国内外学者在人脸识别方面提出了很多有效的方法,例如甘俊英等人[6]提出了核零空间线性鉴别分析方法,通过引入核函数来降低矩阵维数,进行人脸有效识别;龚劬等人[7]提出了大间距准则下的不相关保局投影方法,通过增加不相关约束条件提取特征判别因子,提高人脸识别准确率;马小虎等人[8]提出了鉴别稀疏保持嵌入方法,通过引入鉴别信息对高维数据降维,提高人脸识别性能;阮越等人[9]提出量子主成分分析算法,设计了一种人脸编码方案,以压缩降维后的特征空间,提高人脸识别准确率;其他经典的人脸识别方法包括:信息融合与偏最小二乘回归的时空光谱分析[10],鲁棒主成分分析的自适应阴影补偿[11],基于局部方向图的光照分析[12],多尺度边缘仿射变换[13],不同姿态拟合下无约束判别[14],以及基于马尔可夫随机场的识别方法[15]等。现有人脸识别方法在一定光照、姿态和表情变化下具有较好的识别效果,但在特征筛选及降维过程中大量的人脸特征信息的丢失和特征贡献的衰减,加上多次特征判别,虽然使得准确率有所提升,在一定程度上却降低了识别速度和识别鲁棒性,难以满足复杂条件下的高鲁棒人脸识别要求。

研究发现,信息熵作为离散随机信息的出现概率,可以有效计算图像信息分布情况,而灰度能量可以有效加强相似灰度信息的差别,若能够将两者结合起来,实现既能在随机概率事件中体现出个体信息差异,又能在个体差异中体现出多种随机概率事件的分布规律,在光照变化和特征模糊等情况下可以保持稳定的特征总体分布规律;同时,研究还发现,人脸图像发生姿态和表情变化时,其特征的变化是在一定范围内的,若将这种变化范围加入数学模型中,则可以使算法对人脸图像的姿态和表情变化更具有包容性。基于此,文献[16]和文献[17]的基础之上,提出频率簇(FC)模型,并应用到人脸识别中。

频率簇方法利用熵能量的能量频率分布来确定人脸子区域边界,对光照变化和特征模糊具有较强的适应能力,同时提出几何布局概念,将人脸图像特征的变化范围加入到模型中,对人脸图像姿态和表情变化具有较好的抗干扰能力。

1 熵能量和能量频率

熵能量和能量频率概念由文献[16]和文献[17]提出,分别应用于视频目标跟踪和堆煤图像识别中,因人脸图像特征明显且密度大,因此需在原有定义的基础上,对熵能量和能量频率的一些概念进行重新定义和调整。

1.1 人脸图像预处理

人脸图像不仅包含人脸面部信息,还包含背景、耳朵、颈部、头发等冗余信息,需对数据进行切割,得到只包含人脸图像主要信息的目标区域。将人脸图像包含了人脸主要信息(双眼、脸颊、鼻子和嘴)的区域定义为目标区域,即

$ T=M \times N $ (1)

式中,T为目标区域,M为目标区域宽度,N为长度。目标区域如图 1所示。

图 1 目标区域示例
Fig. 1 The example of target area

在人脸图像的目标区域T上计算各灰度阶所对应的信息熵值,统计信息熵分布和信息熵的极值点,以信息熵分布的极大值所对应的灰度阶作为阈值,对目标区域图像进行划分,得到人脸特征子区域C,即

$ {C_i}=-{a_i}\sum\limits_{i=1}^I {{p_i}} \times {\log _b}{p_i} $ (2)

式中,Ci为第i个子区域,I为特征子区域数量,1iIai为第i个子区域的灰度阶;b值为2,单位为bit;piai出现的概率。特征子区域如图 2(b)所示。

图 2 特征子区域示例
Fig. 2 The example of sub-area ((a) target area detection; (b) sub-area detection; (c) binarization processing)

为了进一步描述人脸子区域内的特征分布情况,利用特征子区域的灰度均值将人脸子区域图像进行二值化处理。首先计算特征子区域的灰度值均值E,对于每个像素点pix(x, y)gre((x, y)为其坐标,gre为其灰度值二值化后的值),将灰度值g大于等于均值E的像素点的灰度值二值化为0,并称为人脸前景信息,记为F,将灰度值g小于均值E的像素点的灰度值二值化为1,称为人脸背景信息,记为B,即

$ gre=\left\{ {\begin{array}{*{20}{c}} 0 & {g \ge E}\\ 1 & {g < E} \end{array}} \right. $ (3)

$ pix_{\left({x, y} \right)}^{gre} \in \left\{ {\begin{array}{*{20}{c}} B & {gre=1}\\ F & {gre=0} \end{array}} \right. $ (4)

人脸子区域图像二值化处理结果如图 2(c)所示,图中白色区域为人脸背景信息B,黑色区域为人脸前景信息F

1.2 熵能量计算

在划分了特征子区域的目标区域内设定α×β个连续均匀分布的圆形区域,将这些圆形区域称为采样单元(SU),记为SUx, y, ri, j,采样单元集合为

$ A=\left[ {\begin{array}{*{20}{c}} {SU_{x, y, r}^{1, 1}} & {SU_{x, y, r}^{1, 2}} & \cdots & {SU_{x, y, r}^{1, \beta }}\\ {SU_{x, y, r}^{2, 1}} & {SU_{x, y, r}^{2, 2}} & \cdots & {SU_{x, y, r}^{2, \beta }}\\ \vdots & \vdots & {} & \vdots \\ {SU_{x, y, r}^{\alpha, 1}} & {SU_{x, y, r}^{\alpha, 2}} & \cdots & {SU_{x, y, r}^{\alpha, \beta }} \end{array}} \right] $ (5)

式中,xy为采样单元的中心坐标,r为半径,1≤iα,1≤jβij表示采样单元SUx, y, ri, j在集合A中处于第i行第j列。采样单元如图 3中圆圈所示。

图 3 采样单元示意图
Fig. 3 The example of sampling unit

在特征子区域图像中,采样单元包含人脸前景信息F和人脸背景信息B,将其前景信息熵记为ζF、背景信息熵记为ζB,将ζFζB分布的极大值所对应的灰度阶分别记为AFABρλAF出现的概率,ρκAB出现的概率,λκ分别为ρλρκ概率分布对应熵的数量,则将ζλF称为采样单元前景区域的显著信息熵,ζκB为采样单元背景区域的显著信息熵,即ζλF=AFρλlog2 ρλζκB=ABρκlog2 ρκ

将采样单元的显著信息熵与单位灰度能量的乘积称为采样单元SU的熵能量(EE),即

$ E{E^{B|F}}=\gamma \left({E, S} \right)\sum\limits_{\kappa=1|\lambda 1}^{\kappa |\lambda } {{{\left({\zeta _{\kappa |\lambda }^{B|F}} \right)}^2}} $ (6)

式中,B|F指背景B或前景FζλFζκB分别为前景显著信息熵和背景显著信息熵,γ(E, S)为SU的单位灰度能量,ESU的灰度能量,即E=∑G(x, y)2G(x, y)为SU内像素点(x, y)的灰度值,SSU的几何面积,即Sr2,则γ(E, S)=E/S

1.3 能量频率计算

为了提取SU内前景区域和背景区域的频率信息,对熵能量EEB|F进行2维核变换和滤波处理,得到SU的能量频率(EF),即

$ \begin{array}{c} {P^{B|F}}\left({u, v, t} \right)=\\ \int_0^\kappa {\int_0^\lambda {\int_0^t {E{E^{B|F}}{e^{j2\pi \left({ux/\kappa + vy/\lambda } \right)/t}}dxdydt} } } \end{array} $ (7)

化简得

$ \begin{array}{c} {P^{B|F}}\left({u, v, t} \right)=E{E^{B|F}}\kappa \lambda /4{\pi ^2}uvt \times \\ \left[ {{e^{j2\pi t\left({u\lambda /\kappa + v\kappa /\lambda } \right)}} + {e^{j2\pi tu\lambda /\kappa }} + {e^{j2\pi tv\kappa /\lambda }} + 1} \right] \end{array} $ (8)

式中,B|F指背景B或前景Fu, v, t为频率变量,$j=\sqrt {-1} $PFPB分别为前景能量频率和背景能量频率,ej2π(ux/κ+vy/λ)t为2维变换核,ejt(/κ+/λ)+ejtuλ/κ+ejtvκ/λ+1称为能量频率变换核的组合,EEB|Fκλ/4π2uvt为变换系数。

熵能量是围绕在人脸子区域边界处的离散波动效应,将能量频率的变换系数归一化,可以有效滤除图像噪音和光照变化的干扰,并降低计算复杂度、提高人脸子区域图像能量频率提取的准确性。归一化操作定义为

$ {\int_{-\infty }^{ + \infty } {\left| {E{E^{B|F}}\kappa \lambda /4{\pi ^2}uvt} \right|} ^2}dt=1 $ (9)

2 频率簇模型

在人脸图像熵能量和能量频率定义的基础之上,提出本文频率簇模型。

2.1 子区域边界检测

能量频率瞬时变化的快慢表达了图像频率信息变化的剧烈程度,通过计算能量频率的二阶偏导来确定子区域边界区域

$ \Re \left({x, y} \right)=\frac{{{\partial ^2}p}}{{\partial {u^2}}} + \frac{{{\partial ^2}p}}{{\partial {v^2}}} + \frac{{{\partial ^2}p}}{{\partial u\partial v}} + \frac{{{\partial ^2}p}}{{\partial v\partial u}} $ (10)

由微分性质及式(7)知,函数P在(u, v)处可微分,则

$ \frac{{\partial p}}{{\partial \boldsymbol{T}}}=\frac{{\partial p}}{{\partial u}}\cos \theta + \frac{{\partial p}}{{\partial v}}\sin \theta $ (11)

式中,T为相邻极值间的向量,θT的角度,因此人脸子区域边界区域为

$ \begin{array}{c} \Re \left({x, y} \right)=\frac{{{\partial ^2}p}}{{\partial {u^2}}}\cos {\theta ^2} + \frac{{{\partial ^2}p}}{{\partial {v^2}}}\sin {\theta ^2} + \\ \left({\frac{{{\partial ^2}p}}{{\partial u\partial v}} + \frac{{{\partial ^2}p}}{{\partial v\partial u}}} \right)\cos \theta \sin \theta \end{array} $ (12)

图 3中第1行第3列采样单元SU1, 3和第10行第6列采样单元SU10, 6,经式(10)—(12)计算,所确定的人脸子区域边界效果如图 4所示。

图 4 子区域边界
Fig. 4 Edge of sub-area ((a) SU1, 3; (b) SU10, 6)

2.2 频率簇模型构建

提取人脸子区域边界后,存在内部不含有边界信息或者边界信息不明显的采样单元,这些单元作为人脸识别的冗余信息,需要进一步判别和筛选。研究发现,当采样单元内能量频率极大值小于其2倍频率均值时,其内部不包含子区域边界,或者内部的子区域边界信息不明显,而当能量频率极大值大于等于其2倍频率均值时,其内部子区域边界信息明显,因此,本文以2倍频率均值作为阈值,进行采样单元有效性的判别和筛选。

计算采样单元内能量频率的均值,若采样单元内部能量频率波动的极大值大于等于其2倍的频率均值,则此采样单元判定为有效采样单元,若采样单元内部能量频率波动的极大值小于其2倍的频率均值,则此采样单元判定为无效采样单元。

统计有效采样单元的数量,若有效采样单元的数量$N < \frac{{\alpha \times \beta }}{4}$(αβ意义详见式(5)),则跳转至1.2节,重新设定采样单元;若有效采样单元的数量$N \ge \frac{{\alpha \times \beta }}{4}$,则保留有效采样单元,删除无效采样单元,即删除人脸图像中的冗余信息,保留人脸图像中的主要信息。

设有效采样单元SUx, y, ri, j的圆心坐标为o(x, y),计算采样单元内子区域边界的几何中心坐标o′(x′, y′),将采样单元沿向量δ=(x′-x, y′-y)移动,至圆心坐标o(x, y)和边界区域几何中心坐标o′(x′, y′)重合,此时,将具有熵能量和能量频率信息的有效采样单元统称为人脸主特征,即

$ SU_{x, y, r}^{i, j}\left({E{E^{B|F}}, {P^{B|F}}} \right) $ (13)

将所有人脸主特征的组合定义为频率簇,即

$ \boldsymbol{FC}={\left[ { \cdots, SU_{x, y, r}^{i, j-1}, SU_{x, y, r}^{i, j}, SU_{x, y, r}^{i + 1, j}, \cdots, SU_{x, y, r}^{m, n}} \right]^T} $ (14)

式中,1≤mα,1≤nβαβ意义详见式(5),对于FC中任一人脸主特征所对应的采样单元SUx, y, ri, j,若存在采样单元SUx, y, ri, j-1SUx, y, ri, j在集合A中同处于i行,则按照所处列由小到大排列,即在FCSUx, y, ri, j-1SUx, y, ri, j的前一元素,若存在采样单元SUx, y, ri+1, j在集合A中处i+1行,即在FCSUx, y, ri+1, jSUx, y, ri, j的后一元素。设FC中主特征的数量为N,则FC又可记为

$ FC=\left[ {\begin{array}{*{20}{c}} {S{U^1}}\\ \vdots \\ {S{U^N}} \end{array}} \right]=\left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} \vdots \\ {SU_{x, y, r}^{i, j-1}\left({E{E^{B|F}}, {P^{B|F}}} \right)}\\ {SU_{x, y, r}^{i, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)} \end{array}}\\ {SU_{x, y, r}^{i + 1, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)}\\ \vdots \end{array}} \right] $ (15)

频率簇如图 5中红色圆所示。

图 5 频率簇示意图
Fig. 5 Schematic of frequency cluster

对频率簇FC中的人脸主特征采样单元SU1, SU2, …, SUN进行排序,排序效果如图 6所示。首先按照采样单元在FC中的序号从小到大进行排列,排列效果为图 6的第1行sort(x, y);然后按照采样单元的熵能量EEB+EEF值从小到大进行排列,排列效果为图 6的第2行sort(EE);最后按照采样单元的能量频率PB+PF值从小到达排列,排列效果如图 6的第3行sort(P)。

图 6 采样单元排序示意图
Fig. 6 Sampling unit sort diagram

设对频率簇FC中人脸主特征进行排序之后,采样单元SUm图 6中的蓝色圆,其在sort(x, y)行的序号为m、在sort(EE)行的序号为n、在sort(P)

行的序号为o,则称采样单元SUm在频率簇FC中存在几何布局,记为

$ \left[ {m, n, o} \right] $ (16)

式中,1≤m, n, oNN为主特征数量。

将采样单元的几何布局信息加入人脸主特征信息,即将式(16)加入式(13),此时,人脸主特征信息记为

$ SU_{x, y, r}^{i, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {m, n, o} \right] $ (17)

将式(17)代入式(15),频率簇FC记为

$ \boldsymbol{FC}=\left[ {\begin{array}{*{20}{c}} {S{U^1}}\\ \vdots \\ {S{U^N}} \end{array}} \right]=\left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} \vdots \\ {SU_{x, y, r}^{i, j-1}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {{m_1}, {n_1}, {o_1}} \right]}\\ {SU_{x, y, r}^{i, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {{m_2}, {n_2}, {o_2}} \right]} \end{array}}\\ {SU_{x, y, r}^{i + 1, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {{m_3}, {n_3}, {o_3}} \right]}\\ \vdots \end{array}} \right] $ (18)

由于人脸图像会发生姿态和表情变化,同一采样单元在不同姿态或不同表情人脸图像中的排序位置会存在一定差异,因此,采样单元在频率簇中的几何布局不是具体的数值,而应该是在一个范围内变化。对于同一人脸信息,首先将其所有图像频率簇中的采样单元进行排序,如图 6所示,得到采样单元在某一图像中的几何布局信息,如式(16);然后将不同图像中相同采样单元的位置信息进行排序链接,如图 7所示,得到同一人脸信息所有采样单元的几何布局。

图 7 采样单元排序链接示意图
Fig. 7 Sampling unit sort and link diagram

FC中序号为m3(1≤m3N)的采样单元,如图 7中蓝色圆所示,其在sort(EE)中的序号范围为(nj+2, …, nj+q);在sort(EE)中的序号为nj+2nj+q的采样单元,其在sort(P)中的序号范围分别为(ok, …, ok+1)和(ok+2, …, ok+q),即图 7中频率簇序号为m3的采样单元的几何布局为[m3, (nj+2nj+q), (okok+q)]。

设定3个阈值ετι,将采样单元SUm在频率簇FC中的几何布局记为

$\left[ {\left( {m - \varepsilon \sim m + \varepsilon } \right),\left( {n - \tau \sim n + \tau } \right),\left( {o - \iota \sim o + \iota } \right)} \right]$ (19)

此时,人脸主特征SUx, y, ri, j可记为

$\begin{array}{*{20}{c}} {SU_{x,y,r}^{i,j}\left( {E{E^{B|F}},{P^{B|F}}} \right)\left[ {\left( {m - \varepsilon } \right) \sim \left( {m + \varepsilon } \right)} \right.,}\\ {\left. {\left( {n - \tau \sim n + \tau } \right),\left( {o - \iota \sim o + \iota } \right)} \right]} \end{array}$ (20)

频率簇FC可记为

$ \begin{array}{c} \boldsymbol{FC}=\left[ {\begin{array}{*{20}{c}} {S{U^1}}\\ \vdots \\ {S{U^N}} \end{array}} \right]=\\ \left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} \vdots \\ \begin{array}{c} SU_{x, y, r}^{i, j-1}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {\left({{m_1}-\varepsilon \sim {m_1} + \varepsilon } \right)} \right., \\ \left. {\left({{n_1}-\tau \sim {n_1} + \tau } \right), \left({{o_1}-\iota \sim {o_1} + \iota } \right)} \right] \end{array}\\ \begin{array}{c} SU_{x, y, r}^{i, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {\left({{m_2}-\varepsilon \sim {m_2} + \varepsilon } \right)} \right., \\ \left. {\left({{n_2}-\tau \sim {n_2} + \tau } \right), \left({{o_2}-\iota \sim {o_2} + \iota } \right)} \right] \end{array} \end{array}}\\ \begin{array}{c} SU_{x, y, r}^{i + 1, j}\left({E{E^{B|F}}, {P^{B|F}}} \right)\left[ {\left({{m_3}-\varepsilon \sim {m_3} + \varepsilon } \right)} \right., \\ \left. {\left({{n_3}-\tau \sim {n_3} + \tau } \right), \left({{o_3}-\iota \sim {o_3} + \iota } \right)} \right] \end{array}\\ \vdots \end{array}} \right] \end{array} $ (21)

2.3 频率簇模型分析

信息熵作为离散随机信息的出现概率,可以有效计算图像信息的分布情况,在光照变化以及特征模糊等情况下保持稳定,因此,以信息熵分布的极大值作为阈值对纹理图像进行划分,可以得到准确的人脸特征子区域,以特征子区域对人脸图像进行区域划分,能够有效且准确地描述人脸图像整体特征分布规律。

灰度能量可以加强相似灰度信息间的差别,将信息熵和灰度能量结合起来,可以有效提取和判别图像内部信息的类别和分布情况,强化信息间的差异,实现在模糊图像中提取有效信息,克服图像模糊对人脸信息提取的干扰,熵能量作为信息熵和灰度能量的乘积,在光照和特征模糊的情况下,能够保持稳定的特征总体分布。

能量频率作为图像的频率信息,通过对系数的归一化处理,滤除了光照变化和图像噪音对图像特征提取的干扰,且减少数据量,降低计算复杂度。

对人脸图像主特征进行排序,理论上,同一人脸图像的有效采样单元的位置信息是稳定不变的,但在不同采集条件下,尤其当人脸图像出现姿态和表情变化时,其位置信息发生变化,经过研究发现,同一人脸图像有效采样单元位置的变化是在一定范围内的,因此,本文提出几何布局概念,以序号的范围表示采样单元在人脸图像中的位置信息,将姿态和表情的变化加入模型中。

频率簇模型包含人脸图像中有效采样单元的熵能量、能量频率和几何布局信息,熵能量可以在模糊图像中提取有效信息,克服图像模糊对人脸信息提取的干扰;能量频率为人脸图像前景区域和背景区域的频率信息,通过对能量频率系数的归一化处理,有效滤除图像噪音和光照变化的干扰,并降低计算复杂度;几何布局将人脸图像不同姿态和表情变化考虑在内,以一定的序号范围,对有效采样单元的位置进行限定。以频率簇模型表征人脸图像,不仅能够较全面地表征人脸信息,且能够克服模糊图像、光照变化、姿态表情变化等因素对人脸识别的影响,同时频率簇模型数据量少、结构稳定,因此,以频率簇作为人脸特征,进行后续的人脸信息分析和识别。

3 人脸图像特征提取和匹配

以频率簇模型作为数据结构,建立人脸图像数据库的特征数据库,并和待识别人脸图像进行匹配识别。

3.1 人脸图像特征数据库建立

人脸数据库中同一人脸信息包含多幅人脸图像,每幅图像存在不同光照、姿态、表情等变化因素,因此,需对数据库中所有人脸信息建立其特征数据库。

对数据库中同一人脸信息的所有图像分别进行检测目标区域、划分特征子区域、设定采样单元、计算熵能量和能量频率等处理步骤,得到其有效采样单元,建立每幅图像的人脸主特征信息SUx, y, ri, j(详见式(13))和频率簇模型FC(详见式(14)(15))。

在频率簇模型中,根据其有效采样单元的坐标位置、熵能量和能量频率信息,按从小到大的顺序对所有采样单元进行排序,如图 6所示,得到频率簇的3种几何排序:sort(x, y)、sort(EE)、sort(P)。

对频率簇中所有有效采样单元,统计其在3个几何排序中的位置信息,得到每个采样单元的几何布局[m, n, o](详见式(16))。将几何布局信息加到主特征信息中,得到每一张人脸图像包含熵能量、能量频率和几何布局的人脸主特征信息(详见式(17))和频率簇模型FC(详见式(18)),即得到每张人脸图像的特征信息。

对同一人脸信息的多张人脸图像,将其所有有效采样单元的几何布局信息[m, n, o](详见式(16))进行统计和链接,如图 7所示,得到同一人脸信息全部有效采样单元的几何布局[((m-ε)(m+ε), ((n-τ)(n+τ)), ((o-ι)(o+ι))](详见式(19)),将几何布局加入到主特征信息中,此时,得到数据库中每个人脸信息的主特征信息(详见式(20))和频率簇模型FC(详见式(21)),即得到以频率簇模型为人脸特征的人脸图像特征数据库。

3.2 人脸图像特征匹配

对于待识别人脸图像,进行检测目标区域、划分特征子区域、设定采样单元、计算熵能量和能量频率、统计几何布局(详见式(16))等处理步骤,得到有效采样单元,建立其人脸主特征信息(详见式(17))和频率簇模型FC(*详见式(18)),即得到待识别人脸图像特征FC*

假设数据库中人脸图像数量为M,首先将待识别人脸图像FC*和数据库中第一张人脸图像FC1进行特征匹配,再和数据库中后续人脸图像FC2FC3, …, FCM进行匹配,匹配步骤如下:

1) 对于待识别人脸图像中任一采样单元SUi, j, rm[m, n, o]∈FC*,检索FC1中采样单元的第1层序号信息sort(x, y),搜索序号为范围[m-ε, m+ε]的采样单元;

2) 对于序号范围为[m-ε, m+ε]任一采样单元SUi, j, rm[m′, (n′~n″), (o′~o″)]∈FC1,(n′< n″,o′< o″,m′∈[m-ε, m+ε]),将待识别人脸图像的采样单元SUi, j, rm的几何布局和SUi, j, rm的几何布局进行匹配,若n∈(n′~n″)且o∈(o′~o″),则采样单元SUi, j, rm和采样单元SUi, j, rm匹配成功,否则采样单元SUi, j, rm和采样单元SUi, j, rm匹配不成功,匹配下一采样单元SUi, j, rm′+1

3) 将待识别人脸图像FC*中采样单元和数据库中第一幅人脸图像FC1的采样单元匹配成功的数量比值记为rate(FC1)(rate(FC1)为匹配成功的采样单元数量与FC*中采样单元总数的比值),设定阈值e,若rate(FC1) < e,则称FC1不可能为待识别人脸图像,若rate(FC1)≥e,则将FC1作为待识别人脸图像的待选信息;

4) 对数据库中所有人脸信息,经过步骤1)—3)的处理,得到M个比值rate(FC1), rate(FC2), …, rate(FCM),若所有比值均小于阈值e,则称数据库中不存在待识别人脸图像,否则从所有比值中选最大值rate(FCt)=max{rate(FC1), rate(FC2)…, rate(FCM)},称数据库中第t个人脸图像为待识别人脸。

4 实验与分析

为了验证本文方法的有效性,分别以FERET人脸库[18]、ORL与Yale人脸数据库[19]以及CMU-PIE[20]人脸库为实验对象进行算法测试,并与相关研究进行对比分析。

4.1 FERET、ORL与Yale人脸库测试

实验选择FERET、ORL和YALE人脸库组合进行实验,选择FERET人脸库400幅(80人,每人5幅)人脸图像,ORL人脸库350幅(35人,每人10幅)人脸图像和Yale人脸库150幅(10人,每人15幅)人脸图像进行匹配实验,这些图像分别在不同时间、不同光照强度、不同姿态、不同表情条件下采集得到,每幅图像为256级灰度。

实验中选取的900幅人脸图像用于正识实验,额外选取FERET人脸库235幅(47人,每人5幅),ORL人脸库50幅(5人,每人10幅)人脸图像和Yale人脸库15幅(1人,每人15幅)人脸图像用于拒识实验。图 8为FERET人脸库、ORL人脸库和YALE人脸库的组合数据库中随机20幅人脸图像示例。

图 8 FERET、ORL和Yale组合人脸库图像示例
Fig. 8 The combined face database sample of FERET, ORL and Yale face image

实验中采用递增人脸图像库容量的方式进行分组实验。第1组采用测试样本中随机抽取的300幅人脸图像作为正识实验样本,随机选取拒识样本总体中75幅人脸图像作为测试算法鲁棒性能的拒识样本;第2组采用测试样本剩余总体中随机抽取300幅人脸图像作为正识实验测试样本,随机选取拒识样本总体中150幅人脸图像作为第2组测试中的拒识样本;第3组采用测试样本总体中剩余的300幅人脸图像作为正识实验测试样本,选取拒识样本总体300幅人脸图像进行拒识测试。

3组实验各分成两个小组进行测试,其中第1组中的两小组拒识样本采用递增45幅样本进行鲁棒和干扰测试,第2组两小组在第1组的拒识样本基础上分别增加30幅和75幅拒识人脸图像,第3组在第4组的150个拒识样本基础上分别增加60幅和150幅拒识人脸图像进行递增式干扰测试,3组实验中的正识样本依次采用在前一组正识样本基础上每次递增300幅人脸图像进行稳定性测试,以此验证识别算法在正识人数和拒识人数不同幅度增加情况下的鲁棒性能,同时在有效测试范围内,3组分别增加非人脸库的拒识人脸样本数量,以此来测试系统的鲁棒性和误识率,3组实验均重复20次。表 1给出了本文人脸识别方法在FERET、ORL和Yale组合人脸库上的无拒时正识率、有拒时正识率和单人脸识别耗时等数据。

表 1 测试实验
Table 1 Experimental data

下载CSV
参数 第1-1组 第1-2组 第2-1组 第2-2组 第3-1组 第3-2组
测试样本总体数量/幅 300 300 600 600 900 900
精确识别数量/幅 298 298 593 593 889 889
拒识样本数量/幅 30 75 60 150 120 300
无拒时有效识别数量/幅 299 297 595 589 883 881
无拒时精确识别数量/幅 298 293 593 585 879 877
无拒时正识率/% 99.33±2.382 97.67±1.845 98.83±1.455 97.50±2.017 97.67±2.177 97.44±2.032
有拒时有效识别数量/幅 299 296 594 587 881 880
有拒时精确识别数量/幅 296 293 592 584 878 875
有拒时正识率% 98.67±1.424 97.67±1.949 98.67±2.411 97.33±2.685 97.56±1.919 97.22±2.098
单人脸识别耗时/ms 59 63 69 79 91 105

通过以上测试数据可见,本文识别算法在有拒和无拒情况下识别率较高,而且无拒情况下的识别率明显高于有拒情形,因为实际人脸识别算法都要求有拒识别,以增加识别算法的容错性能。算法采用C++语言在普通PC机上实现,算法平均识别时间达到77.67 ms,约0.08 s,平均有拒识别率为97.85%,平均无拒识别率为98.07%。

为了验证本文算法优越性,将该方法和其他算法进行了大量的效率及耗时对比实验。文献[10]提出一种较为有效的人脸识别方法,步骤为:1) 利用时空协方差模型计算人脸光谱维数,统计高光谱数据;2) 利用波段融合算法对高光谱空间信息进行融合;3) 对光谱和空间维度进行降维;4) 在得到的人脸光谱图像中采用偏最小二乘回归方法进行人脸分类,最后从人脸分类库中识别出人脸。文献[15]提出了一种基于马尔可夫随机场的人脸识别新方法,具体处理步骤为:1) 利用生存指数熵确定人脸面部局部区域的像素分布特征;2) 采用组群像素注册机制实现一种新的基于马尔可夫随机场人脸图像配准方案;3) 最后利用非线性流形放射变换来测量不同的人脸图像之间的相似度,实现人脸识别。

采用不同的随机样本,比较本文算法与文献[10]、文献[15]的识别性能,随机选取300、600、900个样本作正识测试,其余作干扰测试,实验采用平均精确识别率和平均识别时间作为实验结果,各种识别算法的有效识别率和精确识别率由表 2分别给出,图 9显示了3种算法的识别精度随单人脸耗时的变化情况。

表 2 不同人脸识别算法识别率对比
Table 2 Different face recognition algorithm for identification

下载CSV
项目 文献[10]算法 文献[15]算法 本文算法
第1组 第2组 第3组 第1组 第2组 第3组 第1组 第2组 第3组
测试图像数量/幅 300 600 900 300 600 900 300 600 900
精确识别数量/幅 283 561 847 276 554 827 298 594 891
重复识别失败/幅 7 13 12 9 14 21 0 1 1
识别信息不完整/幅 1 11 17 7 15 23 1 1 2
首次识别失败/幅 8 15 24 8 17 29 1 4 5
有效识别率/% 96.67 95.67 95.44 95.00 94.67 94.22 99.33 99.17 99.11
平均有效识别率/% 95.93±2.314 94.63±2.896 99.20±1.105
精确识别率/% 94.33 93.50 94.11 92.00 92.33 91.89 99.33 99.00 99.00
平均精确识别率/% 93.98±1.370 92.07±1.188 99.11±1.146
平均识别时间/ms 137.35 277.13 77.67
图 9 3种算法的识别精度与单样本耗时变化情况
Fig. 9 Variation of recognition accuracies of three algorithms with time-consuming of single sample

表 2图 9可以看出,本文算法在识别性能上具有明显的低耗时、高准确率的优势。

1) 本文算法识别准确率为99.11%,在增加识别样本和干扰样本过程中,识别精度较为稳定,保持了很好的鲁棒性能。测试中有5幅图像的人脸区域不完整,由于在归一化处理当中包含了局部拍摄背景,导致首次识别失败,可以在归一化处理过程中重新处理。其他两种方法不能进行准确识别的人脸图像包括:受人脸姿态、面部表情、光线环境影响;人脸旋转角度超过一定范围;人脸表情幅度过大;左右人脸光照不均匀等人脸图像。通过实验数据可以看出文献[10]和文献[15]的方法在样本容量变化过程中鲁棒性较差,本文频率簇方法的鲁棒性能较高。

2) 本文算法有拒绝识别的情况出现,原因是算法测试中,设置了拒识人脸图像进行识别。方法测试中很少有出现错误识别的情况,原因是频率簇利用人脸潜在的能量频率分布特征进行识别,在频率簇变换规律约束下进行特征域对比,排除了不同人脸的相似特征点的错误匹配。而其他两种方法错误识别的情况较多,原因除了光照、旋转角度、表情变化等图像本身因素影响外,这两种方法都采用了模型配准进行对比识别,特征点之间相似度较大,且没有考虑特征间的分布约束,导致误识的情况出现。

3) 本文算法平均人脸识别的时间为77.67 ms/幅人脸,通过标定目标区域、删除冗余采样单元、归一化能量频率系数和建立频率簇模型等处理,使得本文算法在提高了识别准确率的同时,保证了较快的识别速度。

4.2 CMU-PIE人脸库测试

由于FERET、ORL和Yale人脸库中光照和姿态的变化尺度较小,大部分人脸识别系统对该数据库的识别准确率较高,为了进一步测试本文算法对光照和姿态变化的人脸识别性能,将本文算法在CMU-PIE[20]人脸库上进行识别测试,同时与文献[12]、文献[13]、文献[21]和文献[22]所提方法的识别结果进行了对比。图 10为CMU-PIE人脸数据库中随机20位志愿者的图像示例。

图 10 CMU-PIE数据库人脸图像示例
Fig. 10 The sample of CMU-PIE original face images

为了便于对比分析,先将CMU-PIE数据库中68位测试人员人脸样本的4种不同集合(expression、illume、lights、talking)建立以频率簇模型为人脸图像特征的数据库。库中包括68位测试人员的频率簇信息,每位人员拥有5种(选取左侧视、右侧视、正视、低视、仰视五种姿态)频率簇人脸集合,每个频率簇在库中存储的信息格式为FC(见式(21));然后将光照不变、姿态变化的图像集合进行识别测试,最后将姿态和光照都有变化的图像集合进行识别测试,测试中每个集合均反复测试20次,测试结果以均值为准。测试状态个数为8,测试判定匹配成功的阈值e(详见3.2节)设置为60%,若匹配结果中出现候选集合,即出现两个或两个以上不同身份的人脸匹配成功,则选取频率簇中采样单元匹配成功的数量比值rate(FCt)作为最终判定结果。

将CMU-PIE的4个姿态集合(集合29、集合5、集合11、集合37)进行测试,特征提取的对象不包含光照严重昏暗,无法辨别人脸信息的测试样本。本文算法测试结果与文献[12]、文献[13]、文献[21]和文献[22]所提算法的测试结果由表 3给出。

表 3 CMU-PIE人脸库测试比较
Table 3 The comparison of recognition accuracies on CMU-PIE Database

下载CSV
/%
算法 集合29 集合5 集合11 集合37
文献[12] 98.73 98.35 98.31 97.76
文献[13] 98.89 98.81 98.74 98.07
文献[21] 98.77 97.91 97.65 97.14
文献[22] 99.06 98.79 98.51 97.19
本文 99.34 99.16 99.13 98.65

表 3数据知,文本算法识别性能相比于文献[12]、文献[13]、文献[21]和文献[22]识别算法的性能具有明显优势,因为频率簇模型对人脸描述采用的是频率特征分布约束信息,建模的方式是对多种人脸的不同姿态进行特征提取,建立不同人脸姿态下的边界特征的分布约束信息,因此采用频率簇方法提取的人脸识别方法克服了文献[12]、文献[13]、文献[21]和文献[22]中特征筛选及降维过程中大量的人脸主特征信息的丢失和特征贡献的衰减的缺点,同时由于文献[12]、文献[13]、文献[21]和文献[22]算法描述的特征存在较高的特征维数,虽然进行了降维处理,但计算量较大,而本文采用频率簇的方法,主要匹配人脸的子区域边界特征分布约束信息,其维度数据量较少,识别速度较快,使得本文算法对测试数据库中的4种姿态集合的识别准确率相对更加稳定,进一步验证了本文算法具有较好的鲁棒性。

在频率簇模型的提取测试中加入具有不同程度光照变化的人脸图像,重新对所有样本进行测试,然后对CMU-PIE人脸库中的闪光灯序列号617的图像集合(15号与1821号闪光灯属于右侧脸和左侧脸拍摄,不具有完整人脸信息,不予考虑),共1 632幅图像进行测试,实验结果如图 11所示。总共12个闪光灯下的人脸识别率平均为97.36%,从图 11中可以看出,闪光灯6、8、9条件下的识别率只略高于93.14%,但是相比于文献[12]的这3组闪光灯条件下的准确率稍微提高了3.72%,本文算法12组灯光条件下的平均识别准确率比文献[13]、文献[21]和文献[22]分别提高了近7.61%、9.37%和4.29%。

图 11 光照变化实验结果对比
Fig. 11 The comparison of test result with different lights

5 结论

提出了一种基于频率簇模型的人脸识别方法,该方法可以有效克服光照变化、特征模糊、姿态和表情变化等多种因素导致的人脸误识等不足之处,提高复杂条件下人脸识别的准确性和鲁棒性。

实验结果表明,在不同光照、姿态和表情变化以及特征模糊干扰下,采用频率簇方法识别人脸信息具有较好的识别效果,识别误差较低,在FERET、ORL与Yale组合人脸库上的识别准确率为99.11%,在CMU-PIE人脸库12组灯光条件下的识别准确率为97.36%,算法处理速度为0.077 s,在鲁棒人脸识别方面具有较高的应用价值,可以很好地满足复杂条件干扰下人脸识别的实际应用需求。

提出的频率簇等相关模型和识别方法不仅对人脸识别识别有效,而且对远距离模糊目标图像的识别也具有普遍意义,为远距离特定目标图像的识别提供了新的思路。今后将针对频率簇模型在人脸遮挡较为严重情况下的不完整人脸识别做进一步研究和探索。

参考文献

  • [1] Guillaumin M, Mensink T, Verbeek J, et al. Face recognition from caption-based supervision[J]. International Journal of Computer Vision , 2012, 96 (1) : 64–82. DOI:10.1007/s11263-011-0447-x
  • [2] Zhuang L S, Chan T H, Yang A Y, et al. Sparse illumination learning and transfer for single-sample face recognition with image corruption and misalignment[J]. International Journal of Computer Vision , 2015, 114 (2-3) : 272–287. DOI:10.1007/s11263-014-0749-x
  • [3] Geng X, Zhou Z H. Image region selection and ensemble for face recognition[J]. Journal of Computer Science and Technology , 2006, 21 (1) : 116–125. DOI:10.1007/s11390-006-0116-7
  • [4] Poon B, Amin M A, Yan H. Performance evaluation and comparison of PCA based human face recognition methods for distorted images[J]. International Journal of Machine Learning and Cybernetics , 2011, 2 (4) : 245–259. DOI:10.1007/s13042-011-0023-2
  • [5] Harandi M T, Ahmadabadi M N, Araabi B N. Optimal local basis:a reinforcement learning approach for face recognition[J]. International Journal of Computer Vision , 2009, 81 (2) : 191–204. DOI:10.1007/s11263-008-0161-5
  • [6] Gan J Y, He G H, He S B. Kernel null space linear discriminant analysis and its applications in face recognition[J]. Chinese Journal of Computers , 2014, 37 (11) : 2374–2379. [ 甘俊英, 何国辉, 何思斌. 核零空间线性鉴别分析及其在人脸识别中的应用[J]. 计算机学报 , 2014, 37 (11) : 2374–2379. DOI:10.3724/SP.J.1016.2014.02374 ]
  • [7] Gong Q, Tang P F. Uncorrelated locality preserving projections analysis based on maximum margin criterion[J]. Acta Automatica Sinica , 2013, 39 (9) : 1575–1580. [ 龚劬, 唐萍峰. 基于大间距准则的不相关保局投影分析[J]. 自动化学报 , 2013, 39 (9) : 1575–1580. DOI:10.3724/SP.J.1004.2013.01575 ]
  • [8] Ma X H, Tan Y Q. Face recognition based on discriminant sparsity preserving embedding[J]. Acta Automatica Sinica , 2014, 40 (1) : 73–82. [ 马小虎, 谭延琪. 基于鉴别稀疏保持嵌入的人脸识别算法[J]. 自动化学报 , 2014, 40 (1) : 73–82. DOI:10.3724/SP.J.1004.2014.00073 ]
  • [9] Ruan Y, Chen H W, Liu Z H, et al. Quantum principal component analysis algorithm[J]. Chinese Journal of Computers , 2014, 37 (3) : 666–676. [ 阮越, 陈汉武, 刘志昊, 等. 量子主成分分析算法[J]. 计算机学报 , 2014, 37 (3) : 666–676. DOI:10.3724/SP.J.1016.2014.00666 ]
  • [10] Uzair M, Mahmood A, Mian A. Hyperspectral face recognition with spatiospectral information fusion and PLS regression[J]. IEEE Transactions on Image Processing , 2015, 24 (3) : 1127–1137. DOI:10.1109/TIP.2015.2393057
  • [11] Li Y, Liu X D, Gao Z J. Shadow determination and compensation for face recognition[J]. International Journal of Machine Learning and Cybernetics , 2014, 5 (4) : 599–605. DOI:10.1007/s13042-013-0207-z
  • [12] Faraji M R, Qi X J. Face recognition under illumination variations based on eight local directional patterns[J]. IET Biometrics , 2015, 4 (1) : 10–17. DOI:10.1049/iet-bmt.2014.0033
  • [13] Lai Z R, Dai D Q, Ren C X, et al. Multiscale logarithm difference edgemaps for face recognition against varying lighting conditions[J]. IEEE Transactions on Image Processing , 2015, 24 (6) : 1735–1747. DOI:10.1109/TIP.2015.2409988
  • [14] Ding C X, Xu C, Tao D C. Multi-task pose-invariant face recognition[J]. IEEE Transactions on Image Processing , 2015, 24 (3) : 980–993. DOI:10.1109/TIP.2015.2390959
  • [15] Liao S, Shen D G, Chung A C S. A Markov random field groupwise registration framework for face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2014, 36 (4) : 657–669. DOI:10.1109/TPAMI.2013.141
  • [16] [iang W T, Liu W J, Yuan H, et al.Object tracking method based on vision quantum[J].Journal of Software.[2016-03-01].http://www.jos.org.cn/ch/reader/create-pdf.aspx?file_no=4931&journal_id=jos.]
  • [17] Yuan H, Wang Z H, Jiang W T. Coal pile location and recognition method based on entropy energy[J]. Journal of Image and Graphics , 2015, 20 (8) : 1062–1069. [ 袁姮, 王志宏, 姜文涛. 熵能量堆煤图像的定位与识别[J]. 中国图象图形学报 , 2015, 20 (8) : 1062–1069. DOI:10.11834/jig.20150809 ]
  • [18] Phillips P J, Moon H, Rizvi S A, et al. The FERET evaluation methodology for face-recognition algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2000, 22 (10) : 1090–1104. DOI:10.1109/34.879790
  • [19] Zhang X H, Shan S G, Cao B, et al. CAS-PEAL:a large-scale Chinese face database and some primary evaluations[J]. Journal of Computer-Aided Design & Computer Graphics , 2005, 17 (1) : 9–17. [ 张晓华, 山世光, 曹波, 等. CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍[J]. 计算机辅助设计与图形学学报 , 2005, 17 (1) : 9–17. DOI:10.3321/j.issn:1003-9775.2005.01.002 ]
  • [20] Sim T, Baker S, Bsat M. The CMU pose, illumination, and expression database[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2003, 25 (12) : 1615–1618. DOI:10.1109/AFGR.2002.1004130
  • [21] Ho H T, Gopalan R. Model-driven domain adaptation on product manifolds for unconstrained face recognition[J]. International Journal of Computer Vision , 2014, 109 (1-2) : 110–125. DOI:10.1007/s11263-014-0720-x
  • [22] Gao S H, Jia K, Zhuang L S, et al. Neither global nor local:regularized patch-based representation for single sample per person face recognition[J]. International Journal of Computer Vision , 2015, 111 (3) : 365–383. DOI:10.1007/s11263-014-0750-4