在过去的几十年里，人脸识别一直是计算机视觉与模式识别的热点研究问题，在信息安全、智能人机交互、安全监控等领域都有很大的使用价值。子空间方法和基于人脸特征描述的方法都得到了广泛的研究。子空间方法具有描述能力强，可分性好等优点。投影非负矩阵分解方法和稀疏表示方法是子空间方法的典型代表。针对投影非负矩阵分解方法(PNMF)没有考虑流形几何结构和判别信息的问题，杜海顺等人^[1]将图嵌入模型与投影非负矩阵分解结合起来，提出了图嵌入正则化投影非负矩阵分解(GEPNMF)的人脸特征提取方法。针对原始样本进行稀疏重构时没有很好地利用样本间的局部结构信息造成不同类的样本错误逼近问题，马小虎等人^[2]提出鉴别稀疏保持嵌入(DSPE)的人脸识别算法^[2],但是，子空间方法通常都需要大的训练样本来保证高的识别率，不利于小样本的识别。局部二值模式(LBP)描述子是基于人脸特征描述方法的代表，最早由Ojala等人^[3]提出用于纹理分类，在一个3×3邻域内通过比较周围像素与中心像素的大小，将周围像素进行二值化编码作为中心像素的LBP特征。Ahonen^[4]第1次把LBP特征用在人脸识别当中，将人脸图像分成若干个子块，分别提取每个子块的LBP特征，然后把它们连接起来作为最终描述人脸特征的向量。由于计算简单高效，无需训练学习，易于工程实现等优点，LBP在人脸识别中已经得到了广泛的研究与应用。近年来，研究者们尝试从不同的角度对传统的LBP方法进行改进，提出了许多LBP的改进算法。Tan等人^[5-6]在LBP的基础上提出局部三值模式( LTP)，用1、0、-1进行编码，在均匀区域比LBP有更强的鉴别能力。但是也带来两个问题，一是其局部光照不变性能有所下降，二是阈值的选择比较困难。Zhang等人^[7]提出了LDP(local derivative pattern)描述算子，LBP被看成是无方向的一阶局部描述算子，LDP则是有方向的高阶局部描述算子，第n阶的LDP是对第n-1阶的方向导数的变化进行二进制编码。高阶LDP与LBP相比能获取更多的方向细节信息。为了在人脸识别中提取更加有鉴别力的特征，Lei等人^[8-9]提出了学习判别式人脸描述子的方法，在提取特征前学习判别式滤波器，在提取LBP特征时，进行最佳周围像素采样，统计地构建LBP特征主要模式、最大化类间距离、最小化类内距离，提取的特征更加有鉴别能力。Xu等人^[10]把LBP编码问题转化为矩阵相乘的问题，根据Fisher判别准则学习一个最佳权重矩阵进行LBP编码，提高了识别率。但是，基于学习的改进算法^[8-10]大多是以较高的计算复杂度为代价。张洁玉等人^[11]利用每个子块的信息熵构造加权系数，将各个子块的LBP特征乘以加权系数后再进行连接，突出了不同子块的贡献。但仍存在与LBP同样的提取纹理信息过于简化的问题。

偏振是光的自然属性，反映了光在传播过程中，光波振动方向随时间的变化规律。在光与介质、微粒及目标表面的相互作用过程中，会形成不同的偏振态。偏振态蕴含着丰富的目标与环境信息，它除了包含传统的光强信息外，还蕴含了丰富的反映物体表面特征的信息，如粗糙度、阴影和形状等，把信息量从3维空间(光强、光谱和空间)扩充到7维空间(光强、光谱、空间、偏振度、偏振方位角、偏振椭率和旋转方向)，在目标探测和识别^[12-13]、图像去雾^[14-15]、散射介质中的成像分析^[16-17]等领域都有广泛的应用。其中，偏振度(DOP)和偏振方位角(AOP)是最常用的偏振特征。

针对传统LBP及LDP对噪声敏感及特征描述单一的问题，受偏振特征启发，将偏振方向特征的编码方式引入到人脸图像的特征编码中，构建了基于偏振编码方式的LDP人脸识别改进算法，得到的特征编码图像，与LDP特征相比具有更多的方向信息,更好的抗噪性，更重要的是包含了局部差分的幅值信息。最后在ORL和YALE人脸库中进行了实验。结果表明，本文算法不仅方法简单，还具有较高识别率。

LBP是一种纹理描述算子，在灰度图像中，以某个像素为中心的3×3的邻域内，比较周围像素z_i(i=1,2，…，8)与中心像素z₀的值的大小，若z_i大于等于z₀，则把该像素的值赋为1，否则赋为0。选择周围像素的某一个像素作为起点，按照顺时针或逆时针方向，周围像素的二元值组成一个8位的二进制编码，把这个二进制编码与对应的权重相乘之后相加，就得到该中心像素的LBP特征值。通常用(2⁰,2¹,2²,2³,2⁴,2⁵,2⁶,2⁷)作为权重向量，具体计算过程如图 1所示。用公式表示即为

$LB{P_{{z_0}}} = \sum\limits_{i = 1}^8 {s\left( {{z_i} - {z_0}} \right){2^{i - 1}}} $

(1)

式中，s(x)是一个符号函数，定义为

$s\left( x \right) = \left\{ {\begin{array}{*{20}{c}} 1&{x \ge 0}\\ 0&{x \le 0} \end{array}} \right.$

(2)

LBP可以看成是无方向的一阶局部描述算子，因为它是对所有方向的一阶差分进行二进制编码得到的，而LDP是从四个方向对一阶导数的变化进行二进制编码，与LBP相比提取了更加细致，更加有鉴别力的特征。给定一幅灰度图像I(z)，它在0°、45°、90°、135°方向上的一阶导数定义为I′(z)，在I(z)中的一个3×3邻域内，I(z₀)是中心像素的像素值，I(z_i)(i=1,2,…，8)是周围像素的像素值，该邻域的4个一阶方向导数定义为

$\begin{array}{l} I{'_{0{\rm{^\circ }}}}\left( {{z_0}} \right) = I\left( {{z_0}} \right) - I\left( {{z_4}} \right)\\ I{'_{45{\rm{^\circ }}}}\left( {{z_0}} \right) = I\left( {{z_0}} \right) - I\left( {{z_3}} \right)\\ I{'_{90{\rm{^\circ }}}}\left( {{z_0}} \right) = I\left( {{z_0}} \right) - I\left( {{z_2}} \right)\\ I{'_{135{\rm{^\circ }}}}\left( {{z_0}} \right) = I\left( {{z_0}} \right) - I\left( {{z_1}} \right) \end{array}$

(3)

在0°、45°、90°、135°方向上的二阶LDP定义为

$\begin{array}{l} LDP_\alpha ^2\left( {{z_0}} \right) = \left\{ f \right.\left( {I{'_\alpha }\left( {{z_0}} \right),I{'_\alpha }\left( {{z_1}} \right)} \right),\\ \;\;\;\;\;\;\;\;\;f\left( {I{'_\alpha }\left( {{z_0}} \right),I{'_\alpha }\left( {{z_2}} \right)} \right), \cdots \\ \;\;\;\;\;\;\;\;\;f\left. {\left( {I{'_\alpha }\left( {{z_0}} \right),I{'_\alpha }\left( {{z_8}} \right)} \right)} \right\} \end{array}$

(4)

式中，α代表 4个差分方向(α=0°,45°,90°,135°)，f()是一个决定局部二值模式变换类型的二值编码函数，当同方向上的一组像素的像素值变换方向相反时，则将相应位的二进制赋为1，否则赋为0，即

$f\left( {I{'_\alpha }\left( {{z_0}} \right),I{'_\alpha }\left( {{z_i}} \right)} \right) = \left\{ {\begin{array}{*{20}{c}} 1&{I{'_\alpha }\left( {{z_i}} \right),I{'_\alpha }\left( {{z_0}} \right) \le 0}\\ 0&{I{'_\alpha }\left( {{z_i}} \right),I{'_\alpha }\left( {{z_0}} \right) > 0} \end{array}} \right.$

(5)

LBP与二阶LDP的编码图像如图 2所示。

任何目标物在与光相互作用的过程中，由于目标物的材质不同、表面结构/内部结构以及光入射的角度不同，都会产生由其自身性质决定的特征偏振，即光的偏振状态的变化包含了目标物的物理状态信息。目标表面反射光的偏振信息通常采用Stokes矢量S=[I,Q,U,V]^T进行描述，即

$S = \left[ {\begin{array}{*{20}{c}} I\\ Q\\ U\\ V \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{I_{0{\rm{^\circ }}}} + {I_{90{\rm{^\circ }}}}}\\ {{I_{0{\rm{^\circ }}}} - {I_{90{\rm{^\circ }}}}}\\ {{I_{45{\rm{^\circ }}}} - {I_{135{\rm{^\circ }}}}}\\ {{I_r} - {I_l}} \end{array}} \right]$

(6)

式中，I表示光的总强度，即原始图像的灰度值，Q表示0°线偏振光分量I_0°与90°线偏振光分量I_90°之差，U表示45°线偏振光分量I_45°与135°线偏振光分量I_135°之差；V表示右旋圆偏振光分量I_r与左旋圆偏振光分量I_l之差。在实际应用中，地面物体所产生的偏振效应基本上是线偏振，圆偏振分量很小，通常忽略不计，假定V=0。由Stokes矢量的前3个分量即可计算出偏振度(DOP)和偏振方位角(AOP)，即

$\left\{ \begin{array}{l} DOP = \frac{{\sqrt {{Q^2} + {U^2}} }}{I}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left( {I,Q,U} \right) \ne 0\\ AOP = \frac{1}{2}{\tan ^{ - 1}}\left( {\frac{U}{Q}} \right)\\ DOP = 0,AOP = 0\;\;\;\;其他 \end{array} \right.$

(7)

式中，AOP的取值范围为(－45°,45°)； DOP是个0~1间的无量纲数；当DOP=0时，表示光是自然光，即非偏振光；当DOP=1时，表示光是完全偏振光；当0<DOP<1时，表示光是部分偏振光。自然界中目标物体表面的反射光基本都属于部分偏振光，即0<DOP<1，通常将其分解成完全偏振光和非偏振光的形式，即

${S_{{\rm{part}}}} = \left[ {\begin{array}{*{20}{c}} {\sqrt {{Q^2} + {U^2}} }\\ Q\\ U \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {1 - \sqrt {{Q^2} + {U^2}} }\\ 0\\ 0 \end{array}} \right]$

(8)

Stokes矢量、DOP和AOP分别从不同角度反应了目标的偏振特性。本文将利用目标表面偏振特征的编码方式改进二阶LDP算子，提取人脸图像的纹理特征。

由第1.2节的特征分析可知，LDP引入了二阶方向信息，大大减少了纹理信息的损失，可看做是具有方向的LBP特征。然而，AOP描述的是物体表面反射光的偏振化方向特征，同样是具有方向的偏振编码特征。受此启发，本文提出一种基于AOP编码方式的LDP(AP-LDP)人脸识别算法。AP-LDP算法的主要步骤如下：

1)提取原始人脸图像的一阶局部差分信息，得到L_d0,L_d45,L_d90,L_d135共4个方向的一阶差分图像；

2)利用4幅一阶差分图像和原始人脸图像构造出6种Stokes矢量图像；

3)对Stokes矢量图像进行偏振方位角编码，将同一个局部纹理结构扩展为6个方向的局部纹理特征。

LBP特征和二阶LDP特征都是利用邻域灰度值与中心灰度值差值的符号信息来进行二进制编码，对噪声比较敏感。步骤1)中，为了提高特征的抗噪性，本文改进了LDP的一阶局部差分特征的提取方法，如图 3所示。

首先将其3×3邻域内4个方向的像素灰度值分别用其各自3×3邻域内的像素均值代替，然后用式(3)提取出4幅一阶局部差分信息。用邻域均值代替原本像素的方法，显然会提高特征的抗噪声性能。

步骤2)中，根据Stokes矢量S=[I,Q,U]^T的物理意义可知，利用非偏振相机仅能获得1幅图像I，并不能求解出真正意义上的Stokes矢量，所以，如果能构造出“不同偏振化方向的光强图像”，就能够求解出类似的Stokes矢量。基于LDP的一阶导数信息可以获得0°、45°、90°、135°这4个方向上的邻域强度差分信息L_d0,L_d45,L_d90,L_d135，将此时的LDP中一阶导数信息类比为“不同偏振化方向的光强信息”，就可以巧妙地将一幅灰度图像变为4幅具有不同方向信息的光强图像，进而利用原始人脸图像和4幅一阶差分人脸图像构造类似的Stokes矢量S′=[I′,Q′,U′]^T人脸图像。计算方法为

$S{\rm{'}} = \left[ {\begin{array}{*{20}{c}} {I'}\\ {Q'}\\ {U'} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} I\\ {{L_{d0}} - {L_{d90}}}\\ {\sqrt {\left( {1 + I{'^2}} \right) - Q{'^2}} } \end{array}} \right]$

(9)

式中，I′、Q′、U′分别为构造的类似Stokes矢量S′的分量，I表示原始人脸图像，L_d0和L_d90分别表示0°和90°的一阶局部差分特征信息，且I、L_d0、L_d90均经过归一化处理。

构造出的Q′分量与真实Q′分量之间一定会存在误差，所以，进一步约束Q′分量的大小来满足构造出的类似Stokes矢量的合法性。假设将人脸反射的偏振光看作是完全偏振光，即${\sqrt {Q{'^2} + U{'^2}} = I'}$。但是，由于L_d0和L_d90都可能为负值，相比于真实0°与90°线偏振光分量，Q′²分量可能存在大于I′的情况,但是L_d0与L_d90相减，中心像素被抵消，于是Q′²≤1。所以，U′分量按照${\sqrt {1 + I{'^2} - Q{'^2}} = U'}$进行构造会更接近完全偏振的情况。由于Q′分量和U′分量是自定义构造的，并不是标准偏振图像的真实值，所以根据4幅不同方向的一阶差分人脸图像两两组合可以得到6种Q′分量图像Q′_i(i=1,2,…，6)，Q′_i分量为

$\begin{array}{l} Q{'_1} = {L_{d0}} - {L_{d45}}\\ Q{'_2} = {L_{d0}} - {L_{d90}}\\ Q{'_3} = {L_{d0}} - {L_{d135}}\\ Q{'_4} = {L_{d45}} - {L_{d90}}\\ Q{'_5} = {L_{d45}} - {L_{d135}}\\ Q{'_6} = {L_{d90}} - {L_{d135}} \end{array}$

(10)

虽然构造出的6种Q′分量图像都不是真正意义上的Q′分量，但是，可以唯一地表示图像的方向性，即均可以用-255~255间的整数值表示不同的方向性。同理，根据式(9)也会得到6种U′分量图像，进而得到6种Stokes矢量人脸图像。最后，步骤3)根据式(7)中AOP的编码方式对6种Stokes矢量人脸图像进行特征编码，即利用步骤2)中获得的6种Q′分量和U′分量分别计算出AOP的值直接作为特征编码值AOP_i(i=1,2,…,6)，得到6种AP-LDP的特征图像。由于之前构造Stokes矢量时进行了归一化处理，这里将AP-LDP的编码结果重新扩展到0~255范围内，以便后续统计直方图特征，计算公式为

$\begin{array}{l} {C_{AP - LDPi}} = \left\lfloor {255 \times \frac{{AO{P_i} - \min \left( {AO{P_i}} \right)}}{{\max \left( {AO{P_i} - \min \left( {AO{P_i}} \right)} \right)}}} \right\rfloor \\ i = 1,2,3,4,5,6 \end{array}$

(11)

式中，扩展后的AP-LDP_i特征的取值范围为0~255，符号“$\left\lfloor {} \right\rfloor $”表示向下取整，i表示不同编码特征的方向下标。图 4所示为AP-LDP编码的纹理特征图像。

由图 4结果可知，AP-LDP特征相比较于图 2中的LBP和LDP特征能更清晰真实地反映出原始人脸图像的纹理特征，同时具有6个不同的方向信息，比LBP和LDP更具有鉴别力。

原始LBP模式和二阶LDP模式一次性提取了整幅图像的不同子块特征，并没有区别对待不同的子块。在人脸图像中，不同的子块包含的信息量是不同的，有的子块包含的细节信息比较丰富，有的子块包含的细节信息就相对稀少，为了充分利用人脸各个方向的AP-LDP特征和不同子块的信息量，有文章赋予不同子块不同的权重来强化图像的细节信息，依次提取加权的特征向量^[11]。香农在1948年将熵的概念应用在了信息理论，提出了著名的信息熵理论。信息熵反应了图像包含的信息量的大小，信息熵越大表明图像包含的信息越丰富。因此，在本文算法中将信息熵应用在对AP-LDP特征图像的各个子块的权重分配当中。经过后续实验测试，并考虑特征维数问题，本文选取4个不同方向的AP-LDP特征图像(AP-LDP₁,AP-LDP₄,AP-LDP₅,AP-LDP₆,)进行直方图信息的统计，并将AP-LDP特征图像分成16个子块。针对原始人脸图像，第i个子块(i=1,2，…，16)的人脸图像的信息熵表示为

${E_i} = - \sum\limits_{m = 1}^n {{p_m}\log {p_m}} $

(12)

式中，n为整幅人脸图像的像素级数，在灰度图像中为256级，p_m为原始人脸图像上第i个子块中第m级像素出现的概率。子块的信息熵越大，赋予它的权重越大，因此，子块的信息熵就可以等效为子块的权重系数，即

${w_i} = {E_i}$

(13)

最终，分别将AP-LDP₁,AP-LDP₄,AP-LDP₅,AP-LDP₆上的16个子块的特征直方图向量d_jⁱ(i=1,2,…,16;j=1,4,5,6)乘以每个子块对应的权重系数w_i，然后进行级联，得到4个方向上的加权AP-LDP直方图向量D_j(w₁·d_j¹,w₂·d_j²,…,w₁₆·d_j¹⁶)(j=1,4,5,6)，维数是256×16。最后，再把4个方向的加权AP-LDP特征直方图向量连接起来，得到整幅加权AP-LDP图像的特征向量D(D₁,D₄,D₅,D₆)，维数是4×256×16。以图 4中的人脸图像为例，统计整幅图像的加权AP-LDP特征向量如图 5所示。

ORL人脸库包含40个人，每个人有10幅人脸图像，包含姿态，表情和有无戴眼镜的变化，每幅人脸灰度图像大小均为112×92。YALE人脸库中包含了15个人，每个人有11幅人脸图像，包含姿态和光照的变化，每幅人脸灰度图像的大小均为100×100像素。分别求出Q′取为Q′₁~Q′₆时对应的U′₁~U′₆，得到6种AP-LDP_i(i=1,2…,6)的特征图像，分别分块统计直方图，选择其中的若干组合(组合可以包含1~6个不同特征直方图的级联)进行特征直方图向量级联，结合最近邻分类方法在ORL,YALE人脸数据库中分别进行实验，结果如表 1所示。

实验结果表明,1、4、5、6这4个特征的直方图向量进行级联,得到的识别率是最好的，因为选择的不同方向特征过少，无法涵盖图像本身的方向信息，而每个方向的特征所含的方向信息也是不同的，要尽可能采用比较全面的方向特征，而过多的方向组合造成特征维数大量增加，所含的冗余信息也会急剧上升，不利于最后的分类识别。所以本文采用这4个特征的统计直方图向量级联作为最终的AP-LDP特征用于人脸识别。

本文利用最近邻分类方法来训练和测试AP-LDP人脸特征向量，分别在ORL和YALE两个人脸数据库中进行识别实验。实验环境为Windows 7操作系统，处理器Inter Core i3 CPU，主频M 2.13 GHz，内存4 GB。在ORL人脸库中，对于每个人的10幅图像随机取5幅作为训练样本，剩下的5幅作为测试样本，训练样本和测试样本均为200幅。YALE人脸库中，随机选取每个人的5幅图像作为训练样本，剩下的6幅作为测试样本，训练样本数和测试样本数分别为75和90。在两个人脸库中通过随机更换训练样本和测试样本分别进行5次识别实验，最后取5次识别率的均值。实验中算法均是提取特征后，将特征图像进行4×4的分块，然后分别统计每个子块的特征直方图，最后进行连接作为整幅人脸图像最终的人脸描述特征向量。通过与LBP、LDP算法比较验证了AP-LDP算法的有效性，如表 2所示。

相比LBP算法，本文选取4个方向级联的算法特征维度较大，但是，二者的算法耗时差别并不大。在不考虑分块的情况下，LBP算法针对每幅图像中的N个像素点，均与其邻域的8个像素点大小进行比较操作，可以看做其复杂度为O(8N)。而本文提出的AP-LDP算法首先经过不同方向像素其邻域均值替代改进LDP，复杂度为O(8N)，而4幅一阶差分过程的复杂度为O(4N)，其次是分别计算4种图像中的每个像素Q分量、U分量和AOP编码，复杂度均为O(4N)，所以，AP-LDP算法的复杂度可以看作为O(8N)。从大小上看，在提取编码特征时，N在小样本的情况下，本文的算法复杂度要大于LBP的复杂度，而当N很大时，二者的算法复杂度都会接近O(N)。最后，利用matlab自带的KNN分类函数knnclassify()对提取的特征进行训练分类，算法耗时的详细统计信息如表 3所示。

根据图像子块信息熵的大小分配权重，分别提取WLBP^[11]、WLDP、WAP-LDP特征进行同样的实验，并与GEPNMF^[1]、DSPE^[2]方法进行比较，结果如表 4所示，通过对子块特征进行加权，LBP、LDP、AP-LDP算法的识别率都有一定的提高，其中WAP-LDP识别率均高于其他算法。

根据表 2和表 4实验数据可以得出如下结论：

1)本文提出的AP-LDP特征，与LBP和LDP相比，应用不同方向一阶导数差值的幅值信息提取了更加丰富的纹理信息，从而得到了较高的识别率。

2)使用邻域周围像素的均值进行一阶LDP提取，使得特征具有一定的抗噪性。

3)利用信息熵对不同图像子块的特征图进行加权，提高了特征的鉴别力。

为了进一步验证AP-LDP算法的鲁棒性，本文还进行了两类测试，这两类测试均在ORL库和YALE库中进行，如表 5所示，第1类测试数据均添加均值为0，方差为0.02的高斯噪声，第2类测试数据中均添加叠加密度为0.2的椒盐噪声。

根据表 5可以看出，在含有噪声干扰时，3种算法的人脸识别率均有所减小，但AP-LDP算法的人脸识别率虽然减小，却依然保持着较高的识别率，即在相同的噪声干扰下，基于AP-LDP算法的人脸识别鲁棒性要高于LBP算法和LDP算法。

本文受光的偏振特性的启发，在LBP和LDP算法的基础上，采用新的编码方式提出了包含多方向信息的人脸特征提取新算法。将人脸图像分成4×4块，提取AP-LDP纹理特征，根据每个子块信息量的不同，分配不同的权重系数，提取了WAP-LDP特征。本文算法包含了人脸图像局部差分的幅值信息，更多的方向信息，提高了特征的鉴别能力，在两大数据库上进行验证的结果表明，本文算法提高了识别率，并且在噪声干扰的情况下同样具有较高的识别率。本文算法对于其他的纹理分类、目标识别也具有一定的参考价值，由于算法的特征维数较高，下一步的研究方向是在保证识别率的情况下，对提取的人脸特征进行有效降维。