纹理作为图像重要的底层特征之一，是对物质表面固有属性的描述，在图像分析、机器视觉及模式识别领域占有重要地位，一直受到广大学者的关注与研究^[1]。常用的纹理特征提取方法有灰度共生矩阵方法^[2]、马尔可夫随机场方法^[3]、小波变换方法^[4]、分形理论^[5]、基元字典的学习方法^[6]等，但这些方法存在计算复杂度较大，对存在光照不均匀变化，背景干扰及噪声影响图像的分类效果欠佳等问题。

由于传统的纹理特征提取计算成本过高，影响到了纹理分类技术的实际应用，一些学者便开始简化图像纹理特征的计算方式。Ojala等人^[7]提出了表征图像微观纹理的局部二值模式(LBP)，因其原理简单、计算复杂度低而被广泛应用于图像分割、目标跟踪、人脸识别、医学图像分析等领域^[8]。针对LBP算法对图像旋转、尺度、非均匀光照变化鲁棒性较差的问题，学者们提出了很多改进算法^[9-16]，比如，Tan等人^[9]提出LTP算法引入$\pm t $量化阈值对邻域灰度进行正、负编码，有效提升了算法对光照变化和噪声的鲁棒性，Guo等人^[11]提出完整局部二值模式(CLBP)算法通过提取像素灰度符号、幅值及局部邻域中心像素灰度特征间的相关性信息，增强了算法鉴别能力和对光照变化的鲁棒性，Zhao等人^[12]在CLBP基础上统计二值编码序列中1的个数提出了局部二值统计(LBC)算法，通过统计局部邻域内灰度差异信息有效提升了算法对旋转变化的鲁棒性，Liu等人^[15]提出的扩展局部二值模式(ELBP)算法通过提取单个像素点局部邻域内灰度特征和径向灰度差分特征间的共生信息，在具光照多样性、旋转变化的纹理分类方面取得了较好分类效果，Qi等人^[16]提出的PRICoLBP算法通过联合编码空间上下文共生特征，可以描述较为复杂的纹理结构和共生点对间的高阶相对夹角信息，并取得了较好的识别率，但PRICoLBP选取上下文共生点对的梯度方向会随着图像旋转而发生变化，且存在特征维度过高、对光照变化较敏感的问题。而通过像素LBP特征极值对应的邻域起始编码点和邻域中心像素点确定的方向矢量不会受图像旋转变化影响，所以本文利用像素LBP特征极值对应的邻域起始编码点和局部中心像素点确定的方向作为选取空间上下文共生点对的方向矢量，增强算法对旋转变化的鲁棒性；同时引进ELBP^[15]算法来提取局部邻域内中心像素点灰度值特征、邻域灰度值特征及邻域径向灰度值差异特征间的相关性信息，增强算法对光照变化的鲁棒性；并利用经旋转不变均匀模式进行特征归类后的LBP算子联合分布形式来描述局部纹理结构，降低PRICoLBP算法特征维度。

局部二值模式是一种典型的局部纹理描述子，通过比较图像任意像素点与其邻域像素点的灰度大小关系来编码图像局部纹理结构信息。如果邻域点灰度值大于等于中心像素点灰度值，则将该邻域像素点所在位置标记为1，否则置为0，按照规定的编码方向对不同的邻域点赋予不同的权重，将二进制序列转换一个无符号十进制数，并用该值作为像素点的LBP特征值。LBP特征的计算为

$ {L_{R, P}} = \sum\limits_{i = 0}^{P-1} {s\left( {{g_i}-{g_c}} \right){2^i}} $

(1)

$ s\left( x \right) = \left\{ \begin{gathered} 1\;\;x \geqslant 0 \hfill \\ 0\;\;x < 0 \hfill \\ \end{gathered} \right. $

(2)

式中，$R $表示邻域半径，$N $表示半径为$R $的圆形邻域上均匀分布的像素点个数，$g_c $表示局部邻域的中心像素点灰度值，${g_i}\left( {i = 0, 1, \cdots, P-1} \right) $表示邻域像素点灰度值。

图像旋转变化时会改变像素点LBP值，为了达到对图像的旋转不变性，Ojala等人^[17]提出了具旋转不变性的LBP算子，即不断变换圆形邻域的起始编码序列得到一系列初始定义的LBP值，并将其中最小值作为该邻域的LBP值，其数学描述可表示为

$ L_{R, P}^{{\text{r}}i} = \min \left\{ {ROR\left( {{L_{R, P}}, i} \right)|i = 0, 1, \cdots, P-1} \right\} $

(3)

式中，$ROR\left( {x, i} \right) $表示将$ x$对应的二进制数循环右移$ i$位。通过引入旋转不变模式，LBP算法对有旋转变化纹理图像的识别性能得到了大幅度提升，但是随着邻域点数的增加，特征维度增长较快，而过高的特征维度并不能满足LBP算法时效性及后续特征计算与数据存储要求。因此，Ojala等人^[17]为了进一步提高LBP特征描述子旋转不变性，并降低特征维度，在旋转不变模式基础上，按照二值编码序列中0/1(或1/0)变换次数将旋转不变模式分为旋转不变均匀模式(riu2)和旋转不变的非均匀模式，并根据序列中二值数1的个数将旋转不变均匀模式归为$P + 1 $类，所有的旋转不变非均匀模式归为1个大类。LBP特征的旋转不变均匀模式可表示为

$ L_{R, P}^{{\text{riu}}2} = \left\{ \begin{gathered} \sum\limits_{i = 0}^{P-1} {s\left( {{g_i}-{g_c}} \right)} \;\;\;\;U\left( {{L_{R, P}}} \right) \leqslant 2 \hfill \\ P + 1\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;其他 \hfill \\ \end{gathered} \right. $

(4)

$ \begin{array}{l} U\left( {{L_{R, P}}} \right) = \left| {s\left( {{g_{p-1}}-{g_c}} \right)-s\left( {{g_0} - {g_c}} \right)} \right| + \\ \;\;\;\;\;\sum\limits_{i = 1}^{P - 1} {\left| {s\left( {{g_i} - {g_c}} \right) - s\left( {{g_{i - 1}} - {g_c}} \right)} \right|} \end{array} $

(5)

式中，$U $表示二值序列中相邻的两个二元值之间的0/1(或1/0)变换次数，本文中邻域点数$P $为8，${L^{{\rm{riu2}}}} $特征维度为10维。

从信息论角度看，同时观察到两个具有一定相关性的事件发生比观察到它们独立发生能获取更多潜在有用信息。而应用到纹理分类上即认为：两种特征间的相关性特征能够描述比单个特征更大、更复杂的局部纹理结构。因此，文献[16]提出了一种有效的成对旋转不变的上下文纹理特征共生的编码策略，其思路为：对于图像中任意像素点$ A$，通过计算$ A$点的单位梯度方向和单位切线方向来确定两个上下文共生点$ B$和$ C$，根据$ A$点的局部纹理结构信息来编码$B$、$ C$点的特征，然后用两个点对$\left( {A, B} \right) $，$\left( {A, C} \right) $的共生特征来描述$A $点在较大邻域内的纹理结构。其数学描述可表示为

$ \left\{ \begin{array}{l} PROCoLB{P_{R, P}}\left( {A, B'} \right) = {\left[{L_{R, P}^{{\rm{u2}}}\left( A \right), L_{R, P}^{{\rm{riu2}}}\left( {B', i\left( A \right)} \right)} \right]_{co}}\\ i\left( A \right) = \mathop {\arg \;\max }\limits_{i \in \left\{ {0, 1, \cdots, P -1} \right\}} \left( {ROR\left( {{L_{R, P}}\left( A \right), i} \right)} \right)\\ B = a \cdot G\left( A \right) + b \cdot N\left( A \right) + A\\ B' = \phi \left( B \right) \end{array} \right. $

(6)

式中，${L^{{\rm{riu2}}}}\left( A \right) $表示点$ A$的局部纹理特征，$i\left( A \right) $表示$A$点最大特征值对应的邻域起始编码点序号，$L_{R, P}^{{\rm{riu2}}}\left( {B', i\left( A \right)} \right.$表示以共生点$B'$的第$i\left( A \right)$个邻域点为编码起始点对应的局部纹理特征，$\mathit{\boldsymbol{G}}\left( A \right)$和$\mathit{\boldsymbol{N}}\left( A \right)$分别表示像素点$A$的单位梯度方向和单位法线方向，$\mathit{\boldsymbol{a}}$、$\mathit{\boldsymbol{b}}$表示度量共生点对间空间距离的尺度模板，分别为(3, 0)和(0, 3)，$\phi $为坐标变换函数，即将原图上的共生点$B$映射到对应尺度空间图像上的点$B'$。

由于原始PRICoLBP算法中共生点对位置选取对图像旋转变化较敏感，且上下文底层纹理特征的描述过于单一，对光照变化的鲁棒性较弱。针对这两个问题，设计了一种特征维度较低，对图像光照、旋转变化具有较强鲁棒性的算法，并将改进后的算法记为增强的成对旋转不变的共生扩展局部二值模式(EPRICoELBP)。

由于图像旋转变化时，像素点周围的邻域像素会发生变化，即旋转变化后像素点的梯度方向也会变化，致使原始PRICoLBP算法对图像旋转变化的鲁棒性较差。而在不受噪声影响情况下，图像旋转变化可以视为仅改变了像素点LBP编码时邻域起始点位置，即像素LBP特征极大、极小值对应的邻域起始编码点并没有发生改变，如图 1所示。因此，分别以像素点和其LBP特征极值对应的邻域编码起始点来确定两个共生方向矢量$\mathit{\boldsymbol{m}}$、$\mathit{\boldsymbol{n}}$，并在这两个共生方向上确定和像素点空间上下文共生的两个点的坐标。如图 1所示，因为像素点$A$的LBP特征极值对应邻域起始编码点具有旋转不变性，使得上下文共生点对$\left( {A, B} \right)$和$\left( {A, C} \right)$间的相对位置及其高阶夹角特征并没有因图像旋转而变化，所以，本文利用像素点$A$和其LBP特征极值对应的邻域起始编码点确定的两个共生方向矢量$\mathit{\boldsymbol{m}}$、$\mathit{\boldsymbol{n}}$来计算空间上下文共生像素点位置，可有效增强算法对图像旋转变化的鲁棒性。改进算法的上下文共生点坐标选取的数学描述可表示为

$ \left\{ \begin{array}{l} B = \phi \left( {A + a \cdot {f_{\max }}\left( A \right) + b \cdot {h_{\max }}\left( A \right)} \right)\\ C = \phi \left( {A + a \cdot {f_{\min }}\left( A \right) + b \cdot {h_{\min }}\left( A \right)} \right)\\ {i_{\max }}\left( A \right) = \mathop {\arg \;\max }\limits_{i \in \left\{ {0, 1, \cdots, P-1} \right\}} \left\{ {ROR\left( {{L_{R, P}}\left( A \right), i} \right)} \right\}\\ {i_{\min }}\left( A \right) = \mathop {\arg \;\min }\limits_{i \in \left\{ {0, 1, \cdots, P-1} \right\}} \left\{ {ROR\left( {{L_{R, P}}\left( A \right), i} \right)} \right\} \end{array} \right. $

(7)

式中，$\mathit{\boldsymbol{f}}\left( x \right)$、$\mathit{\boldsymbol{h}}\left( x \right)$分别表示由像素点$A$与其极大、极小LBP值对应的邻域起始编码点确定的方向矢量，$i\max \left( A \right)$、$i\min \left( A \right)$分别表示像素点$A$的LBP特征极大、极小值对应的邻域起始编码点序号。

文献[15]为解决LBP算法对纹理非线性光照和旋转变化敏感的问题，提出了一种扩展的局部二值模式(ELBP)，其利用两种具有互补性的像素灰度和差分特征的联合分布形式来表示图像的局部纹理结构。其中，像素灰度特征包括基于邻域点灰度的局部二值模式(NI-LBP)、中心像素点灰度特征(CI-LBP)；像素灰度差分特征包括径向灰度差分局部二值模式(RD-LBP)和角向灰度差分局部二值模式(AD-LBP)。本文引进ELBP算法，分别提取像素点的局部邻域点灰度值特征、径向邻域点灰度值差异特征和中心像素点灰度特征，相较于原始算法，改进算法拥有更丰富的特征模式。ELBP数学描述可表示为

$ \left\{ \begin{array}{l} E = N/R/C\\ {N_{R, P}} = \sum\limits_{i = 0}^{P-1} {s\left( {{g_i}-{\mu _P}} \right){2^i}, {\mu _P} = \frac{1}{P}\sum\limits_{i = 0}^{P-1} {{g_i}} } \\ {R_{R, P}} = \sum\limits_{i = 0}^{P - 1} {s\left( {\Delta _{\delta, {\rm{i}}}^{{\rm{Rad}}}} \right){2^i}, \Delta _{\delta, {\rm{i}}}^{{\rm{Rad}}} = {x_{R, i}} - {x_{R - \delta, i}}} \\ {C_{R, P}} = s\left( {{g_c} - {\mu _I}} \right), {\mu _I} = mean\left( {I\left( : \right)} \right) \end{array} \right. $

(8)

式中，${\mu _P}$为邻域像素点灰度均值，$\Delta _{\delta, {\rm{i}}}^{{\rm{Rad}}}$表示同一径向方向上不同邻域半径的邻域点间灰度差值，$\delta \in \left[{1, P/2} \right]$，${\mu _I}$表示整幅图像的灰度均值。

为提升算法计算效率，采用对光照、旋转变化鲁棒性较强的旋转不变均匀模式来对ELBP特征进行归类^[18]，即利用式(4)(5)将上下文共生像素点的局部邻域像素灰度特征和径向灰度差分特征各归为10类模式，并将归类后得到的$NI-LB{P^{{\rm{riu2}}}}$、$RD-LB{P^{{\rm{riu2}}}}$特征与$CI-LBP$特征的联合分布直方图用来表示像素点的局部纹理结构特征，则最终得到的单个像素点的局部$ELB{P^{{\rm{riu2}}}}$特征维度为200(10×10×2)维，改进后的EPRICoELBP算法特征维度为3个共生像素点的$ELB{P^{{\rm{riu2}}}}$特征维度和，即600(200×3)维，大大低于原始PRICoLBP算法的1 180维特征，有效降低了算法的计算复杂度。最后，EPRICoELBP算法特征提取的数学表达为

$ \left\{ \begin{array}{l} {\rm{EPRICoELBP}}\left( A \right) = {\left[{\varphi \left( A \right), \varphi \left( {B'} \right), \varphi \left( {C'} \right)} \right]_{co}}\\ \varphi \left( A \right) = {E^{{\rm{riu2}}}}\left( A \right)\\ \varphi \left( {B'} \right) = {E^{{\rm{riu2}}}}\left( {B', {i_{\max }}\left( A \right)} \right)\\ \varphi \left( {C'} \right) = {E^{{\rm{riu2}}}}\left( {C', {i_{\max }}\left( A \right)} \right) \end{array} \right. $

(9)

1) 初始化共生特征直方图$\mathit{\boldsymbol{H}}\left( {10 \times 10 \times 2 \times 3} \right)$，并设定两组不同尺度的模板$a$=(3, 0)、$b$=(0, 6)；

2) 将原始图像$I$放大3倍和6倍得到图像$I_3$、$I_6$，分别计算3幅图像的梯度幅值矩阵$\mathit{\boldsymbol{M}}$、${\mathit{\boldsymbol{M}}_3}$、${\mathit{\boldsymbol{M}}_6}$；

3) 根据式(7)分别计算出${i_{\max }}\left( A \right)$、${i_{\min }}\left( A \right)$，并找出与图像中任意像素点$A$上下文共生的点$B'$、$C'$位置坐标；

4) 根据式(8)分别计算出3个像素点的$RD-LBP$、$NI-LBP$、$CI-LBP$特征，分别将3个特征值作为3个坐标值放入坐标系中进行归类统计，并利用各点的梯度幅值来加权其共生直方图。共生直方图的数学描述可表示为

$ \left\{ \begin{array}{l} x = {N^{{\rm{riu2}}}}\left( Q \right)\\ y = {R^{{\rm{riu}}2}}\left( Q \right)\\ z = C\left( Q \right)\\ H\left( {x, y, z, n} \right) = H\left( {x, y, z, n} \right) + \\ M\left( Q \right), n = 1, 2, 3 \end{array} \right. $

(10)

式中，$M\left( Q \right)$表示图像像素点$Q$的灰度梯度幅值，$Q \in \left\{ {A, B', C'} \right\}$，当$n$取1时，$Q$表示原图像$I$中任意像素点$A$，$n$取2或3时，$Q$为与像素点$A$上下文共生的像素点$B'$和$C'$，并同时利用3个点的共生特征直方图来描述像素点$A$的局部纹理结构;

5) 遍历数据库中纹理图像，将得到的特征直方图送入支持向量机(SVM)进行模板训练与纹理分类识别。利用改进算法进行图像纹理分类的实验过程如图 2所示。

为验证本文提出算法对光照、旋转变化的鲁棒性，选择在标准数据库Brodatz、Outex、CUReT、KTH-TIPS及UIUC上分别与LBP、LBPV^[19]、CLBP、LTP、CLBC、PRICoLBP、ELBP算法进行对比。为保证对比试验公平性，LBP及其改进算法均采用旋转不变均匀模式，各算法的采样半径和邻域点数分别为2和8，LTP算法的阈值波动区间为5，NRLBP方法的区间值设置为3，实验基于Vlfeat0.9.20开源函数库，采用卡方核支持向量机^[20]评估各算法的分类性能。为避免随机偏差，在各数据库上进行纹理分类实验时，采用100次独立的随机采样实验的平均分类正确率作为评估算法性能的指标。

实验所用的各数据库样本纹理特征如表 1所示，其中Brodatz数据库纹理均拍摄于同一光照、角度、尺度下，可用于评估算法区分性；TC10、TC12和UIUC数据库纹理都有明显旋转变化，主要测试算法对旋转变化的鲁棒性；TC14库的各类图像均拍摄于不同的光照条件，主要用于评估算法对光照变化的鲁棒性；而CUReT、KTH-TIPS数据库纹理包含了复杂的光照、旋转变化，主要用于测试算法对复杂环境变化的鲁棒性。Outex、CUReT数据库中部分纹理样本如图 3、图 4所示。

从表 2和表 3中的实验数据来看，本文EPRICoELBP算法在Brodatz、OuTex、UIUC、KTH-TIPS纹理库上识别率均高于其余LBP算法，说明EPRICoELBP算法具有较强的特征鉴别能力；而在具纹理光照多样性和旋转变化的OuTex、UIUC和KTH-TIPS数据库上，改进后的EPRICoELBP算法识别率明显高于其余算法，说明EPRICoELBP算法对光照、旋转变化的鲁棒性较强。

从表 2分类数据可以看出，对于样本均拍摄于相同光照、视角和尺度条件下的Brodatz数据库，本文EPRICoELBP算法的识别率相比于原始PRICoLBP算法识别率提升了0.32%，比ELBP算法提升了0.49%，说明通过融合上下文共生像素点的局部ELBP特征，可有效增强算法的区分性能；对于仅存在光照条件变化的TC14纹理库分类，本文提出的EPRICoELBP算法分类识别率比CLBP、CLBC、PRICoLBP、ELBP算法分别提高了1.39%、1.96%、5.62%、2.96%，说明EPRICoELBP算法对光照变化的鲁棒性较强；对于存在尺度、视角变化的UIUC纹理库，EPRICoELBP算法识别率比CLBP、CLBC、PRICoLBP、ELBP算法分别高出了0.6%、0.94%、4.75%、0.93%，说明本文EPRICoELBP算法对纹理旋转变化具有较强的鲁棒性；特别是在样本同时存在光照、旋转和尺度变化的KTH-TIPS数据库上，EPRICoELBP算法识别率比CLBP、CLBC、PRICoLBP、ELBP各高出了0.89%、0.44%、2.1%、0.83%，说明EPRICoELBP算法利用像素局部特征极值对应的邻域起始编码点与邻域中心像素点来确定上下文共生点对，并采用ELBP算法提取上下文共生点的邻域灰度信息和径向灰度差值信息，可有效增强算法对光照、旋转变化的鲁棒性。

从表 3分类数据可以看出，对于存在明显旋转变化的TC10和TC12纹理库分类，原始PRICoLBP算法的平均识别率都高于LBP及其改进算法，说明通过编码共生点对间的高阶夹角信息可提升算法对旋转变化的鲁棒性。但原始PRICoLBP算法计算上下文共生点对位置的梯度矢量会随图像旋转变化而变化，致使提取到的高阶夹角信息会因图像旋转变化而失真，而本文EPRICoELBP算法采用极值化像素点LBP特征值策略来确定上下文共生矢量方向，确保了算法提取到的上下文共生点对间的高阶夹角信息的稳定性，使得改进后的EPRICoELBP算法相比原始PRICoLBP算法平均识别率高出了0.57%，有效说明了本文EPRICoELBP算法比原始PRICoLBP算法对图像旋转变化具有更高的鲁棒性。

表 4主要验证了本文算法对外界复杂环境变化的鲁棒性。从表 4分类数据可以看出，样本光照、旋转变化的多样性并没影响到本文算法的分类性能，在不同训练样本数量的条件下，本文EPRICoELBP算法相较于各类LBP改进算法均取得了较好分类效果，其最高识别率比CLBP、CLBC、PRICoLBP、ELBP算法识别率分别提高了1.28%、1.45%、3.34%、1.72%，说明EPRICoELBP算法对复杂外界环境变化的鲁棒性较高。

图 5给出了各类LBP改进算法在不同数据库上的纹理分类识别率对比结果。从中可以看出，在样本具有光照、旋转变化的Outex、UIUC、CUReT、KTH-TIPS数据库上，EPRICoELBP算法识别率均高于其余LBP算法，说明EPRICoELBP算法对图像光照、旋转变化的鲁棒性较强；同时在具有复杂纹理变化的CUReT和KTH-TIPS数据库上，EPRICoELBP算法识别率均高于PRICoLBP算法和ELBP算法，表明通过计算像素局部特征极值对应的邻域起始编码点来选取不同尺度上的上下文共生点对及融合具有互补性的共生点对的ELBP纹理特征，有效提升了原始PRICoLBP算法对光照、旋转变化的鲁棒性。

表 5给出了不同算法在KTH-TIPS数据库上的计算复杂度对比情况，其中分类时间表示进行100次特征分类实验的总时间均值，包括了分类器(SVM)模型训练和特征标签预测的时间。从表中数据可以看出，原始PRICoLBP算法和EPRICoELBP算法虽然特征维度比其余LBP算法特征维度高，但由于其利用上下文共生点对特征来描述纹理结构，具有丰富的特征模式，使得这两种算法的特征分类时间都较少；而本文EPRICoELBP算法采用ELBP算子提取上下文共生点的邻域灰度信息和径向灰度差分信息，并利用旋转不变均匀模式来编码单个$NI-LBP$和$RD-LBP$特征，使得原始PRICoLBP算法特征维度从1 180维降低到了600维，特征分类时间相较于PRICoLBP算法降低了15.67 ms，大大提升了算法的计算效率和分类精度。

本文针对原始PRICoLBP算法对图像旋转、光照变化不稳定及特征维度过大等问题，提出了改进的EPRICoELBP算法。首先通过极值化像素LBP特征值来计算其对应邻域起始编码点坐标，并利用中心像素点坐标和极值化LBP特征得到的邻域起始编码点坐标来确定两个上下文共生的方向矢量；其次在这两个方向矢量上选取不同尺度的共生点对，并将其映射到对应的尺度空间图像上；最后利用ELBP算法提取到的3个上下文共生点的纹理特征的联合分布形式描述图像局部纹理结构。在Brodatz、OuTex、CUReT、KTH-TIPS、UIUC纹理库上的分类实验表明，本文算法比原始的PRICoLBP算法及各种LBP改进算法取得了更好的分类性能，说明改进后的EPRICoELBP算法通过提取更多的空间上下文纹理特征及高阶曲率信息，有效增强了算法对光照、旋转变化的鲁棒性，同时也大大降低了算法的计算复杂度。由于EPRICoELBP算法性能评估均在公开的标准纹理库上进行，其中的样本均不包含噪声，而实际生活中拍摄的纹理样本均包含不同性质、不同强度的噪声，缺乏对算法抗噪性能的讨论，因此后续工作主要将围绕算法对各种噪声的抗噪性能分析而展开。