随着信息技术与多媒体技术的高速发展，数字图像已经逐渐成为人们信息交流的载体。当前，人脸识别在衣食住行的各个领域和行业起到重要作用，迎来实际应用的井喷期。但是人脸特征相对虹膜和指纹而言，是一个较为弱隐私的生物特征。人脸图像可以通过多种渠道获得，伪造他人的3维头像也不是难事^[1]。例如，很多人都会在各种社交平台上发布自拍照，这也是相对公开的特征。面对这一现状，如何能够安全地保护用户的隐私就成了亟需面对的问题。近段时间内各类信息泄露事件也都预示着用户对于加强个人隐私保护的迫切性。

生物特征加密技术的目的是通过融合特征信息和信息安全技术，用以解决以往生物特征识别方法可能造成的隐私泄露等问题^[2]。生物特征加密算法应满足以下几点要求：1)差异性：不同系统中的同一个认证者的生物特征模板不能交叉匹配；2)不可逆性：将生物特征模板做逆变换不会得到原始的生物特征信息；3)可撤销更新性：若模板遭遇安全威胁，可能导致丢失或泄露，则可通过使用同一生物特征再次生产不同的模板；4)安全性：生物特征模板加密后原始生物特征不会被泄露^[3]。

Bodo在1994年的专利中第1次写到生物特征加密这个名词，Tomko等人^[4]在Bodo的基础上加深了对生物特征加密技术的研究。对于生物特征加密技术的研究主要是生物特征模板保护，大致可分为基于帮助数据理论和生物特征哈希两类。在帮助数据理论方面，Lee等人^[5]研究出了模式聚类方法，在独立成分分析基础上对虹膜特征进行提取，为基于虹膜的生物特征加密构建了模糊保险箱方案。Teoh等人^[6]根据对生物特征哈希的研究，提出了生物哈希算法来保证生物模板不被窃取并且具有可撤销性。1999年王星明等人^[7]基于生物特征加密的概念开发了一套指纹加密系统。目前生物特征加密技术在指纹识别中的应用已经相对成熟，但是在人脸识别中的研究仍然比较缺乏，原因在于两者的特征不同。

近几年来，随着对生物特征加密技术研究的逐渐深入，引入了信息隐藏等技术，例如利用数字水印技术^[8]将需要进行保护的特征信息嵌入或隐藏在载体中，进而使得生物特征得到有效保护。信息置乱变换可以作为信息隐藏的一种方法，而且也可以作为后续加密处理的预处理过程，引起了众多研究学者的关注。对于任何的2维人脸图像，都可以较方便地转化为2维矩阵的形式。直观上来看，图像置乱就是将一幅给定的数字图像转换为一幅肉眼看上去杂乱无章的图像，达到图像包含的信息不能被他人随意获取的目的。当前，比较常见的图像加密方法主要有两种：1)基于像素置乱的方法，例如Arnold变换，幻方变换、Gray码变换等置乱算法，主要是利用这些变换具有的周期性特点，但是安全性较差，容易攻破；2)基于混沌动力系统的加密方法，具有非周期的不可预测性、类随机性、遍历性^[9]，但是混沌加密后的人脸图像过于随机，应用在人脸隐私保护上存在机器识别困难的问题。

人脸识别方法主要有3类：1)基于线性判别分析方法的人脸识别方法，这是模式识别的经典方法，目的是使得不同类别的样本间距离尽可能大，相同类样本间距离尽可能小，模型根据已知的类别样本建立^[10]；2)基于支持向量机的人脸识别方法，基本思想是将输入的非线性可分样本的向量，经过非线性变换映射到高维空间中，并在其中寻找一个最优的超平面，使分类能力达到最优^[11]；3)基于神经网络的人脸识别方法。

Arnold变换作为基于空间域的一种像素置乱算法，具备置换、替代等加密要素，采用的是将图像像素点的空间位置打乱，因简单有效成为运用最广泛的一类图像置乱算法。但传统的Arnold变换的同余参数只有一个，并具有变换的周期性，安全性能较差。基于此，本文提出一种分块Arnold随机置乱的方法，不同于对图像整体进行相同次数的置乱，而是通过将图像分成若干方块，再对方块采用2维等长Arnold变换进行随机参数的置乱。

综上，本文首先将人脸图像根据关键部位所在位置进行对齐预处理，然后根据视觉关键机制将其分块处理，对分块进行随机参数的Arnold变换置乱，之后输入到深度卷积神经网络模型中进行识别。从实验结果来看，对分块图像进行Arnold随机参数置乱后，有效降低了密文图像的相关性，而且对于深度神经网络识别仍然保持较高的识别率。此外，本文利用混沌映射加密方法进行二次加密，结果表明密文图像的相关性进一步降低。本文方法不仅加强了对人脸隐私的保护，而且对置乱变换后图像的识别依然具有较强的顽健性。

本文提出的基于分块随机置乱的人脸隐私保护的算法主要包括4个模块：图像预处理、图像分块、图像置乱、深度神经网络构建。

在人脸图像质量较好时，大部分人脸识别方法一般都能取得较为理想的识别率，但是当人脸图像受到诸如拍摄角度、距离等问题干扰导致图像质量下降时，最终的识别率可能会大大降低。因此要在验证识别之前对图像做预处理，本文算法中的图像预处理主要包含2个步骤：人脸检测、人脸关键点定位。

人脸对齐可分为两个步骤，1)对人脸进行检测，即判断人脸是否包含在需要检测的图像中；2)对人脸所在区域进行定位，找出关键点所在的位置。本文采用香港中文大学提供的人脸检测和关键点检测方法(https://github.com/RiweiChen/FaceTools)，将人脸的左右上下边界提取出来，然后按照提供的面部检测器进行修复，之后将此作为关键点检测的输入。关键点检测即检测面部的5个关键点：两个眼部中心、鼻尖和两个嘴角。根据这些关键点位置将人脸图像进行对齐处理，并归一化到相同大小。如图 1所示，可以看到眼睛基本处于一条直线上，鼻子也从两侧对齐到中间，这种配准处理降低了由人脸姿态造成的对后续的不利影响^[12]。

不同类别的图像包含不一样的特征，这是对图像进行分类的前提。举例来说，可以通过眼睛、嘴巴和鼻子来区分不同的人。因此，本文首先对预处理后的人脸图像进行分块，让每一小块均包含人脸的特征。当从切片中提取特征时，等效于从单一来源提取特征，并且提取的特征可以被更好地分类。

因此，分块大小选择的基本原理是每个片段应该只包含人脸特征的一部分，如眼睛、嘴或鼻子。太大或太小的片段可能会导致从片段提取的特征不是单一来源。在实际应用中，碎片的大小主要与人脸图像的大小和划分大小有关。

假定切片尺寸的大小为$p$×$q$，在这个切片尺寸下可以保证每个切片尽可能地只包含人脸图像的1个特征。2维人脸图像$\mathit{\boldsymbol{X}}$大小为$a$×$b$，则经过分块后切片总数为

$ s = (a - p + 1) \times (b - q + 1) $

(1)

原始图像被划分为以下小块

$ {\mathit{\boldsymbol{X}}_i} = \left[ {{\mathit{\boldsymbol{X}}_{i,1}},{\mathit{\boldsymbol{X}}_{i,2}}, \cdots ,{\mathit{\boldsymbol{X}}_{i,s}}} \right] \in {{\bf{R}}^{pq \times s}} $

(2)

式中，${\mathit{\boldsymbol{X}}_i}$代表第$i$幅人脸图像，${\mathit{\boldsymbol{X}}_{i, m}}, m = 1, 2, \cdots, s$代表当前人脸图像经过分块切片后的第$m$块。

传统的图像处理分块方法没有考虑视觉关键机制，只是将人脸图像直接划分为几个部分，不能简单地将图像进行分块操作，还需考虑视觉观察的先后重要性区别。因此，本文提出了基于关键部位的分块方法。通常，当观察一张照片时，视觉关键机制会使得眼睛最先聚焦到中间区域，然后聚焦到中间区域附近，最后落到角落。基于这一思想，首先将图像均匀分割成块(人脸图像分块后使用${\mathit{\boldsymbol{a}}_i}$, ${\mathit{\boldsymbol{b}}_i}$, ${\mathit{\boldsymbol{c}}_i}$, $i$=1, 2, 3, 4来表征)，然后根据视觉注意力机制划分为$\mathit{\boldsymbol{A}}$、$\mathit{\boldsymbol{B}}$和$\mathit{\boldsymbol{C}}$ 3个区域，如图 2所示。然后在含眉毛、眼睛、鼻子和嘴的$\mathit{\boldsymbol{B}}$和$\mathit{\boldsymbol{C}}$部分进行Arnold随机参数置乱。

Arnold变换，俗称猫脸变换(cat mapping)，是俄国数学家弗拉基米尔·阿诺德(Vladimir Igorevich Arnold)在遍历理论的研究中提出的一种裁剪变换。将Arnold变换^[13]应用到数字图像中，会对其中的像素坐标按照一定规则进行重新排列。数字图像可以很容易转换成矩阵形式，经过Arnold变换后，可以得到一幅新的面目全非的呈现如雪花状的图像。本文采用Arnold变换的目的是使得人脸图像根据伪随机载体嵌入的位置，打乱像素点分布的位置，从而使无关人员在不知道Arnold变换的情况下，无法逆向直接正确得出包含的秘密信息，增强了人脸图像的保密性。Arnold变换的定义式为

$ \begin{array}{l} \;\;\;\;\;\;\left( {\begin{array}{*{20}{l}} {{x^\prime }}\\ {{y^\prime }} \end{array}} \right) = {\left( {\begin{array}{*{20}{l}} {{n_1}}&{{n_2}}\\ {{n_3}}&{{n_4}} \end{array}} \right)^k}\left( {\begin{array}{*{20}{l}} x\\ y \end{array}} \right)(\,{\rm{mod}}\;N)\\ \left( {\begin{array}{*{20}{c}} {{n_1}}&{{n_2}}\\ {{n_3}}&{{n_4}} \end{array}} \right) = \left( {\begin{array}{*{20}{c}} 1&a\\ b&{1 + ab} \end{array}} \right),a > 0,b > 0 \end{array} $

(3)

式中，${\rm{mod}}\;\mathit{N}$表示取模运算，$x, y \in \left\{ {1, 2, 3, \cdots, N-1} \right\}$是原始图像中矩阵像素点的位置，$x'$, $y'$是经过Arnold置乱变换后当前像素点新的位置，$k$为Arnold变换次数。$\left( {\begin{array}{*{20}{c}} 1&a\\ b&{1 + ab} \end{array}} \right)$矩阵是变换矩阵，行列式值为1。因此，该映射是一个保面积不变的一一映射，单位正方形内任意一点变换到其中任何一点都是唯一存在的。而且这个变换具有产生混沌运动的两个标志性的因素：拉伸(乘以矩阵$\left( {\begin{array}{*{20}{c}} 1&a\\ b&{1 + ab} \end{array}} \right)$使得像素点$x$, $y$的值变大)和折叠(取模运算又折回单位矩形内)。当$a$=$b$=1时，即为经典的Arnold变换。

置乱的实质是新位置和旧位置的映射，且该映射是一一对应的，其物理意义是先在水平方向上错切，然后在此基础上再做一次竖直方向的错切，两次操作后对图像求模运算，即切割回填操作。只要满足矩阵行列式的值为1时，错切的单位满足取模回填，原图与变换后的图即可一一对应。在一个周期内，置乱程度与Arnold变换次数没有固定的比例关系，置乱次数多不意味着置乱程度也一定高^[14]。

Arnold变换具有周期性，即经过多次变换迭代计算以后，图像数据又会回到初始值，这个过程类似于循环移位。迭代的次数与数据图像大小有关，假设图像的阶数用正整数$N$表示，令Arnold变换的周期为$T$，则当$N$>2时，Arnold变换的周期满足$T$ < $N$²/2。

将Arnold变换应用于112×112像素的ORL数据库人脸图像，假设($x$, $y$)是原图像的像素点，($x'$, $y'$)是变换后图像的像素点，将图像分别做1次、2次、3次Arnold变换，得到的结果如图 3所示。由于Arnold变换固有的周期性，若对图像进行全局置乱，则安全性较差。因此本文首先对人脸图像分块，后对其进行随机参数的Arnold变换。对于Arnold变换，当$a$、$b$、$k$三者任何一个值不同时，变换后的图像也是不相同的，并且可通过控制分块大小$NS$进一步提高安全性。得到分块随机置乱后的效果如图 4所示。实验表明，通过对图像像素点的位置置乱，可以明显减少相邻像素间的相关性，但同时深度神经网络对其特征提取仍有较强敏感性。

本文使用卷积神经网络(CNN)进行特征提取，模型结构如图 5所示。除去输入输出层，共有8层，其中包括4个卷积层、1个全连接层和1个输出层，在前3个卷积层之后都连接着1个池化层。经过的4个卷积层包含的卷积核个数分别为20, 40, 60, 80，卷积核大小分别是6×6，3×3，3×3，2×2，网络模型中全连接层的神经元个数为160，最后利用softmax分类器进行识别。卷积神经网络的核心思想是局部感知(local field)、权值共享(shared weights)和下采样(subsampling)，从而获得了某种程度的位移、尺度、形变不变性，可以在很大程度上提高运算速度和精度^[15]。

将分块置乱后的人脸图像按7 :3分为训练样本和测试样本，并按照图 5的网络模型进行配置。卷积网络实质上为输入输出的映射，可以自己学习大量输入输出间的映射关系，不需要任何精确的数学表达式，只要用已知的模式对卷积网络进行训练，网络就具有将输入映射到输出的能力。首先，卷积核大小需要随机初始化为较小的值，否则可能无法完成整个训练。之后将分块置乱后的10张人脸照片作为一个batch，分别送入训练网络，学习率设置为0.000 1，迭代训练5 000步，通过此过程可得到最优的网络模型参数。训练过程分为前向传播和后向传播两个阶段。后向传播是根据前向传播得到的参数计算实际输出和理论值的残差。从softmax层到全连接层依次往前反向计算误差来更新调整权值。

为了验证本文算法的有效性，在Linux环境下进行实验。实验设备配置：操作系统Ubuntu 16.04 LTS，处理器Intel Core i7-6700K CPU @ 4.00 GHz，内存8 GB，硬盘256 GB SSD。实验中，本文算法预处理的人脸和关键点检测在OpenCV和Python环境下实现，人脸分块和Arnold置乱在MATLAB 2016a中实现，CNN训练和测试在caffe + Python环境下实现。

实验样本来源于英国剑桥大学的ORL人脸数据库，包括40个人的400幅人脸灰度图像，每个人10幅尺寸为92×112像素的图像，图像背景主要呈黑色，包含不同光照条件下人脸的角度、姿态、面部表情和面部细节变化等。

卷积核的大小将影响网络对图片的特征提取，在卷积核较大时可以提取到更多有用的局部细节特征，但是卷积核过大意味着参数会增加，进而会降低网络训练速度，同时也可能造成过拟合现象的出现，使得识别率降低。在图 5的卷积神经网络前向传播流程图中，改变第1个卷积核的大小，其余参数不变。

在其他层参数不变的前提下，实验选取第1个卷积层卷积核大小进行变化。权值更新的参数设置：学习率为0.000 1，梯度下降率为0.9，最大迭代步数为5 000，softmax分类器中权值衰减系数为e^－4。为了显示更加直观，训练过程在每迭代100次测试1次后将结果输出到日志文件。实验选取的卷积核大小为2×2、4×4、6×6、8×8，识别率见表 1。

从表 1可以看出，卷积核大小为6×6时，识别率最高。故将第1个卷积核大小设置为上述大小，待训练平稳后观察识别率，为了更加直观地看到识别率随迭代次数的变化，本文根据训练日志绘制了损失值(loss)曲线和识别率(accuracy)曲线。accuracy曲线随着迭代次数的增加，识别率逐渐上升，同时loss值逐渐下降，两个值最后都将会收敛到一个固定值，识别率曲线最后收敛的值即为最终的识别率。loss曲线和accuracy曲线如图 6所示。从图 6可以看出，当迭代步数在700步左右时，训练损失值和识别率值有较大幅度变化，并且在约1 500步时趋于平稳。由训练日志可得识别率曲线最终收敛于97.62%，这也是分块置乱后的识别率。

实验采用由4个卷积层组成的深度神经网络对分块随机参数置乱后的人脸图像进行识别，并与领域内其他方法进行比较。传统的人脸识别算法主要有主成分分析法(PCA)、PCA+SRC(sparse representation-based classifier)、决策树算法、随机森林算法等。在同样的实验条件下，这些方法识别人脸需要经过繁杂的特征提取和降维操作，当人脸关键特征进行隐私保护后，以上算法将受到挑战。而本文提出的方法不需要人工的特征提取和降维，且在较少训练样本的条件下仍然保持较高的识别率，识别率对比见表 2。

数字图像数据对所有像素而言一般会有非常大的冗余存在，同时相邻像素间也会有很强的相关性，攻击者可以对其进行分析来构造攻击信息。在实验中，对明文图像和Arnold随机参数置乱后的部分选取5 000对相邻像素进行相关性分析，结果如图 7所示。

从图 7可以看出，处理前的人脸原图像相邻像素具有很强的相关性。经过像素位置置乱后，如图 7(b)所示，人脸关键位置像素点在整个图像上有均匀分布的趋势，相关性明显减弱。说明该算法对隐藏人脸关键位置像素点具有较好的效果。Arnold变换具有周期性，对置乱图片多次进行Arnold变换可以恢复原图。但本文使用3个随机参数构造Arnold，如果需要对图像进行还原，必须知道这3个参数。因此，使用本文的Arnold变换方法可以增大破解置乱图片的难度。但同时为了通过深度神经网络进行识别，仍需要保留一定的相关性，若为如图 7(b)所示的相邻像素相关性，则很难从中提取到有效特征用于识别。

利用本文提出的分块随机置乱可以取得较高的识别率，进一步考虑到安全性问题，在传输或存放到服务器前，对分块随机置乱后的图像进行二次加密并将密钥保存。如图 8(a)所示。图 8(b)是本文使用混沌加密后得到的相邻像素相关性图，由像素点之间的表现可知，相关性得到了进一步降低。但实验结果表明，二次加密后很难从中提取到有效特征用于分类识别，识别率仅约为20%。因此在允许牺牲少量安全性的前提下，本文方法具有很好的应用空间。

提出了一种基于分块随机置乱的深度神经网络模型，并结合加密技术应用于人脸隐私保护问题。实验表明，本文方法不仅在特征提取和降维操作复杂度上优先传统人脸识别算法，而且在训练样本少的情况下，仍能保持高识别率。在进行分块置乱后，相邻像素点之间的相关性明显降低，由此达到隐私保护的目的。在未来的研究中，将进一步对Arnold算法进行深入研究，以期获得更大范围和更低相关度的隐私保护，同时进一步提高识别率。