0 引言

1 提出的方法

1.1 核心思想

本文算法的主要思想是受人识别人脸特点的启发，即人在进行人脸识别时往往主要依据眼睛、鼻子和嘴巴等关键区域(Liu等，2017；章坚武等，2019；孙浩浩等，2020)。现有人脸识别算法在设计时也利用了上述特点(Sun等，2014；Taigman等，2014)。因此，在设计人脸图像的质量评价模型时，也需要考虑关键区域对人脸识别算法的影响，进而获得与人脸识别算法更加一致的质量评价模型。如何挖掘上述关键区域的特点，进而实现对人脸质量的有效表示是问题的核心，下面详细阐述。

人脸图像的质量评价不同于一般的图像质量评价问题，其本质上是人脸图像的可用性评价，即依附于特定识别系统存在的质量度量。在人脸识别系统中，人脸图像的质量是通过输入图像与人脸数据库中基准图像特征对的相似度来进行度量的(这里的基准图像一般是无失真的高质量清晰人脸图像)，相似度越高说明输入的人脸图像质量越高，相似度越低说明输入的人脸图像质量越低。如图 1所示，输入的第1幅人脸图像比第2幅更加清晰，辨识度更高，因此经过人脸识别模型得到的人脸特征与基准图像特征有着更高的相似度，反映出第1幅输入人脸图像的可用性质量更高，即该图像的可用性价值更高。

图 1 传统人脸图像质量的计算

Fig. 1 Traditional calculation of face image quality

用${\mathit{\boldsymbol{I}}_{\rm{i}}}$表示输入人脸图像，${\mathit{\boldsymbol{I}}_{\rm{t}}}$表示基准图像，$F$表示人脸识别系统，两种图像输入人脸识别系统后得到的特征向量分别用$\mathit{\boldsymbol{f}}_{\rm{i}}^F$和$\mathit{\boldsymbol{f}}_{\rm{t}}^F$表示，$S$表示相似度度量。因此，输入人脸图像的质量$Q$可以定义为

$ Q = S\left({\mathit{\boldsymbol{f}}_{\rm{i}}^F, \mathit{\boldsymbol{f}}_{\rm{i}}^F} \right) = S\left({F\left({{\mathit{\boldsymbol{I}}_{\rm{i}}}} \right), F\left({{\mathit{\boldsymbol{I}}_{\rm{i}}}} \right)} \right) $

(1)

在实际的应用场景中，希望能够直接使用输入的人脸图像${{\mathit{\boldsymbol{I}}_{\rm{i}}}}$，快速判断其质量的高低。因此，如何在仅使用输入图像的情况下，实现人脸图像质量的无参考评价，是问题的核心。

考虑到可用性质量$Q$本质上代表输入图像与高质量基准图像之间的相似度，即输入图像特征越接近基准图像特征可用性质量越高，反之越低。在不使用高质量基准人脸图像的条件下，可以换一种对比的基准，即使用输入人脸图像所对应的低质量图像作为伪参考。不同于高质量的基准人脸图像，伪参考图像可视为人脸图像可用性质量的另一个极端；输入图像与伪参考图像越接近，其可用性质量越低，反之越高。

受此启发，本文引入了人脸图像的掩膜操作，即对脸部关键区域(如眼睛、鼻子和嘴等)添加黑色覆盖。掩膜过程用$M$表示，添加了掩膜的图像${{\mathit{\boldsymbol{I}}_{\rm{m}}}}$可表示为：${\mathit{\boldsymbol{I}}_{\rm{m}}} = M\left({{\mathit{\boldsymbol{I}}_{\rm{i}}}} \right)$，相比一般的人脸识别参考图像，这里的掩膜图像可以认为是一种伪参考图像，即图像包含的人脸可用性信息几乎可以忽略。对于任意一幅输入人脸图像，可以在没有高质量基准人脸作为参考的情况下，利用伪参考掩膜图像作为比较的基准；与掩膜图像距离越近则可用性质量越低，距离越远则可用性质量越高。上述特点可以用图 2表示，这样就可以在只使用输入人脸图像的情况下进行无参考评估，从而得到人脸图像的可用性质量表示。

图 2 人脸可用性质量的度量

Fig. 2 Utility measurement of face image quality

1.2 算法设计

围绕核心思想，本文算法的构建主要分为两部分，即人脸掩膜的设计和回归网络的构建，如图 3所示。人脸掩膜的设计主要得到人脸图像的掩膜图像，即伪参考图像；回归网络构建部分主要通过输入的人脸和掩膜图像去预测人脸质量。

图 3 本文算法的框图

Fig. 3 Framework of the proposed algorithm

1) 人脸掩膜的设计。人眼识别人脸图像时主要通过关键区域(眼睛、鼻子和嘴等)进行分析和判断，所以关键区域的破坏将直接影响图像质量的高低；并且关键区域的破坏对不同质量的人脸图像带来的影响也不相同。相较于低质量的人脸图像，增加掩膜对高质量人脸图像的识别性能影响更大。设计掩膜的目的是掩盖掉关键区域的作用，然后通过比较增加掩膜前后识别性能的影响程度表示人脸图像的质量。因此，本文中设计掩膜的原则是将人脸图像中关键区域的有用信息消除，从而得到所需的掩膜图像。本文采用专门用于人脸检测(非人脸识别)的Retinaface(Deng等，2019b)识别出人脸的关键区域，获得人脸关键区域的坐标。从关键区域中选取左右眼、鼻子及嘴巴等4个区域，并将区域中的像素值全部置0，即获得掩膜人脸图像$ {\mathit{\boldsymbol{I}}_{\rm{m}}}$。掩膜图像${\mathit{\boldsymbol{I}}_{\rm{m}}}$符合本文所期望的伪参考图像的特点，即可用性质量是极低的。具体效果如图 4所示。

图 4 掩膜操作

Fig. 4 Mask operation

2) 回归网络构建。对于回归网络构建，考虑到训练模型的计算成本不能太高，并且需要在视觉领域的应用较广，表现性能较好，本文选取Inception结构(Szegedy等，2015)的网络模型。综合考虑网络的性能表现和计算成本，最终选取InceptionResnetV1(Szegedy等，2017)作为主干结构，并且抽取最后的分类层，只采用分类层之前的512维特征，然后用两个全连接层进行连接，最后预测的分数值$P$可表示为

$ P = {F_{\rm{c}}}\left({\mathit{\boldsymbol{f}}_{\rm{i}}^R \oplus \mathit{\boldsymbol{f}}_{\rm{m}}^R} \right) = {F_{\rm{c}}}\left({B\left({{\mathit{\boldsymbol{I}}_{\rm{i}}}} \right) \oplus B\left({{\mathit{\boldsymbol{I}}_{\rm{m}}}} \right)} \right) $

(2)

式中，${\mathit{\boldsymbol{f}}_{\rm{i}}^R}$和${\mathit{\boldsymbol{f}}_{\rm{m}}^R}$分别代表输入人脸和掩膜人脸经主干网络得到的特征向量，$B$表示抽取了分类层后的主干网络InceptionResnetV1, $ \oplus $表示特征向量之间的拼接, ${F_{\rm{c}}}$表示最后的全连接层。本文设计了两个全连接层，第1层首先将拼接的1 024维人脸质量特征降到32维，第2层则进一步映射到所需要的人脸质量分数。

考虑到人脸图像质量表示是连续的数值，因此采用均方误差函数作为训练时的损失函数，即

$ { Loss } = \frac{1}{K}\sum\limits_{j = 1}^K {{{\left({{P_j} - {Q_j}} \right)}^2}} $

(3)

式中，$K$为样本数，$j$代表样本的索引。

本文提出的人脸图像质量评价模型总体参数量为23.52 M(million)，浮点运算次数为2.85 GFLOPs (giga float-point operations per second)。将所提出的算法取名为基于掩膜的人脸图像质量评价方法(mask-based face image quality，MFIQ)，需要说明的是，评估模型MFIQ训练完成之后，即可以直接用于评价任何输入的人脸图像，不再需要参考图像，即无参考评价。

2 实验

2.1 实验设置

2.1.1 数据集

实验中采用5个人脸图像数据集：包括1个新构建的人脸数据集和4个已有的人脸识别数据集。其中新构建的数据集取一定比例的人脸数据用来进行模型训练，剩下的图片数据和其余4个公开数据集用于模型测试。4个现有数据集分别为LFW(labeled faces in the wild)(Huang等，2008)、VGGFace2(Cao等，2018)、CASIA-WebFace(Institute of Automation，Chinese Academy of Science-Website Face)(Yi等，2014)和CelebA(CelebFaces Attribute)(Liu等，2015)，详细信息如表 1所示。

表 1 人脸图像数据集信息
Table 1 Information of face image datasets

下载CSV

数据集	人脸ID数	人脸总数	图像特点
LFW	5 749	13 233	名人的网络图像
VGGFace2	9 131	3 310 000	覆盖大范围姿态、年龄
CASIA-WebFace	10 575	494 414	不同环境下的名人图像
CelebA	10 177	202 599	人脸属性较多，质量高

尽管上述数据集中包含大量不同环境下的人脸图像，然而其中人脸图像的失真程度普遍较弱，主要为高质量人脸图像，因而无法很好地代表真实环境中复杂的人脸图像失真。为了获得普适性更好的模型，训练数据集中图像失真的种类和失真程度应当有足够的多样性，这样才能保证模型的泛化性。为此，本文构建了一个新的人脸图像质量评价数据库，取名为DDFace(diversified distortion face)，包含更加广泛的人脸图像失真类别和失真强度，数据集的具体信息如表 2所示。

表 2 本文构建的DDFace数据集信息
Table 2 Information of the DDFace dataset

下载CSV

ID数	总数	失真类型数量	失真类型
1 000	350 000	6	高斯模糊
			高斯噪声
			对比度失真
			运动模糊
			JPEG压缩
			模拟的真实失真

考虑到VGGFace2数据集中每个人脸对应的图像数量较多，有利于确定基准人脸图像，因此从中选取1 000个人脸图像作为DDFace数据库的基准人脸图像，每个人脸ID下有10种不同角度或环境的图像。然后，在确定的基准人脸图像基础上添加5种模拟的失真操作，包括高斯模糊、高斯噪声、对比度失真、运动模糊和图像压缩(joint photographic experts group, JPEG)；每种失真类型又包含6种不同的失真等级。同时，为了模拟真实环境下图像中存在的复合失真，采用Ou等人(2019)的方法，并设置4种不同的失真等级。对基准人脸图像添加失真的效果如图 5所示。

图 5 DDFace数据库失真图像示例

Fig. 5 Samples of distorted images in DDFace dataset

2.1.2 人脸图像质量标注

人脸图像的质量本质上是可用性质量，即面向人脸识别系统，如图 6所示, 用$D$表示距离度量，$ \propto $表示正相关，则人脸图像的质量$Q$可以等效为

$ Q \propto 1/D\left({\mathit{\boldsymbol{f}}_{\rm{i}}^F, \mathit{\boldsymbol{f}}_{\rm{t}}^F} \right) = 1/D\left({F\left({{\mathit{\boldsymbol{I}}_{\rm{i}}}} \right), F\left({{\mathit{\boldsymbol{I}}_{\rm{t}}}} \right)} \right) $

(4)

图 6 人脸图像可用性质量的标注

Fig. 6 Annotations of the face image utility quality

人脸图像质量的标注主要包含3个步骤：人脸基准图像的选择、人脸识别模型以及相似性度量方式的选择。需要说明的是，采用基准图像进行人脸图像的标注仅在模型训练阶段需要，当模型训练完成之后即可以对任何输入的人脸图像直接进行质量评价，不需要任何额外的信息。

1) 人脸基准图像${{\mathit{\boldsymbol{I}}_{\rm{t}}}}$。所构建的DDFace数据集里面每一张人脸都会有一幅高质量图像作为基准图像，基准图像具有高质量、高辨识度以及脸部方向朝正的特点，用于与其他人脸图像进行相似度的计算。

2) 人脸识别模型$ F$。考虑到训练数据集DDFace中人脸图像尺寸均为160 × 160像素，本文选取了输入要求为112 × 112像素，即也是等宽高的Insightface(Deng等，2019a)人脸识别模型，该模型在各个数据集上的表现都很优秀。

3) 距离度量$D$。输入人脸图像和基准人脸图像经过人脸识别网络得到人脸特征对之后，采用余弦距离来表示输入图像的人脸质量分数。在人脸图像质量模型的训练中，采用上述分数为训练标签。

2.1.3 模型训练与评估

2.2 实验结果

2.2.1 算法性能比较

本节实验利用Insightface模型来进行人脸验证，在5个数据集下分别对比不同的质量评价模型，实验得出的EVRC曲线如图 7所示(考虑到全部数据集下的曲线图展示占用过大篇幅，这里仅展示3种数据集下的结果，其中两个为公开数据集里代表性较强的LFW和CASIA-WebFace数据集，另一个为本文所构建的DDFace数据库测试集部分)，AOC的结果在表 3中给出。实验结果表明，在3种错误匹配率(FMR)值下(0.1, 0.01和0.001)，MFIQ都获得了最好的AOC结果，其中在LFW数据集上相比于次优模型的AOC结果提高约4%，在CASIA-WebFace数据集上提升1.1%，在VGGFace2、DDFace和CelebA数据集上也均有不同程度的性能提升。

图 7 错误拒绝曲线图(Insightface模型下)

Fig. 7 Error rejection curves (Insightface model)

((a) LFW (FMR=0.1);(b) CASIA-Webface (FMR=0.1); (c) DDFace (FMR=0.1);(d) LFW (FMR=0.01);(e) CASIA-Webface (FMR=0.01);(f) DDFace (FMR=0.01); (g) LFW (FMR=0.001);(h) CASIA-Webface (FMR=0.001);(i) DDFace (FMR=0.001))

表 3 AOC结果(Insightface模型下)
Table 3 The AOC results (Insightface model)

下载CSV

数据集	评估方法	FMR=0.001	FMR=0.01	FMR=0.1	平均值
LFW	BRISQUE	0.745 5	0.846 6	0.953 3	0.848 5
	NIQE	0.722 1	0.849 6	0.938 1	0.836 6
	PIQE	0.754 5	0.859 7	0.958 5	0.857 6
	FaceQnet-v0	0.837 6	0.906 8	0.966 9	0.903 8
	FaceQnet-v1	0.848 9	0.921 9	0.975 9	0.915 6
	SER-FIQ	0.846 8	0.921 1	0.975 7	0.914 5
	MFIQ	0.911 6	0.957 5	0.988 0	0.952 4
CASIA-WebFace	BRISQUE	0.921 6	0.938 9	0.952 9	0.937 8
	NIQE	0.678 2	0.733 1	0.800 6	0.737 3
	PIQE	0.861 5	0.890 6	0.916 2	0.889 4
	FaceQnet-v0	0.933 7	0.944 3	0.957 6	0.945 0
	FaceQnet-v1	0.922 1	0.930 1	0.944 8	0.932 0
	SER-FIQ	0.945 2	0.952 6	0.963 2	0.954 0
	MFIQ	0.957 4	0.962 9	0.970 6	0.964 0
CelebA	BRISQUE	0.940 7	0.951 5	0.965 4	0.952 5
	NIQE	0.884 4	0.899 9	0.930 7	0.905 0
	PIQE	0.933 5	0.943 9	0.959 1	0.945 5
	FaceQnet-v0	0.956 0	0.960 6	0.970 6	0.962 4
	FaceQnet-v1	0.957 2	0.960 5	0.970 6	0.962 8
	SER-FIQ	0.957 7	0.960 8	0.970 4	0.962 9
	MFIQ	0.958 5	0.962 6	0.971 7	0.964 3
VGGFace2	BRISQUE	0.859 3	0.884 2	0.919 1	0.887 5
	NIQE	0.652 9	0.704 3	0.786 3	0.714 5
	PIQE	0.826 2	0.853 5	0.894 9	0.858 2
	FaceQnet-v0	0.884 7	0.908 2	0.938 9	0.910 6
	FaceQnet-v1	0.884 2	0.900 9	0.927 2	0.904 1
	SER-FIQ	0.916 3	0.934 5	0.956 7	0.935 8
	MFIQ	0.918 8	0.933 8	0.956 8	0.936 5
DDFace	BRISQUE	0.638 2	0.832 0	0.906 8	0.792 3
	NIQE	0.377 8	0.637 0	0.792 3	0.602 4
	PIQE	0.519 5	0.739 3	0.846 5	0.701 7
	FaceQnet-v0	0.733 5	0.908 6	0.958 9	0.867 0
	FaceQnet-v1	0.575 9	0.715 1	0.812 8	0.701 2
	SER-FIQ	0.771 7	0.931 7	0.963 6	0.889 0
	MFIQ	0.820 7	0.938 2	0.967 3	0.908 7
注：加粗和加下划线字体分别表示在相同的人脸数据集和FMR指标下的最优和次优结果。

2.2.2 跨模型下的性能比较

在真实场景部署中所使用的人脸识别模型可能各不相同，本文训练MFIQ过程中人脸质量的标签是基于Insightface模型生成的。为了验证MFIQ模型在不同人脸识别模型下的扩展性能，本文采用另一种人脸识别模型Sphereface进行测试，在5个数据集下分别对比不同的质量评价模型，实验的EVRC曲线如图 8所示(考虑到全部数据集下的曲线图展示占用过大篇幅，这里仅展示3种数据集下的结果，其中两个为公开数据集里代表性较强的LFW和CASIA-WebFace数据集，另一个为本文所构建的DDFace数据库测试集部分)，AOC结果在表 4中展示。实验结果表明，在LFW数据集上MFIQ方法相比于其他模型的AOC结果提高大约14.8%，在CASIA-WebFace上提高了2.9%，在DDFace数据集上提高了4.7%，而在CelebA和VGGFace2两个数据集上的性能表现也是最好的。

图 8 错误拒绝曲线图(Sphereface模型下)

Fig. 8 Error rejection curves(Sphereface model)

((a) LFW (FMR=0.1);(b) CASIA-Webface (FMR=0.1); (c) DDFace (FMR=0.1);(d) LFW (FMR=0.01);(e) CASIA-Webface (FMR=0.01);(f) DDFace (FMR=0.01); (g) LFW (FMR=0.001);(h) CASIA-Webface (FMR=0.001);(i) DDFace (FMR=0.001))

表 4 AOC结果(Sphereface模型下)
Table 4 The AOC result (Sphereface model)

下载CSV

数据集	评估方法	FMR=0.001	FMR=0.01	FMR=0.1	平均值
LFW	BRISQUE	0.310 1	0.492 6	0.796 7	0.533 1
	NIQE	0.263 6	0.423 3	0.759 4	0.481 8
	PIQE	0.303 0	0.475 0	0.780 3	0.519 4
	FaceQnet-v0	0.363 7	0.546 7	0.816 7	0.575 7
	FaceQnet-v1	0.346 1	0.548 1	0.833 3	0.575 8
	SER-FIQ	0.323 8	0.517 4	0.827 5	0.556 2
	MFIQ	0.441 6	0.642 3	0.898 8	0.660 9
CASIA-WebFace	BRISQUE	0.795 8	0.877 4	0.942 2	0.871 8
	NIQE	0.503 2	0.623 0	0.764 1	0.630 1
	PIQE	0.720 3	0.808 9	0.897 3	0.808 8
	FaceQnet-v0	0.846 3	0.917 2	0.959 8	0.907 8
	FaceQnet-v1	0.855 6	0.908 4	0.945 0	0.903 0
	SER-FIQ	0.853 9	0.921 0	0.964 0	0.913 0
	MFIQ	0.902 2	0.945 4	0.973 6	0.940 4
CelebA	BRISQUE	0.793 0	0.897 3	0.957 8	0.882 7
	NIQE	0.674 7	0.807 5	0.905 6	0.795 9
	PIQE	0.767 1	0.882 6	0.949 9	0.866 5
	FaceQnet-v0	0.873 5	0.942 1	0.975 1	0.930 2
	FaceQnet-v1	0.901 4	0.951 9	0.974 8	0.942 7
	SER-FIQ	0.864 4	0.936 4	0.968 5	0.923 1
	MFIQ	0.903 2	0.951 5	0.974 3	0.943 0
VGGFace2	BRISQUE	0.573 4	0.757 3	0.886 1	0.738 9
	NIQE	0.344 5	0.528 2	0.715 1	0.529 2
	PIQE	0.544 3	0.719 8	0.857 1	0.707 1
	FaceQnet-v0	0.638 9	0.829 3	0.933 4	0.800 5
	FaceQnet-v1	0.689 3	0.842 6	0.925 4	0.819 1
	SER-FIQ	0.641 4	0.827 4	0.937 4	0.802 1
	MFIQ	0.725 2	0.868 9	0.950 4	0.848 2
DDFace	BRISQUE	0.431 0	0.652 5	0.835 8	0.639 7
	NIQE	0.252 3	0.437 9	0.684 6	0.458 3
	PIQE	0.345 3	0.540 3	0.752 6	0.546 1
	FaceQnet-v0	0.531 3	0.766 9	0.922 0	0.740 0
	FaceQnet-v1	0.450 5	0.625 3	0.774 1	0.616 6
	SER-FIQ	0.500 9	0.750 0	0.923 2	0.724 7
	MFIQ	0.579 3	0.807 3	0.938 8	0.775 1
注：加粗和加下划线字体分别表示在相同的人脸数据集和FMR指标下的最优和次优结果。

两种人脸识别模型下的实验结果均表明，本文提出的MFIQ方法在性能上优于其他主流的人脸质量评估方法，相较于传统的质量评价方法性能提升更为显著。

2.2.3 MFIQ模型下的数据分布评估

本部分用MFIQ评价模型对5个数据集里的人脸图像进行可用性质量的预测。5个数据集中图像的特点分别为：

1) CASIA-WebFace、VGGFace2和CelebA中的人脸图像大部分都是质量较高的人脸图像，其中CelebA数据集中高质量清晰图像所占的比重最大。

2) LFW数据集中人脸图像质量较低的图像数量较少，大部分都是较为清晰和辨识度较高的图像，噪声较少。

3) 本文中所构建的DDFace数据集是从VGGFace2里选取的人脸图像通过添加不同类型不同等级的失真得到的，很多人脸图像里面含有各种噪声，因此DDFace中低质量的人脸图像占比较大。

本部分用MFIQ方法对数据集中所有的人脸图像进行质量评估，得到各数据集下的质量分数分布图，如图 9所示。从图 9中可以看出，5个数据集里面DDFace数据集中低质量人脸图像占的比重最大，而CASIA-WebFace、VGGFace2和CelebA中的人脸图像大部分的质量分数在0.7以上，即高质量图像的占比较大；LFW数据集中大部分图像的质量分数都在0.5之上，即人脸图像的可用性也都较高，这与数据集实际分布的特点十分吻合。

图 9 数据集分布预测

Fig. 9 Prediction of the dataset distribution

实验结果表明了本文MFIQ方法对数据集的可用性质量分布预测和真实的情况十分接近，模型预测的结果具有可信度。

2.2.4 MFIQ算法质量评价效果

实验选取相同人脸和不同人脸条件下不同失真程度的示例图像，并用4种不同的人脸质量评估模型进行质量预测。相同人脸条件下预测的结果如图 10所示，每一行代表一个人，从左到右人脸图像质量依次升高。

图 10 相同人脸ID下不同失真强度的可用性质量分数预测

Fig. 10 Face image utility quality score prediction with wide distoration range under the same face ID

((a) face 1-1;(b) face 1-2;(c) face 1-3;(d) face 1-4;(e) face 2-1;(f) face 2-2;(g) face 2-3;(h) face 2-4)

实验结果表明，MFIQ方法能够有效地区分人脸高低质量，预测的质量排序与真实质量一致，而其他3种人脸质量评价模型都存在一定的预测偏差。例如，SER-FIQ错误地认为图 10(d)所示的人脸比图 10(c)中的人脸质量要低，且预测的质量分数过于集中，区分度低；FaceQnet-v0预测图 10(b)中的人脸质量比图 10(a)低，图 10(g)的人脸质量比图 10(f)差，图 10(a)和图 10(c)人脸的质量相近，这与实际质量存在较大的偏差。FaceQnet-v1则错误地认为图 10(c)和图 10(d)人脸比图 10(a)人脸质量要差，同时对图 10(e)和图 10(f)的预测出错。

对于不同人脸条件下的人脸图像预测也进行了对比，如图 11所示。预测结果表明，MFIQ方法能够有效地对不同人脸下的不同质量图像进行区分和预测。例如，SER-FIQ错误地认为图 11(a)和图 11(b)中的人脸比图 11(d)中的人脸质量高；FaceQ-net-v0判断图 11(c)和图 11(d)中的人脸质量时出现了偏差，并且错误地认为图 11(f)和图 11(g)所示的人脸比图 11(h)中的人脸质量要高；FaceQnet-v1预测结果出现的问题与FaceQnet-v0类似。

图 11 不同人脸ID下不同失真强度的可用性质量分数预测

Fig. 11 Face image utility quality score prediction with wide distoration range under different face ID

((a) face 1;(b) face 2;(c) face 3;(d) face 4;(e) face 5;(f) face 6;(g) face 7;(h) face 8)

上述实验结果表明，SER-FIQ、FaceQnet-v0和FaceQnet-v1几种主流的人脸质量评价模型对低质量人脸图像的辨识度不强，即对于失真人脸图像预测的鲁棒性不高，导致在低质量人脸图像多的情况下容易出现误判。

相比而言，本文提出的MFIQ方法能够更加准确地区分出不同等级失真人脸图像的可用性质量，性能更加优秀。

3 结论

参考文献

Abdel-Mottaleb M, Mahoor M H. 2007. Application notes-algorithms for assessing the quality of facial images. IEEE Computational Intelligence Magazine, 2(2): 10-17 [DOI:10.1109/MCI.2007.353416]
Beveridge J R, Givens G H, Phillips P J, Draper B A and Lui Y M. 2008. Focus on quality, predicting FRVT 2006 performance//Proceedings of the 8th IEEE International Conference on Automatic Face and Gesture Recognition. Amsterdam, the Netherlands: IEEE 1-8[DOI: 10.1109/AFGR.2008.4813375]
Beveridge J R, Givens G H, Phillips P J, Draper B A, Bolme D S, Lui Y M. 2010. FRVT 2006:quo Vadis face quality. Image and Vision Computing, 28(5): 732-743 [DOI:10.1016/j.imavis.2009.09.005]
Cao Q, Shen L, Xie W D, Parkhi O M and Zisserman A. 2018. VGGFace2: a dataset for recognising faces across pose and age//Proceedings of the 13th IEEE International Conference on Automatic Face and Gesture Recognition. Xi'an, China: IEEE: 67-74[DOI: 10.1109/FG.2018.00020]
Chen J S, Deng Y, Bai G C, Su G D. 2014. Face image quality assessment based on learning to rank. IEEE Signal Processing Letters, 22(1): 90-94 [DOI:10.1109/LSP.2014.2347419]
Deng J K, Guo J, Xue N N and Zafeiriou S. 2019a. ArcFace: additive angular margin loss for deep face recognition//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 4690-4699[DOI: 10.1109/CVPR.2019.00482]
Deng J K, Guo J, Zhou Y X, Yu J K, Kotsia I and Zafeiriou S. 2019b. RetinaFace: single-stage dense face localisation in the wild[EB/OL]. [2021-11-26]. https://arxiv.org/pdf/1905.00641.pdf
Fang Y M, Sui X J, Yan J B, Liu X L, Huang L P. 2021. Progress in no-reference image quality assessment. Journal of Image and Graphics, 26(2): 265-286 (方玉明, 眭相杰, 鄢杰斌, 刘学林, 黄丽萍. 2021. 无参考图像质量评价研究进展. 中国图象图形学报, 26(2): 265-286) [DOI:10.11834/jig.200274]
Ferrara M, Franco A, Maio D, Maltoni D. 2012. Face image conformance to ISO/ICAO standards in machine readable travel documents. IEEE Transactions on Information Forensics and Security, 7(4): 1204-1213 [DOI:10.1109/TIFS.2012.2198643]
Fu Z Q, Shao F, Jiang G Y, Yu M. 2018. Image retargeting quality assessment via bidirectional similarity transformation. Journal of Image and Graphics, 23(4): 490-499 (富振奇, 邵枫, 蒋刚毅, 郁梅. 2018. 结合双向相似性变换的重定向图像质量评价. 中国图象图形学报, 23(4): 490-499) [DOI:10.11834/jig.170502]
Grother P, Tabassi E. 2007. Performance of biometric quality measures. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(4): 531-543 [DOI:10.1109/TPAMI.2007.1019]
He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
Hernandez-Ortega J, Galbally J, Fierrez J and Beslay L. 2020. Biometric quality: review and application to face recognition with FaceQnet[EB/OL]. [2021-11-26]. https://arxiv.org/abs/2006.03298.pdf
Hernandez-Ortega J, Galbally J, Fierrez J, Haraksim R and Beslay L. 2019. FaceQnet: quality assessment for face recognition based on deep learning//Proceedings of 2019 International Conference on Biometrics. Crete, Greece: IEEE: 1-8[DOI: 10.1109/ICB45273.2019.8987255]
Huang G B, Mattar M, Berg T and Learned-Miller E. 2008. Labeled faces in the wild: a database for studying face recognition in unconstrained environments//Proceedings of the Workshop on Faces in "Real-Life" Images: Detection, Alignment, and Recognition. Marseille, France: Erik Learned-Miller and Andras Ferencz and Frédéric Jurie.
Liao P, Lin H X, Zeng P P, Bai S X, Ma H M and Ding S. 2012. Facial image quality assessment based on support vector machines//Proceedings of 2012 International Conference on Biomedical Engineering and Biotechnology. Macau, China: IEEE: 810-813[DOI: 10.1109/iCBEB.2012.221]
Liu W J, Bing X H, Jiang W T, Zhang S C. 2018. Face recognition of generalized parallel two-dimensional complex discriminant analysis. Journal of Image and Graphics, 23(9): 1359-1370 (刘万军, 邴晓环, 姜文涛, 张晟翀. 2018. 广义并行2维复判别分析的人脸识别. 中国图象图形学报, 23(9): 1359-1370) [DOI:10.11834/jig.170671]
Liu W Y, Wen Y D, Yu Z D, Li M, Raj B and Song L. 2017. SphereFace: deep hypersphere embedding for face recognition//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 6738-6746[DOI: 10.1109/CVPR.2017.713]
Liu Z W, Luo P, Wang X G and Tang X O. 2015. Deep learning face attributes in the wild//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 3730-3738[DOI: 10.1109/ICCV.2015.425]
Luo H T. 2004. A training-based no-reference image quality assessment algorithm//Proceedings of 2004 International Conference on Image Processing. Singapore, Singapore: IEEE: 2973-2976[DOI: 10.1109/ICIP.2004.1421737]
Mittal A, Moorthy A K, Bovik A C. 2012a. No-reference image quality assessment in the spatial domain. IEEE Transactions on Image Processing, 21(12): 4695-4708 [DOI:10.1109/TIP.2012.2214050]
Mittal A, Soundararajan R, Bovik A C. 2012b. Making a "completely blind" image quality analyzer. IEEE Signal Processing Letters, 20(3): 209-212 [DOI:10.1109/LSP.2012.2227726]
Oliva A, Torralba A. 2001. Modeling the shape of the scene: a holistic representation of the spatial envelope. International Journal of Computer Vision, 42(3): 145-175 [DOI:10.1023/A:1011139631724]
Ou F Z, Chen X Y, Zhang R X, Huang Y G, Li S X, Li J L, Li Y, Cao L J and Wang Y G. 2021. SDD-FIQA: unsupervised face image quality assessment with similarity distribution distance//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, USA: IEEE: 7666-7675[DOI: 10.1109/CVPR46437.2021.00758]
Ou F Z, Wang Y G, Li J, Zhu G P and Kwong S. 2019. Controllable list-wise ranking for universal no-reference image quality assessment[EB/OL]. [2021-11-26]. https://arxiv.org/pdf/1911.10566.pdf
Sellahewa H, Jassim S A. 2010. Image-quality-based adaptive face recognition. IEEE Transactions on Instrumentation and Measurement, 59(4): 805-813 [DOI:10.1109/TIM.2009.2037989]
Sun H H, Shao Z H, Shang Y Y, Chen B, Zhao X X. 2020. Cancelable face recognition with fusion of structural features. Journal of Image and Graphics, 25(12): 2553-2562 (孙浩浩, 邵珠宏, 尚媛园, 陈滨, 赵晓旭. 2020. 结构特征下的可撤销人脸识别. 中国图象图形学报, 25(12): 2553-2562) [DOI:10.11834/jig.190439]
Sun Y, Wang X G and Tang X O. 2014. Deep learning face representation from predicting 10 000 classes//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE: 1891-1898[DOI: 10.1109/CVPR.2014.244]
Szegedy C, Ioffe S, Vanhoucke V and Alemi A A. 2017. Inception-v4, inception-ResNet and the impact of residual connections on learning//Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AAAI Press: 4278-4284
Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 1-9[DOI: 10.1109/CVPR.2015.7298594]
Taigman Y, Yang M, Ranzato M A and Wolf L. 2014. DeepFace: closing the gap to human-level performance in face verification//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE: 1701-1708[DOI: 10.1109/CVPR.2014.220]
Terhörst P, Kolf J N, Damer N, Kirchbuchner F and Kuijper A. 2020. SER-FIQ: unsupervised estimation of face image quality based on stochastic embedding robustness//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 5650-5659[DOI: 10.1109/CVPR42600.2020.00569]
Venkatanath N, Praneeth D, Bh M C, Channappayya S S and Medasani S S. 2015. Blind image quality evaluation using perception based features//Proceedings of the 21st National Conference on Communications. Mumbai, India: IEEE: 1-6[DOI: 10.1109/NCC.2015.7084843]
Wang Z, Bovik A C. 2002. A universal image quality index. IEEE Signal Processing Letters, 9(3): 81-84 [DOI:10.1109/97.995823]
Yi D, Lei Z, Liao S C and Li S Z. 2014. Learning face representation from scratch[EB/OL]. [2021-11-26]. https://arxiv.org/pdf/1411.7923.pdf
Zhang J W, Shen W, Wu Z D. 2019. Recognition of face privacy protection using convolutional neural networks. Journal of Image and Graphics, 24(5): 744-752 (章坚武, 沈炜, 吴震东. 2019. 卷积神经网络的人脸隐私保护识别. 中国图象图形学报, 24(5): 744-752) [DOI:10.11834/jig.180444]
Zhang L J, Shao X H, Yang F, Deng P L, Zhou X D and Shi Y. 2019. Multi-branch face quality assessment for face recognition//Proceedings of the 19th IEEE International Conference on Communication Technology. Xi'an, China: IEEE: 1659-1664[DOI: 10.1109/ICCT46805.2019.8947255]
Zhang L J, Zhang L and Li L D. 2017. Illumination quality assessment for face images: a benchmark and a convolutional neural networks based model//Proceedings of the 24th International Conference on Neural Information Processing. Guangzhou, China: Springer: 583-593[DOI: 10.1007/978-3-319-70090-8_59]