Print

发布时间: 2018-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170632
2018 | Volume 23 | Number 7




    图像处理和编码    




  <<上一篇 




  下一篇>> 





指纹图像多尺度分类字典稀疏增强
expand article info 徐德琴, 卞维新, 丁新涛, 丁玉祥
1. 安徽师范大学数学计算机科学学院, 芜湖 241002;
2. 网络与信息安全安徽省重点实验室, 芜湖 241002

摘要

目的 自动指纹识别系统大多是基于细节点匹配的,系统性能依赖于输入指纹质量。输入指纹质量差是目前自动指纹识别系统面临的主要问题。为了提高系统性能,实现对低质量指纹的增强,提出了一种基于多尺度分类字典稀疏表示的指纹增强方法。方法 首先,构建高质量指纹训练样本集,基于高质量训练样本学习得到多尺度分类字典;其次,使用线性对比度拉伸方法对指纹图像进行预增强,得到预增强指纹;然后,在空域对预增强指纹进行分块,基于块内点方向一致性对块质量进行评价和分级;最后,在频域构建基于分类字典稀疏表示的指纹块频谱增强模型,基于块质量分级机制和复合窗口策略,结合频谱扩散,基于多尺度分类字典对块频谱进行增强。结果 在指纹数据库FVC2004上将提出算法与两种传统指纹增强算法进行了对比实验。可视化和量化实验结果均表明,相比于传统指纹增强算法,提出的方法具有更好的鲁棒性,能有效改善低质量输入指纹质量。结论 通过将指纹脊线模式先验引入分类字典学习,为拥有不同方向类别的指纹块分别学习一个更为可靠的字典,使得学习到的分类字典拥有更可靠的脊线模式信息。块质量分级机制和复合窗口策略不仅有助于频谱扩散,改善低质量块的频谱质量,而且使得多尺度分类字典能够成功应用,克服了增强准确性和抗噪性之间的矛盾,使得块增强结果更具稳定性和可靠性,显著提升了低质量指纹图像的增强质量。

关键词

指纹; 块质量评价; 多尺度分类字典; 稀疏表示; 频谱扩散

Fingerprint enhancement using sparse representation by multi-scale classification dictionaries
expand article info Xu Deqin, Bian Weixin, Ding Xintao, Ding Yuxiang
1. School of Mathematics and Computer Science, Anhui Normal University, Wuhu 241002, China;
2. Anhui Provincial Key Laboratory of Network and Information Security, Wuhu 241002, China
Supported by: Natural Science Foundation of Anhui Province, China(1708085MF145)

Abstract

Objective Most automatic fingerprint identification systems (AFISs) are based on minutiae matching. The accuracy and reliability of minutiae extraction are largely dependent on the quality of the input fingerprint image. Thus, the performance of these AFISs is largely determined by the quality of input fingerprint images. In practice, the quality of a fingerprint image may suffer from various impairments, and the image may appear with ridge adhesions, ridge fractures, or uneven contrast. To improve the performance of AFISs, the quality of fingerprint images must be enhanced. This study proposes a novel fingerprint enhancement algorithm that uses sparse representation by multi-scale classification dictionaries. Method First, we sample high-quality training fingerprints to build the training set for multi-scale classification dictionaries learning, and the multi-scale classification dictionaries are learned from the training set. A crucial issue in enhancing fingerprint images is obtaining an effective prior or constraint. Unlike generic images, fingerprint images have a steady and reliable ridge pattern. To obtain an effective prior or constraint, fingerprint patch orientations are estimated by weighted linear projection analysis (WLPA) on the basis of the vector set of point gradients. We classify training samples with the same size into eight groups according to their ridge orientation pattern. Instead of simply learning a dictionary, we learn a classification dictionary for each class with the same size. Second, fingerprints are pre-enhanced using the linear contrast stretching method. The sparse grey space in the fingerprint image is used, and the fingerprint image contrast can be stretched to cover the entire greyscale space. Consequently, the gray level information of the input fingerprint can be preserved against loss, and contrast enhancement can be improved. Contrast enhanced fingerprint contributes to the subsequent enhancement. Third, a fingerprint has a unique natural pattern, which is suitable for frequency-domain analysis. Generally, a good frequency-domain fingerprint enhancement approach is designed to work on spatial partitioning and frequency-domain enhancement. Thus, the fingerprint is partitioned into patches in the spatial domain on the basis of a non-overlapping window, the orientations of fingerprint patches are estimated by WLPA, and the qualities of the patches are evaluated and classified by the coherence of the point orientations. Finally, the fingerprint patches are transformed to the frequency domain by 2D discrete Fourier transform. The enhancement model of the patch spectrum is constructed via sparse representation modeling using classification dictionaries. The patch spectra are enhanced on the basis of a quality grading scheme and a composite strategy using multi-scale classification dictionaries learning combined with spectra diffusion. The fingerprint patch is enhanced according to its own priority, and patches with higher quality are enhanced when patches with lower quality are enhanced. Multi-scale classification dictionaries learning ensure the reliability of the enhancement. Spectra diffusion is successfully applied with the help of the quality grading and neighborhood priority scheme and the composite window strategy, and it can improve the quality of the patch spectra with low quality. Spectra diffusion provides accurate ridge spectra information for lower quality patches, thus ensuring the reliability of the ridge spectra for multi-scale classification dictionaries enhancing. Result The proposed method is implemented and tested on fingerprint images from FVC2004. Some visual experiments and performance evaluations of minutiae extractions are illustrated. We compare our method with state-of-the-art fingerprint enhancement methods and report that the proposed method is superior in enhancing fingerprint images. Experimental results demonstrate that low-quality fingerprints can be effectively enhanced by the proposed method. Compared with traditional fingerprint enhancement algorithms, the proposed method is more robust against noise and exhibits a more prominent effect on low-quality fingerprint images. Conclusion By introducing ridge pattern priori into a classification dictionary, a classification dictionary for each class with the same size is learned. Classification dictionaries based on the ridge pattern constraint can capture a reliable ridge pattern prior. Using classification dictionaries improves the effectiveness of the sparse modeling of information in a fingerprint patch. The quality grading scheme and the composite window strategy are adopted to assist the multi-scale dictionary in overcoming the contradiction between accuracy and anti-noise capability. Furthermore, the combination of composite window and quality evaluation ensures that spectra diffusion is successfully applied. The proposed method significantly improves the quality of low-quality input fingerprints.

Key words

fingerprint; patch quality evaluation; multi-scale classification dictionaries; sparse representation; spectrum diffusion

0 引言

自动指纹识别系统的研究主要集中在3个方面:指纹图像增强,指纹分类和细节点匹配[1]。指纹识别系统的性能很大程度上依赖于输入指纹的质量[2]。实际应用中采集到的指纹图像质量往往较低,为了提高指纹识别系统的性能,对输入指纹进行增强是必不可少的。

在传统指纹增强方法中,Hong和Jain等人提出的一种基于Gabor滤波器[3]的指纹增强方法应用最为广泛。Gabor滤波器的缺陷是其参数对输入指纹质量敏感,对低质量指纹图像无法取得令人满意的增强结果。为了克服传统Gabor滤波器的缺陷,Yang等人[4]提出了一种改进的Gabor滤波方法,给出了一种自适应参数选择方案,能更准确地保存指纹的模式结构。为了克服Gabor滤波器在奇异点等高曲率区域增强质量差的问题,Gottschlich[5]引入曲Gabor滤波器来增强高曲率区域,该方法在很大程度上也依赖于方向场和脊线频率。为了获取可靠的Gabor滤波输入参数,Iwasokun等人[6]提出了一种多层次模型指纹增强方法。Bartůněk等人[7]则给出了一种基于上下文信息的多模块自适应增强方法,滤波器参数可依据输入指纹自动调整。低质量指纹的脊线方向等参数很难准确获取,为了减少增强方法对参数的依赖,Sutthiwichaiporn等人[8]在频率域中基于频谱及图像质量分析,结合噪声抑制、块频谱匹配滤波器实现了指纹增强。卞维新等人[9]受Sutthiwichaiporn等人的启发,提出了一种基于块质量分级机制下的频谱扩散增强方法,该方法对指纹的模式信息依赖性较弱,对方向场和频率具有很好的容错能力。鉴于同一指纹图像划分的所有块,它们的频率并非是一样的,存在一定的差异。为了提高带通滤波器的性能,丁世飞等人[10]设计了一个具有方向选择性和自适应参数调整能力的2D契比雪夫带通滤波器对指纹图像进行增强,该方法有一定的鲁棒性。

近年来,基于过完备字典的稀疏表示已成为图像处理领域研究的热点之一,在人脸识别[11]和图像去噪[12]中得到了成功应用。图像的稀疏表示模型认为图像能够被描述为某个预先指定的字典中的少数原子的线性组合。因此,字典学习是图像过完备稀疏表示的关键问题。近来,基于字典学习的指纹图像稀疏表示研究开始引起研究人员的关注[13-15]

针对传统指纹识别方法的局限性,提出一种多尺度分类字典学习的指纹增强方法。该方法分为两个阶段:离线训练和在线增强。在离线训练阶段,首先构建不同尺度的高质量指纹块训练样本集,依据样本块方向将样本分类,并将训练样本从空域转换到频域;其次,构建无监督字典学习模型;最后,依据训练样本,学习得到不同尺度的分类过完备字典。在在线增强阶段,首先通过线性对比度拉伸对输入指纹进行对比度增强;其次,在空域对指纹图像分块,给出块质量评价等级;最后,在频域构建基于分类字典稀疏表示的指纹增强模型,依据块质量分级机制,选择不同尺度的分类字典对指纹块进行增强。

1 相关工作

1.1 基于加权线性投影分析的指纹块方向估计

基于梯度的方法是最常用的指纹方向场估计方法[16-18]。在使用该类方法提取指纹方向场时,学者对梯度矢量模的作用看法不一:一种观点认为梯度方向与梯度模的大小紧密相关,在计算局部梯度矢量最优方向时,梯度模越大则其贡献越大;相反,另一种观点则认为梯度模的大小仅仅反映图像的对比度,而我们真正感兴趣的是梯度方向,因此,在计算局部梯度矢量最优方向时,梯度模应该归一化。梅园等人[16]对点梯度矢量模是否应该归一化进行了较为深入的研究和分析,给出了较为合理的结论:在计算局部梯度最优方向时,有效点梯度矢量的作用应该被加强;无效点梯度矢量则应该被抑制。卞维新等人[19]在前期研究工作[17-18]的基础上,充分考虑了点梯度矢量模的作用,提出了一种基于加权点梯度矢量投影分析的局部梯度最优方向估计方法。

令指纹块大小为$W \times W$,块内点梯度方向为${\theta _j}\left( {j = 1, \cdots, {W^2}} \right)$,则对应的点方向相似度${R_j}$

$ {R_j} = \frac{1}{{{W^2}}}\sum\limits_{m = 1}^{{W^2}} {\frac{{\cos \left( {{\theta _j} - {\theta _m}} \right) + 1}}{2}} $ (1)

令指纹块点梯度向量集${\mathit{\boldsymbol{V}}_j}\left( {j = 1, \cdots, {W^2}} \right)$

$ {\mathit{\boldsymbol{V}}_j} = \left[ {\begin{array}{*{20}{c}} {{G_{jx}}\left( {x,y} \right)}\\ {{G_{jy}}\left( {x,y} \right)} \end{array}} \right] $ (2)

则有[19]

$ {\mathit{\boldsymbol{V}}_s} = \sum\limits_{j = 1}^{W \times W} {R_j^2{\mathit{\boldsymbol{V}}_j}\mathit{\boldsymbol{V}}_j^{\rm{T}}} = \left[ {\begin{array}{*{20}{c}} {{G_{xx}}}&{{G_{xy}}}\\ {{G_{xy}}}&{{G_{yy}}} \end{array}} \right] $ (3)

式中,${G_{xx}} = \sum\limits_{j = 1}^{W \times W} {R_j^2G_{jx}^2} $, ${G_{yy}} = \sum\limits_{j = 1}^{W \times W} {R_j^2G_{jy}^2} $, ${G_{xy}} = \sum\limits_{j = 1}^{W \times W} {R_j^2{G_{jx}}{G_{jy}}} $

$\lambda $${\mathit{\boldsymbol{V}}_s}$的特征值,则有

$ \left\{ \begin{array}{l} {\lambda _1} = \frac{{\left( {{G_{xx}} + {G_{yy}}} \right) + \sqrt {{{\left( {{G_{xx}} - {G_{yy}}} \right)}^2} + 4G_{xy}^2} }}{2}\\ {\lambda _2} = \frac{{\left( {{G_{xx}} + {G_{yy}}} \right) - \sqrt {{{\left( {{G_{xx}} - {G_{yy}}} \right)}^2} + 4G_{xy}^2} }}{2} \end{array} \right. $ (4)

对应于最大特征值${\lambda _1}$的特征向量${\mathit{\boldsymbol{u}}_1}$

$ {\mathit{\boldsymbol{u}}_1} = \left[ {\begin{array}{*{20}{c}} {\left( {{G_{xx}} - {G_{xy}}} \right) + \sqrt {{{\left( {{G_{xx}} - {G_{yy}}} \right)}^2} + 4G_{xy}^2} }\\ {2{G_{xy}}} \end{array}} \right] $ (5)

则该梯度矢量集的最优投影方向为

$ \mathit{\Phi } = {\tan ^{ - 1}}\left( {\frac{{2{G_{xy}}}}{{\left( {{G_{xx}} - {G_{yy}}} \right) + \sqrt {{{\left( {{G_{xx}} - {G_{yy}}} \right)}^2} + 4G_{xy}^2} }}} \right) $ (6)

由于指纹块脊线方向$\theta \left( {\theta \in \left[{0, \pi } \right)} \right)$垂直于块梯度方向,所以有

$ \theta = \mathit{\Phi } + \frac{1}{2}{\rm{ \mathsf{ π} }} $ (7)

1.2 指纹图像线性对比度拉伸增强

事实上,在大多数指纹图像中,像素灰度级数量仅占整个灰度级空间的一半左右甚至更低。这大大降低了指纹图像的对比度。如果能充分利用大量空余的灰度级空间,将指纹图像拉伸到整个灰度级空间,将大大增强指纹图像的对比度。

定义$\mathit{\boldsymbol{I}} = \left\{ {I\left( {x, y} \right)|x = 1, 2, \cdots, H;y = 1, 2, \cdots, W} \right\}$为输入指纹图像,$\left\{ {{R_0}, {R_1}, \cdots, {R_{255}}} \right\}$为整个灰度级空间,则$I\left( {x, y} \right) \in \left\{ {{R_0}, {R_1}, \cdots, {R_{255}}} \right\}$。令$P\left( {{R_k}} \right)$为灰度级${R_k}$的概率密度函数,则有

$ \begin{array}{*{20}{c}} {P\left( {{R_k}} \right) = \frac{{{n_k}}}{N}}\\ {k = 0,1, \cdots ,255;N = H \times W} \end{array} $ (8)

${n_k}$为灰度级${R_k}$在图像$\mathit{\boldsymbol{I}}$中出现的次数。在图像$\mathit{\boldsymbol{I}}$中,上下灰度级边界的累积分布变换函数可定义为

$ \left\{ \begin{array}{l} {S_l} = \sum\limits_{k = 0}^l {P\left( {{R_k}} \right)} ,k = 0,1, \cdots \\ {S_u} = \sum\limits_{k = 0}^u {P\left( {{R_{255 - k}}} \right)} ,k = 0,1, \cdots \end{array} \right. $ (9)

文中,当累积分布${S_u} > 3\% $${S_l} > 2\% $时,累积分布过程被终止。上下灰度边界$ u$$ l$被得到,上下边界灰度级能够被给出,即

$ \left\{ \begin{array}{l} {B_l} = l\\ {B_u} = 255 - u \end{array} \right. $ (10)

依据获得的上下灰度级边界,将指纹图像灰度级扩展到整个灰度级空间,进行线性对比度拉伸(LCS)增强

$ \begin{array}{l} {\mathit{\boldsymbol{I}}_{{\rm{LCS}}}}\left( {x,y} \right) = \\ \left\{ \begin{array}{l} 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathit{\boldsymbol{I}}\left( {x,y} \right) < {B_l}\\ \frac{{255}}{{{B_u} - {B_l}}}\left( {\mathit{\boldsymbol{I}}\left( {x,y} \right) - {B_l}} \right)\;\;\;\;\;\;{B_l} \le \mathit{\boldsymbol{I}}\left( {x,y} \right) \le {B_u}\\ 255\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathit{\boldsymbol{I}}\left( {x,y} \right) > {B_u} \end{array} \right. \end{array} $ (11)

图 1给出了一个指纹图像线性对比度拉伸增强的例子,可见线性对比度拉伸方法能够有效改善指纹对比度,同时不会损伤指纹的脊线信息。

图 1 指纹图像线性对比度拉伸增强
Fig. 1 Fingerprint enhancement by linear contrast stretching
((a) original fingerprint; (b) LCS enhancement)

2 指纹图像多尺度分类字典稀疏增强

指纹图像在局部区域具有稳定的模式结构,非常适合频域分析。指纹频域增强算法通常是将指纹在空域分块,进而将划分块转换到频域,对块频谱进行分析和增强。该类方法中块尺度大小的选择对算法性能有一定的影响:如果块尺度选取较小,则增强结果将更为准确,但抗噪性会较差;如果块尺度选取较大,则抗噪性更强,但增强块的准确性将降低。为了平衡增强准确性和抗噪性之间的矛盾,本文结合指纹图像局部稳定的模式特征,基于指纹块质量分级机制,使用多尺度分类字典对指纹图像进行稀疏增强。

2.1 指纹图像块质量评价和分级

为了平衡块增强准确性和抗噪性之间的矛盾,提出的方法首先对指纹块质量进行评价,然后在块质量分级机制下,依据块质量的高低(含噪声强度)选择不同尺度的分类字典依次按块质量等级的高低进行稀疏增强。这里使用文献[19]中提出的基于加权线性投影分析的块点方向一致性方法对块质量进行评价。依据式(4),块内点方向一致性参数定义为[19]

$ Coh = \frac{{{\lambda _1} - {\lambda _2}}}{{{\lambda _1} + {\lambda _2}}} $ (12)

当块内所有点方向相同时,${\lambda _2} = 0 $$Coh$的值为1;当块内所有点方向均匀分布时,${\lambda _1} = {\lambda _2}$$Coh$的值为0;其他情况下,$Coh$的值介于0和1之间。令${Q_{b\left( {x, y} \right)}}$为块$b\left( {x, y} \right) $的质量等级,有

$ {Q_{b\left( {x,y} \right)}} = \left\{ \begin{array}{l} 1\;\;\;\;Coh \in \left[ {0.7,1} \right]\\ 2\;\;\;\;Coh \in \left[ {0.6,0.7} \right)\\ 3\;\;\;\;Coh \in \left[ {0.5,0.6} \right)\\ 4\;\;\;\;其他 \end{array} \right. $ (13)

式中,${Q_{b\left( {x, y} \right)}} $的值1, 2, 3, 4对应图像块的质量等级分别为高、中、低和差。

2.2 多尺度分类字典构建

为了构建多尺度分类字典,首先要构建多尺度指纹块频谱分类训练样本集。选择高质量指纹训练样本,在空域基于重叠窗口依据指定尺度采样多尺度训练样本块集。为了获得更加稳定、可靠的先验约束,本文将同一尺度块训练集依据块方向模式特征划分为$C $类。取代为所有训练块学习一个单一字典,为每一类训练样本块分别学习得到一个分类字典。将训练集中的每一个样本块通过2维傅里叶变换转换到频域,构建块频谱训练样本集。块傅里叶变换定义为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{F}}_{b\left( {x,y} \right)}}\left( {u,v} \right) = }\\ {\frac{1}{{{W^2}}}\sum\limits_{m = 0}^{W - 1} {\sum\limits_{n = 0}^{W - 1} {{\mathit{\boldsymbol{Y}}_{b\left( {x,y} \right)}}\left( {m,n} \right){{\rm{e}}^{\frac{{ - 2{\rm{ \mathsf{ π} }}j\left( {mu + nv} \right)}}{W}}}} } } \end{array} $ (14)

式中,$ {\mathit{\boldsymbol{F}}_{b\left( {x, y} \right)}}\left( {u, v} \right)$为块傅里叶系数,$ {\mathit{\boldsymbol{Y}}_{b\left( {x, y} \right)}}$为待处理的指纹块,$W $为块尺度。

$\mathit{\boldsymbol{Y}} = \left\{ {{y_1}, {y_2}, \cdots, {y_n}} \right\} $为块训练样本集,$\mathit{\boldsymbol{X = }}\left\{ {{x_1}, {x_2}, \cdots {x_n}} \right\} $为对应的块训练样本频谱集。基于样本集$\mathit{\boldsymbol{Y}} $,对应的块方向集$ \mathit{\boldsymbol{\theta }} = \left\{ {{\theta _1}, {\theta _2}, \cdots {\theta _n}} \right\}$可由1.1节的方法计算得到。依据块方向$ {\theta _j}\left( {j = 1, 2, \cdots, n} \right)$,可将$ \mathit{\boldsymbol{Y}}$中的所有样本块划分到$C $类,从而得到分类训练样本集

$ \mathit{\boldsymbol{Y}} = \left\{ {{\mathit{\boldsymbol{Y}}_1},{\mathit{\boldsymbol{Y}}_2}, \cdots ,{\mathit{\boldsymbol{Y}}_C}} \right\} $ (15)

以及对应的分类块频谱训练样本集

$ \mathit{\boldsymbol{X}} = \left\{ {{\mathit{\boldsymbol{X}}_1},{\mathit{\boldsymbol{X}}_2}, \cdots ,{\mathit{\boldsymbol{X}}_C}} \right\} $ (16)

这里$ {\mathit{\boldsymbol{Y}}_i} = \left\{ {{\mathit{\boldsymbol{Y}}_{i1}}, {\mathit{\boldsymbol{Y}}_{i2}}, \cdots, {\mathit{\boldsymbol{Y}}_{iM}}} \right\}$${\mathit{\boldsymbol{X}}_i} = \left\{ {{\mathit{\boldsymbol{X}}_{i1}}, {\mathit{\boldsymbol{X}}_{i2}}, \cdots, {\mathit{\boldsymbol{X}}_{iM}}} \right\} $$ i = 1, 2, \cdots, C$$M $是每类训练样本的总数。构建分类字典可以通过解下面的最优化问题完成,即

$ \begin{array}{l} {\mathit{\boldsymbol{D}}_i} = \arg \mathop {\min }\limits_{{D_i},{\mathit{\Gamma }_i}} \left\| {{\mathit{\boldsymbol{X}}_i} - {\mathit{\boldsymbol{D}}_i}{\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_i}} \right\|_F^2\\ {\rm{s}}.\;{\rm{t}}\;\;\;\;\forall k{\left\| {{\boldsymbol{\gamma} _k}} \right\|_0} \le L,\;\;\;\;i = 1,2, \cdots ,C;\\ k = 1,2, \cdots ,K \end{array} $ (17)

式中,$ L$为稀疏约束项,$ K$是每类字典的尺度。分类字典$\mathit{\boldsymbol{D}} $可以描述为

$ \mathit{\boldsymbol{D}} = \left\{ {{\mathit{\boldsymbol{D}}_1},{\mathit{\boldsymbol{D}}_2}, \cdots ,{\mathit{\boldsymbol{D}}_C}} \right\} $ (18)

本文使用K-SVD算法[20]求解式(17)描述的最优化问题,学习分类字典。在K-SVD算法中,为了得到最终学习到的字典,一个初始字典$ {\mathit{\boldsymbol{D}}_0}$必须要指定。离散余弦变换(DCT)非常适合描述指纹频谱的周期特性,因此选择DCT过完备字典作为初始字典$ {\mathit{\boldsymbol{D}}_0}$。K-SVD算法包括两个基本阶段:稀疏编码和字典更新。算法通过这两个阶段的重复迭代实现字典学习。在稀疏编码阶段,依据当前的字典,样本信号${\mathit{\boldsymbol{X}}_i} $被稀疏编码,稀疏系数矩阵$ {\mathit{\boldsymbol{ \boldsymbol{\varGamma} }}_i}$被得到;在字典更新阶段,依据当前的稀疏系数(表示)字典原子被更新。

2.3 指纹块分类字典稀疏增强

为了增强输入指纹块$ \mathit{\boldsymbol{y}}$,首先依据1.1节的方法计算块方向,然后依据式(14)将$ \mathit{\boldsymbol{y}}$从空域变换到频域,得到对应的块频谱$ \mathit{\boldsymbol{x}}$。为了更好地增强脊线频谱,块频谱中的直流被移除。依据其块方向将其划分到第i类。从分类字典$ \mathit{\boldsymbol{D}}$中选择对应的分类字典$ \mathit{\boldsymbol{D}}_i$,则基于分类字典$ \mathit{\boldsymbol{D}}_i$的待增强块频谱$ \mathit{\boldsymbol{x}}$的稀疏表示$\mathit{\boldsymbol{\gamma }}$能够计算可得

$ \mathop {\min }\limits_\gamma \left\{ {\left\| {\mathit{\boldsymbol{x}} - {\mathit{\boldsymbol{D}}_i}\mathit{\boldsymbol{\gamma }}} \right\|_2^2 + \lambda {{\left\| \mathit{\boldsymbol{\gamma }} \right\|}_1}} \right\},i = 1,2, \cdots ,C $ (19)

依据上式,可得稀疏系数的最优解$ {\mathit{\boldsymbol{\gamma }}^*}$,增强块频谱$\mathit{\boldsymbol{\hat x}} $的计算公式为

$ \mathit{\boldsymbol{\hat x}} = {\mathit{\boldsymbol{D}}_i}{\mathit{\boldsymbol{\gamma }}^ * } $ (20)

则增强块的傅里叶系数

$ {{\mathit{\boldsymbol{\hat F}}}_{b\left( {x,y} \right)}}\left( {u,v} \right) = {\mathit{\boldsymbol{F}}_{b\left( {x,y} \right)}}\left( {u,v} \right)\mathit{\boldsymbol{\hat x}} $ (21)

${\mathit{\boldsymbol{F}}_{b\left( {x, y} \right)}}\left( {u, v} \right) $为增强块$\mathit{\boldsymbol{y}} $的原始傅里叶系数,则增强块的空域表示$\mathit{\boldsymbol{\hat y}}$可由增强块的傅里叶系数${\mathit{\boldsymbol{\hat F}}_{b\left( {x, y} \right)}}\left( {u, v} \right) $通过2维傅里叶逆变换得到,即

$ {{\mathit{\boldsymbol{\hat y}}}_{b\left( {x,y} \right)}}\left( {m,n} \right) = \sum\limits_{u = 0}^{W - 1} {\sum\limits_{v = 0}^{W - 1} {{{\mathit{\boldsymbol{\hat F}}}_{b\left( {x,y} \right)}}\left( {u,v} \right){{\rm{e}}^{\frac{{2{\rm{ \mathsf{ π} }}j\left( {mu + nv} \right)}}{W}}}} } $ (22)

通过分类字典学习得到的增强块中,脊线的灰度值总是远远小于零,而谷线或背景的值总是远远大于零。因此,本文通过一个简单的硬阈值截断方式直接将增强块转换为二值图像,即

$ {{\mathit{\boldsymbol{\hat y}}}_{b\left( {x,y} \right)}}\left( {m,n} \right) = \left\{ \begin{array}{l} 255\;\;\;\;\;{{\hat y}_{b\left( {x,y} \right)}}\left( {m,n} \right) > 0\\ 0\;\;\;\;\;\;\;\;其他 \end{array} \right. $ (23)

2.4 分类字典尺度和待增强块选择

在本文方法中,块尺度和待增强块的选择非常重要。在块增强过程中,按块质量等级由高到低的次序依次对块进行增强,不同的块质量选择不同尺度的分类字典:较高的块质量选择较小尺度的分类字典;较差的块质量选择较大尺度的分类字典。对拥有同一质量等级的块,再依据其邻域优先级依次进行增强。

令每一块的8邻域中已被增强块的数量为$Nu{m_{{\text{Nei}}}} $,则块的邻域优先级${B_{{\text{Pri}}}} $定义为

$ {B_{{\rm{Pri}}}} = \left\{ \begin{array}{l} 1\;\;\;\;Nu{m_{{\rm{Nei}}}} \ge 5\\ 2\;\;\;\;5 > Nu{m_{{\rm{Nei}}}} \ge 2\\ 3\;\;\;\;其他 \end{array} \right. $ (24)

${B_{{\text{Pri}}}} $的值为1, 2, 3,对应块邻域优先级分别为高、中和低。

2.5 基于多尺度分类字典学习的指纹增强

本文算法采用复合窗口快速傅里叶变换,在频域完成指纹图像增强。本文增强算法是基于块质量分级机制进行的,具有较高质量的块优先增强。复合窗口和邻域优先级策略能够将更高质量的块频谱扩散到低质量块中,改善低质量块的频谱,提高增强质量。不同于文献[9],本文在采用复合窗口策略的同时还引入了滑动窗口策略。滑动窗口的步长小于复合窗口的尺度,这将更加有助于频谱扩散。在增强过程中,为了平衡块增强准确性和抗噪性之间的矛盾,对不同质量块选取不同尺度的分类字典进行稀疏增强。选取增强块的内层块替代输入指纹图像对应块区域。在极少情况下,增强内层块为背景块(全白或全黑),类似于文献[9],本文采取一个简单的硬阈值策略进行错误增强块检测:计算增强块中脊线像素(黑色)占整个块像素的百分比,如果其值小20%或大于80%,则该块为错误增强块,修改该块为未增强块,块质量等级为最低。具体过程见算法1。

算法1基于多尺度分类字典学习的指纹增强

1) 基于滑动窗口,在空域将指纹图像划分为${W_{in}} \times {W_{in}} $尺度的块。

2) 初始化块增强标记,标记所有块为未增强块。

3) 依据2.1节的方法对块质量进行评价和分类。

4) while存在未增强块do

5) 初始化待增强块集$ \mathit{\boldsymbol{Setc}}$为空

6) if第一次迭代do

7) 选择所有${Q_{b\left( {x, y} \right)}} = 1 $的块构建$\mathit{\boldsymbol{Setc}} $

8) 设置稀疏增强分类字典尺度$Sizec $

9) else do

10)选取当前具有最高质量等级的块为待增强块候选集,依据式(24)计算它们的$ {B_{{Pri}}}$值,选取当前拥有最高邻域优先级的块构建$\mathit{\boldsymbol{Setc}} $

11)设置稀疏增强分类字典尺度$Sizec $

12)end if

13)while $\mathit{\boldsymbol{Setc}} $非空do

14)取$\mathit{\boldsymbol{Setc}} $中一未增强块,标记其为增强块,并将其从$\mathit{\boldsymbol{Setc}} $中移除。

15)以当前未增强块为内层块,以分类字典尺度为外层窗口尺度,取对应的复合窗口指纹块,将其从空域转换到频域。

16)由2.2节学习得到的多尺度分类增强字典,采用2.3节提出的方法对当前块频谱进行分类字典稀疏增强。

17)对增强的二值指纹图像进行检测,确定其是否为错误增强块。

18)if增强块为错误增强块do

19)修改该块的质量等级为最低,恢复增强标记为未增强块,留待最后增强。

20)else do

21)取增强块的内层块为有效增强块,替代对应指纹图像的块区域。

22)end if

23)end while

24)end while

25)增强后处理,去除背景区。

3 实验结果比较与分析

3.1 多尺度分类字典构建

实验中用于多尺度字典学习的训练指纹样本选自国际指纹竞赛数据库FVC2000,2002,2004中的高质量指纹。为了构建高质量的多尺度分类字典学习训练样本集,首先在FVC数据库中选取了500幅质量较高的指纹,使用Neurotechnology提供的VeriFinger Algorithm Demo 6.0 (http://www.directoryofshareware.com/preview/verifinger_algorithm_demo_for_ms_windows)软件增强得到对应的二值指纹图像。分别将二值指纹基于滑动窗口分为大小为23×23、31×31和37×37的块,构建多尺度分类字典训练块候选集。为了充分利用指纹的脊线模式信息改善字典学习的性能,依据块方向将每个尺度的训练集分为8类,在每类样本集中依据块点方向一致性,取高质量的50 000块为类训练样本,并将所有样本从空域变换到频域,构建分类频谱训练集。对每一尺度分类样本,依据不同类别的训练集,分别学习8个分类字典用于块频谱增强。图 2给出了一组某一类学习到的多尺度分类字典图示,从中可以看到分类字典原子清晰地描述了块频谱的本质特征。

图 2 多尺度分类字典可视图
Fig. 2 A group trained multi-scale classification dictionaries
((a)the size of dictionary is 23×23;(b)the size of dictionary is 31×31;(c)the size of dictionary is 37×37)

3.2 算法性能比较与分析

为了测试和对比提出算法的性能,提取了FVC2004指纹库中的多幅低质量指纹进行了实验。本文提出的多尺度分类字典稀疏增强是基于复合窗口进行的,且采用的是重叠窗口策略。实验中内层块大小为15×15。高质量块增强时选择小尺度字典,外层块大小设置为23×23;中、低质量块增强时选择较大尺度字典,外层块大小设置为31×31;差质量块增强时选择大尺度字典,外层块的大小37×37。内层块滑动窗口步长为8个像素。

图 3给出了一个提出算法在增强过程中对指纹块质量评价和分级的一个例子。指纹图像来自FVC2004的DB3_A的100_3。可见本文的块质量评价能够保证高质量块评价结果的准确性,基本不会误判。不同于通常的块质量评价标准,此处只要保证评价结果中的高质量块准确即可,允许将部分高质量块(如奇异点区域)误分为较低质量块,具有一定容错能力。

图 3 指纹块质量评价和分级
Fig. 3 The quality evaluation and classification
((a)the fingerprint enhanced by LCS; (b)the quality evaluation and classification)

图 4给出了一个基于块质量分级机制和复合窗口策略下使用多尺度分类字典对指纹增强的例子,对应的块质量评价见图 3。从图 4可以看出,高质量的块被最先增强,小尺度分类字典能够保证其增强的准确性和可靠性。较低质量块在增强时其邻域中较高质量块已被增强,邻域优先级和复合窗口策略使更高质量块的频谱能够充分扩散到较低质量块。更大尺度的复合窗口使得有更多的高质量频谱扩散到低质量块中,进一步改善了较低质量块的频谱质量。此外,更大尺度分类字典的引入更好地提高了抗噪能力,使得低质量块的增强质量得到有力保证。

图 4 指纹图像多尺度分类字典稀疏增强
Fig. 4 An example of fingerprint enhancement
((a)iterating enhancement (high quality); (b)iterating enhancement (medium and low quality); (c)the enhanced fingerprint; (d)the post-processing enhancement fingerprint)

为了测试提出的算法的性能,将提出方法与ABSF(adaptive boosted spectral filtering)[8]和文献[9]提出的方法基于同一实验平台进行了对比实验。图 5给出了一组实验结果,从第1行至第4行,对应的输入指纹分别来自于DB1的1_6、4_5、DB3_100_3、DB4_44_8。从图 5(e)可以看出,提出的基于块质量分级机制和复合窗口策略的多尺度分类字典稀疏增强算法对于高质量、较高质量(含弱噪声)和低质量(含大噪声)指纹区域都能够高质量地增强。多尺度字典的引入使得块稀疏增强时能更好地平衡增强准确性和抗噪性之间的矛盾;引入脊线方向模式先验的具有方向选择性的分类字典更能可靠地对指纹图像进行增强,保证了增强结果的准确性和可靠性。对比文献[8]和文献[9],本文算法增强结果更具有鲁棒性。

图 5 指纹图像增强对比实验结果
Fig. 5 The contrast test results of fingerprint enhancement
((a)the original fingerprint; (b)LCS enhancement; (c)ABSF [8]; (d)Bian's[9]; (e)ours)

大多数自动指纹识别系统都是使用细节点(分叉点和末梢点)作为指纹特征点,基于点模式匹配完成识别过程,因此细节点的提取在指纹识别系统中占据着非常重要的地位。本文将提出算法和其他增强算法增强的指纹进行了有效细节点提取的对比实验。图 6给出了图 5第4行各增强结果细节点提取的可视化实验结果对比,图中矩形框和圆形框标注的分别为分叉点和末梢点。可见,本文算法增强结果提取的细节点的准确性更高。为了进一步用量化指标来评估提出算法在有效细节点提取上的表现,文中随机挑选了18幅低质量指纹图像,分别使用ASBF算法[8]、文献[9]算法和本文方法对它们进行了增强,基于增强图像进行了有效细节点提取对比实验,实验结果如表 1所示。在表 1的每一列中,有效细节点数最小值被加粗表示。从实验结果可以看出,基于提出方法增强的指纹图像提取的有效细节点在大多数情况下比其他两种方法少,有助于指纹匹配性能的提升。

图 6 指纹图像细节点提取对比实验结果
Fig. 6 The contrast test results of the minutiae extraction
((a)manually-tagged minutiae; (b)ABSF [8]; (c)Bian's[9]; (d)ours)

表 1 基于不同增强指纹图像提取的有效细节点对比
Table 1 The comparison of the valid minutiae extraction based on different enhancement fingerprint

下载CSV
方法 18幅低质量图像提取的有效细节点数
ABSF[8] 48 42 35 34 35 56 48 59 46 60 53 68 83 52 72 48 42 29
Bian’s[9] 49 36 34 26 37 45 49 53 44 65 48 65 82 50 79 45 46 25
本文 42 31 29 22 34 47 43 48 38 63 39 59 85 49 80 35 41 21
注:加粗数字表示每列最小值。

4 结论

提出了一种基于块质量评价下的指纹图像多尺度分类字典稀疏增强方法。在块质量分级机制下,不同质量块增强时选择不同尺度的字典,有效地克服了增强准确性和抗噪性之间的矛盾。由于引入了脊线方向先验信息,为拥有不同方向类别的指纹块分别学习一个独特的字典,对指纹块增强时选择对应方向类别的字典进行稀疏增强,使得块增强结果更具稳定性和可靠性。此外,块增强是基于块质量等级次序进行的,复合窗口的引入使得高质量块频谱可以扩散到低质量块,改善了低质量块的频谱质量,有效提高了块增强质量。实验结果表明,提出的算法能够完成对低质量指纹图像的高质量增强,具有很强的鲁棒性。

基于字典的稀疏增强算法效率与字典的尺度有关,本文提出的块评价方法并不能对所有块质量做出准确估计,会把一些高质量块误判为低质量块,会降低算法的效率。如何进一步提高块质量评价的准确性,使得稀疏增强过程中尽可能选择合适尺度的字典,提高算法的效率是下一步研究方向。

参考文献

  • [1] Luo X P, Tian J. Image enhancement and minutia matching algorithms in automated fingerprint identification system[J]. Journal of Software, 2002, 13(5): 946–956. [罗希平, 田捷. 自动指纹识别中的图像增强和细节匹配算法[J]. 软件学报, 2002, 13(5): 946–956. ]
  • [2] Fronthaler H, Kollreider K, Bigun J. Local features for enhancement and minutiae extraction in fingerprints[J]. IEEE Transactions on Image Processing, 2008, 17(3): 354–363. [DOI:10.1109/TIP.2007.916155]
  • [3] Hong L, Wan Y F, Jain A. Fingerprint image enhancement:algorithm and performance evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(8): 777–789. [DOI:10.1109/34.709565]
  • [4] Yang J, Liu L, Jiang T, et al. A modified Gabor filter design method for fingerprint image enhancement[J]. Pattern Recognition Letters, 2003, 24(12): 1805–1817. [DOI:10.1016/S0167-8655(03)00005-9]
  • [5] Gottschlich C. Curved-region-based ridge frequency estimation and curved Gabor filters for fingerprint image enhancement[J]. IEEE Transactions on Image Processing, 2012, 21(4): 2220–2227. [DOI:10.1109/TIP.2011.2170696]
  • [6] Iwasokun G B, Akinyokun O C, Angaye C O, et al. A multi-level model for fingerprint image enhancement[J]. Journal of Pattern Recognition Research, 2012, 7(1): 155–174. [DOI:10.13176/11.352]
  • [7] Bartu°nk J S, Nilsson M, Sällberg B, et al. Adaptive fingerprint image enhancement with emphasis on preprocessing of data[J]. IEEE Transactions on Image Processing, 2013, 22(2): 644–656. [DOI:10.1109/TIP.2012.2220373]
  • [8] Sutthiwichaiporn P, Areekul V. Adaptive boosted spectral filtering for progressive fingerprint enhancement[J]. Pattern Recognition, 2013, 46(9): 2465–2486. [DOI:10.1016/j.patcog.2013.02.002]
  • [9] Bian W X, Feng J F, Luo Y L, et al. The fingerprint enhancement using filtering combined with spectrum diffusion[J]. Journal of Image and Graphics, 2014, 19(7): 1021–1030. [卞维新, 封举富, 罗永龙, 等. 结合频谱扩散的指纹图像滤波增强[J]. 中国图象图形学报, 2014, 19(7): 1021–1030. ] [DOI:10.11834/jig.20140705]
  • [10] Ding S F, Bian W X, Sun T F, et al. Fingerprint enhancement rooted in the spectra diffusion by the aid of the 2D adaptive Chebyshev band-pass filter with orientation-selective[J]. Information Sciences, 2017, 415-416: 233–246. [DOI:10.1016/j.ins.2017.06.028]
  • [11] Wang J, Lu C Y, Wang M, et al. Robust face recognition via adaptive sparse representation[J]. IEEE Transactions on Cybernetics, 2014, 44(12): 2368–2378. [DOI:10.1109/TCYB.2014.2307067]
  • [12] Kuang Y, Zhang L, Yi Z. An adaptive rank-sparsity K-SVD algorithm for image sequence denoising[J]. Pattern Recognition Letters, 2014, 45: 46–54. [DOI:10.1016/j.patrec.2014.03.003]
  • [13] Shao G Q, Wu Y P, Yong A, et al. Fingerprint compression based on sparse representation[J]. IEEE Transactions on Image Processing, 2014, 23(2): 489–501. [DOI:10.1109/TIP.2013.2287996]
  • [14] Liu M H, Chen X Y, Wang X D. Latent fingerprint enhancement via multi-scale patch based sparse representation[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(1): 6–15. [DOI:10.1109/TIFS.2014.2360582]
  • [15] Bian W X, Ding S F, Xue Y. Fingerprint image super resolution using sparse representation with ridge pattern prior by classification coupled dictionaries[J]. IET Biometrics, 2017, 6(5): 342–350. [DOI:10.1049/iet-bmt.2016.0097]
  • [16] Mei Y, Cao G, Sun H J, et al. A systematic gradient-based method for the computation of fingerprint's orientation field[J]. Computers & Electrical Engineering, 2012, 38(5): 1035–1046. [DOI:10.1016/j.compeleceng.2011.10.011]
  • [17] Bian W X, Xu D Q, Yu Q Y. The orientation field extraction method for low quality fingerprints[J]. Journal of Image and Graphics, 2013, 18(7): 768–775. [卞维新, 徐德琴, 俞庆英. 低质量指纹图像方向场提取[J]. 中国图象图形学报, 2013, 18(7): 768–775. ] [DOI:10.11834/jig.20130706]
  • [18] Bian W X, Luo Y L, Xu D Q, et al. Fingerprint ridge orientation field reconstruction using the best quadratic approximation by orthogonal polynomials in two discrete variables[J]. Pattern Recognition, 2014, 47(10): 3304–3313. [DOI:10.1016/j.patcog.2014.03.033]
  • [19] Bian W X, Ding S F, Xue Y. Combining weighted linear project analysis with orientation diffusion for fingerprint orientation field reconstruction[J]. Information Sciences, 2017, 396: 55–71. [DOI:10.1016/j.ins.2017.02.043]
  • [20] Aharon M, Elad M, Bruckstein A. K-SVD:an algorithm for designing overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311–4322. [DOI:10.1109/TSP.2006.881199]