车牌识别是智能交通领域与计算机视觉领域中的重要应用之一，车牌作为机动车辆的主要标识符，在交通管制、电子支付和刑事侦查等领域都需要高效快速的车牌识别算法作为支撑。目前，多数车牌识别算法对于清晰车牌图像能取得较好的识别效果，而对于模糊的车牌图像，识别效果有待进一步提高。

随着深度学习的不断发展，为车牌识别带来了新的研究方向。得益于卷积神经网络对图像特征强大的提取能力，以及循环神经网络对输入目标良好的上下文学习能力，Li等人(2018)利用这些方法使车牌的识别流程逐渐从基于分割的方法向端到端的识别方法靠拢。但是，使用深度学习算法的车牌识别存在两方面的难点：1)模型大小相对传统的车牌识别算法要大很多，由于车牌识别算法在许多应用中需要部署在移动设备或嵌入式设备中，模型太大限制了算法的部署泛化能力。因此，识别效率与模型大小之间的衡量成为使用深度学习技术解决车牌识别问题的难点之一；2)深度学习算法需要大量训练数据，但是车牌识别的工作是一项具有区域特色的任务，不同的国家与地区对当地的车牌设计规格都有一定的差异，图像的通用性不好，如果在每个地区都手动收集大量的车牌图像，成本过高。因此，训练图像不足成为使用深度学习技术解决车牌图像识别任务的又一难点。

生成对抗网络(Goodfellow等，2014)作为深度学习技术的典型网络之一，因其在图像生成任务中的出众表现，一直是广大研究学者的研究热点之一，各种不同的生成对抗网络模型被用于生成超高质量的图像。虽然生成对抗网络取得了令人惊叹的成果，但是利用生成对抗网络生成“低质量”的图像，用于解决其他缺少训练样本的深度学习任务的相关研究较少。本文将生成对抗网络用于生成“低质量”的模糊车牌图像，提出一种轻量级模糊车牌识别算法。

以国内车牌识别为切入点，本文工作的主要贡献为：1)针对人工收集车牌费时费力的难点，提出使用生成对抗网络生成的车牌图像，用于填充识别模型所需要的训练集，以解决训练样本不足的问题；将Wasserstein距离(Arjovsky等，2017)损失用于优化卷积生成对抗网络(Radford等，2016)，在保证原有图像生成质量的同时，极大提升了图像生成的训练稳定，即生成的图像多样性好，重复样本少。2)在卷积循环神经网络(Shi等，2017)的基础上，结合深度可分离卷积(Mehta和Sivaswamy，2017；Howard等，2017；郭彤宇等，2019)设计了一个轻量级的车牌识别模型。相较于基础的卷积循环神经网络，在提升识别精度的条件下，有效压缩了最终识别模型的大小，极大提升了车牌的识别速度，提升了算法的实用价值。

现有的车牌识别算法可分为基于分割的识别算法和免分割的识别算法两类。基于分割的车牌识别算法，首先将车牌图像中的字符使用分割算法分割成单个字符，然后使用分类器对每个字符进行识别。分割算法主要包括基于投影的分割算法(Gou等，2016；Guo和Liu，2008；Nomura等，2005)和基于连通区域的分割算法(冉令峰，2012；Anagnostopoulos等，2006；Zhang，2016)，分割后使用基于模板匹配(Jiao等，2009；Goel和Dabas，2013)的算法或基于学习的算法对分割出的单个字符进行分类。其中基于学习的算法有支持向量机(Llorens等，2005)、改进隐马尔可夫特征(罗栩豪等，2017)和神经网络(Wen等，2011；Tao等，2016)，因其对图像特征的学习能力，最终的识别效果要优于基于模板匹配的识别算法。但是基于分割的车牌识别算法受制于分割算法的分割表现，同时还会丢失车牌图像内部的整体信息，对清晰的车牌识别效果尚能满足实用要求，但是对于模糊的车牌图像，其识别能力并不能令人满意。免分割车牌识别算法，又称为端到端的识别算法。Li等人(2018)提出了一种基于滑动窗口的卷积循环神经网络，用于车牌的免分割识别。但是使用滑动窗口来提取车牌图像，最终会导致网络模型整体的计算量巨大，实际应用中算法的部署成本太高；而Shi等人(2017)采用卷积神经网络与循环神经网络的组合，先使用卷积神经网络提取图像的特征，然后将特征图转换为特征序列，输入到双向长短期记忆(long short-term memory，LSTM)网络进行学习，从而达到一个端到端的识别效果，但是这种方法的网络计算参数较大，最终识别模型的大小和识别速度都还有进一步的优化空间。

本文车牌识别算法使用深度可分离卷积改进卷积神经网络中的标准卷积，不使用滑动窗口，而是直接提取整个车牌图像的特征，然后输入到双向LSTM网络中进行标记和预测。一方面，免分割利用了车牌图像的整体信息，可取得较好的识别效果，尤其对模糊车牌效果比较好；另一方面，基于可分离卷积层的网络可降低模型大小，提高识别速度，使得算法具有较好的效率。最后，将本文算法与EasyPR(Zhang，2016)和循环卷积神经网络(convolutional recurrent neural network，CRNN)(Shi等，2017)两种车牌识别算法从识别速度、识别精度以及识别模型大小等方面进行对比，其中EasyPR是基于分割的车牌识别算法，而CRNN是免分割的车牌识别算法。

生成对抗网络(generative adversarial network，GAN)的概念首先由Goodfellow等人(2014)提出。受到零和博弈的思想启发，在人工神经网络中设置一个生成模型和判别模型，通过同时训练判别模型和生成模型，使两者在训练过程中相互对抗博弈，最终使生成模型生成的样本在样本空间中的分布，逐渐逼近真实样本在样本空间中的分布。卷积生成对抗网络在生成模型和判别模型中使用反卷积层与卷积层，使得整个网络在原有的基础上生成效果更为优秀。Yu等人(2019)提出了条件生成对抗网络(conditional GAN)，在生成模型和判别模型上进行调整，使得网络能够生成具有特定标签类的图像。Huang等人(2019)以文本描述为条件、Isola等人(2017)以图像为条件，利用GAN构建文本到图像或图像到图像的生成。Arjovsky等人(2017)在GAN网络的基础上设计新的训练策略和损失计算方式，提升了网络训练过程中的稳定性，并且提升了生成样本的多样性。另外，GAN在图像修复领域也取得了令人瞩目的成绩(Pathak等，2016)。但GAN更多的是用于生成高质量的图像，将GAN生成的图像用于填充某些样本稀少的深度学习前期训练集的研究不多，用于生成低质量图像的应用和研究更少。以车牌识别为例，车牌图像涉及区域问题以及个人隐私问题，进行大量人工收集的难度较大。本文将GAN用于生成“低质量”的模糊车牌图像，然后使用这些生成的图像填充车牌识别模型所需要的训练数据集。实验表明，使用Wassetstein距离损失改进卷积生成对抗网络中的损失函数，使生成的车牌图像更多样、更稳定，使用生成图像作为训练样本，能有效提高模糊车牌识别的准确率。

本文算法流程如图 1所示，主要由两个网络组成，即基于Wasserstein距离损失的生成对抗网络和基于深度可分离卷积的卷积循环神经网络，前者用于生成稳定和多样的模糊车牌图像，后者用于车牌识别。利用真实样本和随机噪声图像，训练生成对抗网络，生成车牌样本；然后将真实车牌图像加入生成的样本，以扩充样本库，训练深度可分离卷积网络进行特征学习，将特征图转换为特征序列后输入到双向LSTM网络中，进行序列学习与标注，得到结果。

本文图像生成对抗网络如图 2所示，首先使用真实车牌样本训练生成对抗网络，然后使用训练好的生成对抗网络生成大量的车牌图像，最后验证生成的车牌样本在识别任务中的有效性。生成对抗网络包含生成器和判别器两个子网络，其训练过程是一个极小化与极大化的博弈过程：两个子网络都旨在最大限度地降低自身损失函数，并最大化其他损失函数，随着算法的收敛，生成器所生成的图像就愈发逼真。本文使用Wasserstein距离损失改进卷积生成对抗网络，提升了网络的生成图像的多样性和稳定性。

在卷积生成对抗网络中，判别器的结构由4层全卷积网络组成，在卷积层后面不设置池化层，而是在卷积层中使用带步长且大小为$5×5$的卷积核进行卷积操作，替代特征图的下采样，在判别器中使用LeakyReLU作为激活函数；生成器则由4层反卷积层组成，使用$5×5$的卷积核进行反卷积操作；在训练过程中使用反向传播为生成器和判别器更新权值。生成器结构示意图如图 3所示，首先从潜层空间中随机提取一个100维的向量${\mathit{\boldsymbol{z}}}$，将其转换为$4×4×1 024$的张量，然后通过4层反卷积操作(卷积核为$5×5$)，形成一幅$64×64×3$的图像。本文的卷积生成对抗网络在深度卷积对抗生成网络(deep convolutional GAN，DCGAN)(Radford等，2016)的基础上修改了生成器和判别器的网络结构，沿用Radford等人(2016)方法中生成器和判别器的损失计算方式，即卷积生成对抗网络训练围绕进行的博弈为

$ \begin{array}{*{20}{c}} {\mathop {{\rm{min}}}\limits_G \mathop {{\rm{max}}}\limits_D V(D,G) = {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}(x)}}({\rm{log}}{\kern 1pt} {\kern 1pt} D(\mathit{\boldsymbol{x}})) + }\\ {{E_{\mathit{\boldsymbol{z}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}({\rm{log}}(1 - D(G(\mathit{\boldsymbol{z}}))))} \end{array} $

(1)

式中，$V(D, G)$表示真实样本和生成样本的差异程度, $E$为期望值，${\mathit{\boldsymbol{x}}}$表示输入图像，${\mathit{\boldsymbol{z}}}$表示输入生成器的噪音，$G$(${\mathit{\boldsymbol{z}}}$)表示生成器生成的图像，$D$(${\mathit{\boldsymbol{x}}}$)表示判别器判断输入图像是否为真实图像的概率，${\mathit{\boldsymbol{p}}}$表示样本的分布情况。生成对抗网络的训练过程即生成样本在空间中的分布向真实样本在空间中的分布逼近的过程。DCGAN采用Jensen-Shannon(JS)散度和Kullback-Leibler(KL)散度来衡量两个样本之间的距离。图 4为DCGAN中卷积生成对抗网络生成的车牌样本图像。

由图 4可以看出，出现了大量重复车牌，缺乏多样性，如62B36、16801等。这是由于网络的更新造成的，生成器的损失函数为

$ \begin{array}{*{20}{c}} {{E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}}}( - {\rm{log}}D(\mathit{\boldsymbol{x}})) = KL(\left. {{\mathit{\boldsymbol{p}}_{\rm{g}}}} \right\|{\mathit{\boldsymbol{p}}_{\rm{r}}}) - }\\ {{E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}{\rm{log}}(1 - {D^*}(\mathit{\boldsymbol{x}})) = KL(\left. {{\mathit{\boldsymbol{p}}_{\rm{g}}}} \right\|{\mathit{\boldsymbol{p}}_{\rm{r}}}) - }\\ {2{{J}}S(\left. {{\mathit{\boldsymbol{p}}_{\rm{r}}}} \right\|{\mathit{\boldsymbol{p}}_{\rm{g}}}) + 2{\rm{log}}{\kern 1pt} {\kern 1pt} 2 + {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}}}{\rm{log}}{D^*}(\mathit{\boldsymbol{x}})} \end{array} $

(2)

式中，$D^*_{\mathit{\boldsymbol{x}}}$为判别器最优状态，$KL({\mathit{\boldsymbol{p}}}_{\rm g}||{\mathit{\boldsymbol{p}}}_{\rm r})$表示生成样本的分布${\mathit{\boldsymbol{p}}}_{\rm g}$与真实样本的分布${\mathit{\boldsymbol{p}}}_{\rm r}$之间的KL散度，同样，$JS({\mathit{\boldsymbol{p}}}_{\rm r}||{\mathit{\boldsymbol{p}}}_{\rm g})$表示二者间的JS散度。式(2)最后两项在最小化生成器的损失函数的过程中均与生成器无关，因此生成器的损失函数等价于

$ {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}}}( - {\rm{log}}{\kern 1pt} {\kern 1pt} D(\mathit{\boldsymbol{x}})) = KL(\left. {{\mathit{\boldsymbol{p}}_{\rm{g}}}} \right\|{\mathit{\boldsymbol{p}}_{\rm{r}}}) - 2\mathit{\boldsymbol{J}}S(\left. {{\mathit{\boldsymbol{p}}_{\rm{r}}}} \right\|{\mathit{\boldsymbol{p}}_{\rm{g}}}) $

(3)

当${\mathit{\boldsymbol{p}}}_{\rm g}({\mathit{\boldsymbol{x}}})→0$且${\mathit{\boldsymbol{p}}}_{\rm r}({\mathit{\boldsymbol{x}}})→0$时，对$KL({\mathit{\boldsymbol{p}}}_{\rm g}||{\mathit{\boldsymbol{p}}}_{\rm r})$的贡献趋向于0；当${\mathit{\boldsymbol{p}}}_{\rm g}({\mathit{\boldsymbol{x}}})→1$且${\mathit{\boldsymbol{p}}}_{\rm r}({\mathit{\boldsymbol{x}}})→1$时，对$KL({\mathit{\boldsymbol{p}}}_{\rm g}||{\mathit{\boldsymbol{p}}}_{\rm r})$的贡献趋向于正无穷。这就意味着当生成器生成了接近真实的样本时，损失函数做出的惩罚很小，但是生成了低质量样本时，损失函数做出的惩罚非常大。这种不平衡的惩罚机制会导致生成器在生成图像的过程中，对学习到的特征无法进行充分学习，从而产生的图像出现大规模的重复。换言之，为了减小损失函数的值，不惜生成多幅重复但接近真实样本的图像，最终导致网络训练不稳定，生成样本缺乏多样性。

可见，在生成对抗网络中，衡量真实样本与生成样本之间距离的方式，对整个网络的性能有着很重要的作用，本文将Wasserstein GAN(Arjovsky等，2017)中提出的优化理念运用到卷积生成对抗网络中，提出基于Wasserstein距离的卷积生成对抗网络，使用Wasserstein距离作为新的衡量标准计算网络中两种分布的距离，即

$ W({\mathit{\boldsymbol{p}}_{\rm{r}}},{\mathit{\boldsymbol{p}}_{\rm{g}}}) = \mathop {inf }\limits_{\gamma\backsim\prod {({\mathit{\boldsymbol{p}}_{\rm{r}}},{\mathit{\boldsymbol{p}}_{\rm{g}}})} } {E_{(x,y)\backsim \mathit{\boldsymbol{\gamma }}}}(\left\| {\mathit{\boldsymbol{x}} - \mathit{\boldsymbol{y}}} \right\|) $

(4)

式中，$inf$是指在所有可能的联合分布中能够对这个期望值取到的下界，${\mathit{\boldsymbol{p}}}_{\rm g}$和${\mathit{\boldsymbol{p}}}_{\rm r}$分别为样本${\mathit{\boldsymbol{x}}}$和样本${\mathit{\boldsymbol{y}}}$的分布，使${\mathit{\boldsymbol{p}}}_{\rm g}$的分布逐渐向${\mathit{\boldsymbol{p}}}_{\rm r}$的分布趋近的最优解即为式(2)。$∏ ({\mathit{\boldsymbol{p}}}_{\rm g}, {\mathit{\boldsymbol{p}}}_{\rm r})$为${\mathit{\boldsymbol{p}}}_{\rm g}$与${\mathit{\boldsymbol{p}}}_{\rm r}$的边缘分布，是${\mathit{\boldsymbol{p}}}_{\rm r}$和${\mathit{\boldsymbol{p}}}_{\rm g}$的联合分布$({\mathit{\boldsymbol{p}}}_{\rm r}, {\mathit{\boldsymbol{p}}}_{\rm g})$的集合，对于任意联合分布${\mathit{\boldsymbol{γ}}}$都可以从其中采样得到一组${\mathit{\boldsymbol{x}}}$与${\mathit{\boldsymbol{y}}}$，即为$({\mathit{\boldsymbol{x}}}, {\mathit{\boldsymbol{y}}})$:${\mathit{\boldsymbol{γ}}}$，并计算二者之间的距离||${\mathit{\boldsymbol{x}}}－{\mathit{\boldsymbol{y}}}$||，继而可以得到联合分布${\mathit{\boldsymbol{γ}}}$中样本对距离的期望值$E_{({\mathit{\boldsymbol{x}}}, {\mathit{\boldsymbol{y}}})~γ}(||{\mathit{\boldsymbol{x}}}－{\mathit{\boldsymbol{y}}}||)$，然后在所有可能的联合分布中取最小的期望值，即为Wasserstein距离。相较于JS散度，无论两个分布之间的距离有多远、是否有交集，Wasserstein距离总会有一个值衡量它们之间的距离，而且这个值的变化对KL散度来说相对平滑，所以使用Wasserstein距离衡量生成对抗网络中两个样本的分布情况，可以提升网络的稳定性。

结合Lipschitz连续条件，式(4)可转换为

$ W({\mathit{\boldsymbol{p}}_{\rm{r}}},{\mathit{\boldsymbol{p}}_{\rm{g}}}) = \frac{1}{K} {\mathop {sup }\limits_{{{\left\| f \right\|}_{\rm{L}}} \le K} } {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}}}(f(\mathit{\boldsymbol{x}})) - {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}(f(\mathit{\boldsymbol{x}})) $

(5)

式中，$sup$指所有可能满足条件的取到的上界。

设定一组参数权重${\mathit{\boldsymbol{w}}}$，定义$f_{w}$，式(5)转换为

$ \begin{array}{*{20}{c}} {K \cdot W({\mathit{\boldsymbol{p}}_{\rm{r}}},{\mathit{\boldsymbol{p}}_{\rm{g}}}) \approx }\\ {\mathop {{\rm{max}}}\limits_{\mathit{\boldsymbol{w}}:|{f_w}{|_L} \le K} {E_{\mathit{\boldsymbol{x}}\backsim {{\mathit{\boldsymbol{p}}_{\rm{r}}}}}}({f_w}(\mathit{\boldsymbol{x}})) - {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}({f_w}(\mathit{\boldsymbol{x}}))} \end{array} $

(6)

可以用带参数的人工神经网络实现式(6)中$f_{w}({\mathit{\boldsymbol{x}}})$的操作，本文在卷积生成对抗网络中判别器的最后一层添加了一个全连接层来实现，并将${\mathit{\boldsymbol{w}}}$的值约束在[-0.01, 0.01]之间，整个网络的损失计算函数可表示为

$ L = {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}}}({f_w}(\mathit{\boldsymbol{x}})) - {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}({f_w}(\mathit{\boldsymbol{x}})) $

(7)

式中，生成器将生成样本的分布逐渐向真实样本的分布逼近，缩小二者之间的Wasserstein距离，即为最小化$L$的值。因此可得判别器与生成器新的损失函数，具体为

$ {{L_G} = - {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}({f_w}(\mathit{\boldsymbol{x}}))} $

(8)

$ {{L_{\rm{D}}} = {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{g}}}}}({f_w}(\mathit{\boldsymbol{x}})) - {E_{\mathit{\boldsymbol{x}}\backsim {\mathit{\boldsymbol{p}}_{\rm{r}}}}}({f_w}(\mathit{\boldsymbol{x}}))} $

(9)

利用改进的生成对抗网络生成的图像重复样本少，稳定性更高。具体结果见实验部分。

基于字符分割的车牌识别算法受制于分割算法的分割表现，对模糊的车牌并不能很好地识别。免分割的识别算法能保留车牌图像内部的整体信息，同时不受分割结果的影响，对模糊车牌识别有一定优势。但是，传统使用深度学习的免分割车牌识别算法，由于网络计算的参数偏多，在识别速度方面还有待进一步提升，同时，此类方法最终的识别模型偏大，不适用于部署到嵌入式设备或移动设备中，限制了算法的实用价值。

为了提升模糊车牌的识别效率并降低算法的部署成本，本文提出了一种轻量级的模糊车牌免分割识别算法，算法流程如图 5所示。首先将车牌图像输入卷积神经网络中提取特征图，在卷积神经网络中使用深度可分离卷积替代标准卷积以减少网络的运算量，继而减少最终的模型大小。在得到车牌图像的特征图后，将其转换为特征序列，使用双向循环神经网络对卷积神经网络提取的特征序列进行学习和预测。

本文识别过程由特征序列的提取、学习和预测3部分组成，分别对应网络中的卷积层、循环层和解码层，网络的总体配置如表 1所示，其中$K$、$S$和$P$分别为卷积核大小(kernel size)、步长(stride)和填充大小(padding size)。

1) 特征提取。卷积神经网络能够通过多层卷积网络提取图像的深层特征，但是深层的网络结构最终导致算法模型比较庞大，而车牌识别算法常需要部署在嵌入式设备或移动设备中，过大的模型无疑会增加算法的部署成本和难度。本文使用深度可分离卷积替换CRNN网络中的8层卷积层，压缩模型的大小并提升识别速度，以实现一个轻量级的车牌识别算法。深度可分离卷积将标准卷积操作分为深度卷积(depthwise conv)和逐点卷积(pointwise conv)，以减少卷积过程中的参数数量和计算量。

图 6展示的是标准卷积与深度可分离卷积示意图。图 6(a)为一个标准的3D卷积核，在标准卷积的过程中，如果输入的特征${\mathit{\boldsymbol{F}}}$大小为$(D_{F}×D_{F}×M)$，使用大小为$(D_{K}, D_{K}, M, N)$的卷积核$K$进行卷积，那么输出的特征${\mathit{\boldsymbol{G}}}$大小为$(D_{G}×D_{G}×N)$，其中$D_{F}$为特征$F$的宽高尺寸，$D_{K}$为卷积核$K$的宽高，$M$为输入的通道数，$N$为输出的通道数。传统卷积实现特征${\mathit{\boldsymbol{F}}}$到${\mathit{\boldsymbol{G}}}$的映射，计算量为$D_{K}×D_{K}×M×N×D_{F}×D_{F}$。深度可分离卷积将标准卷积分为深度卷积和逐点卷积两步完成，深度卷积起滤波作用(图 6(b))，卷积核大小为$(D_{K}, D_{K}, 1, N)$，特征${\mathit{\boldsymbol{F}}}$的输出为$(D_{G}×D_{G}×M)$；然后对其逐点卷积(图 6(c))进行通道的转换，卷积核大小为$(1, 1, M, N)$，最终得到使用深度可分离卷积计算出的特征${\mathit{\boldsymbol{G}}}$ $(D_{G}×D_{G}×N)$。使用深度可分离卷积实现特征${\mathit{\boldsymbol{G}}}$到${\mathit{\boldsymbol{F}}}$的映射，计算量为$D_{K}×D_{K}×M×D_{F}×D_{F}+M×N×D_{F}×D_{F}$。二者的计算量为

$ \begin{array}{l} \frac{{{D_K} \times {D_K} \times M \times {D_F} \times {D_F} + M \times N \times {D_F} \times {D_F}}}{{{D_K} \times {D_K} \times M \times N \times {D_F} \times {D_F}}} = \\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \frac{1}{N} + \frac{1}{{D_K^2}} \end{array} $

(10)

从式(10)可以看出，使用深度可分离卷积可以减少卷积层的运算量，从而达到压缩识别模型大小、提高运算速度的目的。为了在识别模型大小和识别精度之间保持平衡，在深度可分离卷积网络中加入一个超参数$α$，用于控制输入与输出的通道数。在式(10)中加入$α$，可得

$ \begin{array}{l} \frac{{{D_K} \times {D_K} \times \alpha M \times {D_F} \times {D_F} + \alpha M \times \alpha N \times {D_F} \times {D_F}}}{{{D_K} \times {D_K} \times M \times N \times {D_F} \times {D_F}}} = \\ {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} \frac{\alpha }{N} + \frac{\alpha }{{D_K^2}} \end{array} $

(11)

特征序列化提取出车牌的特征图后，按照图 7的方式将特征图的每一列像素值从左到右提取特征向量，这样特征向量的每一列都对应特征图上的一个矩形区域。

2) 特征的学习与预测。本文算法将一个向前的LSTM网络与一个向后的LSTM网络组合在一起，形成一个双向的LSTM网络，充分利用输入向量的上下文信息，在双向LSTM网络中，使用反向传播对网络进行更新。在双向LSTM网络后面添加了一个具有66个神经单元的全连接层，对应66类标签，分别是31个汉字、24个英文字符(不包含字母I和O)、10个数字以及空白标签。最后将特征序列转换为概率分布序列${\mathit{\boldsymbol{X}}}=({\mathit{\boldsymbol{x}}}^{1}, {\mathit{\boldsymbol{x}}}^{2}, {\mathit{\boldsymbol{x}}}^{3}, …, {\mathit{\boldsymbol{x}}}^{T})$，其中$T$为输入特征向量的长度，${\mathit{\boldsymbol{x}}}^{t}$为$t$时刻的概率分布，即$t$时刻在集合${\mathit{\boldsymbol{L}}}$($T$)中${\mathit{\boldsymbol{x}}}^{t}_{k}$被预测为标签$k$的概率，其中${\mathit{\boldsymbol{L}}}$包含上文介绍的66类标签。得到循环神经网络输出的概率分布序列后，使用CTC(connectionist temporal classification)算法中的最佳路径解码算法(Graves等，2006)，将其转换为相对应最高概率的字符串。对于给定的输入${\mathit{\boldsymbol{x}}}$，其最佳路径$π$的概率定义为

$ p(\pi |\mathit{\boldsymbol{x}}) = \sum\limits_{t = 1}^T {\mathit{\boldsymbol{y}}_{{\pi _t}}^t} $

(12)

式中，${\mathit{\boldsymbol{y}}}^{t}_{π_{t}}$表示在第$t$帧为$π_{t}$的概率。最佳路径解码，即概率最大的路径与最可能的标签是互相对应的，求得输入样本的最佳路径，就能得到其对应最高概率的标签。最佳路径$π^*$可表示为

$ {\pi ^*} = {\rm{arg}}\mathop {{\rm{max}}}\limits_\pi p(\pi |\mathit{\boldsymbol{x}}) $

(13)

在求得最佳路径$π^*$后，即可得到识别结果。

实验的硬件环境是英特尔(R) Xeon(R) CPU L5640主频2.27 GHz，16 GB物理内存，GPU选用NVIDIA GTX1080，操作系统为ubuntu14.01，在python2.7环境下进行编译。

实验中根据车牌识别准确度(recognition accuracy，RA)和字符识别准确度(character recognition accuracy，CRA)评估识别模型的性能，分别对车牌级别和字符级别进行评估。车牌识别准确度和字符识别准确度分别为

$ {{f_{{\rm{RA}}}} = \frac{X}{Y}} $

(14)

$ {{f_{{\rm{CRA}}}} = \frac{A}{B}} $

(15)

式中，$X$为被正确识别的车牌数，$Y$为车牌的总数；$A$为正确识别的字符数，$B$为所有字符数。

使用5 000幅真实车牌图像作为样本训练数据，网络学习率设置为0.004，判别器与生成器的更新策略采用每更新两次生成器后，再更新一次判别器。epoch设置为500，Batch_size为64，在训练样本中高质量的样本与低质量的样本比例为4 :1，将图像尺寸归一化为$160×48$像素后输入到网络中训练。

为了验证生成对抗网络优化的有效性，使用同样的训练数据，分别训练卷积生成对抗网络以及本文优化后的网络，在网络训练500个epoch后，对比两者之间的生成效果，如图 8所示。图 8(a)为采用JS散度的卷积生成对抗网络在训练500个epoch后生成的图像；图 8(b)为本文基于Wasserstein距离优化损失函数的卷积生成对抗网络在训练500个epoch后生成的图像。可以看出，生成的车牌图像中，图 8(a)出现了大面积重复，如62B36(图中红框)、16801(图中蓝框)；而图 8(b)中重复图像较少，多样性更好。

图 9为本文生成的车牌图像与真实车牌图像的效果比较。可以看出，生成的车牌图像从外形上遵守了真实图像的设计规格，图像效果也与真实图像相差无几。同时，从车牌图像生成结果可以看出，在训练数据中添加部分低质量的模糊车牌，可以使生成器大批量生成模糊样本，能够低成本得到大量车牌样本，对车牌识别的研究非常有意义。

选用两种传统的车牌识别算法EasyPR与标准CRNN网络验证生成样本用于识别算法训练的有效性，共进行4次实验，每次都用5 000幅样本图像作为训练集，测试选用200幅真实的车牌图像，其中清晰与模糊图像的比例为1 :1，将图像尺寸归一化为$160×48$像素，不修改网络参数，依次增加训练样本中生成的模糊车牌图像占比，分别训练EasyPR和CRNN网络，对比识别率RA，实验结果如表 2所示。

由表 2可以看出，由于EasyPR这一识别框架采用的是基于分割的车牌识别方案，所以其整体的识别率远低于免分割的识别方法，但通过增加生成的模糊车牌样本，识别率从52.7%提升到了74.2%。CRNN网络属于免分割的识别算法，在训练样本缺少模糊车牌时，其识别率优于EasyPR，通过增加生成的模糊车牌样本，识别率从90.3%提升到了96.8%。通过两组实验可以看出，如果将生成器生成的图像用于识别网络的训练，对识别网络的整体识别率有很大帮助，可解决训练样本收集难的问题。

实验使用的数据集为10 000幅江西省小型机动车牌照(蓝牌)图像，包括人工收集和本文生成器生成的车辆牌照图像各5 000幅。其中人工收集的车辆牌照图像中清晰的4 700幅，模糊的300幅；本文生成器生成的车辆牌照图像中清晰的1 000幅，模糊的4 000幅。测试集为清晰和模糊的真实车辆牌照图像各100幅。

将10 000幅训练样本尺寸归一化为$160×48$像素后，分别训练EasyPR、原CRNN网络以及本文改进的CRNN网络，进行对比实验。修改本文CRNN和原CRNN的最后一层全连接层，将神经单元个数均设置为66，对应66个标签，用于国内车牌识别。将式(11)中的$α$参数设置不同值，比较模型大小、识别速度、识别效果(即车牌识别准确度(RA)和字符识别准确度(CRA))，对比结果如表 3所示。

从表 3可以看出，在测试数据中包含大量模糊车牌的情况下，基于分割的车牌识别方法受分割效果的影响，且分割后的样本丢失了图像的整体信息，识别准确率明显低于基于深度学习技术的免分割识别模型。本文使用深度可分离卷积改进的神经网络无需对车牌进行分割，在减少网络计算量的情况下，可以充分利用样本整体的上下文信息，取得了较好的效果。表 3中的$α$为深度可分离卷积中的用于控制输入与输出通道数的超参数，通过控制$α$的大小可以调整识别模型的大小和识别速度。当$α$ = 1.25时，本文算法的模型大小为45 MB、识别速度为12.5帧/s，标准CRNN算法的模型大小为82 MB、识别速度为7帧/s。可见，本文算法在模型大小和识别速度上都优于标准的CRNN模型，识别模型尺寸在原有的基础上压缩了近一倍，速度则提高了近一倍。在识别精度方面，标准CRNN在同样使用本文生成的模糊图像增加训练集的条件下，可达到97.6%，本文算法的RA为97.1%，与标准CRNN差异较小。结合表 2可以看出，若标准CRNN不使用或少使用本文生成的模糊图像增加训练集，识别率远低于本文算法。

本文提出了一种结合生成图像的轻量级模糊车牌识别方法。使用Wasserstein距离损失优化卷积生成对抗网络，优化了深度卷积生成对抗网络在训练过程中梯度消失和生成的样本缺乏多样性的问题，提升了网络训练的稳定性和图像生成的效率。生成的图像用于填充识别算法的训练集，验证了生成的样本可以辅助算法的训练，无论对本文算法，还是其他算法的识别效果均有提升，可解决模糊车牌难以大量人工收集的问题，为众多缺乏数据的深度学习研究问题提供了一种新的解决思路。此网络结构较为简单，在车辆牌照图像的生成任务上表现尚可，但是对于一些细节纹理较为丰富的图像，其生成的样本质量还有待提升。基于深度可分离卷积改进CRNN的轻量级车牌识别方案，在保证识别精度的基础上，使用深度可分离卷积网络结合双向循环神经网络，实现端到端的识别。通过可分离卷积对网络中运算量的压缩，将输入图像的特征图提取后，采用从左至右逐像素将每一列像素值转换为特征向量输入到一个双向LSTM网络中学习，结合循环神经网络对序列化输入对象的强大学习能力，无需对车辆牌照字符进行分割，实现对车辆牌照包括模糊车牌在内的高效率识别。相较CRNN识别模型尺寸在原有的基础上压缩了近一倍，识别速度提高了近一倍。