受生物的大脑皮层启发并发展而来的深度学习在自然语言处理、语音识别、图像处理和计算机视觉等研究领域中取得了显著的效果，从而使得深度学习在众多研究领域中脱颖而出。从最初浅层神经网络到如今的深度神经网络(deep neural network，DNN)，从早期的手写字体识别到当前的图像分类、物体定位和检测、自然语言处理、医学影像检测和无人驾驶汽车等领域，深度神经网络已经取得了传统机器学习方法无法达到的高精确度和高识别率。

深度神经网络取得了巨大的成功，深度网络模型的性能和识别率也不断提高，但是也造成了网络规模不断扩大、网络参数和模型复杂度不断增加等问题。例如，Krizhevsky等人(2012)提出了经典的AlexNet网络模型，该模型在2012年的大规模视觉识别挑战赛(ImageNet Large Scale Visual Recognition Challenge，ILSVRC)中的图像分类竞赛取得冠军，但其参数量和乘加运算量分别是6 100万和72 000万。而随后Simonyan和Zisserman(2015)提出的VGGNet(visual geometry group)和Szegedy等人(2015)提出的GoogLeNet等复杂网络模型的准确率不断提高的同时，模型规模和深度也愈加庞大，如表 1所示。对深度神经网络模型而言，庞大的参数和复杂的网络结构具有更强大的特征学习和表达能力，同时也意味着更多的存储空间和计算量。因此使得深度神经网络的相关成果不能大规模应用在计算能力有限的嵌入式和移动设备上。

虽然深度神经网络需要依靠其庞大的网络参数来保证模型的高准确率，Cheng等人(2017)研究表明现有的网络模型往往过度参数化，存在显著的参数冗余，Denil等人(2013)采用合理的策略，在不明显影响模型的准确率的前提下对模型进行适当的压缩，从而有效地平衡模型计算量和准确度，为深度神经网络部署在嵌入式等设备上提供可能。

在现有的众多模型压缩方法中，网络剪枝策略不仅可以将原始密集型深度神经网络转化成稀疏型网络，从而得到显著的压缩效果，而且可以很好地保证模型预测准确率。例如，Han等人(2015)提出了通过删除“不重要”的参数并重新训练和微调剩余的参数来进行“无损”DNN压缩的方法。然而，由于互联神经元之间的相互影响和相互激活，参数重要性可能会在剪枝过程中发生巨大变化。因此，该方法存在两个问题。一方面，它不可避免地会造成无法挽回的网络损伤。由于修剪后的连接无法修复，不正确的修剪可能会导致严重的精度损失。另一方面，它的学习效率非常低，因为要得到预期的网络模型需要不断交替地进行网络剪枝和重训练，这是非常耗时的。随后Guo等人(2016)提出了一种剪枝与拼接操作结合的动态网络剪枝策略。它通过剪枝操作减去当前“不重要”的连接，同时利用拼接操作恢复不正确的修剪，从而可以进行实时剪枝，使用很少的迭代次数就可以达到预期的压缩效果。有效地解决了上述剪枝策略带来的不可恢复的网络损害和学习效率低下的问题。但是，该方法依然存在两个问题：1)此方法同样通过设置阈值的方式来衡量该权重的重要性，并以逐渐递减的概率对满足要求的权重进行实时剪枝。由于模型压缩本身存在经验性和不确定性，仅仅利用预先训练好的模型的权重大小并不能有效地衡量网络连接的重要程度。2)利用固定的阈值进行实时剪枝的方法，很容易造成反向传播之后梯度爆炸的问题。由于该方法在实现过程中无法实时控制剪枝数量，它在迭代过程中仅仅通过权重的不断更新进行剪枝或是拼接，这将无法保证网络剪枝的稳定性。本文试图改善现有的剪枝策略，引入基于概率分布的网络连接的重要程度衡量方法以及增量剪枝方法。具体地，采用动态网络手术的实时剪枝方法，并基于网络连接中小权重的概率分布和贡献率等先验知识进行增量贪婪剪枝，其剪枝步骤如图 1所示。首先，在模型预训练阶段统计所有可学习层的每个连接上小权重出现的概率(图 1(a))。接着，通过每层权重的均值和方差来定义权重的剪枝边界，结合剪枝边界和权重的概率分布来衡量该连接对损失函数的贡献率。然后，通过动态网络手术的实时修剪和拼接操作进行增量贪婪剪枝(图 1(b))，既能剪掉网络中贡献率较小的连接(图 1(b)虚线)，还能对不正确的剪枝操作进行实时修复(图 1(b)绿色实线)。先对小规模的网络连接进行实时剪枝，待其稳定之后再逐步扩大剪枝规模，这在一定程度上保证了模型的收敛效果和剪枝效率，最终得到预期的稀疏型网络模型(图 1(c))。因此，基于概率分布和贡献率的权重重要性度量方法和动态剪枝策略的结合来实现实时贪婪剪枝是一种行之有效的剪枝策略。

为了减少模型参数冗余，提高计算和存储资源的利用率，如今已有各种研究提议进行模型压缩和加速。Mathieu等人(2013)探索图形处理器(graphics processing unit，GPU)上的快速傅里叶变换(fast Fourier transform，FFT)，并通过在频域中执行卷积计算来提高卷积神经网络(convolutional neural networks，CNN)的速度。另一种模型压缩方法是采用矩阵(或张量)分解。Denil等人(2013)通过用适当构造的低秩分解来近似参数矩阵。此方法在卷积层上达到了1.6倍的加速效果，并将精度保持在原始模型的1%以内。虽然矩阵(或张量)分解可能有利于深度网络的压缩和加速，但这些方法通常会在模型的高度压缩需求下导致严重的精度损失。针对卷积核进行剪枝的方法也是模型压缩的一种常见方式，Yu等人(2018)提出了基于特征图重构的方法，关注的是在网络最后一层之前所有层的输出特征图对结果重要性的贡献，这种方式的主要问题是在进行剪枝通道选择时，需要反复的实验来进行参数调整，所需要的时间较多。He等人(2019)提出一种基于几何中位数的卷积核修剪方法，该指标旨在找出各层中卷积核之间的共同信息，然后将冗余可替代的卷积核修剪掉。Lin等人(2019)提出了基于生成对抗思路的剪枝方式，将剪枝之后模型设置为生成器，预训练模型输出设置为baseline，同时使得生成器输出分别与预训练模型和真值对齐。Ding等人(2019)提出了一种新颖的优化器方法，目的在于在训练时使得一部分卷积核参数接近，使其折叠成参数超空间中的单个点，然后在剪枝时移除接近的卷积核。Lin等人(2020)提出脱离卷积核本身的性质来分析其重要性，根据特征图矩阵的秩的大小作为该特征图包含信息量大小的衡量标准，然后确定不重要的特征图通道，之后再减去产生该通道的对应的卷积核。Meng等人(2020)提出与传统的剪枝方式不同的方法，不是去除无效的卷积核，而是通过卷积核嫁接的方式将无效的卷积核重新进行激活。通道剪枝在模型压缩率上表现较好，但是精度损失通常比较严重。此外，矢量量化也是一种可行的模型压缩方式。Zhou等人(2017)使用渐进式网络量化的方法来迭代训练网络直至所有权重均被量化为低精度权重，本文借鉴了此方法的增量压缩思想。Courbariaux等人(2016)提出的二值量化神经网络以及Rastegari等人(2016)提出的XNOR-Net能够得到显著的压缩效果，但不可避免地会带来明显的精度损失。

本文采用网络修剪的压缩策略，其最受人关注的是Han等人(2015)结合剪枝和重训练操作进行网络修剪的方法，在图像数据集ImageNet上得到了9倍的压缩结果并且没有精度损失，同时还验证了稀疏矩阵向量乘法可以通过某些硬件设计进一步加速。但是Han等人(2015)的方法具有无法挽回的网络损害和学习效率低下的缺点。

由于优化深度神经网络的过程存在经验性和不确定性，现有剪枝方法仅仅根据权值大小来判断是否对网络连接进行剪枝操作。例如Han等人(2015)通过设置阈值的方式减掉权值较小的连接，而Guo等人(2016)采取了融合剪枝和拼接的实时动态剪枝方法来修复剪枝策略带来的精度损失，并且提高了网络模型的学习效率。该方法在ImageNet数据集上得到了17.7倍的压缩结果并且没有精度损失。该方法也是依据模型预先训练好的权重大小衡量参数重要性进行剪枝。然而，贪婪剪枝方法预期得到的是基于原始网络模型压缩而来的稀疏型网络模型，最终的目标为最优的网络连接，而非参数。预先训练好的权重大小不应成为衡量连接重要性的唯一标准。因此本文试图找到更好的网络连接的重要性评估方法。

本文在探索连接重要性的衡量标准中受到了不确定图研究的启发。由张伟(2017)的研究可知，一个不确定图可用四元组$\mathit{\boldsymbol{G}}(\mathit{\boldsymbol{V}}, \mathit{\boldsymbol{E}}, \mathit{\boldsymbol{P}}, \mathit{\boldsymbol{W}})$表示，其中$\mathit{\boldsymbol{V}}$和$\mathit{\boldsymbol{E}}$分别表示$\mathit{\boldsymbol{G}}$含有的节点集和边集，$\mathit{\boldsymbol{P}}$表示边上的概率集合，即$\mathit{\boldsymbol{P}}(e)$表示边$e \in \mathit{\boldsymbol{E}}$的存在概率，$\mathit{\boldsymbol{W}}$表示边上的权值集合，即$\mathit{\boldsymbol{W}}(e)$表示边$e \in \mathit{\boldsymbol{E}}$的权值。在利用不确定图求解最短路径的问题中，最短路径的求解不仅要考虑权值$w$(节点间的连接的权值或距离长度)，节点连接的概率$p$也是影响求解两个不同节点间的最短路径的一大因素，例如高原(2013)在利用不确定图理论求解任意两个节点间的最短路径问题中针对存在多种路径长度相等的情况，利用概率集合$\mathit{\boldsymbol{P}}$来判断哪条最短路径才是最优的。另外，不确定图在解决道路交通网等实际问题中，权值$W$表示实际的距离长度，而概率$p$表示道路堵车的概率。由此看来，概率$p$在求解出发点到目的地的最短路径时变得尤为重要。

因此，本文尝试在求解密集型卷积神经网络的最优剪枝问题中考虑预训练阶段所有可学习层的网络连接上小权重出现的概率$p$，并结合原始网络模型在预训练阶段的权重的概率分布和当前的权重大小对网络连接进行贡献率评估，然后采用依据贡献率的增量贪婪剪枝策略，得到更稳定高效的稀疏型深度神经网络。

$\left\{ {{\mathit{\boldsymbol{W}}_k}:0 \le k \le C} \right\}$表示原始深度神经网络模型参数，其中${{\mathit{\boldsymbol{W}}_k}}$表示第$k$层的权重矩阵, $C$是网络的总层数。另外，$\left\{ {{\mathit{\boldsymbol{P}}_k}:0 \le k \le C} \right\}$表示第$k$层各网络连接上小权重出现的概率矩阵。为了便于表示模型压缩的剪枝和恢复操作, 使用$\left\{ {{\mathit{\boldsymbol{W}}_k}, {\mathit{\boldsymbol{M}}_k}:0 \le k \le C} \right\}$表示剪枝过程中的稀疏矩阵，其中${{\mathit{\boldsymbol{M}}_k}}$是一个表示第$k$层的网络连接状态的二值矩阵，取值0和1分别表示连接被剪枝、连接被保留或是被恢复。

为了保留原始模型中的重要连接，并减掉不重要的连接，首要工作是要判断哪些是重要连接，哪些是不重要连接。因此首先在模型训练阶段统计权重的概率分布，具体地，统计所有可学习层的固定连接上数值较小的权重出现的概率。如果概率值较大，意味着该连接上小权重出现的频率较高，它更有可能被剪枝。然后将网络连接上小权重出现的概率分布映射为网络连接剪枝发生的概率分布。

以第$k$层为例，期望得到以下权重的概率

$ p_k^{(i, j)} = \frac{{\sum\limits_1^N I \left({\left| {W_k^{(i, j)}} \right| < \eta \times {Z_k}} \right)}}{N}, \eta \in (0, 1) $

(1)

式中，$p_k^{(i, j)}$表示第$k$层中权重${W_k^{(i, j)}}$所在的网络连接上小权重出现的概率，$N$表示统计次数，$\eta $代表概率统计时的系数，而${{Z_k}}$表示关于第$k$层权重的均值和方差的函数，具体表示为

$ {Z_k} = \max (mu + a \times std, 0) $

(2)

式中，$mu$和$std$分别表示第$k$层权重的均值和方差，$a$是均值和方差相加时的比例系数。

因为本文的优化目标是对训练好的模型进行剪枝，因此通过网络剪枝实现的稀疏型神经网络是由训练好的原始模型得到的。基于上述训练过程中统计的概率分布，执行贪婪剪枝策略。其中贪婪剪枝策略主要分为3个方面(连接贡献率度量、增量剪枝、连接修复)。首先，本文采用基于贡献率的权重重要性度量方法代替现有的基于权重大小的重要性度量方法。具体地，先通过训练阶段统计的权重的概率分布和当前权重的大小来判断该连接的重要程度，再利用网络连接的重要程度配合剪掉该连接对损失函数的影响程度来表示此网络连接的贡献率，以此来定义网络连接的剪枝依据。然后，通过增量剪枝来控制剪枝的规模和速度，首先针对小比例的连接进行迭代剪枝和恢复，待当前稀疏连接的状态不再变化之后，逐步扩大剪枝规模直到达到预期的模型压缩效果。因此，增量剪枝和恢复策略不仅可以避免过度剪枝带来的权重梯度爆炸问题，还能提高剪枝效率和模型稳定性。

以第$k$层为例，原始的优化函数变更为优化以下损失函数

$ \mathop {\min }\limits_{{\mathit{\boldsymbol{W}}_k}, {\mathit{\boldsymbol{T}}_k}} L\left({{\mathit{\boldsymbol{W}}_k} \odot {\mathit{\boldsymbol{M}}_k}} \right) $

(3)

$ {\rm{ s}}{\rm{.t}}{\rm{. }}M_k^{(i, j)} = {h_k}\left({w_k^{(i, j)}, p_k^{(i, j)}} \right), \forall (i, j) \in \mathit{\boldsymbol{I}} $

(4)

式中，$L\left(\cdot \right)$为模型损失函数，$ \odot $表示哈达玛(Hadamard)积乘积运算，$\mathit{\boldsymbol{I}}$是由该层所有的权重集合，${h_k}\left(\cdot \right)$是一个用于表示连接重要性的判别函数。

权重更新方案为

$ W_k^{(i, j)} \leftarrow T_k^{(i, j)} - \alpha \frac{{\partial L\left({{\mathit{\boldsymbol{W}}_k} \odot {\mathit{\boldsymbol{M}}_k}} \right)}}{{\partial \left({T_k^{(i, j)}} \right)}}, \forall (i, j) \in \mathit{\boldsymbol{I}} $

(5)

$ T_k^{(i, j)} = W_k^{(i, j)} \times M_k^{(i, j)} $

(6)

上述基于概率分布的贪婪剪枝策略可用算法语言形式描述如下：

输入：训练集$\mathit{\boldsymbol{X}}$，基础学习率$\alpha $，总训练次数${i_m}$，初始训练阶段${i_i}$，权重概率统计阶段${i_c}$，贪婪剪枝阶段${i_p}$，继续训练阶段${i_r}$。

输出：$\left\{ {{\mathit{\boldsymbol{W}}_k}, {\mathit{\boldsymbol{M}}_k}:0 \le k \le C} \right\}$：更新的参数矩阵${{\mathit{\boldsymbol{W}}_k}}$和二值掩码矩阵${{\mathit{\boldsymbol{M}}_k}}$。

初始化：随机初始化${{\mathit{\boldsymbol{M}}_k}}$为服从均值为0、方差为1的高斯分布，${{\mathit{\boldsymbol{W}}_k}}$初始化为值全为1的矩阵，${i_i}$初始化为0，设置权重统计次数${n_c}$和剪枝次数${n_p}$。

/*当前迭代次数小于最大迭代次数时，执行此循环*/

While (${i_i}$ < ${i_m}$) do

begin

  1) 从训练集$\mathit{\boldsymbol{X}}$中选择最小批处理的数据作为网络输入

  2) 前向传播$\left({{\mathit{\boldsymbol{W}}_0} \odot {\mathit{\boldsymbol{M}}_0}} \right), \cdots, \left({{\mathit{\boldsymbol{W}}_C} \odot {\mathit{\boldsymbol{M}}_C}} \right)$并计算当前损失$L$：

  if (${i_i}$==${i_c}$)

    /*统计较小权重值出现的概率*/

    count_probability(weights);

else if (${i_i}$==${i_p}$)

    /*依据贡献率度量函数${h_k}\left(\cdot \right)$和当前的${{\mathit{\boldsymbol{M}}_k}}$更新${{\mathit{\boldsymbol{W}}_k}}$ */

    update_mask(weights, &mask);

  /*合并weights和mask*/

  for (int $i$ = 0; $i$ < num_weights; $i$++)

    merge[$i$] = weights[$i$] * mask[$i$];

  /*将merge前向传递*/

  Forward(merge);

  3) 依据模型输出和损失函数梯度$\nabla L$进行反向传播

Backward(merge);

  4) 权重更新：依据式(2)和当前的损失函数梯度$\nabla L$更新${{\mathit{\boldsymbol{M}}_k}}$

  ${i_i}$：= ${i_i}$+ 1 /* $i$递增*/

end; /* end of while */

由于模型压缩过程中的剪枝和修复策略是基于网络连接的重要程度进行的，所以判别函数${h_k}\left(\cdot \right)$尤为重要。具体衡量网络连接重要程度的计算式为

$ {h_k}\left({w_k^{(i, j)}, p_k^{(i, j)}} \right) = \left\{ {\begin{array}{*{20}{l}} 0&{I_k^{(i, j)} < {a_k}}\\ {\mathit{\boldsymbol{M}}_k^{(i, j)}}&{{\rm{其他}}}\\ 1&{I_k^{(i, j)} \ge {b_k}} \end{array}} \right. $

(7)

$ I_k^{(i, j)} = \left({1 - p_k^{(i, j)}} \right) \times \left| {w_k^{(i, j)}} \right| $

(8)

式中，${p_k^{(i, j)}}$是在训练过程中统计小权重出现的先验概率${w_k^{(i, j)}}$为当前状态的权重。而阈值${{a_k}}$和${{b_k}}$是基于先验知识给出的。首先，如果在该连接上小权重出现的概率较大并且当前权重较小，则表示该连接暂时不重要，可对其执行剪枝操作。如果剪枝该连接对损失函数的影响较大即更新的梯度值$\nabla L$较大，这意味着该连接对损失函数的贡献率较大，则对其执行恢复操作。如果均不满足以上条件，则该连接保持原状即不剪枝也不修复。如此迭代执行剪枝和修复策略直至得到预期的稀疏型深度神经网络。

本节将对贪婪剪枝策略实验评估的方法和结果进行说明，并将其应用于主流的网络模型。实验基于深度学习框架DarkNet实现。其中所有的模型文件全部由此框架提供，可以直接进行训练。此外，所有的可学习参数均为默认设置，包括训练批量、基础学习率、激活函数以及损失函数选择，只需要修改其最大迭代次数以及预先训练次数、剪枝次数、再训练次数以及卷积层函数和参数，以便于压缩模型得到稀疏型网络。

首先，实验针对包含10种常见物体的数据集CIFAR-10进行剪枝测试。CIFAR-10数据集由10类尺寸为32×32像素的彩色图像组成，共包含60 000幅图像，每一类包含6 000幅图像，其中50 000幅图像作为训练集，10 000幅图像作为验证集。本文使用小型网络CifarSmall作为原始参考模型，该网络包含7层卷积层和2层池化层，卷积层的参数总量为58 K。实验中将128幅图像作为最小批量输入。总迭代训练次数为50 000次，其中预训练次数为20 000次(后15 000次进行概率统计)，迭代剪枝次数为10 000次，再训练次数为10 000次。表 2列出了剪枝率为70%的剪枝后结果。

最终得到的压缩效果和模型准确率如图 2所示，由实验数据看，贪婪剪枝策略相比Guo等人(2016)动态网络手术(dynamic network surgery, DNS)方法的压缩率和准确率均有提升。

本文进一步研究了针对ImageNet ILSVRC-2012数据集的剪枝性能，其中训练集和验证集的样本数目分别为1.2 M和50 K。使用基于DarkNet框架的AlexNet、VGG16，以及残差网络(ResNet)，本文采用ResNet34和ResNet50两种残差网络模型作为参考对比模型。

首先分别验证本文贪婪剪枝策略在AlexNet和VGG-16两个经典模型上的压缩效果。如表 3所示，其中压缩率代表的是原有模型参数量与压缩后模型参数量的比值，本文方法将AlexNet模型参数数量压缩了5.9倍。同时在TOP-1准确率上只下降了4个百分点。针对VGG-16，本文方法将其参数数量压缩了11.4倍，同时TOP1准确率只有两个百分点的下降。另外本实验的剪枝和重训练需要的迭代次数相对于动态网络手术方法也更少，本文采用在ImageNet数据集上预训练好的AlexNet模型进行剪枝实验，剪枝以及重训练需要600 K次迭代，而动态网络手术方法需要700 K次。本文方法在收敛速度上具有优势。

针对经典的AlexNet结构，表 4列出了本文方法相对于Han等人(2015)的剪枝方法和Guo等人(2016)提出的动态剪枝方法在AlexNet上每一个网络层在剪枝之后参数保留的比例。可以看出本文方法针对卷积层和全连接层的参数剪枝效果更加均衡。

针对具有Residual连接的ResNet网络，本文方法剪枝结果如表 5所示，本文采用了常用的两种特征提取网络ResNet34和ResNet50，由于网络本身包含的冗余参数较少，所以剪枝难度更大，但是仍然在ResNet50模型上实现了2.1倍的模型压缩率，同时TOP-5准确率只下降了一个百分点左右。同样，在更紧凑的网络ResNet34上的压缩效果也较好。显示了本文方法跨模型的稳定性。

本文与同类方法分别基于CifarSmall、AlexNet和ResNet50模型进行了横向对比。表 6列出了不同方法针对AlexNet网络在剪枝之后的模型压缩率和精度保持情况，可以看出本文方法在精度损失较低的情况下，实现的模型压缩率相对于Yang等人(2014)方法和Han等人(2015)的Native Cut方法都要更大，虽然与目前表现最好的动态网络手术方法有些差距，但是由表 7可以看出在CifarSmall网络上本文方法在相同压缩率的情况之下表现更好，且如前文所述，本文方法具有更快的收敛特性。

表 8中列出了本文方法针对ResNet50的剪枝结果与目前针对ResNet50进行剪枝的最优方法(state of the art，SOTA)HRank的对比情况，由实验结果可以看出，本文方法在精度损失增加不到两个百分点的情况下，实现了更大的压缩率。

本文提出了一种基于概率分布和贡献率的增量剪枝策略。与先前的剪枝方法不同，该方法考虑了原始模型的权重的概率分布，降低了剪枝对损失函数的影响，从而提高了剪枝的精度和效率。实验结果表明，本文方法在更少的迭代次数且精度损失较小的情况下，取得了较好的网络压缩效果。然而，模型压缩这一研究方向仍然有许多工作需要进一步研究：

1) 对于目前过于依赖经验性的模型剪枝策略，探索更优的网络连接重要性的评估方法是一个亟待解决的问题。

2) 对于模型压缩得到的稀疏型深度神经网络模型，如何进一步优化和加速推理也是需要研究者们继续探讨的问题。

虽然模型压缩已经得到了很显著的压缩效果，但是应用于计算资源有限的嵌入式设备还需要进一步解决模型优化和加速等问题，其在未来一段时间内仍将是研究的一大热点。