卷积神经网络(convolutional neural network，CNN)目标检测算法输出的目标位置信息存在像素级的定位误差，且该定位误差的造成原因十分复杂，导致其呈现随机性。当目标检测算法应用在视频中时，该定位误差会引起预测框前后帧突变，进而引发预测框不稳定现象。在实际工程应用中，该现象会对多目标跟踪、行为分析预测等诸多算法产生影响。

以目前热门的自动驾驶系统应用研究为例，系统稳定性直接关乎驾驶安全。早在自动驾驶发展的初级阶段，系统稳定性就引起了学者的重视。自动驾驶测试工作一定程度上就是对系统稳定性进行测试(余卓平等，2019)，其中极端条件下的仿真测试(毛婷和梁玮，2020)更是围绕自动驾驶算法稳定性开展。目前自动驾驶系统研究正步入L5阶段，车辆行驶控制已经不是简单根据特定外界条件做出反应，而是需要感知并预测周围车辆及行人的运动情况来做出决策(Houston等，2020)。视频目标检测(object detection from video，VID)作为自动驾驶系统感知周围环境的基础算法，如果检测结果稳定性不佳，则会对车辆行为分析、车辆行为预测等基于目标检测结果进行分析的算法产生严重不良影响，轻则影响自动驾驶系统稳定性，重则导致自动驾驶系统做出错误决策，造成安全隐患。

基于深度学习的视频目标检测主要是在静态图像的目标检测基础上展开研究，而稳定性问题在静态图像中不存在，因此受到的关注较少，缺乏直接的评价指标。在视频目标检测领域，预测框定位稳定性与定位准确性是不同的性能指标要求。定位稳定性(stability of bounding box)指的是同一目标的预测框在连续视频帧中变化是否平滑、均匀。定位准确性(accuracy of bounding box)是指一个目标的预测框与该目标实际位置的重叠程度。应用最普遍的视频目标检测评价指标是基于交并比(intersection over union，IOU)计算的mAP(mean average precision)评价方法(Havard等，2017)，而IOU是衡量定位准确性的指标，并不体现定位稳定性。

在视频目标检测领域，多数算法是针对定位准确性做出的改进，如T-CNN(Kang等，2018)中引入跟踪修正及光流信息辅助减少漏检错误提升定位准确性。FGFA(flow-guided feature aggregation)算法(Zhu等，2017)，通过只检测部分关键帧，非关键帧通过FlowNet(Dosovitskiy等，2015)得到的光流信息补全特征图，利用光流信息的特点提高定位准确性。后续随着FlowNet2.0发布(Ilg等，2017)，研究者们通过改进不同帧间的特征传递规则，提升了算法运行速度和定位准确性(Zhang等，2019)。时空存储模块(spatial-temporal memory module，STMM)(Xiao和Lee，2018)通过捕捉视频中包含的运动信息来提高定位准确性。应用此类算法，定位准确性得到提高时，定位稳定性也会小幅改善。但提高定位准确性的代价往往十分高昂，算法运行速度、训练成本和数据标注成本等都会受到较大影响，降低算法实际应用价值。且部分工程应用场景，如车辆轨迹提取、车速计算等，并不需要极高的定位准确性，只是对定位稳定性有较高要求，如果使用上述算法，成本上升的同时也会造成部分算力浪费。

因此本文着重从定位稳定性角度进行分析改进，在目标检测流程中添加特殊处理策略，使得基于静态图像的目标检测算法应用在视频中时，预测框定位稳定性得到提升。本文方法对整体目标检测算法运行速度几乎没有影响，且不需要额外数据训练，可移植性较强。

预测框不稳定的原因在于深度神经网络目标检测对物体的定位存在像素级定位偏差，此偏差由多种原因导致，训练数据标注因素、anchor机制缺陷以及网络学习能力不足等都会有一定影响。成因的复杂性导致难以针对某个特定原因进行优化改进，并且如果从产生原因角度进行研究，容易走向改进定位准确性的方向。因此本文并未选择从目标检测网络及训练数据等原因进行分析研究，而是着重在网络输出结果后的步骤进行优化分析。

本文在YOLO(you only look once)v3目标检测算法(Redmon和Farhadi，2018)的基础上，设计了扩张性非极大值抑制(expanded non-maximum suppression, Exp_NMS)策略，增加了前后帧信息关联的帧间平滑(frame bounding box smooth，FBBS)策略，整体算法流程如图 1所示。输入第$k$帧图像，经过YOLO检测及Exp_NMS后得到第$k$帧的检测结果。后续经过FBBS策略对检测结果进行平滑修正，得到最终检测结果。

预测框定位稳定性差的部分原因在于非极大值抑制策略(non-maximum suppression，NMS)会直接舍弃部分预测结果。如图 2所示，对于置信度不高的目标检测结果，视频连续帧中容易出现因图像微小变化导致两个预测框置信度大小关系产生变化，使得在非极大值抑制阶段舍弃保留关系改变，最终第1帧检测结果偏左上方，第2帧偏右下方。

基于该原因，本文设计了Exp_NMS，核心思想是对于置信度较低的目标预测框，需要融合多个预测框信息进行修正，以增加其在连续视频流中的定位稳定性。

Exp_NMS分为两个阶段。第1阶段为分组阶段，即根据设定的IOU阈值$N_{t}$将所有预测框进行分组，使得同组的所有预测框与组内最高置信度的预测框IOU均大于设定的阈值。

第2阶段为扩张阶段，每组预测框根据扩张规则输出一个预测框。扩张规则如下：

1) 预测框初筛。判断组内最高置信度是否大于$P_{t}$，如大于则输出最高置信度的预测框作为本组结果。否则筛选组内预测框，剔除与组内最高置信度相差超过阈值$S_{t}$的预测框，并执行步骤2)—4)。

2) 求取剩余预测框的交集区域$\mathit{\boldsymbol{C}}$。

3) 获得各个预测框对应的保留区域$\mathit{\boldsymbol{T}}$。假设组内剩余如图 3(a)所示两个预测框，将区域划分为$\mathit{\boldsymbol{C}}$、$\mathit{\boldsymbol{A}}_{1}$和$\mathit{\boldsymbol{A}}_{2}$共3个区域，则需要分别对$\mathit{\boldsymbol{A}}_{1}$、$\mathit{\boldsymbol{A}}_{2}$区域求取保留区域${\mathit{\boldsymbol{T}}_{{\mathit{\boldsymbol{A}}_1}}}$、${\mathit{\boldsymbol{T}}_{{\mathit{\boldsymbol{A}}_2}}}$。以$\mathit{\boldsymbol{A}}_{1}$区域为例，根据式(1)计算得$\mathit{\boldsymbol{A}}_{1}$区域对应的置信度$Pr_{{\mathit{\boldsymbol{A}}_1}}$，随后根据式(2)计算得${\mathit{\boldsymbol{T}}_{{\mathit{\boldsymbol{A}}_1}}}$的面积，最后根据式(3)求得${\mathit{\boldsymbol{T}}_{{\mathit{\boldsymbol{A}}_1}}}$区域位置，结果如图 3(b)中红色区域所示。

4) 计算所有$\mathit{\boldsymbol{T}}$区域和$\mathit{\boldsymbol{C}}$区域的最小外接矩形，作为输出预测框的位置信息，如图 4中黑色矩形框所示。输出预测框置信度信息继承组内最高置信度。

$ \left\{ {\begin{array}{*{20}{l}} {\mathit{P}{\mathit{r}_{{A_1}}} = \frac{{\mathit{P}{\mathit{r}_{b1}} \times \left({S\left({{\mathit{\boldsymbol{A}}_1}} \right) + S(\mathit{\boldsymbol{C}})} \right) - \mathit{P}{\mathit{r}_C} \times S(\mathit{\boldsymbol{C}})}}{{S\left({{\mathit{\boldsymbol{A}}_1}} \right)}}}\\ {\mathit{P}{\mathit{r}_C} = 1} \end{array}} \right. $

(1)

式中，$\mathit{P}{\mathit{r}_{{\mathit{\boldsymbol{A}}_1}}}$为$\mathit{\boldsymbol{A}}_{1}$区域的置信度，为式(1)所求变量；$\mathit{P}\mathit{r}_{C}$为$\mathit{\boldsymbol{C}}$区域置信度，设定为1；$\mathit{P}{\mathit{r}_{b1}}$为1号bbox的置信度，由YOLOv3网络输出，如图 3(a)中所示为0.7；${S\left({{\mathit{\boldsymbol{A}}_1}} \right)}$为$\mathit{\boldsymbol{A}}_{1}$区域对应面积；${S\left({\mathit{\boldsymbol{C}}} \right)}$为$\mathit{\boldsymbol{C}}$区域对应面积。

$ S\left({{\mathit{\boldsymbol{T}}_{{A_1}}}} \right) = \mathit{P}{\mathit{r}_{{A_1}}} \times S\left({{\mathit{\boldsymbol{A}}_1}} \right) $

(2)

$ \left\{ \begin{array}{l} \frac{{{w_t}}}{{{w_{b1}} - {w_C}}} = \frac{{{h_t}}}{{{h_{b1}} - {h_C}}}\\ \frac{{{w_t}}}{{{w_{b1}} - {w_C}}} = \frac{{{h_t}}}{{{h_{b1}} - {h_C}}}\\ \frac{{{w_t}}}{{{w_{b1}} - {w_C}}} = \frac{{{h_t}}}{{{h_{b1}} - {h_C}}}\\ 0 < {w_t} < {w_{b1}} - {w_C}\\ 0 < {h_t} < {h_{b1}} - {h_C} \end{array} \right. $

(3)

式中，$w_{b1}$、$h_{b1}$代表 1号bbox的宽度和高度，$w_{C}$、$h_{C}$代表$\mathit{\boldsymbol{C}}$区域的宽度、高度，其中$w_{t}$、$h_{t}$为所求参数，含义如图 3(b)所示。

Exp_NMS的核心思想是融合多个预测框信息，具体通过划分区域并分别计算各区域置信度。出于预测框定位稳定性考虑，认为各区域置信度等于区域内真实目标面积所占百分比，即式(2)所示关系。对于图 3(a)中1号bbox而言，将1号bbox分为$\mathit{\boldsymbol{A}}_{1}$、$\mathit{\boldsymbol{C}}$两个区域，则有

$ \begin{array}{*{20}{c}} {\mathit{P}{\mathit{r}_{b1}} \times \left({S\left({{\mathit{\boldsymbol{A}}_1}} \right) + S(\mathit{\boldsymbol{C}})} \right) = }\\ {\mathit{P}{\mathit{r}_C} \times S(\mathit{\boldsymbol{C}}) + \mathit{P}{\mathit{r}_{{A_1}}} \times S(\mathit{\boldsymbol{A}}1)} \end{array} $

(4)

求解${\mathit{P}{\mathit{r}_{{A_1}}}}$还缺少$\mathit{P}\mathit{r}_{C}$的值，假设$\mathit{\boldsymbol{C}}$区域都是真实目标，则可利用式(2)计算得$\mathit{P}\mathit{r}_{C}$为1，经过变形即式(1)。经过式(1)和式(2)，可求解得到${\mathit{\boldsymbol{T}}_{{\mathit{\boldsymbol{A}}_1}}}$的面积，式(3)用来分配${\mathit{\boldsymbol{T}}_{{\mathit{\boldsymbol{A}}_1}}}$，含义为按照$\mathit{\boldsymbol{A}}_{1}$区域的长宽比进行分配。

预测框不稳定在视频中表现为相邻帧同一目标预测框变化幅度较大，如果将前后帧信息进行关联(adjacent-frames information association)，将会有效提升预测框定位稳定性。基于这个思路，本文设计了FBBS策略。整体思路为利用前两帧和后两帧的目标检测结果对本帧目标检测结果进行修正，具体步骤如下：

1) 预测框分组。将连续5帧经过Exp_NMS后的全部目标检测结果根据设定的IOU阈值$BN_{t}$ 分组，使同组内位于相邻帧的预测框IOU均大于$BN_{t}$。理想情况下，一组预测框内为5个预测框，分别对应5帧图像中的同一目标。

2) 多检剔除。剔除掉组内预测框数量小于3的组别，即连续5帧中有3帧及以上未检测到此目标，则认为该组结果为目标检测部分出现了多检错误。随后对保留下的每个组分别执行步骤3)—5)。

3) 预测框序列提取。本组内所有预测框结果组成点集$\left\{ {\left({{n_{{\rm{frame}}{\kern 1pt} {\rm{1}}}}, {x_1}} \right), \left({{n_{{\rm{frame}}{\kern 1pt} 2}}, {x_2}} \right), \left({{n_{{\rm{frame}}{\kern 1pt} 3}}, {x_3}} \right), \cdots } \right\}$。其中${{n_{{\rm{frame}}{\kern 1pt} {\rm{1}}}}}$代表第$i$个预测框所在帧序号，$x_{i}$代表第$i$个预测框中心点$x$坐标。

4) 轨迹直线拟合。利用步骤3)中组成的点集拟合直线，求得直线斜率$k$、截距$b$。修正后中间帧预测框中心点$x$坐标为$\hat x = k \times {n_{{\rm{frame\;mid}}{\kern 1pt} {\rm{1}}}} + b$，其中$n_{\rm{frame\;mid}}$代表中间帧的帧序号。

5) 预测框位置修正。对中心点$y$坐标、宽度$w$、高度$h$执行同步骤3)—4), 求得修正后中间帧预测框中心点$y$坐标$\hat y$、宽度$\hat w$、高度$\hat h$，组合$\left({\hat x, \hat y, \hat w, \hat h} \right)$作为修正后的预测框位置，置信度、类别等信息继承组内最高置信度的预测框。

FBBS策略属于一种前后帧信息关联的策略，不需要额外增加光流信息输入，提高预测框定位稳定性的同时对部分帧漏检、部分帧多检有一定的补全筛选作用。

将同一辆车连续5帧的预测框绘制在同一图像下，如图 5所示。图中预测框左边界修正效果较为明显，修正后的预测框变化更平滑，定位稳定性更高。

预测框定位稳定性可以直接体现在同一目标在连续帧中的坐标轨迹，稳定性越差，坐标轨迹越曲折; 稳定性越高，坐标轨迹越平滑均匀。为了更直观地体现效果，将图 5中车辆连续20帧预测框中心点轨迹及预测框轨迹绘制为折线图，中心点轨迹如图 6所示，预测框轨迹如图 7所示。从图 6及图 7中可以直观看出，修正后的折线图更平滑，变化更加均匀，稳定性更高。

本文所使用的数据集为UA-DETRAC(University at Albany detection and tracking benchmark dataset)(Lyu等，2018)和MIO-TCD(miovision traffic camera dataset)(Luo等，2018)。

UA-DETRAC数据集为多任务数据集，是由24个场景下100段实际交通录像组成，标注有车辆位置信息、车辆类别信息和车辆跟踪ID信息。可用于目标检测定位准确性验证和多目标跟踪质量验证。

MIO-TCD数据集为交通目标检测数据集，是由数千个实际交通场景下所采集的图像组成，标注有车辆位置信息和车辆类别信息。可用于目标检测定位准确性验证。

其中，UA-DETRAC数据集包含的交通场景数较少，且训练集与验证集场景相似度较高，如果直接使用UA-DETRAC数据集训练目标检测网络并验证本文算法效果，与实际工程应用情况有所违背。因为在大多数工程应用中，应用场景较多且难以针对所有具体场景做大量标注工作。因此，本文选用MIO-TCD数据集作为YOLOv3网络训练集，选取UA-DETRAC数据集中拍摄稳定、车辆数较多的视频作为验证集。选取的验证集文件如表 1所示。

因两个数据集车辆类别标签设置不同，故对目标检测网络输出结果做抹除类别信息处理，对验证集也抹除车辆类别信息。

因预测框定位稳定性缺乏相应的评价指标衡量。考虑预测框定位稳定性的影响主要表现在以下两个方面，故本文采用间接验证的思想设计相关评价指标。

1) 跟踪飘移。多目标跟踪中通常使用卡尔曼滤波器进行目标轨迹预测，前后帧预测框不稳定容易导致卡尔曼滤波预测结果产生漂移，最终影响跟踪结果。故本文使用多目标跟踪领域评价指标MOT来衡量卡尔曼跟踪算法的结果，间接验证算法对预测框定位稳定性的改善。

2) 轨迹突变。视频中的车辆轨迹是相同跟踪ID的预测框中心点在连续帧中依次相连所得的折线，预测框不稳定会影响轨迹的平滑程度。如图 8所示，$\theta $为因斜率突变造成的夹角，单条车辆轨迹为多条线段组成的折线，存在因斜率突变产生的夹角，如${\theta _1}, {\theta _2}, {\theta _3}$所示。而现实中的车辆轨迹为直线或者光滑曲线，不存在因斜率突变产生的夹角。基于此分析，定义轨迹曲折度$T$(track-tortuosity)来衡量车辆轨迹的平滑程度，计算为

$ T = \frac{{\sum\limits_{i = 1}^{a - 1} {{\theta _{i + 1, i}}} }}{{a - 1}} $

(5)

式中，$T$为轨迹曲折度，$a$为该车辆的轨迹折线总数，轨迹折线是相同跟踪ID预测框在相邻帧的中心点连线所得，$\theta _{i + 1, 1}$为第$i+1$条折线与第$i$条折线的夹角。

由式(5)可知，当车辆轨迹为直线或平滑曲线时，无斜率突变造成的夹角，曲折度计算为0°；轨迹斜率突变越严重，计算所得的曲折度越大，最大为180°。

为了综合分析评价视频中多个目标的轨迹平滑情况，定义平均轨迹曲折度$AT$(average track-tortuosity)，即对确定视频时间段内提取出多条轨迹，所有的轨迹曲折度求均值，计算为

$ AT = \frac{{\sum\limits_{i = 1}^n {{T_i}} }}{n} $

(6)

式中，$T_{i}$为第$i$辆车的轨迹曲折度，$n$为车辆轨迹总数。

同时，为验证本文算法对预测框定位准确性的影响，选用mAP来衡量定位准确性变化。

本文目标检测部分选用目前工程应用中最普遍的YOLOv3目标检测网络。为了更直观地表现预测框定位稳定性的变化趋势，避免其他因素造成干扰，跟踪环节选用卡尔曼滤波加匈牙利匹配的多目标跟踪算法。

本文实验计算机硬件环境CPU为Inter(R)Core(TM)i7-9700 CPU@3.00 GHz，GPU为RTX2060。软件环境为Windows操作系统，算法语言为C++。

训练及验证数据集通过相应数据集官网下载得到。训练YOLOv3时使用官方预训练权重。训练及各实验参数如表 2所示。各算法及评价代码获取来源如表 3。

表 4为各策略组合所得的mAP指标。从表 4中信息可知，总体来说, 各个策略对mAP指标影响较小，可以说明本文方法几乎不会影响预测框定位准确性。

Exp_NMS对定位准确性影响较小的原因在于定位准确性主要依赖于目标检测网络及训练方法等因素，NMS本身因素影响较小，再者，Exp_NMS相比于NMS，本质去除冗余框的思想并未改变，也并未采用类似Soft-NMS(Bodla等，2017)或Diou-NMS(Zheng等，2019)中针对密集目标改进的思想，只是出于预测框定位稳定性考虑，对结果进行了轻微调整，其调整幅度并不会大幅影响定位准确性。

FBBS策略对部分帧多检、部分帧漏检有一定的筛选补全作用，理论上对mAP有提升作用。但因为其对预测框平滑修正时，只考虑定位稳定性，不考虑定位准确性，所以可能造成修正后的结果偏离真实目标从而降低mAP，具体体现在表 5中对应的TP(true positive)、FP(false positive)数目。FBBS策略可以显著减小FP错误，但TP数目也会受到影响。

预测框定位稳定性主要体现在MOT相关指标及AT数值上，各策略组合实验结果如表 6所示。评价指标为MOTA(multiple object tracking accuracy), MOTP(multiple object tracking precision)，MT(mostly tracked targets), ML(mostly lost targets), IDs(identity switches), FM(number of fragmentations), FP(false positives), FN(false negatives)等。

MOT指标部分，MOTA提升6%，MOTP无显著变化，IDs下降16.8%，FP类型错误减少45.83%，这说明跟踪质量得到大幅提升，结合mAP无显著变化的结论，可以说明跟踪质量的上升是因为预测框定位稳定性提升，使得卡尔曼滤波的预测结果更准确，从而提高了跟踪质量。

AT指标部分，平均轨迹曲折度显著减小，这说明使用本文算法后得到的轨迹更加平滑，预测框定位稳定性得到提升。

针对视频目标检测中的预测框定位稳定性差的问题，本文设计了Exp_NMS和FBBS策略，在不显著影响定位准确性的前提下，提升了定位稳定性。

针对预测框定位稳定性表现在连续视频流中，难以量化计算的特点，本文定义了平均轨迹曲折度$AT$的评测指标，以量化分析定位稳定性。且使用了间接验证的思想，通过预测框定位稳定性对卡尔曼滤波器的影响以及车辆目标检测跟踪轨迹平滑程度的影响，间接证明了本文算法对提高预测框定位稳定性有着良好效果。在UA-DETRAC数据集上选取拍摄稳定、车辆较多的视频作为验证集，使用MIO-TCD数据集作为目标检测网络训练集，使用YOLOv3目标检测网络及卡尔曼滤波跟踪算法进行试验，在Exp_NMS和FBBS策略同时使用时，跟踪质量得到提升，AT数值显著下降，说明了预测框定位稳定性得到提升。

在未来工作中，将着重改进FBBS策略。现有的FBBS策略因没有光流信息或是其他信息输入导致平滑修正后的预测框有可能产生轻微偏移，导致定位准确性轻微受损。后续考虑如何保证运行速度在工程应用可接受范围的前提下，添加额外信息输入来缓解此缺陷。