随着人工智能的发展, 视觉目标跟踪已成为国内外人工智能领域中的一个研究热点^[1-4]。广泛应用在国防安全、工业以及人们的日常生活当中, 如军事识别、安防监控、无人驾驶、人机交互等。

传统的目标跟踪方法一般利用视觉特征对目标进行跟踪, 在简单环境下, 对特定目标具有良好的跟踪效果^[5-7], 但是当背景复杂, 目标发生尺度变换, 以及障碍物遮挡时, 视觉特征变化较大, 跟踪效果不甚理想。

近年来, 国内外目标跟踪领域的主流方法包括深度学习^[8-10]和相关滤波^[11-13]两类。基于深度学习的目标跟踪方法在跟踪精度方面有一定的优势。Held等人^[14]提出了一种深度回归网络的目标跟踪算法(GOTURN), 将前一帧的目标和当前帧的搜索区域同时经过卷积神经网络的卷积层, 然后将卷积层的输出通过全连接层, 用于回归当前帧目标的位置, 该方法与其他深度学习方法相比具有较快的跟踪速度。Wang等人^[15]提出了一种全卷积神经网络目标跟踪方法(FCNT), 利用卷积神经网络两个层次上的特征来进行跟踪, 同时提出了一种特征图谱选择的方法去除噪声和不相关的特征图谱, 在一定程度上降低了计算复杂度。以上两种深度学习跟踪方法在跟踪精度、跟踪稳定性方面具有一定的优势, 但是深度学习计算过程较为复杂, 实时性较差。

基于相关滤波的目标跟踪方法同时具备跟踪精度高和速度快的优势, 在视觉跟踪领域中受到诸多研究学者的青睐。相关滤波器的设计是对图像中感兴趣的目标区域响应峰值, 对其他区域响应低值。Bolme等人^[16]于CVPR 2010提出一种最小误差平方和滤波跟踪器(MOSSE), 首次将相关滤波应用到跟踪领域; Rui等人^[17]提出核循环结构跟踪器(CSK), 采用循环移位的稠密采样方式, 使整张图像的特征得到有效利用, 同时引入核函数, 将MOSSE中线性二分类器转化为非线性二分类器, 使得分类器在丰富的高维特征中起作用。核相关滤波(KCF)跟踪方法^[18]是作者对CSK跟踪器的完善, 使用多通道的梯度直方图(HOG)特征代替单通道的灰度特征, 提高了跟踪精度。以上几种方法具有较好的跟踪效果和跟踪稳定性, 但当目标发生尺度变化时, 不具备尺度适应性。

针对尺度变化问题, Danelljan等人^[19]在MOSSE的基础上加入了快速尺度空间滤波器, 提出了一种多尺度空间滤波跟踪算法(DSST), 有效地解决了跟踪过程中的尺度变换问题, 但是该方法缺乏对训练样本的学习和更新机制, 在目标发生遮挡时, 无法保留目标信息, 当目标再次出现时, 无法重新锁定目标, 导致跟踪失败。Bertinetto等人^[20]提出了一种基于互补学习的跟踪方法(Staple), 该方法利用DSST算法中的尺度相关滤波器解决尺度变化问题, 同时将HOG特征和颜色特征进行融合, 有效地解决了全局形变下HOG特征鲁棒性较差和光照变化条件下颜色特征表达效果较差的问题, 跟踪准确性较高, 但其需要针对两种特征的滤波器进行计算, 计算复杂度较高。

针对遮挡问题, Ma等人^[21]提出一种长时间相关跟踪算法(LCT), 该算法在DSST算法基础上, 加入了一个负责检测目标跟踪置信度的相关滤波器和负责检测目标的随机蕨分类器, 将跟踪置信度滤波器的最大响应值与两个阈值的比较结果作为判定条件, 判断跟踪是否可靠, 以及更新是否可行, 若跟踪不可靠, 调用检测器检测目标, 若更新可行, 更新跟踪置信度滤波器和随机蕨分类器。该方法在一些图像序列上可做到长时间稳定跟踪, 在遮挡环境下具有较好的跟踪效果, 且将相关滤波响应结果作为目标跟踪可靠性判定依据, 具有较好的跟踪效果。

本文在相关滤波跟踪的基本框架上, 提出一种遮挡判别下的多尺度相关滤波跟踪算法。该方法对相关滤波响应结果进行可靠性判别, 即通过响应图的峰值以及多峰响应的波动情况对跟踪进行遮挡判别和更新判别, 实现长时间稳定跟踪。主要工作如下:

1) 在DSST跟踪器的基础上对跟踪结果进行评估, 提出了两种计算模型, 相关滤波响应最大峰值模型和峰值波动模型。通过对这两种计算模型判定目标遮挡情况, 同时判定目标是否需要更新。

2) 采用基于GMS(grid-based motion statistics)算法的检测器^[22]对丢失目标进行再检测。当目标发生遮挡时, 启动训练好的GMS检测器检测目标, 重新对目标进行定位。

经验证, 本文算法具有以下优势:

1) 有效解决了DSST算法中障碍物遮挡导致的目标跟踪丢失问题。

2) 通过对遮挡和更新的判定避免了逐帧更新中的跟踪漂移问题, 减少不必要的更新时间, 提高了算法跟踪速度和跟踪准确率。

本文提出了一种遮挡判别下的多尺度相关滤波跟踪算法, 在DSST的基础上, 对跟踪结果进行评估, 判定目标是否发生遮挡以及是否需要更新。整体算法实现过程如图 1所示。为了清晰表述算法流程, 将其分为建模和跟踪两个阶段:

1) 建模阶段。在图像第1帧中手动选取目标区域, 训练用来估计目标位置的2维位置相关滤波器和用来估计目标尺度的1维尺度相关滤波器, 由于目标在发生遮挡时, 目标表达能力有限, 位置滤波器无法完成目标位置锁定, 本文在训练相关滤波器的同时训练目标GMS检测器, 在目标发生遮挡及目标丢失时, 起到快速检测的作用。

2) 跟踪阶段。首先, 使用训练好的位置相关滤波器估计目标位置, 然后利用尺度相关滤波器在估计位置计算最大响应尺度值。然后通过对跟踪结果进行判定, 判定目标是否发生遮挡以及目标是否需要更新, 若遮挡, 启动GMS检测器检测目标, 检测到目标后, 更新目标模型; 若更新, 则对目标模型中的两个相关滤波器和一个检测器进行更新, 反复执行此过程, 完成目标跟踪。

由于相关滤波跟踪方法具有精确度高、速度快等优势, 采用相关滤波跟踪方法作为本文算法的基本框架。相关滤波跟踪是针对样本图像训练相关滤波器, 使其在图像的目标位置产生相关响应峰值, 在跟踪过程中, 利用训练好的相关滤波器对跟踪图像做滤波响应, 最大响应位置为候选目标位置。

DSST多尺度相关滤波跟踪方法是基于MOSSE算法的改进, 本文借鉴该方法对目标进行跟踪。针对跟踪图像的目标区域提取$d-1$维的HOG特征和1维的灰度特征作为输入${f^l}, l = 1, 2, \ldots, d$, 建立最小化代价函数, 构造最优的相关滤波器${h^l}$, 计算

$ \varepsilon = {\left\| {\sum\limits_{l = 1}^d {{h^l} * {f^l} - g} } \right\|^2} + \lambda \sum\limits_{l = 1}^d {{{\left\| {{h^l}} \right\|}^2}} $

(1)

式中, *为相关运算, $g$为响应输出, 由高斯函数产生, $\lambda $为正则项系数, 消除特征频谱中的零频分量, 峰值在${f^l}$中心位置产生。将式(1)进行傅里叶变换(FFT)可得

$ {H^l} = \frac{{\bar G{F^l}}}{{\sum\limits_{k = 1}^d {{{\bar F}^k}{F^k} + \lambda } }} = \frac{{A_t^l}}{{{B_t}}} $

(2)

为了方便后文描述, 令

$ A_t^l = \bar G{F^l},{B_t} = \sum\limits_{k = 1}^d {{{\bar F}^k}{F^k} + \lambda } $

式中, $t$为图像帧数。

更新目标模型, 可快速得到鲁棒的近似结果, 即

$ A_t^l = \left( {1 - \eta } \right)A_{t - 1}^l + \eta {{\bar G}_t}F_t^l $

(3)

$ {B_t} = \left( {1 - \eta } \right){B_{t - 1}} + \eta \sum\limits_{k = 1}^d {\bar F_t^kF_t^l} $

(4)

式中, $\eta $为学习率, 作为样本模型的更新参数。

参照目标在$t-1$帧中的位置, 在图像第$t$帧中, 按照$t-1$帧目标尺度的2倍大小提取目标不同维度的特征$z_t^l$, 通过傅里叶逆变换(IFFT)得到$Z_t^l$, 代入求解相关滤波响应值${r_t}$, 最大响应值位置为目标位置

$ {R_t} = \frac{{\sum\limits_{k = 1}^d {\bar A_{t - 1}^lZ_t^l} }}{{{B_{t - 1}} + \lambda }} $

(5)

$ {r_t} = {F^{ - 1}}\left( {{R_t}} \right) $

(6)

式中, ${F^{-1}}$为傅里叶逆变换函数。

针对目标跟踪过程中的尺度变化问题, 在位置滤波器的基础上加入尺度相关滤波器, 用来估计目标运动过程中的尺度变化。尺度池定义为

$ {a^n}w \times {a^n}h,n \in \left\{ { - \frac{{S - 1}}{2}, \cdots ,\frac{{S - 1}}{2}} \right\} $

(7)

式中, $w$和$h$分别为前一帧目标的宽和高, $a=1.02$为尺度因子, $S=33$为尺度数。

多尺度滤波使用2维位置滤波器确定目标新位置, 以新位置为中心点, 获取$S$个不同尺度的候选样本, 尺度估计过程与位置估计过程一致, 利用式(5)计算尺度相关滤波器响应值, 以最大响应尺度为当前目标尺度。

DSST多尺度相关滤波跟踪方法在跟踪过程中对每一帧图像均采取更新策略, 并没有对跟踪结果进行可靠性判别, 当目标样本中掺杂背景信息, 尤其当目标发生遮挡时, 更新模型会导致跟踪器逐渐偏离目标, 造成跟踪漂移。本文从相关滤波跟踪响应图入手, 通过对响应图的峰值以及多峰响应的波动情况与历史值比对, 进行遮挡判别和更新判别, 达到长时间稳定跟踪效果。

不同状态下相关滤波响应如图 2所示。图 2(a)为理想状态下的相关滤波响应图, 为单峰响应, 且在目标中心处响应值最大; 图 2(b)为正常跟踪状态下的相关滤波响应情况, 响应图为多峰, 最大响应位置为目标位置, 其他位置响应值较低, 为背景杂波干扰响应, 可以有效跟踪目标; 图 2(c)为局部遮挡条件下相关滤波的响应情况, 响应图为多峰, 最大响应位置仍为目标位置, 但最大响应值低于正常跟踪状态下的响应值, 且多峰之间波动情况较大, 说明检测区域包含大量的背景信息, 可以较为有效地跟踪, 但已不具备模型更新条件; 图 2(d)为完全遮挡情况下的相关滤波响应图, 最大响应值远低于历史值, 且多峰之间波动较均匀, 若此时继续更新模型, 则会产生跟踪漂移。本文设计了两种计算模型来评估跟踪结果进行遮挡判别和更新判别, 分别为最大响应值${r_{t\_\max }}$和平均峰值

$ {r_{t\_\max }} = \max r\left( {x,y} \right) $

(8)

$ P{V_t} = \frac{{{\rm{mean}}\left( {\sum\limits_{t\_x,t\_y} {{{\left( {{r_{x,y}} - {r_{t\_\min }}} \right)}^2}} } \right)}}{{{{\left| {{r_{t\_\max }} - {r_{t\_\min }}} \right|}^2}}} $

(9)

${r_{t\_\max }}$描述检测区域中的候选位置, $P{V_t}$描述多峰响应的峰值波动情况, 可以有效地刻画$t$时刻候选区域的响应情况。

由相关滤波响应结果分析可知, 当目标发生遮挡以及受相似目标干扰时, 相关滤波响应的峰值可能是相似目标或者是障碍物遮挡导致, 其峰值波动变化幅度较小, 仅使用${r_{t\_\max }}$和$P{V_t}$不足以对跟踪结果进行有效评估, 本文根据目标运动具有连续渐变的特性, 利用${r_{t\_\max }}$和$P{V_t}$变化情况与历史变化情况的关系对跟踪结果进行评估, 即

$ \Delta {r_{t\_\max }} = \left| {{r_{t\_\max }} - {r_{t - 1\_\max }}} \right| $

(10)

$ \Delta {r_{{\rm{mean}}}} = {\rm{mean}}\left| {\sum\limits_{k = 2}^{t - 1} {{r_{k\_\max }} - {r_{k - 1\_\max }}} } \right| $

(11)

$ \Delta P{V_t} = \left| {P{V_t} - P{V_{t - 1}}} \right| $

(12)

$ \Delta P{V_{{\rm{mean}}}} = {\rm{mean}}\left| {\sum\limits_{k = 2}^{t - 1} {P{V_k} - P{V_{k - 1}}} } \right| $

(13)

式中, ${r_{t\_\max }}$为最大响应值变化情况, 当其发生突变, 说明最大响应位置可能为非目标位置; $\Delta {r_{{\rm{mean}}}}$为最大响应历史均差值, 描述的是目标位置的响应均差值; $\Delta P{V_{{\rm{mean}}}}$为历史平均峰值变化的均差值, 可以有效描述目标区域峰值波动变化情况, $P{V_t}$为当前帧图像候选区域与前一帧目标区域峰值波动变化情况, 当其发生突变, 说明该候选区域中掺杂了大量背景信息, 已经不具备目标模型更新条件。

当${r_{t\_\max }}$大于历史值, 且$\Delta P{V_t}$未发生突变时, 判定此刻目标信息较$t-1$时刻完整, 需要对相关滤波器进行更新; 当$\Delta {r_{t\_\max }}$和$\Delta P{V_t}$同时发生突变时, 判定此刻目标发生遮挡, 突变越大, 遮挡程度越大, 此时需要避免更新, 防止跟踪漂移, 同时启动检测器, 重新锁定目标。

本文采用GMS检测器, 对丢失目标进行再检测。当目标丢失时, 启动检测器快速检测目标, 当目标遮挡后再出现时, 可以通过检测器检测目标局部特征, 实现对目标的重新锁定, 达到长时间稳定跟踪的目的。

GMS算法是Bian等人^[22]于CVPR 2017提出的一种基于网格运动统计的快速、超鲁棒特征匹配算法。该算法首先进行ORB(oriented fast and rotated BRIEF)特征匹配, 得到匹配成功的特征点对, 然后利用网格运动统计方法对ORB匹配结果进行过滤, 消除错误匹配结果。

两幅图像${\mathit{\boldsymbol{I}}_{\rm{1}}}、{\mathit{\boldsymbol{I}}_{\rm{2}}}$经过ORB特征匹配得到的部分点对如图 3所示。区域$a$和区域$b$为正确匹配。区域$c$和区域$d$为错误匹配。

记事件$f_a^t$为正确匹配, 事件$f_a^f$为错误匹配, 事件$f_a^b$为区域$a$中的特征点匹配至区域$b$, 且$p\left( {f_a^t} \right) = t$, 则$p\left( {f_a^f} \right){\rm{ = }}1-t$。

GMS算法提出了一个假设, 区域$a$中的一个特征点匹配错误, 且匹配至区域$b$中的概率$p\left( {f_a^b|f_a^f} \right) = \beta m/M$, 其中$m$是区域$b$中特征点的个数, $M$是整幅图像中特征点个数, $\beta $为弥补违反假设而设定的参数, 当$\beta = 1$时假设成立。

计算概率${p_t}$和${p_f}$

$ \begin{array}{l} {p_t} = p\left( {f_a^t} \right) + p\left( {f_a^t} \right)p\left( {f_a^b\left| {f_a^f} \right.} \right) = \\ \;\;\;\;\;\;\;t + \left( {1 - t} \right)\beta m/M \end{array} $

(14)

$ \begin{array}{l} {p_f} = p\left( {f_a^f} \right)p\left( {f_a^b\left| {f_a^f} \right.} \right) = \\ \;\;\;\;\;\;\;\;\;\beta \left( {1 - t} \right)m/M \end{array} $

(15)

为了增大特征匹配结果的差异, 构造如图 4所示的基本平滑运动核, 则每个网格中的匹配统计值${S_i}$服从二项分布

$ {S_i} \sim \left\{ {\begin{array}{*{20}{c}} \begin{array}{l} B\left( {Kn,{p_t}} \right)\\ B\left( {Kn,{p_f}} \right) \end{array}&\begin{array}{l} {x_i}\;为正确匹配点\\ {x_i}\;为错误匹配点 \end{array} \end{array}} \right. $

(16)

式中, $K=9$为网格个数。

此刻每个核的匹配统计值${S_{a, b}}$为

$ {S_{a,b}} = \sum\limits_{k = 1}^K {\left| {{X_{{a^k}{b^k}}}} \right|} $

(17)

式中, $\left| {{X_{{a^k}{b^k}}}} \right|$为区域$a$成功匹配区域$b$的点对数量。

根据经验每个网格大小为20×20像素, 判定阈值$\tau = {m_f} + \alpha {s_f} \approx \alpha {s_f} \approx \alpha \sqrt n \left( {\alpha = 6} \right)$时, 统计效果较好、特征匹配精度高, 其${m_f}$为均值, ${s_f}$为方差。每个核的匹配结果为

$ {R_{{\rm{cell}}}}\left\{ {a,b} \right\} \in \left\{ {\begin{array}{*{20}{c}} \begin{array}{l} T\\ F \end{array}&\begin{array}{l} {S_{a,b}} > {\tau _a} = \alpha \sqrt {{n_a}} \\ 其他 \end{array} \end{array}} \right. $

(18)

式中, $T$为正确匹配, $F$为错误匹配。

GMS检测器检测效果如图 5所示。

遮挡判别下的多尺度相关滤波跟踪算法步骤描述如下:

1) 建立样本模型。用矩形框选取首帧图像中的目标区域, 分别训练2维位置滤波器、1维尺度滤波器和GMS检测器。

2) 位置估计。以$t-1$的位置为中心, 2倍$t-1$帧矩形框大小采集候选样本${z_t}$, 经过FFT变换后代入式(5)(6), 计算响应值${r_t}$, 最大响应位置为目标的估计位置。

3) 尺度估计。以$t$时刻位置为中心, 提取不同尺度下的候选样本, 根据式(5)(6)计算尺度响应值, 最大响应尺度为当前尺度。

4) 模型更新。当最大响应值${r_{t\_\max }}$大于历史值, 且$\Delta P{V_t} \le \Delta P{V_{{\rm{mean}}}}$时, 利用式(3)(4)更新位置滤波器, 同时更新目标区域GMS检测器, 否则执行步骤5)。

5) 遮挡判别。当$\Delta {r_{t\_\max }} > \Delta {r_{{\rm{mean}}}}$且$\Delta P{V_t} > \Delta P{V_{{\rm{mean}}}}$时, 启动GMS检测器检测目标, 检测到目标后执行步骤2), 否则执行步骤6)。

6) 输出跟踪结果。输出跟踪窗口, 执行步骤2)。

本文遮挡判别下的多尺度相关滤波跟踪算法在Visual Studio 2013环境下完成实验, 实验平台为Inter酷睿i5 3317U处理器, 双核1.70 GHz, win7, 32位操作系统。为验证本文算法在尺度变化, 遮挡条件下具有长时间稳定的跟踪性能, 在目前较为流行的OTB-2013和OTB-2015上选取9个具有挑战的图像序列以及1个视频数据进行实验, 实验图像序列信息见表 1。

为验证遮挡判别下的多尺度相关滤波跟踪算法的有效性, 本文采用3种评估方法对跟踪结果进行评定, 分别为平均中心误差、跟踪准确率和跟踪速度。其中, 平均中心误差CLE为算法运行过程中观测中心($t{x_i}, t{y_i}$)与真实目标中心($r{x_i}, r{y_i}$)的距离, 描述算法跟踪的精确程度, 即

$ CLE = \frac{1}{n}\sum\limits_{i = 1}^n {\sqrt {{{\left( {t{x_i} - r{x_i}} \right)}^2} + {{\left( {t{y_i} - r{y_i}} \right)}^2}} } $

(19)

选取当下较为流行的6种目标跟踪算法在同一个实验平台下对10组尺度变化、遮挡、快速运动等条件下的跟踪数据集进行对比实验, 6种算法分别为DSST^[19]、KCF^[18]、LCT^[21]、Staple^[20]、GOTUTN^[14]、FCNT^[15]。表 2和表 3分别给出了6种算法与本文算法的平均中心误差和跟踪准确率, 图 6为表 2和表 3数据的折线图, 通过对比可以看出, 本文遮挡判别下的多尺度相关滤波跟踪方法在测试图像序列中均取得了理想的跟踪效果。部分测试图像序列跟踪效果如图 7所示。

Box图像序列测试的是目标(盒子)发生小范围尺度变化、遮挡时的算法跟踪效果。第461帧目标发生大范围遮挡时, DSST、Staple、GOTURN和FCNT算法将背景特征学习到目标特征中, 不具有较好的跟踪稳定性, 逐渐跟踪错误产生跟踪漂移; KCF和Staple算法受与目标具有相似特征的障碍物遮挡的影响, 产生错误跟踪; LCT算法取得了较好的跟踪效果。本文算法在目标发生尺度变化时, 利用尺度相关滤波器计算目标尺度, 有效地解决该图像序列上的小尺度变化问题, 同时本文算法对跟踪结果进行遮挡判定, 当目标发生遮挡时, 启动检测器, 直到重新锁定目标, 对目标进行有效跟踪, 且跟踪平均中心误差较LCT算法低。

Bird1图像序列测试的是目标(鸟1)发生全局遮挡, 且遮挡时间较长的算法跟踪效果。KCF算法从第1帧跟踪至第67帧过程中, 受背景信息干扰, 逐渐产生漂移, 最后跟踪丢失; DSST当目标发生全局遮挡时, 没有停止目标模型的更新, 学习了大量的背景信息, 逐渐累积造成跟踪漂移; LCT遮挡后受相似目标干扰, 跟踪错误; Staple算法因为目标快速运动以及相似目标干扰, 导致跟踪错误; GOTURN和FCNT算法在目标丢失过程中逐渐产生漂移, 跟踪失败。本文算法在目标遮挡时禁止更新目标模型, 通过检测器重新定位目标, 继续跟踪, 具有较好的跟踪效果。

Lemming图像序列测试的是目标(旅鼠)发生小范围尺度变化, 局部遮挡和短时间全局遮挡时的算法跟踪效果。在第347帧图像中, 目标发生短时间的全局遮挡, DSST和KCF算法在遮挡时更新了少量背景信息, 但由于遮挡时间短暂, 当目标重新出现后仍然可以继续跟踪, 但跟踪中心误差较大, 而在第1 252帧图像中, DSST算法由于目标旋转, 目标模型更新错误, 导致跟踪漂移; 从图像的第1 175帧开始, 目标逐渐缩小, KCF方法由于目标尺度发生较大变化, 跟踪框发生漂移, 跟踪失败; Staple算法在目标发生遮挡时, 受背景信息干扰, 跟踪错误; GOTURN算法对遮挡问题较为敏感, 当目标发生遮挡时, 稳定性较差, 跟踪产生漂移; LCT和FCNT算法具有较好的跟踪效果。本文在目标发生旋转时通过对跟踪结果进行更新判断, 根据滤波器响应情况决策目标模型是否更新, 有效防止模型更新过程中产生的跟踪漂移。

Panda图像序列测试的是目标(熊猫)发生大范围尺度变化、旋转以及局部遮挡时的算法跟踪效果。KCF算法在目标发生旋转后只对目标原有特征进行跟踪, 没有对目标新产生的特征进行更新, 在目标不断缩减尺寸过程中, KCF算法跟踪窗口中的目标信息逐渐消失, 产生跟踪漂移; DSST算法在目标尺度缩小至尺度相关滤波器无法响应的状态时, 仍对目标模型进行更新, 最后导致跟踪错误; Staple算法在目标第1次旋转时, 跟踪逐渐漂移, 目标模型中只包含Panda头部信息, 在目标第2次发生旋转时, 跟踪失败; GOTURN和FCNT算法跟踪精度较高, 但因为尺度变化和背景杂波干扰导致目标丢失; LCT方法由于没有考虑目标跟踪过程的响应变化信息, 判定阈值没有较好的适应性, 跟踪丢失。本文算法通过对跟踪结果的变化信息进行判定, 有效地避免了非理想状态下的目标更新。

Basketball和DragonBaby两组图像序列测试的是目标在遮挡情况下目标快速运动时算法的跟踪效果。DSST算法由于目标快速运动, 跟踪器对错误的跟踪结果没有有效评定, 逐渐跟踪错误; KCF算法在Basketball图像序列中具有较好的跟踪准确率, 但跟踪平均中心误差较高, 在DragonBaby图像序列中由于目标视觉特征变化迅速, 跟踪效果较差; GOTURN和FCNT算法在Basketball图像序列中, 正确跟踪时, 跟踪精度较高, 但当目标受相似目标干扰时, 不具有较好的跟踪稳定性, 最后错误跟踪, 在DragonBaby图像序列中可以有效完成目标跟踪, 但跟踪误差较大; LCT算法受相似目标的干扰, 极易产生跟踪错误; 本文算法通过对目标跟踪结果与历史结果的变化情况进行判定, 当目标在跟踪窗口中丢失时, 启动检测器, 重新定位目标, 具有较好的跟踪稳定性。

car_Xvid视频序列测试的是目标(车)在复杂背景下长时间全局遮挡, 以及大范围尺度变化下的算法跟踪效果。当目标发生遮挡时, DSST、KCF、GOTURN和FCNT算法因复杂背景影响, 逐渐产生漂移, 当目标再次出现时无法锁定目标; Staple算法因相似背景信息干扰, 跟踪窗口的中心误差随着时间的增大而增大, 最后跟踪丢失; LCT算法由于目标消失视野后相似目标干扰的影响, 导致跟踪错误; 本文算法通过对跟踪结果进行判定, 利用检测器快速检测目标, 在目标发生遮挡以及背景干扰时, 有较好的跟踪性能。

CarScale、Bird2和Girl2 3组图像序列测试的是目标在遮挡、尺度变换和快速运动状态下算法的跟踪效果。DSST、KCF、GOTURN和FCNT算法在目标发生遮挡时, 跟踪窗口中的特征发生较大变化, 跟踪效果较差; Staple算法在目标发生快速运动时跟踪丢失; LCT算法取得了较好的跟踪效果。本文算法通过对跟踪结果的评估, 判断跟踪是否有效, 并在遮挡时重新检测目标, 在更理想的目标出现时及时更新目标模型, 具有较好的跟踪性能。

为了验证本文算法的实时性, 通过不同的相关滤波跟踪算法对上述图像序列测试。不同算法的平均数据见表 4。

本文算法通过跟踪结果判定目标模型是否更新, 避免了DSST算法中每帧图像更新时间, 同时基于GMS算法训练的检测器利用基本运动平滑核的网格运算优势, 将时间复杂度降至O(1), 保证了目标跟踪的实时性。在测试图像序列中, 平均中心误差较低, 跟踪准确率较高, 具有良好的跟踪性能。

在DSST相关滤波跟踪的基础上, 提出了一种遮挡判别下的多尺度相关滤波方法。通过对跟踪结果进行评估和判别, 有效地解决了目标遮挡导致的目标丢失问题和持续更新策略中的错误累积问题, 实现了遮挡和多尺度变化下的稳定跟踪。

与目前较流行的跟踪方法相比, 本文算法具有以下优势:1)采用跟踪结果可靠性判定的方式, 对目标遮挡以及目标更新做出有效判定, 使本文方法在目标发生遮挡时, 具有较高的准确率和稳定性。2)在目标发生遮挡导致相关滤波响应不理想时, 采用检测器检测目标的方式, 对目标位置重新锁定, 达到长时间稳定跟踪的效果。3)通过对目标模型的更新判别, 缩短了目标逐帧更新的时间, 提高了跟踪算法的实时性。

实验结果表明, 本文算法具有较强的稳定性和较高的跟踪准确率, 且跟踪速度快, 平均可达27.5帧/s。本文今后将对遮挡, 尺度变化条件下的多目标跟踪方法做进一步探索和研究。