Print

发布时间: 2018-08-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170604
2018 | Volume 23 | Number 8




    综述    




  <<上一篇 




  下一篇>> 





视觉目标跟踪方法研究综述
expand article info 葛宝义, 左宪章, 胡永江
陆军工程大学无人机工程系, 石家庄 050003

摘要

目的 随着军事侦察任务设备的发展,红外与可见光侦察技术成为军事装备中的主要侦察手段。研究视觉目标跟踪技术对提高任务设备的全天候目标侦察、目标跟踪、目标定位等战场情报获取能力具有重要意义。目前,对视觉目标跟踪技术的研究越来越深入,目标跟踪的方法和种类也越来越丰富。本文对目前应用较为广泛的4种视觉目标跟踪方法进行研究综述,为后续国内外研究者对目标跟踪相关理论及发展研究工作提供基础。方法 通过对视觉目标跟踪技术难点问题进行分析,根据目标跟踪方法建模方式的不同,将视觉目标跟踪方法分为生成式模型方法与判别式模型方法。分别对生成式模型跟踪算法中的均值漂移目标跟踪方法和粒子滤波目标跟踪方法,判别式模型跟踪算法中的相关滤波目标跟踪方法和深度学习目标跟踪方法进行研究。首先分别对4种跟踪算法的基本原理进行介绍,然后针对4种跟踪算法基本原理的不足和对应目标跟踪中的难点问题进行分析,最后针对目标跟踪的难点问题,给出对应算法的主流改进方案。结果 针对视觉目标跟踪相关技术研究进展,结合无人机侦察任务需求,对跟踪算法实际应用中存在的重点解决问题与相关目标跟踪的难点问题进行分析,给出目前的解决方案与不足,探讨研究未来无人机目标侦察跟踪技术的发展方向。结论 视觉目标跟踪技术已经取得了显著的进展,在侦察任务中的应用越来越广泛。但目标跟踪技术仍然是非常具有挑战性的问题,目标跟踪中的相关理论有待进一步完善和改进,由于实际应用中的场景复杂,目标跟踪的难点问题的挑战性更大,因此容易导致跟踪效果不佳。针对不同的应用环境,结合具体不同军事装备的特点,研究相对精确和鲁棒并且满足实时性要求的视觉目标跟踪算法,对提升装备的全天候侦察目标信息获取能力具有重要意义。

关键词

目标跟踪; 均值漂移; 粒子滤波; 相关滤波; 深度学习

Review of visual object tracking technology
expand article info Ge Baoyi, Zuo Xianzhang, Hu Yongjiang
Department of Unmanned Aerial Vehicle Engineering, Army Engineering University, Shijiazhuang 050003, China
Supported by: National Natural Science Foundation of China (51307183)

Abstract

Objective With the development of military reconnaissance mission equipment, infrared and visible light target reconnaissance techniques have already become the main means of reconnaissance among military equipment. Research on infrared and visible light object tracking technology is important for the improvement of intelligence equipment related to battlefield acquisition and precision strike in military missions, such as all-weather target reconnaissance, object tracking, and target location. Presently, with the rise of computer vision technology, visual object tracking technology has gradually become the focus and challenge of research, and the methods and kinds of object tracking techniques are increasing. In this study, four kinds of visual object tracking methods, which are extensively used at present, are reviewed. This work serves as basis for follow-up research on the theory and development of object tracking. Method By analyzing the difficult problems of infrared and visible object tracking technology, the visual object tracking method is divided into generative and discriminative model methods, the different modeling methods of object tracking. The mean shift and particle filter object tracking in generative model algorithm and the correlation filtering and deep learning object tracking in discriminative model algorithm are reviewed in this paper. First, the basic principles of the three standard object tracking algorithms, namely, mean shift object tracking and particle filter object tracking methods and correlation filters for object tracking method, are comprehensively analyzed. Then, the limitations of the basic principles of the three tracking algorithms are listed, and the corresponding difficulties in object tracking that need to be solved are presented. By analyzing the difficult problems in object tracking, the mainstream improvement scheme of the corresponding object tracking algorithm is given. According to the characteristics of infrared image and the difficult problem of infrared object tracking, the improved algorithm of infrared correlation filter for object tracking is presented. We analyzed the methods of object tracking using deep learning and divided them into two categories. One is to take the neural network feature as the target feature extraction method. We analyzed its feature extraction principles and characteristics and feature extraction strategy in object tracking. Moreover, the corresponding improvement scheme is also provided according to the characteristics of infrared object tracking. The other one is the neural network framework. We summarized its principles and characteristics and analyzed its various architecture advantages and disadvantages in object tracking. To address the problem of infrared object tracking, an improvement scheme is proposed. Finally, we summarized the present situation and discussed the practical application and future development trend of object tracking technology. Result Presently, the visual object tracking technology has a reliable performance under short-term object tracking condition. However, in long-term tracking required in practical application is difficult because the application scene is complex, making the difficult problem of object tracking prominent. Given the key and difficult problems in object tracking, such as target occlusion and target out of view, the robustness and precision of object tracking technology are required to be high in practical application, and corresponding solutions to the problem of long-time object tracking should be put forward. In view of the progress in the research on technology related to visual object tracking, along with the demand of unmanned aerial vehicle reconnaissance mission and the high maneuverability of unmanned aerial vehicles, this study analyzes the key problems, gives the current solutions of the existing weaknesses and explores the development direction. Conclusion Thus far, the visual object tracking technology has performed remarkable progress, and its accuracy and success rate have been significantly improved. Visual object tracking technology is becoming widely used in the reconnaissance missions of military equipment. However, the technology of object tracking remains challenging. The related theories of object tracking need to be further tested and improved, especially in view of the characteristics of infrared object tracking. To improve the object tracking effect in infrared image, the corresponding object tracking method and improved scheme should be further studied. The object tracking is challenging because the application scene is complex. The robustness and accuracy of the object tracking algorithm should be high to avoid failure, and its real-time performance and tracking speed should meet real-time requirements. Considering the application characteristics and application scope of different military equipment, finding a visual object tracking algorithm is important. The algorithm must be relatively accurate and robust and meets real-time requirements to enhance the equipment's all-weather reconnaissance ability and target battlefield information acquisition capability.

Key words

object tracking; mean-shift; particle filter; correlation filter; deep learning

0 引言

近些年,红外与可见光侦察技术在军事装备中的应用越来越广泛,随着计算机视觉技术的兴起,视觉目标跟踪技术成为研究的热点和难点。目标跟踪在图像处理角度可定义为根据已知目标图像位置预测后续所有影像中目标在图像中的位置的过程,以达到持续目标跟踪的目的。研究红外与可见光目标跟踪技术对增强任务设备目标情报获取能力,为目标全天候持续侦察、目标精确打击任务提供重要情报信息,因此对视觉目标跟踪的研究具有重要意义。

本文对目前应用广泛的视觉目标跟踪方法进行研究,将跟踪方法分为生成类和判别类两类,分别对两类中的两种基本跟踪算法进行研究,按照算法原理、算法优缺点、发展与改进方案对算法进行分析,最后对视觉目标跟踪方法进行总结与展望。

1 视觉目标跟踪技术难点

由于目标跟踪过程中目标与环境信息的变化导致目标特征的不断变化,以及目标跟踪对跟踪速度与精度的要求,导致目标跟踪存在如下几个主要难点:

1) 目标外观变化。由于物体活动、非刚体形变(如人跳跃、行走等)导致的目标外形发生变化,或拍摄角度变化导致的目标外观变化等。

2) 尺度变化。由于拍摄距离等因素导致目标在影像中所占区域大小发生变化。

3) 环境变化。由于拍摄环境(如光照、天气等)变化导致的目标影像成像特点等的变化。

4) 目标快速运动。由于目标的快速移动导致在影像中的坐标位置发生突变,影响目标搜索的速度和精度。

5) 目标遮挡、出视野。由于拍摄中目标被其他物体遮挡导致的特征部分或全部损失以及由于拍摄时目标跳出视野重新跟踪导致的跟踪失败问题。

6) 成像影响。由于红外摄像仪分辨率较低,目标分辨率低,边缘与目标特征不明显,有时目标与环境差异较小以及任务设备等对焦问题等都会导致目标跟踪时特征的提取困难。

上述因素对目标跟踪中的目标特征提取以及目标搜索策略具有重大影响,在实际跟踪过程中,较为准确地及时处理这些因素所造成的影响才能保证目标跟踪的精确性与鲁棒性。

2 视觉目标跟踪方法分类

目标跟踪方法按照目标模型建立的方式不同可分为生成类方法和判别类方法。

生成类方法即在原始影像帧中对目标按制定的方法建立目标模型,然后在跟踪处理帧中搜索对比与目标模型相似度最高的区域作为目标区域进行跟踪。算法主要对目标本身特征进行描述,对目标特征刻画较为细致,但忽略背景信息的影响,在目标发生变化或者遮挡等情况下易导致“失跟”现象。生成类方法包括均值漂移(mean-shift)、粒子滤波(particle filter)等。

判别类方法即通过对原始影像帧对目标及背景信息进行区分建立判别模型,通过对后续影像帧搜索目标进行判别是目标或背景信息,进而完成目标跟踪。

判别类方法与生成类方法的根本不同在于判别类方法考虑背景信息与目标信息区分来进行判别模型的建立。由于判别类方法将背景与目标进行区分,因此该类方法在目标跟踪时的表现通常更为鲁棒,目前已经成为目标跟踪的主流跟踪方式。判别类方法包括相关滤波(correlation filter)方法、深度学习(deep learning)方法等。

3 生成类跟踪方法

3.1 均值漂移

均值漂移是一种无参概率估计方法,该方法通过迭代沿着概率密度函数的梯度方向,搜索函数局部最大值。2000年Comaniciu等人[1-3]将均值漂移算法应用到目标跟踪领域,利用图像特征构造概率密度函数,由梯度方向搜索局部最大值作为目标位置,取得了很好的跟踪效果。具体方法原理如下:

3.1.1 算法原理

设包含目标区域位置图像集合为: $ \mathit{\boldsymbol{X}} = \left\{ {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}, \cdots , {\mathit{\boldsymbol{x}}_n}} \right\} $,其中$ {\mathit{\boldsymbol{x}}_i} $表示目标区域像素所在几何位置,则目标模型的概率密度为

$ {\mathit{\boldsymbol{P}}_u} = C\sum\limits_1^n K \left( {{{\left\| {{\mathit{\boldsymbol{x}}_i}} \right\|}^2}} \right)\delta \left( {\mathit{\boldsymbol{b}}\left( {{\mathit{\boldsymbol{x}}_i}} \right) - \mathit{\boldsymbol{u}}} \right) $ (1)

式中, $C$ 为归一化系数因子,$ C = 1/\sum\limits_1^n K \left( {{{\left\| {{\mathit{\boldsymbol{x}}_i}} \right\|}^2}} \right) $ $K$ (·)表示核函数,即加权函数,应用中常采用Epanechikov核函数, $\mathit{\boldsymbol{u}}$ 为目标特征, $\mathit{\boldsymbol{b}}$ ( ${\mathit{\boldsymbol{x}}_i}$ )为像素 ${\mathit{\boldsymbol{x}}_i}$ 的量化特征, $\delta $ (·)表示Kronecker函数,作为特征是否符合目标特征的判断函数。

下一帧影像中目标搜索区域候选目标概率密度为

$ {\mathit{\boldsymbol{\tilde P}}_u} = C\sum\limits_1^n K \left( {{{\left\| {\frac{{{\mathit{\boldsymbol{x}}_0} - {\mathit{\boldsymbol{x}}_i}}}{h}} \right\|}^2}} \right)\delta \left( {\mathit{\boldsymbol{b}}\left( {{\mathit{\boldsymbol{x}}_i}} \right) - \mathit{\boldsymbol{u}}} \right) $ (2)

式中, $\mathit{\boldsymbol{x}}$0为搜索窗口的中心像素位置, $h$ 为核函数窗口的大小,即目标区域大小,其他参数同目标模型参数定义。

目标区域搜索即找到与目标相似程度最大区域,相似性度量函数为

$ \rho = \sum\limits_1^n {\sqrt {{\mathit{\boldsymbol{P}}_u} \cdot {{\mathit{\boldsymbol{\tilde P}}}_u}} } $ (3)

式中,$ \rho $为Bhattacharyya系数,表示目标特征与候选目标特征的相似性程度。

最终目标跟踪的过程就是通过迭代,搜索与目标相似度最大的候选区域,即令$ \rho $最大,迭代方程为

$ \mathit{\boldsymbol{x'}} = \frac{{\sum\limits_1^n {{\mathit{\boldsymbol{x}}_i}{\mathit{\boldsymbol{\omega }}_i}g\left( {{{\left\| {\frac{{{\mathit{\boldsymbol{x}}_0} - {\mathit{\boldsymbol{x}}_i}}}{h}} \right\|}^2}} \right)} }}{{\sum\limits_1^n {{\mathit{\boldsymbol{\omega }}_i}g\left( {{{\left\| {\frac{{{\mathit{\boldsymbol{x}}_0} - {\mathit{\boldsymbol{x}}_i}}}{h}} \right\|}^2}} \right)} }} $ (4)

式中,$ {\mathit{\boldsymbol{\omega }}_i} = \sum\limits_1^n {\delta \left[ {\left( {\mathit{\boldsymbol{b}}\left( {{\mathit{\boldsymbol{x}}_i}} \right) - \mathit{\boldsymbol{u}}} \right)} \right]} \sqrt {\frac{{{\mathit{\boldsymbol{P}}_u}}}{{{{\mathit{\boldsymbol{\tilde P}}}_u}}}} $, 为窗口内目标的权重,$ g\left( \cdot \right) = - K'\left( \mathit{\boldsymbol{x}} \right) $

通过迭代方程,目标位置逐渐由上一帧位置沿着梯度方向,向目标真实位置移动,直到移动距离小于设定阈值或最大次数,则当前位置即为目标位置。

3.1.2 算法优缺点

均值漂移跟踪方法通过度量目标区域相似度,不断向特征向量变化最大方向移动,搜索含有目标特征最多的候选区域,最终达到目标跟踪的过程。均值漂移跟踪方法优点是算法简单,比较容易实现,易达到实时性跟踪要求。并且以统计直方图作为跟踪特征时,具有一定的旋转不变性、抗形变、抗轻微遮挡等特性。但该算法还存在如下不足:

1) 标准跟踪方法仅依据单一灰度统计直方图作为目标特征,目标特征描述不完备,容易受背景信息和环境信息的干扰。

2) 目标跟踪过程中由于核函数大小固定不变,所以当目标尺度发生变化时,易导致区域包含特征受到影响而导致跟踪失败。

3) 目标跟踪是基于目标建模检测的方法,所以对于出现目标遮挡、形变等问题跟踪效果不好。

4) 由于均值漂移跟踪是利用特征概率密度函数不断沿梯度方向最终搜索到目标的过程,因此对于目标快速移动,跟踪容易出现跟踪失败现象。

3.1.3 发展与改进方案

针对以上问题,学者们对均值漂移跟踪算法进行了深入的研究,并针对对应问题提出了一系列解决办法。

1) 目标特征。标准均值漂移目标跟踪算法采用空间颜色统计直方图作为目标表观特征,目标特征计算速度快,目标与背景颜色差异较大时,跟踪鲁棒性较好。但当背景与目标相似度较大,干扰较大,常会导致跟踪失败。学者们根据目标特征表征开展了深入研究。文献[4]提出基于局部背景动态修正模糊颜色直方图跟踪方法,通过核密度估计在颜色—空间域构建目标的模糊颜色直方图模型,利用目标的局部背景来动态地修正目标模型,克服了传统颜色统计直方图对光照敏感的缺点。文献[5]提出基于背景加权直方图特征的均值漂移跟踪方法,为降低背景信息模型概率,加强目标与背景区分度,同时对目标模型和候选模型进行背景直方图加权运算,但效果提升不明显。文献[6]提出校正的背景加权直方图跟踪方法,仅对目标模型进行背景加权直方图运算,降低背景信息模型概率,有效抑制背景干扰,提高了跟踪的鲁棒性。

基于多特征融合方法往往较单一特征对目标具有更好的表征能力,因此采用特征融合方法可有效提高目标跟踪的鲁棒性。文献[7]采用目标颜色特征与纹理特征建立目标直方图作为目标特征表征,文献[8]融合目标颜色特征、边缘特征以及纹理特征,分别采用均值漂移然后线性加权作为目标特征。文献[9]通过Fisher Criteria判断目标特征与背景区分度来分配不同权值给灰度特征、LBP纹理特征和相位特征。文献[10]通过构造目标特征池,根据目标与背景的统计直方图比率生成目标特征权重图,然后选择目标与背景区分度最高的特征进行加权融合作为目标特征,文献[11]融合目标纹理特征与颜色特征,提出特征联合相似度的概念,通过均值漂移算法联合相似度的最大化计算确定目标位置。

针对红外视频中目标分辨率低,细节信息不足且不包含颜色信息等特点,文献[12]融合目标局部均值对比度特征和灰度特征,以信息熵作为不确定性度量方法自适应分配特征权重。文献[13]首先利用灰度特征目标模型预测目标位置,然后建立以预测位置为中心的候选目标区域方向梯度-灰度直方图特征模型,以实现对红外目标的精确跟踪。

2) 尺度估计。标准均值漂移目标跟踪算法其核函数大小固定,不能适应目标尺度变化。针对无法对目标尺度进行估计的问题,文献[14-15]提出一种基于背景和前景目标相似度的核窗宽选取算法,通过构造多尺度空间,获得目标多尺度池特征,根据目标与背景相似度,自动选取窗口缩放比例,得到与目标尺度一致的跟踪窗口。文献[16]对尺度空间构造方式进行改进,不同于对目标整体进行尺度估计,在计算概率密度模型时在考虑目标区域的椭圆形特征,在目标尺度长短轴方向作尺度估计,改善了跟踪中目标尺度变化的精确度。文献[17]首先在视频当前帧目标的最优位置由目标颜色特征概率投影生成目标概率密度图,然后根据概率密度零阶矩值估计下一帧跟踪窗口尺度。文献[18]通过计算SIFT特征点的尺度变化自适应地改变跟踪窗口尺度。文献[19]利用计算得到的目标凸包拟合椭圆并结合卡尔曼滤波模型得到目标大小和方向的最优估计。

3) 遮挡问题。均值漂移目标跟踪首先构建目标概率密度模型,然后通过相似性度量,逐渐搜索目标区域,因此对于目标被部分或全部遮挡,目标出视野等情况跟踪效果不好。针对目标被遮挡问题,文献[20]通过将目标进行分块处理,对每一个分块分别建立目标块模型,将目标跟踪中跟踪效果最好的目标块组合作为跟踪结果。文献[21-22]将目标与候选区域水平方向和垂直方向进行分块,在跟踪过程中将跟踪目标分割成多个互不遮挡的矩形分块,对每一个矩形分块独立采用基于背景权重的均值漂移,并结合每一个分块求得的最佳目标位置。文献[18]采用目标颜色投影和成像角度作为分块标准对目标进行自适应分块,使各子块具有一定相异性并保证分块数目。文献[23]采用垂直投影法将目标分成若干子块,选择目标区域内的多个不同位置构建多个核函数加权直方图,利用分量的反投影运算区分目标发生形变或遮挡,并对目标模板和子块权重进行实时更新。

4) 快速移动。由于均值漂移在跟踪过程中通过概率密度函数梯度方向向候选区域逐渐移动到目标位置的一种局部最优方法,当目标移动过快时,概率密度函数梯度方向不明显时,将会导致跟踪失败。文献[24]通过构建目标金字塔图像池,利用均值漂移不同感受野,由粗到细逐步搜索目标最终位置。文献[25]通过背景信息感知方法构建稳定的目标概率模型,然后通过更大的目标搜索区域来确定快速移动目标位置。

5) 模型更新。针对目标变化对模型进行更新有利于提高目标跟踪的精度和鲁棒性。文献[26]提出利用Kalman滤波对目标模板像素进行滤波的模板更新方法,利用滤波平滑来使模板适应目标变化。文献[27]提出利用Kalman滤波对目标核函数直方图进行最优估计,然后通过与观测模型Bhattacharyya系数防止过更新方法达到对目标外观变化的适应。文献[28]通过候选模型反向投影生成概率图,然后抑制背景信息来获得校正目标候选模型,最后通过将目标模型和校正目标候选模型的加权平均来更新目标模型。

3.2 粒子滤波

粒子滤波是一种非参数化滤波方法,基于蒙特卡洛方法将贝叶斯滤波方法中的积分运算转化为粒子采样求样本均值问题,通过对状态空间的粒子的随机采样来近似求解后验概率,对于解决非线性滤波问题具有重要意义。2002年Nummiaro等人[29]首次将粒子滤波运用到目标跟踪领域,取得了很好的效果。

3.2.1 算法原理

首先建立模型参数:设包含目标区域位置图像集合为:$ \mathit{\boldsymbol{X}} = \left\{ {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_1}, \cdots , {\mathit{\boldsymbol{x}}_n}} \right\} $,其中$ {\mathit{\boldsymbol{x}}_i} $表示目标区域像素所在位置,则目标模型的概率密度如公式(1)所示。

定义粒子样本集为

$ \mathit{\boldsymbol{x}} = \left\{ {\mathit{\boldsymbol{x}}, \mathit{\boldsymbol{y}}, \mathit{\boldsymbol{\dot x}}, \mathit{\boldsymbol{\dot y}}, {\mathit{\boldsymbol{H}}_x}, {\mathit{\boldsymbol{H}}_y}, \mathit{\boldsymbol{a}}} \right\} $ (5)

式中, $\mathit{\boldsymbol{x}}$ , $\mathit{\boldsymbol{y}}$ 表示粒子中心坐标, $\mathit{\boldsymbol{\dot x}}$ , $\mathit{\boldsymbol{\dot y}}$ 表示粒子的运动速度,$ {\mathit{\boldsymbol{H}}_x} $, ${\mathit{\boldsymbol{H}}_y}$ 表示粒子区域的高和宽, $\mathit{\boldsymbol{a}}$ 表示尺度变化。

系统状态方程为

$ {\mathit{\boldsymbol{x}}_t} = \mathit{\boldsymbol{A}}{\mathit{\boldsymbol{x}}_{t - 1}} + {\mathit{\boldsymbol{\omega }}_{t - 1}} $ (6)

式中, ${\mathit{\boldsymbol{x}}_t}$ 表示粒子状态, $\mathit{\boldsymbol{A}}$ 表示状态转移矩阵, ${\mathit{\boldsymbol{\omega }}_{t - 1}}$ 为过程噪声。

粒子集初始化:由 $p$ ($ {\mathit{\boldsymbol{x}}_0} $)生成采样粒子$ \mathit{\boldsymbol{c}}_0^i, i = 1, 2, \cdots , n $

重要性采样:根据重要性概率密度函数采集样本$ \mathit{\boldsymbol{\bar c}}_0^i, i = 1, 2, \cdots , n $。计算权值$ \mathit{\boldsymbol{\omega }}_k^i $并进行归一化。

重采样:对重要性采样样本($ \mathit{\boldsymbol{\bar c}}_0^i, \mathit{\boldsymbol{\omega }}_k^i $)进行重采样,得到新样本集(又称粒子集)($ \mathit{\boldsymbol{c}}_0^i, 1/N $)。

根据状态方程估计下一帧粒子几何状态

$ {\mathit{\boldsymbol{c}}_t} = \mathit{\boldsymbol{A}}{\mathit{\boldsymbol{c}}_{t - 1}} + {\mathit{\boldsymbol{\omega }}_{t - 1}} $ (7)

下一帧中目标搜索区域候选目标概率密度为

$ {{\mathit{\boldsymbol{\tilde P}}}_u} = C\sum\limits_1^n {K\left( {{{\left\| {\frac{{{\mathit{\boldsymbol{x}}_0} - {\mathit{\boldsymbol{x}}_i}}}{h}} \right\|}^2}} \right)} \delta \left( {\mathit{\boldsymbol{b}}\left( {{\mathit{\boldsymbol{x}}_i}} \right) - \mathit{\boldsymbol{u}}} \right) $ (8)

式中, ${\mathit{\boldsymbol{x}}_0}$ 为搜索窗口的中心像素位置, $h$ 为核函数窗口的大小,其他参数同目标模型参数定义。

目标区域搜索即找到与目标相似程度最大区域,相似性度量函数

$ \rho = \sum\limits_1^n {\sqrt {{\mathit{\boldsymbol{P}}_u} \cdot {{\mathit{\boldsymbol{\tilde P}}}_u}} } $ (9)

式中, $\rho$ 为Bhattacharyya系数,表示相似性度量。

根据Bhattacharyya系数计算粒子集合权重

$ \mathit{\boldsymbol{\omega }}_k^i = \frac{1}{{\sqrt {2{\rm{ \mathit{ π} }}\sigma } }}{{\rm{e}}^{ - \frac{{\left( {1 - \rho } \right)}}{{2{\sigma ^2}}}}} $ (10)

输出:根据计算权重,估算粒子集合状态平均值即为目标跟踪输出

$ E\left[ {{c_k}} \right] = \sum\limits_{n = 1}^N {\mathit{\boldsymbol{\omega }}_k^n} \mathit{\boldsymbol{c}}_k^n $ (11)

3.2.2 算法优缺点

粒子滤波目标跟踪通过目标特征设置粒子分布,通过迭代求解粒子状态均值近似求解后验概率,获取系统状态的最小方差概率估计的跟踪方法。粒子滤波跟踪算法简单,易实现,并且由于粒子滤波的无参数估计特性,因此适用于非线性动态系统分析。但存在如下不足:

1) 由于将重要性函数作为后验概率分布函数,在递推过程中会出现粒子退化问题。采用重采样解决粒子退化问题时,由于大量重复的粒子会导致粒子的多样性丧失。特别在系统噪声小的系统尤为凸显。

2) 由于粒子滤波跟踪基于蒙特卡罗思想进行递推贝叶斯滤波,因此其精度受到获取粒子数目的影响,粒子数大精度高但严重影响跟踪速度,反之精度会降低。

3) 以颜色统计直方图作为目标特征,目标特征表达过于单一,容易受背景信息和环境信息影响。

3.2.3 发展与改进方案

由于粒子采样时,将重要性函数作为后验概率分布函数的近似,理想状态下,重要性函数与后验概率函数相同,但真实情况下,重要性函数与后验概率函数有很大偏差,再加上采样中的测量值也因为噪声影响,造成采样值与真实值差异较大,因此,重要性权重的方差随着递推过程的进行而增加,从而使得粒子的权重集中在少数粒子上,而其余粒子由于权重很小,因此对于后验概率的估计作用很小,由于其大量存在导致概率估计不准确,而且造成计算量极大的浪费,即粒子滤波的粒子退化问题。由于标准粒子滤波采用基于蒙特卡罗方法的后验概率估计,因此粒子退化成为粒子滤波最为主要的缺陷[30]

针对粒子退化问题最有效也是最主要的解决方案是重要性密度函数的选择和粒子重采样。其中,粒子重采样由于其算法简单,较易实现因此得到广泛应用。

1) 粒子重采样。粒子重采样是抑制粒子退化的有效手段。重采样算法通过增加高权重粒子数,减少低权重粒子数达到增加有效粒子同时克服粒子退化的目的。但由于仅仅以权重作为评价标准,不断增加高权重粒子,减少低权重会导致粒子多样性降低。因此对重采样方法进行改进,在抑制粒子退化的同时增加粒子多样性是重要的研究思路。但如果每次递推均考虑粒子重采样,会导致计算量大幅上升,因此实际计算中常对退化程度进行检测,常用的粒子退化衡量指标为

$ {\mathit{\boldsymbol{S}}_D} = \frac{1}{{\sum\limits_{i = 1}^n {{{\left( {{\mathit{\boldsymbol{\omega }}_i}} \right)}^2}} }} $ (12)

式中, ${{\mathit{\boldsymbol{\omega }}_i}}$ 表示粒子权重, $n$ 表示粒子数。对于粒子退化严重的粒子采用重采样方法抑制粒子退化问题,改善目标跟踪效果。

文献[31-32]采用重采样移动算法,在重采样之后进行MCMC(Markov chain Monte Carlo)移动处理,使得粒子分布与状态概率密度函数更加接近,从而使样本分布更加合理。但所需概率转移次数大,收敛性判断困难。文献[33]采用正则粒子滤波,采用核密度函数和核带宽系数从连续的后验概率密度进行重采样,可以较好地克服粒子退化问题,改善粒子退化对目标跟踪效果的影响。但对于核函数非高斯情况处理达不到最优,是一种次优滤波。文献[34-35]采用辅助粒子滤波方法,通过对粒子集中的粒子权重根据似然值进行修正,让重采样粒子向着似然函数的峰值方向移动。辅助粒子滤波对粒子权值进行2次计算,增加了重采样粒子权值的稳定性,采样之后的权值方差更小,有效抑制粒子退化效应,但同时计算量会增大。

2) 重要性函数选择。对于标准粒子滤波,由于采用重要性密度函数作为先验概率密度,没有将目标状态测量值考虑在内,因此目标状态对模型的依赖程度高,在噪声等影响下会导致采样值与真实值相差较大,导致后验概率估计不准确。因此选用较好的重要性密度函数,对提高算法概率估计精度,抑制粒子退化具有重要意义。

文献[36-37]采用无味粒子滤波(UPF)方法,利用无味卡尔曼滤波(UKF)对非线性问题的处理能力,来生成粒子滤波的建议分布,改善滤波效果。文献[38-39]采用扩展卡尔曼粒子滤波(EKPF)方法通过对非线性系统的一阶泰勒近似,将量测方程和非线性系统方程近似线性化,然后用卡尔曼滤波进行状态估计。扩展卡尔曼粒子滤波考虑最新的量测值,通过高斯近似更新后验分布来实现递推估计。文献[40-42]采用交互式多模型粒子滤波(IMMPF)算法,针对运动目标多种运动模式设计多个匹配模型,对于各个模型按照先验概率密度抽取粒子,然后经过输入交互、粒子滤波后进行重采样,再进行输出交互完成目标状态估计。交互式多模型粒子滤波结合多模型估计算法与粒子滤波算法,对目标状态估计更为准确。

3) 自适应粒子数。粒子滤波中粒子数是影响跟踪精度的重要因素,理论上粒子数越多对目标状态的估计越准确,但同时带来跟踪速度下降。为保证跟踪精度,提高速度,根据目标跟踪状态自适应选择粒子数是一个有效策略。文献[43]提出自适应粒子滤波,跟踪过程中根据主动轮廓半径模型确定粒子传播半径,保证有用粒子数量尽量降低总粒子数。文献[44]通过观测残差估计粒子的提议分布自适应确定粒子数。文献[45]自适应地通过Fisher判别准则,从16个不同的颜色特征空间中选择最能区分目标及其邻近背景的1个最佳特征空间,然后在这个最佳特征空间中用基于统计直方图的粒子滤波算法跟踪目标。文献[46-48]基于KL(Kullback Leibler)距离采样的自适应粒子滤波,通过KL距离确定后验概率密度与估计值的误差最小时所需粒子数,在保证粒子滤波性能的同时尽量减小粒子数目从而提高跟踪速度。

文献[49]采用边缘化粒子滤波方法对粒子滤波计算量进行简化达到提高目标跟踪速度目的。将非线性系统的状态空间模型动态分解为非线性部分与线性部分,对线性部分采用Kalman滤波器进行处理,对非线性部分采用粒子滤波进行处理,有效地克服了粒子退化问题,而且降低了计算量。

4) 目标特征。目标特征是影响目标跟踪效果的一个重要因素,因此选择目标特征完备、与背景区分度较好的目标特征将极大提升粒子滤波目标跟踪鲁棒性。由于环境的复杂性,前景背景在目标跟踪过程中往往其定位并不一定,在不同的任务中,目标与背景可能发生转换,因此单一特征往往无法满足应用场景中对复杂环境的需求,而结合不同特征对目标特征的不同表征使得目标与背景的区分度增加。文献[50]采用颜色特征与SIFT(scale invariant feature transform)特征融合算法,通过颜色特征计算粒子权重然后通过SIFT特征匹配情况来更新权值,取得较好的跟踪效果。文献[51]融合显著性特征与颜色特征,通过二阶自回归模型预测目标状态获得显著性图像,提取显著特征与颜色特征的融合特征。文献[52]针对红外目标跟踪问题提出灰度特征与分形特征融合的联合观测模型。多种特征表示是为了弥补单一特征在一些情况下对目标表征的不足。但直接将多种特征进行融合,在一些情况下部分特征表现较好,而部分特征表现较差,对特征进行筛选,将表现好的特征应用到目标跟踪中将取得更好的效果。文献[53]通过融合目标梯度特征和灰度特征获得红外目标融合特征,然后根据目标跟踪置信度自适应分配权值。文献[54]融合颜色、LBP纹理、形状特征,通过对数似然比方差选择特征表征较好的特征作为目标跟踪特征。

4 判别类跟踪方法

4.1 相关滤波

通过构造相关滤波器,搜索最大响应候选区域,该区域与目标相关性最大,作为下一帧目标进行跟踪。2010年Bolme等人[55]将相关滤波器应用到目标跟踪领域,提出基于最小化均方误差(MOSSE)的相关滤波目标跟踪方法,将时域计算转换到频域进行计算,目标跟踪速度达到惊人的669帧/s,将目标跟踪速度推向了一个新的高度,因此近几年在其基础上改进的目标跟踪方法占据主导位置。

4.1.1 算法原理

相关滤波目标跟踪算法流程图如图 1所示,首先根据目标区域训练回归器,在下一帧目标区域附近进行搜索响应最大位置即为目标位置,即

$ \mathit{\boldsymbol{G}} = \mathit{\boldsymbol{F}} \odot {\mathit{\boldsymbol{H}}^ * } $ (13)

图 1 相关滤波目标跟踪
Fig. 1 Correlation filtering object tracking

式中,$ \mathit{\boldsymbol{F}} = \mathcal{F}\left( \mathit{\boldsymbol{f}} \right) $为目标区域特征傅里叶变换,$ \mathit{\boldsymbol{H}} = \mathcal{F}\left( \mathit{\boldsymbol{h}} \right) $为滤波模板傅里叶变换, $\mathit{\boldsymbol{H}}$*表示 $\mathit{\boldsymbol{H}}$ 的共轭转置, $\mathit{\boldsymbol{G}}$ 表示最终响应。

从而得到滤波模板为

$ {\mathit{\boldsymbol{H}}^ * } = \frac{\mathit{\boldsymbol{G}}}{\mathit{\boldsymbol{F}}} $ (14)

构造目标函数使得响应与目标值最小,即

$ \mathop {\min }\limits_{{\mathit{\boldsymbol{H}}^ * }} \sum\limits_i {{{\left| {{\mathit{\boldsymbol{F}}_i} \odot {\mathit{\boldsymbol{H}}^ * } - {\mathit{\boldsymbol{G}}_i}} \right|}^2}} $ (15)

由上式可得封闭解 ${\mathit{\boldsymbol{H}}^ * }$ ,即

$ {\mathit{\boldsymbol{H}}^ * } = \frac{{\sum\limits_i {{\mathit{\boldsymbol{G}}_i} \odot \mathit{\boldsymbol{F}}_i^ * } }}{{\sum\limits_i {{\mathit{\boldsymbol{F}}_i} \odot \mathit{\boldsymbol{F}}_i^ * } }} $ (16)

跟踪过程中由上一帧求解目标模板,在下一帧搜索与模板响应最大值作为目标位置输出一次循环。为减少计算量,降低噪声等影响,采用如下模板更新策略

$ {\mathit{\boldsymbol{H}}^ * } = \frac{{{\mathit{\boldsymbol{A}}_i}}}{{{\mathit{\boldsymbol{B}}_i}}} $ (17)

$ {\mathit{\boldsymbol{A}}_i} = \eta {\mathit{\boldsymbol{G}}_i} \odot \mathit{\boldsymbol{F}}_i^ * + \left( {1 - \eta } \right){\mathit{\boldsymbol{A}}_{i - 1}} $ (18)

$ {\mathit{\boldsymbol{B}}_i} = \eta {\mathit{\boldsymbol{F}}_i} \odot \mathit{\boldsymbol{F}}_i^ * + \left( {1 - \eta } \right){\mathit{\boldsymbol{B}}_{i - 1}} $ (19)

式中, $\eta$ 表示模板更新速率。

4.1.2 算法优缺点

相关滤波算法采用构造相关滤波器方法,在下一帧将滤波器与预测位置进行滤波,选择响应最大值作为目标新位置。算法将时域计算通过傅里叶变换转化到频域中进行计算,速度得到极大提升,将目标跟踪速度推向新的高度,并且相关滤波算法原理简单,目标特征提取与跟踪算法结合简单,算法实现与扩展比较容易。但该算法存在以下不足:

1) 采用单通道灰度特征作为目标特征表示,目标表征不完全,容易受相似环境影响,导致跟踪失败。

2) 目标跟踪效果与模板更新速率相关,但更新速率凭借经验值设定。

3) 模板更新中模板大小固定,对于目标尺寸变化等影响跟踪效果不好。

4) 由于相关滤波根据前帧目标训练检测滤波器,对于目标快速变形、遮挡等跟踪效果不好。

5) 由于频域中的计算导致时域中的卷积受到边界效应的影响,滤波器模板的鲁棒性受到限制。

4.1.3 发展与改进方案

相关滤波在跟踪领域的应用,对目标跟踪的实时性问题提供很好的解决方案。但相关滤波与目标跟踪的结合还存在一些不足,学者们对相关滤波的目标跟踪进行了更深入的研究,并提出相应解决方案。文献[56]利用循环矩阵性质,解决了目标样本稠密采样带来的计算量问题,结合核函数方法进一步提高目标跟踪的精度,并推导出相关滤波跟踪损失函数的闭环解,为后续研究工作提供理论研究基础,后续很多工作在其基础上进行改进[57-61],核相关滤波方法得到进一步完善。

1) 目标特征。目标跟踪中目标的特征提取是目标跟踪效果极为重要的影响因素。MOSSE相关滤波跟踪方法采用目标灰度特征提取方法,但灰度特征在目标背景复杂或目标与背景外观相似情况下跟踪效果不好。文献[57]提出核相关滤波方法,用多通道方向梯度直方图(HOG)特征取代灰度特征,较灰度特征目标描述更准确。文献[62]将HOG特征与灰度特征融合作为目标特征表征,文献[63]将CN(Color Name)[58]应用到目标跟踪中,CN特征将目标RGB(红,绿,蓝)颜色特征映射为黑、蓝、棕、灰、绿、橙、粉、紫、红、白和黄(Black, Blue, Brown, Grey, Green, Orange, Pink, Purple, Red, White, Yellow)11种颜色特征的多通道颜色特征,较RGB三原色特征对目标的表征能力更强,而且具有一定的光学不变性。文献[59]采用HOG与CN特征融合来提高跟踪鲁棒性。

针对红外影像特点,文献[60]采用空间背景特征、帧间差分和灰度概率分布图结合的运动特征以及卷积特征,加权作为目标特征。文献[61]采用灰度特征、背景空间特征和运动特征加权组合,获得目标更完备的特征描述,其中结合深度学习提取目标特征方法,将在4.2节进行介绍。

2) 尺度变化。对于目标在视野中尺度发生变化的情况,采用固定的跟踪滤波器将会导致跟踪精度下降,因此在跟踪过程中根据目标变化调整滤波器尺度对于目标尺度变化情况下的跟踪尤为重要。文献[59]采用构造目标图像多尺度池方法,搜索目标响应最大尺度即为目标最佳尺度,所在位置即为目标位置。文献[61]采用二分搜索和快速特征缩放的方法来加快尺度空间搜索。文献[64]将后验概率最大化代替最大响应作为尺度评价准则。文献[62]提出将尺度空间加入到相关滤波中,采用平移相关滤波器与空间尺度相关滤波器相结合的跟踪框架,先计算目标的平移位置再估计目标尺度,算法简单高效,为目标尺度估计提供一种高效方案。其在之后加入主成分分析(PCA)降维方法[65],对目标特征进行降维,获取目标更为准确和鲁棒的特征,降低了运算量,对目标跟踪速度进一步提升。结合尺度空间方法解决了目标跟踪尺寸变化导致的失跟现象。后续学者不断提出不同多尺度方法[66-67]

3) 边界效应。相关滤波采用在线样本循环移位作为训练样本构建检测器,在移位过程中会导致目标有效样本较少,而且背景信息的干扰较大,因此对背景进行抑制对目标跟踪中的准确性,改善目标快速移动具有重要意义。文献[68]采用扩展检测范围,同时给循环移位样本左乘一个掩膜矩阵 $\mathit{\boldsymbol{P}}$ 来对样本进行裁切,提升真实样本比例,训练更为鲁棒的滤波器,降低边界效应的影响。但该方法破坏了算法的封闭解,采用ADMM(alternating direction method of multipliers)迭代优化方法得到解析解。文献[69]采用空域正则化方式限制滤波器边界问题,在构造目标损失函数时,加入空域正则化系数矩阵,通过对目标意外惩罚边界区域的滤波器系数,来改善循环移位影响。但正则化方法同样破坏了算法的封闭解,采用ADMM迭代优化方法得到解析解。文献[70]提出基于目标响应自适应的目标跟踪方法,在构造目标损失函数时,通过对目标响应值加入惩罚项,跟踪过程同时依赖目标模板和目标前帧运动信息,以此来降低背景干扰。文献[71]提出基于上下文感知的目标跟踪方法,在构造目标损失函数时,通过对背景信息加入惩罚约束项来降低背景干扰。算法有闭环解,对速度的影响较小。

4) 遮挡问题。对于相关滤波跟踪中,由于其模板更新策略问题,导致在目标受到遮挡时的跟踪效果下降。对目标遮挡有效的解决方案有2种:

(1) 对目标进行分块处理,分别对不同目标块进行滤波处理,并加入目标响应检测指标,根据置信度信息自适应对目标模板块进行更新,提高目标跟踪的鲁棒性。常用目标跟踪效果判别指标:

峰值旁瓣比

$ PSR = \frac{{{\mathit{\boldsymbol{G}}_{\max }} - {\mathit{\boldsymbol{S}}_1}}}{{{\mathit{\boldsymbol{\sigma }}_1}}} $ (20)

式中, ${\mathit{\boldsymbol{G}}_{\max }}$ 表示目标响应最大值, ${\mathit{\boldsymbol{S}}_1}$ 表示旁瓣均值, ${\mathit{\boldsymbol{\sigma }}_1}$ 表示旁瓣标准差。

目标响应平移度

$ SCC{M_i} = {\left\| {\mathit{\boldsymbol{G}}_i^t - \mathit{\boldsymbol{G}}_i^{t - 1} \oplus \Delta } \right\|^2} $ (21)

式中, $\mathit{\boldsymbol{G}}_i^t$ 表示目标响应值,⊕表示移位操作,Δ表示移位位数。

平均峰值相关能量

$ APCE = \frac{{{{\left| {{\mathit{\boldsymbol{G}}_{\max }} - {\mathit{\boldsymbol{G}}_{\min }}} \right|}^2}}}{{{\rm{mean}}\left( {\sum\limits_{\omega , k} {{{\left( {{\mathit{\boldsymbol{G}}_{\omega , k}} - {\mathit{\boldsymbol{G}}_{\min }}} \right)}^2}} } \right)}} $ (22)

式中, ${\mathit{\boldsymbol{G}}_{\max }}$ / ${\mathit{\boldsymbol{G}}_{\min }}$ 分别表示目标响应最大/最小值, ${\mathit{\boldsymbol{G}}_{\omega , k}}$ 表示区域不同响应值。

文献[72]提出基于目标分块的跟踪方法,将目标分为局部目标块分别进行相关滤波操作,采用SCCM(smooth constraint of confidence maps)检测目标遮挡程度,自适应分配目标块权重。文献[73]采用最大响应值作为目标遮挡判断指标,文献[74]提出结合分块与全局信息跟踪方法,分别对目标分块与全部目标块进行滤波操作,并结合目标空间结构信息,确定目标位置信息和尺度信息。

(2) 通过对目标跟踪中的遮挡问题进行检测,调整目标跟踪中的模板更新来调整跟踪效果。文献[75]针对相关滤波目标跟踪中目标遮挡、失跟问题,提出依据多峰检测与置信度的目标模型更新策略,当最大响应分数与 ${\rm{APCE}}$ (average peak-to correlation energy)达到一定阈值才进行模型更新,一定程度上解决了目标被遮挡等模型被污染问题,提高了目标跟踪效果。文献[76]通过对红外目标跟踪过程分析,当背景遮挡或干扰较大时,此时目标分辨力不够,通过对目标加入惩罚系数矩阵,基于时空上下文进行目标跟踪,当目标恢复继续对进行持续跟踪。文献[77]提出结合目标检测方法,当目标跟踪最大响应值低于设定阈值,认为目标跟踪失败,采用目标检测方法继续搜索目标位置。

4.2 深度学习

随着卷积神经网络框架在目标分割、识别领域的广泛应用[78-80],卷积神经网络得到迅速发展。尤其是近年来计算机技术的不断发展,为CNN(convolutional neural network)网络框架提供了良好的实现基础,CNN网络得到极大的发展,应用也越来越广泛。

将深度学习方法运用到目标跟踪领域中来,对于提高目标跟踪的精度与鲁棒性具有重要意义。目前深度学习在目标跟踪领域的应用可分为2类,一类是结合相关滤波方法,以深度学习作为特征提取方式,以相关滤波作为跟踪框架的目标跟踪方式;另一类则是完全基于神经网络框架的目标跟踪方法。

4.2.1 神经网络特征提取

CNN网络由于其具有极高的目标特征提取与表达能力,因此将CNN框架运用到目标跟踪领域中提取目标特征,对提高目标跟踪精度和鲁棒性具有重要意义。

CNN卷积层对目标的特征在不同层次具有不同的描述能力,卷积层越高,图像特征分辨率越低,相反语义信息越丰富,利用不同卷积层目标特征的不同表达,针对目标状态有机地结合不同卷积层信息,对不同卷积层进行区别权重处理,利用不同目标的描述能力,对目标跟踪的鲁棒性与精确性有很大的提升[81-83]。文献[81]将目标HOG特征改进为CNN单层卷积深度特征来提高跟踪鲁棒性。文献[82-83]利用CNN网络卷积35层提取目标特征,如图 2所示,利用高层空间的语义特征搜索目标大致位置,底层空间的细节信息精确定位目标坐标,这种由粗到细的目标定位方法为目标跟踪提出新的思想。

图 2 分层卷积特征
Fig. 2 Hierarchical convolutional features

文献[84]采用卷积特征结合HOG与CN特征融合方法。针对红外目标跟踪问题,文献[85]通过将预训练可见光CNN模型在红外数据集上进行微调,用于红外目标的特征提取,针对红外影像分辨率低,单层神经网络目标信息不足的特点,利用分层特征构造弱相关滤波器,然后根据分层响应与目标响应KL距离自适应分配权值获得目标终响应,定位红外目标图像位置。文献[86]利用在红外数据集上训练的CNN神经网络,并结合HOG和Gist特征[87]获得较为鲁棒红外目标特征,然后利用相关滤波跟踪方法进行目标跟踪。

4.2.2 深度目标跟踪

深度学习方法在目标识别领域的应用越来越广泛,将深度学习网络框架应用到目标跟踪中来,结合神经网络框架的优势,对目标跟踪将是极大的提升。文献[88]首次将深度学习框架运用到目标跟踪领域中,通过构建栈式降噪自编码器(SDAE)训练获得目标特征通用提取框架,目标跟踪时通过目标图像对网络进行微调,然后分类得到目标位置来完成跟踪过程。首次提出线下网络训练,线上微调的跟踪策略,减少了网络框架对目标样本数的需求,提高了跟踪性能。

CNN网络在目标分类中的性能在近些年取得极大的提升,将CNN网络运用到目标跟踪中来,是对目标识别优秀框架的拓展与应用[89-90]。但目标跟踪不同于目标检测和识别,目标跟踪中目标样本数较少,训练样本不足,而且跟踪中不需要精细分类模块,因此常采用训练通用目标特征提取框架方式进行目标跟踪。文献[89]首次将CNN网络框架应用到目标跟踪中,通过缩小输入图像大小,精简网络结构来加快跟踪速度。作者首先通过大型数据集训练CNN网络框架,然后提取目标不同尺度图像输入网络,输出目标位置概率图,最终确定目标位置,同样采用预训练与在线微调方法相结合方式。

针对目标跟踪任务与目标识别任务的不同特点,对CNN网络进行简化,学习目标的通用特征能极大提高目标跟踪速度。文献[90]提出一种新的跟踪神经网络框架MDNET(multi-domain convolutional neural networks),通过卷积层与全连接层连接方式,精简卷积层来降低网络参数。训练过程通过在已知数据集上对不同目标设计不同全连接层,训练得到普适的卷积层用于目标特征提取,然后在跟踪阶段设计新的全连接层,通过初始帧及在线方式更新,输出目标位置。文献[91]通过构建CNN模型树,训练不同全连接层CNN模型树,判断候选框与目标的相关性,对不同CNN框架赋予不同置信度权值,自适应选择跟踪精度较好的目标特征,增加了目标跟踪的可靠性。

通过线下预训练网络模型,线上微调的方式进行目标跟踪的方式,结合了目标本身的特性,可针对特定目标进行网络调整,但由于在跟踪过程中不断进行网络微调,因此跟踪速度受到限制。文献[92]通过构建新的CNN跟踪框架,首先利用卷积层提取目标与候选目标特征,然后在全连接层用基于回归的方法代替分类器,确定目标位置。该方法直接通过大量离线带标签的视频和图像训练网络模型,同时跟踪过程中固定网络权值,避免在线更新耗时,算法在GPU条件下取得了大于100帧/s的跟踪速度。

文献[93]提出全卷积目标跟踪框架,利用CNN提取到的特征在不同层次对目标定位的作用不同,分别选择高层卷积层用于区分类别间目标同时对于变形和遮挡鲁棒性较强,底层卷积层用于区分干扰目标。首先通过CNN卷积层,在底层和高层两个层根据目标回归模型筛选相关度强的图谱,然后将底层和高层图谱分别送入2个卷积层分别用来判断类间和类内目标类别,生成热度图谱,最后结合热度图谱确定目标位置。为避免噪声影响,固定高层卷积层图谱,在线微调底层卷积层图谱。由于模型复杂,参数较多,跟踪速度比较慢。

文献[94]提出一种全卷积孪生网络结构,如图 3所示,通过一对在大型数据集上离线训练的通用孪生网络框架提取目标模板与候选区域特征,然后将目标模板与候选区域进行卷积操作,得到目标响应图,响应最大候选区域位置即为目标位置。该方法模型构建简单,跟踪速度可达到58帧/s而且跟踪精度高。

图 3 全卷积孪生网络
Fig. 3 Fully-convolutional siamese networks

文献[95]在文献[94]基础上,在模板网络层卷积层与Crop层之间加入相关滤波器,通过推导相关滤波可微闭合解,将其等价为CNN网络层,将全卷积网络与相关滤波方法结合起来,提出一种端到端相关滤波训练跟踪方法。通过相关滤波岭回归方式生成滤波器模板,由于其频域中计算,并且通过简化卷积层降低网络参数,实现较高的跟踪精度和速度。

文献[96]基于文献[95]跟踪方法,针对红外影像特点,在红外数据集上对CNN网络进行微调,然后利用卷积层35层特征信息,结合高层的语义信息和底层的细节信息联合对红外目标进行特征提取,最终定位目标。

文献[97]提出相关滤波网络,用CNN网络提取目标与候选目标特征,然后通过相关滤波方法,在频域中进行计算完成目标跟踪,速度更快,特征分辨力更高。但网络受到边界效应的影响,检测区域有限。

随着神经网络的不断深入研究,目标跟踪的效果也得到极大的提升。但目前基于神经网络的跟踪算法普遍实时性较差,而且需要大量训练数据作为支撑,限制了其在目标跟踪中的应用。因此对其进行相关改进是以后研究的重要方向。

5 实践应用与发展趋势

在实践应用中,不同的设备与应用场景下以及不同的任务设备载荷对视觉目标跟踪技术都提出了不同的要求。无人机作为目前主要的军事侦察手段之一,由于其灵活、方便、易操控、战场生存能力强等特点,因此在侦察任务中受到广泛应用。目前,无人机以及相关红外与可见光侦察设备在近些年被广泛使用,提高了无人机全天候目标侦察能力,同时对后端情报信息处理能力的要求也越来越高。

目标跟踪作为战场任务侦察的重要技术手段,在侦察打击一体化中的应用技术要求越来越高。在无人机飞行侦察过程中,由于其灵活的机动能力,容易出现设备抖动现象,导致视野中目标快速变化,或由于突发情况导致的目标临时跑出视野范围情况,以及在持续侦察过程中环境的变化和物体的变化情况等都是造成目标跟踪失败的重要原因,也是无人机侦察目标跟踪任务中需要解决的重要问题。在情报获取、侦察打击阶段,解决上述问题具有重要的军事意义,目前对于目标跟踪技术尺度变化、遮挡问题、目标特征问题的处理,在一定程度上解决了无人机应用中的失跟现象,但对于快速变化情况的处理效果还不够好,对这些方面的研究还有很大的发展空间。

文中目标跟踪技术大多是处理短时目标跟踪情况,对于长时跟踪则需要结合目标检测的手段。当目标出视野或者由于突发情况导致的跟踪失败情况发生时,则需要加入目标检测技术,重新定位目标位置,然后继续目标跟踪。文献[75]通过在相关滤波目标跟踪的基础上加入置信度检测滤波器,获取目标实时跟踪置信度。根据置信度指标,利用构建分类器的目标检测方式,搜索目标位置以完成跟踪。但目标检测相对目标跟踪耗时较长,搜索范围较大,当目标长时间出视野时,跟踪效果将受到极大的限制。文献[98]采用全局搜索策略来解决目标快速移动问题。首先提取图像边缘信息,然后用Edge Boxes[99]来提取目标候选区域,最后使用线性SVM对每个候选区域进行相似性分析确定目标位置。但算法跟踪鲁棒性有待进一步提高。因此如何快速定位目标位置,解决长时跟踪问题成为目标跟踪所要解决的主要问题之一。

近些年深度学习的加入使得目标跟踪的精度越来越高,为提高跟踪精度学者们不断提出各种解决方案,极大地提高了目标跟踪的精度,但同时加入的约束项更多,计算量更大,带来的是目标跟踪速度的下降。因此如何在满足目标跟踪精度的同时,简化深度学习框架以提高跟踪速度是未来利用深度学习进行目标跟踪的重要发展方向。

将深度学习方法应用到目标跟踪中,解决目标跟踪精度的同时,提高目标跟踪的速度需求,结合目标长时跟踪策略,是未来目标跟踪实际应用的重点和难点。

6 结论

本文对视觉目标跟踪基本算法进行分析,分别给出算法原理、优势与不足以及目前发展的改进方案。视觉目标跟踪技术已经取得了显著的进展,在侦察任务中的应用越来越广泛。但目标跟踪相关理论有待进一步完善,由于实际应用中的场景复杂,跟踪问题的挑战性更大,因此导致跟踪效果不佳。针对不同的应用环境,结合具体不同军事装备的特点,研究相对精确和鲁棒的视觉目标跟踪算法,对提升装备的全天候侦察目标信息获取能力具有重要意义。

参考文献

  • [1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean shift[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island, SC, United States: IEEE, 2002: 142-149. [DOI:10.1109/CVPR.2000.854761]
  • [2] Comaniciu D, Meer P. Mean shift:a robust approach toward feature space analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603–619. [DOI:10.1109/34.1000236]
  • [3] Comaniciu D, Ramesh V, Meer P. Kernel-based object tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(5): 564–575. [DOI:10.1109/TPAMI.2003.1195991]
  • [4] Wang Y Z, Pan Q, Zhao C H, et al. A robust mean shift tracking method under varying illumination[J]. Journal of Electronics & Information Technology, 2007, 29(10): 2287–2291. [王永忠, 潘泉, 赵春晖, 等. 一种对光照变化鲁棒的均值漂移跟踪方法[J]. 电子与信息学报, 2007, 29(10): 2287–2291. ] [DOI:10.3724/SP.J.1146.2006.01751]
  • [5] Birchfield S T, Rangarajan S. Spatiograms versus histograms for region-based tracking[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE, 2005: 1158-1163. [DOI:10.1109/CVPR.2005.330]
  • [6] Ning J, Zhang L, Zhang D, et al. Robust mean-shift tracking with corrected background-weighted histogram[J]. IET Computer Vision, 2012, 6(1): 62–69. [DOI:10.1049/iet-cvi.2009.0075]
  • [7] Jia S M, Wang S, Wang L J, et al. Human tracking based on adaptive multi-feature mean-shift algorithm[J]. Journal of Optoelectronics·Laser, 2014, 25(10): 2018–2024. [贾松敏, 王爽, 王丽佳, 等. 多特征自适应均值漂移算法的目标跟踪[J]. 光电子·激光, 2014, 25(10): 2018–2024. ] [DOI:10.16136/j.joel.2014.10.055]
  • [8] Babaeian A, Rastegar S, Bandarabadi M, et al. Mean shift-based object tracking with multiple features[C]//Proceedings of the 41st Southeastern Symposium on System Theory. Tullahoma, TN, USA: IEEE, 2009: 68-72. [DOI:10.1109/SSST.2009.4806829]
  • [9] Yang W, Li J S, Shi D Q, et al. Mean shift-based object tracking in FLIR imagery using multiple features[C]//Proceedings of SPIE Volume 7496 Pattern Recognition and Computer Vision. Yichang, China: SPIE, 2009, 7496: #74960T. [DOI:10.1117/12.832386]
  • [10] Collins R T, Liu Y X, Leordeanu M. Online selection of discriminative tracking features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1631–1643. [DOI:10.1109/TPAMI.2005.205]
  • [11] Dai Y M, Wei W, Lin Y N. An improved mean-shift tracking algorithm based on color and texture feature[J]. Journal of Zhejiang University:Engineering Science, 2012, 46(2): 212–217. [戴渊明, 韦巍, 林亦宁. 基于颜色纹理特征的均值漂移目标跟踪算法[J]. 浙江大学学报:工学版, 2012, 46(2): 212–217. ] [DOI:10.3785/j.issn.1008-973X.2012.02.005]
  • [12] Liu Q, Tang L B, Zhao B J, et al. Infrared target tracking based on adaptive multiple features fusion and mean shift[J]. Journal of Electronics & Information Technology, 2012, 34(5): 1137–1141. [刘晴, 唐林波, 赵保军, 等. 基于自适应多特征融合的均值迁移红外目标跟踪[J]. 电子与信息学报, 2012, 34(5): 1137–1141. ] [DOI:10.3724/SP.J.1146.2011.01077]
  • [13] Zhang Q, Cao Q, Wang X W, et al. Novel IR target tracking method based on the grey prediction and HOGI feature[J]. Journal of Xidian University, 2010, 37(4): 751–757. [张齐, 曹琦, 王晓薇, 等. 融合灰色预测和HOGI特征的红外目标跟踪方法[J]. 西安电子科技大学学报:自然科学版, 2010, 37(4): 751–757. ] [DOI:10.3969/j.issn.1001-2400.2010.04.030]
  • [14] Liu X M, Wang S C, Zhao J, et al. Infrared target tracking algorithm based on adaptive bandwidth of mean shift[J]. Control and Decision, 2012, 27(1): 114–119. [刘兴淼, 王仕成, 赵静, 等. 基于自适应核窗宽的红外目标跟踪算法[J]. 控制与决策, 2012, 27(1): 114–119. ] [DOI:10.13195/j.cd.2012.01.117.liuxm.013]
  • [15] Li J C, Liu X M, Xue F L, et al. Infrared target tracking with adaptive bandwidth mean shift[C]//Proceedings of the 32nd Chinese Control Conference. Xi'an, China: IEEE, 2013: 4656-4660.
  • [16] Vojir T, Noskova J, Matas J. Robust scale-adaptive mean-shift for tracking[C]//Kämäräinen J K, Koskela M. Image Analysis. Berlin, Heidelberg: Springer, 2013: 652-663. [DOI:10.1007/978-3-642-38886-6_61]
  • [17] Wang N, Ding Y B, Tang J, et al. Bandwidth-adaptive mean-shift target tracking algorithm[J]. Journal of South China University of Technology:Natural Science Edition, 2011, 39(10): 44–49. [王年, 丁业兵, 唐俊, 等. 带宽自适应的Mean Shift目标跟踪算法[J]. 华南理工大学学报:自然科学版, 2011, 39(10): 44–49. ] [DOI:10.3969/j.issn.1000-565X.2011.10.008]
  • [18] Dong W H, Chang F L, Li T P, et al. Adaptive fragments-based target tracking method fusing color histogram and SIFT features[J]. Journal of Electronics & Information Technology, 2013, 35(4): 770–776. [董文会, 常发亮, 李天平. 融合颜色直方图及SIFT特征的自适应分块目标跟踪方法[J]. 电子与信息学报, 2013, 35(4): 770–776. ] [DOI:10.3724/SP.J.1146.2012.01095]
  • [19] Li Q, Shao C F, Yue H. Mean shift tracking with adaptive kernel window size and target model[J]. Journal of South China University of Technology:Natural Science Edition, 2013, 41(2): 74–81. [李琦, 邵春福, 岳昊. 核窗口尺寸和目标模型自适应的均值漂移跟踪[J]. 华南理工大学学报:自然科学版, 2013, 41(2): 74–81. ] [DOI:10.3969/j.issn.1000-565X.2013.02.012]
  • [20] Jeyakar J, Babu R V, Ramakrishnan K R. Robust object tracking with background-weighted local kernels[J]. Computer Vision and Image Understanding, 2008, 112(3): 296–309. [DOI:10.1016/j.cviu.2008.05.005]
  • [21] Li G B, Wu H F. Weighted fragments-based meanshift tracking using color-texture histogram[J]. Journal of Computer-Aided Design & Computer Graphics, 2011, 23(12): 2059–2066. [李冠彬, 吴贺丰. 基于颜色纹理直方图的带权分块均值漂移目标跟踪算法[J]. 计算机辅助设计与图形学学报, 2011, 23(12): 2059–2066. ]
  • [22] Hwang J P, Baek J, Choi B, et al. A novel part-based approach to mean-shift algorithm for visual tracking[J]. International Journal of Control, Automation and Systems, 2015, 13(2): 443–453. [DOI:10.1007/s12555-013-0483-0]
  • [23] Zhang Y J, Xu H L. Fragments-based tracking with multiple kernels fusion[J]. Journal of Image and Signal Processing, 2014, 3(4): 94–104. [张亚军, 许宏丽. 融合多核的目标分块跟踪[J]. 图像与信号处理, 2014, 3(4): 94–104. ] [DOI:10.12677/JISP.2014.34013]
  • [24] Li S X, Chang H X, Zhu C F. Adaptive pyramid mean shift for global real-time visual tracking[J]. Image and Vision Computing, 2010, 28(3): 424–437. [DOI:10.1016/j.imavis.2009.06.012]
  • [25] Li S X, Wu O, Zhu C F, et al. Visual object tracking using spatial context information and global tracking skills[J]. Computer Vision and Image Understanding, 2014, 125: 1–15. [DOI:10.1016/j.cviu.2013.10.001]
  • [26] Nguyen H T, Worring M, van den Boomgaard R. Occlusion robust adaptive template tracking[C]//Proceedings of the 8th IEEE International Conference on Computer Vision. Vancouver, Canada: IEEE, 2001: 678-683. [DOI:10.1109/ICCV.2001.10097]
  • [27] Peng N S, Yang J, Liu Z. Mean shift blob tracking with kernel histogram filtering and hypothesis testing[J]. Pattern Recognition Letters, 2005, 26(5): 605–614. [DOI:10.1016/j.patrec.2004.08.023]
  • [28] Jang Y H, Suh J K, Kim K J, et al. Robust target model update for mean-shift tracking with background weighted histogram[J]. KSⅡ Transactions on Internet and Information Systems, 2016, 10(3): 1377–1389. [DOI:10.3837/tiis.2016.03.025]
  • [29] Nummiaro K, Koller-Meier E, Van Gool L. An adaptive color-based particle filter[J]. Image and Vision Computing, 2003, 21(1): 99–110. [DOI:10.1016/S0262-8856(02)00129-4]
  • [30] Zhu Z Y. Particle Filter Algorithm and Its Application[M]. Beijing: Science Press, 2010. [ 朱志宇. 粒子滤波算法及其应用[M]. 北京: 科学出版社, 2010.]
  • [31] Zhao Z N, Kumar M. An MCMC-based particle filter for multiple target tracking[C]//Proceedings of the 15th International Conference on Information Fusion. Singapore: IEEE, 2012: 1676-1682.
  • [32] Havangi R. Target tracking based on improved unscented particle filter with Markov chain Monte Carlo[J]. IETE Journal of Research, 2017: 1–13. [DOI:10.1080/03772063.2017.1369909]
  • [33] Liu M, Chen E Q, Yang S Y. Application of regularization particle filtering in underwater target tracking[J]. Video Engineering, 2012, 36(9): 108–111. [刘敏, 陈恩庆, 杨守义. 正则化粒子滤波在水下目标跟踪中的应用[J]. 电视技术, 2012, 36(9): 108–111. ] [DOI:10.3969/j.issn.1002-8692.2012.09.030]
  • [34] Zou W J, Gong X, Bo Y M. Adaptive layered-sampling auxiliary particle filter's research and application in video tracking[J]. Acta Photonica Sinica, 2010, 39(3): 571–576. [邹卫军, 龚翔, 薄煜明. 自适应分层采样辅助粒子滤波在视频跟踪中的应用研究[J]. 光子学报, 2010, 39(3): 571–576. ] [DOI:10.3788/gzxb20103903.0571]
  • [35] Wang H Y. Infrared target tracking base on auxiliary particle filtering algorithm[J]. Journal of Applied Optics, 2010, 31(1): 132–135. [王洪有. 基于辅助粒子滤波算法的红外目标跟踪[J]. 应用光学, 2010, 31(1): 132–135. ] [DOI:10.3969/j.issn.1002-2082.2010.01.030]
  • [36] Wang M, Zhu Z Y, Zhang B. Research on target tracking based on UPF algorithm in glint noise environment[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2008, 28(1): 79–82. [王敏, 朱志宇, 张冰. 闪烁噪声环境下目标跟踪的UPF算法研究[J]. 弹箭与制导学报, 2008, 28(1): 79–82. ] [DOI:10.3969/j.issn.1673-9728.2008.01.023]
  • [37] Zhang M H, Liu X X. Target tracking algorithm based on MCMC unscented particle filter[J]. Systems Engineering and Electronics, 2009, 31(8): 1810–1813. [张苗辉, 刘先省. 基于MCMC无味粒子滤波的目标跟踪算法[J]. 系统工程与电子技术, 2009, 31(8): 1810–1813. ] [DOI:10.3321/j.issn:1001-506X.2009.08.007]
  • [38] Wang H J, Jing Z R, Yang Y. Target tracking algorithm based on improved extend Kalman particle filter[J]. Application Research of Computers, 2011, 28(5): 1634–1636, 1643. [王华剑, 景占荣, 羊彦. 基于改进扩展卡尔曼粒子滤波的目标跟踪算法[J]. 计算机应用研究, 2011, 28(5): 1634–1636, 1643. ] [DOI:10.3969/j.issn.1001-3695.2011.05.010]
  • [39] Zhang J G, Ji H B. IMM iterated extended Kalman particle filter based target tracking[J]. Journal of Electronics & Information Technology, 2010, 32(5): 1116–1120. [张俊根, 姬红兵. IMM迭代扩展卡尔曼粒子滤波跟踪算法[J]. 电子与信息学报, 2010, 32(5): 1116–1120. ] [DOI:10.3724/SP.J.1146.2009.00298]
  • [40] Wan Y, Wang S Y, Qin X. IMM iterated extended particle filter algorithm[J]. Mathematical Problems in Engineering, 2013, 2013: 1–8. [DOI:10.1155/2013/970158]
  • [41] Lei Z D, Liu J W, Liang E W, et al. Application of the particle filter in IMM in target tracking algorithm[C]//Proceedings of the International Conference on Bioinformatics and Computational Intelligence. Beijing: ACM, 2017: 62-65. [DOI:10.1145/3135954.3135971]
  • [42] Wan J Q, Liang X, Ma Z F. Infrared maneuvering target tracking based on IMM-Pf with adaptive observation model[J]. Acta Electronica Sinica, 2011, 39(3): 602–608. [万九卿, 梁旭, 马志峰. 基于自适应观测模型交互多模型粒子滤波的红外机动目标跟踪[J]. 电子学报, 2011, 39(3): 602–608. ]
  • [43] Hassan W, Bangalore N, Birch P, et al. An adaptive sample count particle filter[J]. Computer Vision and Image Understanding, 2012, 116(12): 1208–1222. [DOI:10.1016/j.cviu.2012.09.001]
  • [44] Wang S P, Ji H B. Adaptive particle filtering for efficient object tracking[J]. Journal of System Simulation, 2010, 22(3): 8630–633. [王书朋, 姬红兵. 用于目标跟踪的自适应粒子滤波算法[J]. 系统仿真学报, 2010, 22(3): 8630–633. ] [DOI:10.16182/j.cnki.joss.2010.03.027]
  • [45] Xu J J, Wei Z F, Bi D Y. Particle filter tracking algorithm based on online feature selection[J]. Opto-Electronic Engineering, 2010, 37(6): 23–28, 72. [徐建军, 危自福, 毕笃彦. 基于在线特征选择的粒子滤波跟踪算法[J]. 光电工程, 2010, 37(6): 23–28, 72. ] [DOI:10.3969/j.issn.1003-501X.2010.06.005]
  • [46] Fei F J, Sun X R, Cui P Y. Adaptive unscented particle filter with KLD-sampling for nonlinear state estimation[J]. Journal of System Simulation, 2009, 21(9): 2679–2681, 2686. [裴福俊, 孙新蕊, 崔平远. 基于KLD采样的自适应UPF非线性状态估计方法[J]. 系统仿真学报, 2009, 21(9): 2679–2681, 2686. ]
  • [47] Zhao H Y, Cai A H, Zhang S S. Research on ship tracking based on adaptive particle filter[C]//International Workshop on Microwave and Millimeter Wave Circuits and System Technology. Chengdu, China: IEEE, 2013: 233-236. [DOI:10.1109/MMWCST.2013.6814616]
  • [48] Nga L T, Thuong L T, Linh M. A study on particle filter based on KLD-resampling for wireless patient tracking[J]. Industrial Engineering and Management Systems, 2017, 16(1): 92–102. [DOI:10.7232/iems.2017.16.1.092]
  • [49] Meng J Y, Liu J M, Han M. Marginalized particle filter for combined feature target-tracking[J]. Application Research of Computers, 2015, 32(6): 312–322. [孟军英, 刘教民, 韩明. 基于联合特征的边缘粒子滤波目标跟踪算法研究[J]. 计算机应用研究, 2015, 32(6): 312–322. ] [DOI:10.3969/j.issn.1001-3695.2015.06.070]
  • [50] Wu P L, Kong L F, Zhao F D, et al. Particle filter tracking based on color and SIFT features[C]//International Conference on Audio, Language and Image Processing, 2008, IC-ALIP 2008. Shanghai: IEEE, 2008: 932-937. [DOI:10.1109/ICALIP.2008.4590034]
  • [51] Wu S D, Bao H, Zhang C B, et al. Particle filter tracking based on visual saliency feature[J]. Journal of University of Science and Technology of China, 2015, 45(11): 934–942. [吴世东, 鲍华, 张陈斌, 等. 基于视觉显著性特征的粒子滤波跟踪算法[J]. 中国科学技术大学学报, 2015, 45(11): 934–942. ] [DOI:10.3969/j.issn.0253-2778.2015.11.009]
  • [52] Wang X, Tang Z M. Application of particle filter based on feature fusion in small IR target tracking[J]. Journal of Image and Graphics, 2010, 15(1): 91–97. [王鑫, 唐振民. 基于特征融合的粒子滤波在红外小目标跟踪中的应用[J]. 中国图象图形学报, 2010, 15(1): 91–97. ] [DOI:10.11834/jig.20100115]
  • [53] Li W, Li H. Infrared target tracking based on multiple features fusion and weight selected particle filter[J]. Laser & Infrared, 2014, 44(1): 35–40. [李蔚, 李辉. 多特征融合的优化粒子滤波红外目标跟踪[J]. 激光与红外, 2014, 44(1): 35–40. ] [DOI:10.3969/j.issn.1001-5078.2014.01.008]
  • [54] Liu Y L, Shieh C S. On-line discriminative feature selection in particle filter tracking[C]//Proceedings of the 3rd International Conference on Innovations in Bio-Inspired Computing and Applications (IBICA). Kaohsiung, Taiwan: IEEE, 2012: 262-267. [DOI:10.1109/IBICA.2012.48]
  • [55] Bolme D S, Beveridge J R, Draper B A, et al. Visual object tracking using adaptive correlation filters[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, California, United States: IEEE, 2010: 2544-2550. [DOI:10.1109/CVPR.2010.5539960]
  • [56] Henriques J F, Caseiro R, Martins P, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//Fitzgibbon A, Lazebnik S, Perona P, et al. Computer Vision-ECCV 2012. Berlin, Heidelberg: Springer, 2012: 702-715. [DOI:10.1007/978-3-642-33765-9_50]
  • [57] Henriques J F, Caseiro R, Martins P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583–596. [DOI:10.1109/TPAMI.2014.2345390]
  • [58] Van de Weijer J, Schmid C, Verbeek J, et al. Learning color names for real-world applications[J]. IEEE Transactions on Image Processing, 2009, 18(7): 1512–1523. [DOI:10.1109/TIP.2009.2019809]
  • [59] Li Y, Zhu J K. A scale adaptive kernel correlation filter tracker with feature integration[C]//Proceedings of European Conference on Computer Vision. Cham: Springer, 2014: 254-265. [DOI:10.1007/978-3-319-16181-5_18]
  • [60] He Y J, Li M, Zhang J L, et al. Infrared target tracking based on multi-feature correlation filter[J]. Journal of Optoelectronics·Laser, 2015, 26(8): 1602–1610. [何玉杰, 李敏, 张金利, 等. 基于多特征相关滤波的红外目标跟踪[J]. 光电子·激光, 2015, 26(8): 1602–1610. ] [DOI:10.16136/j.joel.2015.08.0292]
  • [61] He Y J, Li M, Zhang J L, et al. Infrared target tracking via weighted correlation filter[J]. Infrared Physics & Technology, 2015, 73: 103–114. [DOI:10.1016/j.infrared.2015.09.010]
  • [62] Danelljan M, Häger G, Khan F S, et al. Accurate scale estimation for robust visual tracking[C]//Michel V, Andrew F, Tony P. Proceedings of British Machine Vision Conference 2014. Nottingham: BMVA Press, 2014: 65. 1-65. 11. [DOI:10.5244/C.28.65]
  • [63] Danelljan M, Khan F S, Felsberg M, et al. Adaptive color attributes for real-time visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus, Ohio, United States: IEEE, 2014: 1090-1097. [DOI:10.1109/CVPR.2014.143]
  • [64] Bibi A, Ghanem B. Multi-template scale-adaptive kernelized correlation filters[C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. Santiago: IEEE, 2015: 613-620. [DOI:10.1109/ICCVW.2015.83]
  • [65] Danelljan M, Häger G, Khan F S, et al. Discriminative scale space tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(8): 1561–1575. [DOI:10.1109/TPAMI.2016.2609928]
  • [66] Zhang K H, Zhang L, Liu Q S, et al. Fast visual tracking via dense spatio-temporal context learning[C]//European Conference on Computer Vis-ion. Cham: Springer, 2014: 127-141. [DOI:10.1007/978-3-319-10602-1_9]
  • [67] Li F, Yao Y J, Li P H, et al. Integrating boundary and center correlation filters for visual tracking with aspect ratio variation[C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. Venice, Italy: IEEE, 2017: 2001-2009. [DOI:10.1109/ICCVW.2017.234]
  • [68] Galoogahi H K, Sim T, Lucey S. Correlation filters with limited boundaries[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 4630-4638. [DOI:10.1109/CVPR.2015.7299094]
  • [69] Danelljan M, Häger G, Khan F S, et al. Learning spatially regularized correlation filters for visual tracking[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Washington, DC: IEEE, 2015: 4310-4318. [DOI:10.1109/ICCV.2015.490]
  • [70] Bibi A, Mueller M, Ghanem B. Target response adaptation for correlation filter tracking[C]//European Conference on Computer Vision. Cham: Springer, 2016: 419-433. [DOI:10.1007/978-3-319-46466-4_25]
  • [71] Mueller M, Smith N, Ghanem B. Context-aware correlation filter tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii, United States: IEEE, 2017: 1387-1395. [DOI:10.1109/CVPR.2017.152]
  • [72] Liu T, Wang G, Yang Q X. Real-time part-based visual tracking via adaptive correlation filters[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 4902-4912. [DOI:10.1109/CVPR.2015.7299124]
  • [73] Liu S, Zhang T Z, Cao X C, et al. Structural correlation filter for robust visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, United States: IEEE, 2016: 4312-4320. [DOI:10.1109/CVPR.2016.467]
  • [74] Fan H, Xiang J H. Robust visual tracking via local-global correlation filter[C]//Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, California, USA: AAAI, 2017.
  • [75] Wang M M, Liu Y, Huang Z Y. Large Margin object tracking with circulant feature maps[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii, United States: IEEE, 2017: 4800-4808. [DOI:10.1109/CVPR.2017.510]
  • [76] Zhou C, Guo Q, Wan L, et al. Selective object and context tracking[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. New Orleans, LA, USA: IEEE, 2017: 1947-1951. [DOI:10.1109/ICASSP.2017.7952496]
  • [77] Ma C, Yang X K, Zhang C Y, et al. Long-term correlation tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE, 2015: 5388-5396. [DOI:10.1109/CVPR.2015.7299177]
  • [78] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278–2324. [DOI:10.1109/5.726791]
  • [79] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus, Ohio, United States: IEEE, 2014: 580-587. [DOI:10.1109/CVPR.2014.81]
  • [80] Ren S Q, He K M, Girshick R, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149. [DOI:10.1109/TPAMI.2016.2577031]
  • [81] Danelljan M, Häger G, Khan F S, et al. Convolutional features for correlation filter based visual tracking[C]//Proceedings of the IEEE International Conference on Computer Vision Workshops. Santiago: IEEE, 2015: 621-629. [DOI:10.1109/ICCVW.2015.84]
  • [82] Ma C, Huang J B, Yang X K, et al. Hierarchical convolutional features for visual tracking[C]//Proceedings of the IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3074-3082. [DOI:10.1109/ICCV.2015.352]
  • [83] Li Y, Zhang Y F, Xu Y L, et al. Robust scale adaptive kernel correlation filter tracker with hierarchical convolutional features[J]. IEEE Signal Processing Letters, 2016, 23(8): 1136–1140. [DOI:10.1109/LSP.2016.2582783]
  • [84] Danelljan M, Bhat G, Khan F S, et al. ECO: Efficient convolution operators for tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii, United States: IEEE, 2017: 6931-6939. [DOI:10.1109/CVPR.2017.733]
  • [85] Liu Q, Lu X H, He Z Y, et al. Deep convolutional neural networks for thermal infrared object tracking[J]. Knowledge-Based Systems, 2017, 134: 189–198. [DOI:10.1016/j.knosys.2017.07.032]
  • [86] Gundogdu E, Koc A, Solmaz B, et al. Evaluation of feature channels for correlation-filter-based visual object tracking in infrared spectrum[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, United States: IEEE, 2016: 290-298. [DOI:10.1109/CVPRW.2016.43]
  • [87] Oliva A, Torralba A. Modeling the shape of the scene:A holistic representation of the spatial envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145–175. [DOI:10.1023/A:1011139631724]
  • [88] Wang N Y, Yeung D Y. Learning a deep compact image representation for visual tracking[C]//Proceedings of the 26th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: ACM, 2013: 809-817.
  • [89] Wang N Y, Li S Y, Gupta A, et al. Transferring rich feature hierarchies for robust visual tracking[J]. arXiv preprint arXiv:1501.04587, 2015.
  • [90] Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, United States: IEEE, 2016: 4293-4302. [DOI:10.1109/CVPR.2016.465]
  • [91] Nam H, Baek M, Han B. Modeling and propagating CNNs in a tree structure for visual tracking[J]. arXiv preprint arXiv:1608.07242, 2016.
  • [92] Held D, Thrun S, Savarese S. Learning to track at 100 FPS with deep regression networks[C]//European Conference on Computer Vision. Cham: Springer, 2016: 749-765. [DOI:10.1007/978-3-319-46448-0_45]
  • [93] Wang L J, Ouyang W L, Wang X G, et al. Visual tracking with fully convolutional networks[C]//Proceedings of the IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3119-3127. [DOI:10.1109/ICCV.2015.357]
  • [94] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking[C]//Proceedings of European Conference on Computer Vision. Cham: Springer, 2016: 850-865. [DOI:10.1007/978-3-319-48881-3_56]
  • [95] Valmadre J, Bertinetto L, Henriques J, et al. End-to-end representation learning for correlation filter based tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii, United States: IEEE, 2017: 5000-5008. [DOI:10.1109/CVPR.2017.531]
  • [96] Liu Q, He Z Y, Wang H Z, et al. Hierarchical Siamese network for thermal infrared object tracking[J]. arXiv preprint arXiv:1711.09539, 2017.
  • [97] Wang Q, Gao J, Xing J L, et al. DCFNet:discriminant correlation filters network for visual tracking[J]. arXiv preprint arXiv:1704.04057, 2017.
  • [98] Zhu G, Porikli F, Li H D. Beyond local search: tracking objects everywhere with instance-specific proposals[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, United States: IEEE, 2016: 943-951. [DOI:10.1109/CVPR.2016.108]
  • [99] Zitnick C L, Dollár P. Edge boxes: locating object proposals from edges[C]//Proceedings of European Conference on Computer Vision. Cham: Springer, 2014: 391-405. [DOI:10.1007/978-3-319-10602-1_26]