运动目标的检测与跟踪是计算机视觉领域非常重要的一个分支，在视频监控^[1]、智能交通^[2]、工业生产等领域都有着广泛的应用。一方面，根据图像背景是否运动，可以分为静态背景与动态背景两大类问题。静态背景下目标的检测与跟踪相对比较简单，帧差法可以取得很好的效果^[3-4]。动态背景下目标跟踪由于受到来自背景运动的干扰使目标检测问题变得相对复杂。另一方面，根据摄像机是否跟随目标移动可以将问题分为运动摄像机下的目标跟踪和固定摄像机下的目标跟踪。运动摄像机^[5]下的目标跟踪主要运用于跟随目标进行拍摄的场景，而视频监控场景下多为固定摄像机。运动摄像机下的目标跟踪可以利用背景补偿^[6]等方法取得较好的效果。如何在背景和摄像机同时运动的复杂动态背景情况下，保证跟踪算法的鲁棒性是一个有待解决的问题。

光流法是目标跟踪的一种重要的方法。1981年，Horn和Schunck^[7]提出了光流约束方程。创造性的将3D的速度场和2D的灰度图像联系在一起，并通过附加全局平滑假设计算出图像的光流场。随后大量的改进算法接连出现。Black和Anandan^[8]提出了分段平滑的方法用于对多目标运动进行估计；Nagel^[9]提出了有向平滑约束假设，使用加权Hessian矩阵进行不同方向上的平滑处理；Shai ^[10]提出了基于支持向量机的光流跟踪，利用一个离线训练完成的分类器，通过最大化分类器得分跟踪目标；陈添丁等人^[11]通过计算能反映图像特征的特定像素点光流矢量，结合图像金字塔技术，可以跟踪运动速度快、尺度大的目标，并与稠密光流方法和基于颜色特征方法进行对比；石祥滨等人^[5]将跟踪到的特征点根据其运动进行分组筛选出只属于背景的特征点，最后使用帧差法检测运动目标。对于后续帧，仅在已筛选出的背景特征点分组上持续光流跟踪。

稀疏光流法有着计算量少，光流计算精确等优点，广泛应用于实时系统中。但同时也存在着许多问题，如在背景和摄像机同时运动的复杂动态背景下目标与背景特征点的区分，遮挡时光流跟踪错误等。针对这些问题，提出了一种利用LK稀疏光流信息和Kalman预估器进行前景目标提取与跟踪的新方法。利用LK稀疏光流信息组建状态向量区分目标与背景特征点，遮挡时运用Kalman预估器预测目标位置，提高了稀疏光流算法在复杂动态背景下目标提取与跟踪中的性能。

LK光流算法^[12]是由Lucas和Kanade于1981年提出的，由于算法易于应用在输入图像中的一组点上，成为了求稀疏光流的一种重要方法。LK光流算法能够求解出两帧图像之间精确的稀疏光流，最初运用于图像配准领域并逐渐应用于目标跟踪。目前流行的目标跟踪算法主要采用金字塔LK光流匹配算法。稀疏光流算法是基于特征点的跟踪方法，优点在于降低光流运算量，最常用的是采用基于灰度信息的Harris角点作为特征点。Harris角点最直观的解释是指在两个相互垂直的方向都有较大变化的点。通过在特征点附近进行泰勒展开，并省去高阶无穷小，最终转换为求解Hessian矩阵H^[13]。可以通过H的行列式和H矩阵迹的关系来判断该点是否为角点。在检测到特征点以后就可以运用金字塔LK光流法匹配两帧图像之间的特征点得到光流图。LK光流法是基于以下3个假设：亮度恒定、连续的小运动、空间一致。亮度恒定、连续的小运动的假设可以得到经典的光流约束方程，其数学表达式为

${I_x}u + {I_y}u + {I_t} = 0$

(1)

式中，I_x、I_y是图像的偏导数，I_t是图像随时间的导数。u、v分别为x、y方向的速度。由于式(1)对任意一个像素都含有两个未知量，等式的约束条件过少，不能得到此点2维运动的定解，所以利用最后一个假设加以约束。空间一致的假设满足一个局部区域内像素运动的一致性，可以利用该特征点周围5×5领域点建立总共25个方程的矛盾方程组，并运用最小二乘的思想求解该方程^[14]，其方程可表示为

$\left( {{A^{\rm{T}}}A} \right)d = {A^{\rm{T}}}b$

(2)

式中，A为包含I_xI_y的系数矩阵，A^T为A的转置，d为u、v速度矩阵，b为I_t的矩阵。A^TA可逆时，图像中纹理至少有两个方向的区域，该方程组有解。通常情况下，利用图像金字塔技术能够允许跟踪更大的运动。

金字塔LK光流法在静态背景下的目标跟踪中能够取得很好的效果，这是因为所有光流都是由目标产生，前景目标的提取与跟踪相对比较简单。但是在运动背景和运动摄像机的复杂动态背景情况下背景中特征点的光流干扰非常明显，甚至是主要的。此时前景运动目标的提取与跟踪会变得相当困难。因此提出了光流长度L和光流角度θ的概念，创建了状态向量，通过不同的L和θ区分目标与背景特征点。

针对金字塔LK光流法在复杂运动背景下前景目标提取存在的不足，提出了改进的光流信息前景目标提取算法。首先创建状态向量S(i,k)，利用特征点状态向量的不同进行前景目标的粗提取，初步筛选出前景目标特征点，然后迭代中心点位置进行目标特征点的精提取，最后利用前N帧光流图像目标特征点的最大交集得到最终属于前景目标的特征点。

利用式(1)(2)可以匹配得到相邻两帧的特征点。之后利用得到的光流信息提取出前景目标的特征点。最直观的光流信息为相邻两帧对应特征点的位置信息，在此基础上提出了光流长度L和光流角度θ的概念，其数学定义为

${L^2} = {\left( {{x_k} - {x_{k - 1}}} \right)^2} + {\left( {{y_k} - {y_{k - 1}}} \right)^2}$

(3)

$\tan \theta = \left( {{y_k} - {y_{k - 1}}} \right)/\left( {{x_k} - {x_{k - 1}}} \right)$

(4)

式中，(x_k,y_k)是k时刻该特征点的坐标，(x_k－1,y_k－1)是k－1时刻同一特征点的坐标。因此创建k时刻第i个特征点的状态向量为

$S\left( {i,k} \right) = \left( {{L^2},\tan \theta } \right)$

(5)

在背景和摄像机同时运动的情况下，整个图像中的特征点都会产生光流，状态向量也会各不相同。虽然背景可能出现动态变化，但是绝大部分背景特征点的运动状态是一致的(即S(i,k) 高度相似)并且是主要的，基于此可以对目标与背景特征点进行初步划分。

在复杂动态背景下的运动目标提取过程中，动态背景与前景目标的运动显然并不相同，同时由于通常情况下前景目标相对于背景所占比例较小，可以通过舍弃状态向量S(i,k)分布最为密集的背景特征点，提取得到属于前景目标的特征点。具体做法是，计算图像序列k时刻相对于k-1时刻的光流和所有特征点的状态向量S(i,k)，统计每个特征点状态向量S(i,k)并根据统计个数进行排序，选择合适的间隔得到统计直方图，利用直方图舍弃掉特征点个数最多的S(i,k)，其余的特征点即为目标特征点。

以girl_mov运动图像为例，图 1(a)是其运动序列中的其中一帧光流图像。人物目标在做缓慢移动，没有产生形变，并且目标运动方向与摄像机运动方向一致，可以近似看做刚体。由于整个图像光流方向水平，不能通过tan θ值直接进行筛选；但目标周围的光流长度L相对于背景的光流长度较小，利用该特征可以较好地筛选出属于目标的特征点。图 1(b)是状态向量S(i,k)的统计图，其中X轴和Y轴分别表示tan θ和L²，Z轴表示对应特征点的个数。图 1(b)中显示S(i,k)=(0.1,400)附近特征点的个数最多，通过舍弃状态向量S(i,k)=(0.1,400)附近的特征点可以去除背景中大部分的特征点，起到初步筛选出目标特征点的作用。

由于这种目标特征点提取方法仍然有可能受到运动背景中少量与前景目标相同状态向量S(i,k)特征点的干扰，需经过进一步处理得到精提取结果。采用迭代中心点位置方法可以有效解决这一问题。

经过上一步粗提取之后，可以得到n个属于前景目标的特征点。k时刻目标特征点的个数可以表示为

$\begin{array}{*{20}{c}} {{N_k} = }\\ {\left\{ {\left( {{x_1},{y_1}} \right),\left( {{x_2},{y_2}} \right), \cdots \left( {{x_{n - 1}},{y_{n - 1}}} \right),\left( {{x_n},{y_n}} \right)} \right\}} \end{array}$

(6)

式中，N_k表示属于目标特征点的集合，进一步利用中心点方程可以迭代得到精提取结果，即

${x_{{\rm{center}}}} = \frac{{{x_1} + {x_2} + {x_3} + \cdots + {x_{n - 1}} + {x_n}}}{n}$

(7)

${y_{{\rm{center}}}} = \frac{{{y_1} + {y_2} + {y_3} + \cdots + {y_{n - 1}} + {y_n}}}{n}$

(8)

利用式(7)(8)可以得到中心点的位置(x_center,y_center)，由于N_k中不属于前景目标的噪声点属于极少数，可以通过计算N_k中各个点到中心点(x_center ,y_center)的距离对前景目标特征点进行精提取。具体做法是设定一个阈值T，舍弃离中心点距离太远的特征点，然后重复计算中心点，直到没有特征点被舍弃或者达到最大循环次数。算法循环流程如下：

1)计算粗提取特征点N_k的中心点位置(x_center ,y_center)；

2)计算中心点(x_center,y_center)到N_k中每个点的距离，当该距离大于阈值T时舍弃该特征点；

3)重复步骤1)2)，直到没有特征点被舍弃或者达到预先设定的最大循环次数。

算法中阈值T的取值决定特征点的选取。当阈值T偏小时，目标特征点数较少，遗漏了相当多属于目标的特征点，对确定目标大小有较大影响；当阈值T偏大时，目标特征点中有许多来自于背景，会导致目标提取错误。实验结果表明，在选择T为[100, 120]范围内时，效果比较好。

在经过目标的粗提取与精提取以后已经可以得到单帧图像中属于前景目标的特征点。由于在一个持续的图像序列中，目标运动具有不确定性，相应地属于目标的特征点也就不会一成不变，为了使算法鲁棒性更强，可以选取前N帧图像所得目标特征点的最大交集来确定前景目标。最终得到的目标特征点与背景中的噪声特征点有着很强的区分性，适合于持续跟踪。利用光流算法实现目标提取的基本框架如图 2所示。

利用多帧图像得到单帧图像目标特征点的最大交集能够精确提取得到前景目标特征点，在后续帧中只需要对属于目标的特征点进行匹配就可以持续跟踪运动目标。另外，由于金字塔LK光流法是基于特征点的匹配，很大程度上依赖于每一帧Harris特征点检测的准确性，算法对目标被遮挡的情况较为敏感，遮挡时可能会出现算法失效的问题。由此引入Kalman预估器对目标位置进行预测，提高算法在遮挡时的鲁棒性。

针对光流法对目标被遮挡较为敏感的问题，引入Kalman预估器实现目标跟踪。Kalman预估器^[15]是一个对动态系统的状态序列进行线性最小方差估计的算法。它通过状态方程和观测方程来描述一个动态系统，基于系统以前的状态序列对下一个状态作最优估计，预测时具有无偏、稳定和最优的特点，且具有计算量小、可实时计算的特点，可以准确地预测目标的位置和速度，适用于线性和呈高斯分布的系统。利用Kalman预估器无偏、稳定和最优的优点，提出了引入遮挡系数下基于Kalman的目标跟踪算法。算法主要包括两个部分：一是光流信息参数的线性化，实现了对预估器的参数准备；二是引入遮挡系数的自适应Kalman跟踪，应用预估器对目标进行自适应跟踪。

要实现基于Kalman算法和光流法相结合的特征点目标跟踪,首先要建立状态向量。与式(5)的状态向量不同，引入运动目标的位置信息x_k、y_k和速度信息v_x^k、v_y^k，光流长度l_k组成k时刻运动目标的5维状态向量

${X_k} = {\left[ {{x_k},{y_k},v_x^k,v_y^k,{l_k}} \right]^{\rm{T}}}$

(9)

对式(9)状态向量X_k中的状态参数构造线性化方程，具体步骤如下：

1)位置信息x_k、y_k的线性化。由于图像序列相邻两帧时间极短(记为dt)，因此可以把前景目标的运动近似的看做是匀速运动，即

$\begin{array}{l} {x_k} = {x_k} - 1 + v_x^{k - 1} \times dt\\ {y_k} = {y_k} - 1 + v_x^{k - 1} \times dt \end{array}$

2)光流长度l_k的线性化。欧氏距离能够精确计算出光流长度，但是欧氏距离是非线性的，借鉴曼哈顿距离定义光流长度为

${l_k} = v_x^{k - 1} \times dt + v_y^{k - 1} \times dt$

3)预测方程建立。利用Kalman预估算法给出k－1时刻对k时刻的预测状态方程，即

$X_k^ - = F{X_{k - 1}} + {W_k}$

(10)

$P_k^ - = F{P_{k - 1}}{F^{\rm{T}}} + {Q_{k - 1}}$

(11)

得到观测方程为

${Z_k} = H{X_k} + {V_k}$

(12)

式中，F是一个与X_k-1相乘的n×n矩阵，有些文献也称之为传递矩阵。变量W_k是一个关联直接影响系统状态的随机事件或外力的随机变量。假设W_k的元素具有高斯分布N(0,Q_k)，Q_k为预测模型的系统噪声矩阵；P_k^-表示误差协方差。H为观测矩阵，V_k与W_k一样具有高斯分布N(0,R_k)，R_k为方程Z_k的观测噪声矩阵。

4)定义转移矩阵和观测矩阵。根据以上线性化过程可以定义转移矩阵F和观测矩阵H分别为

$\begin{array}{l} F = \left[ {\begin{array}{*{20}{c}} 1&0&{dt}&0&0\\ 0&1&0&{dt}&0\\ 0&0&1&0&0\\ 0&0&0&1&0\\ 0&0&{dt}&{dt}&0 \end{array}} \right]\\ H = \left[ {\begin{array}{*{20}{c}} 1&0&0&0&0\\ 0&1&0&0&0 \end{array}} \right] \end{array}$

5)信息融合。对观测值和预测值在最小方差估计的基础上进行信息融合，即

${K_k} = P_k^ - H_k^{\rm{T}}\left( {{H_k}P_k^ - H_k^{\rm{T}} + {R_k}} \right) - 1$

(13)

${X_k} = X_k^ - + {K_k}\left( {Z_k^ - - {H_k}X_k^ - } \right)$

(14)

${P_k} = \left( {1 - {K_k}{H_k}} \right)P_k^ - $

(15)

在以上Kalman算法应用于目标跟踪过程中，系统噪声矩阵Q_k与观测噪声矩阵R_k的确定是一个难点，不当的取值可能导致跟踪过程中的目标偏移问题，对整个算法的实现起着很重要的作用。

文献[16]中引入遮挡率因子α以自适应的调节Kalman滤波器的估计系数，其目的是通过比较相邻两帧运动目标的像素数目来表示目标被遮挡的比率。本文引入Kalman滤波器方法，并结合稀疏光流算法的特点，定义第k帧图像中运动目标的遮挡系数为

$\alpha = \left| {1 - \frac{{{N_k}}}{{{N_{sum}}}}} \right|$

(16)

式中，N_sum为2.4节最终确定的前景目标特征点总个数，N_k为后续第k帧准确匹配到的目标特征点数。对式(16)分析可知，当α=0时，目标没有被遮挡；当α=1时，目标被完全遮挡。系统噪声矩阵Q_k与观测噪声矩阵R_k是负相关的，没有被遮挡时，系统噪声全部由系统噪声矩阵Q_k产生，当被遮挡时，观测噪声矩阵R_k处于主要位置。假设整个噪声均值为1，为了使遮挡系数能够自适应的调节系统噪声矩阵Q_k与观测噪声矩阵R_k，设置一个阈值β，当α≤β时，E[Q_k－1]=1－α，E[R_k]=α；当α>β 时，即可判定目标被完全遮挡，此时E[Q_k－1]=0，E[R_k]=α。引入遮挡系数α以后，在目标跟踪过程中，对于每一帧通过判断α的值确定系统噪声和观测噪声的取值，使Kalman跟踪能够不断进行。

引入遮挡系数后自适应Kalman跟踪算法

初始化Q_k,R_k,F,H，X_k－1等参数；

for(每一帧)

{ if (当前帧≥第N帧)

{ 计算α,Q_k,R_k,Z_k;

计算K_k,X_k,P_k;

Return 当前状态变量X_k; }

end if }

end for

针对背景和摄像机同时运动情况下的目标提取与跟踪，提出了基于稀疏光流的目标提取与跟踪的新方法。通过引入状态向量S(i,k)和Kalman滤波器下的遮挡系数α，利用前N帧提取前景目标特征点，并且在后续帧中对这些特征点进行跟踪，很大程度上提高了金字塔LK光流法的性能。假设N=n，n为运动图像目标特征点选取的前n帧，本文算法总体流程如图 3所示。

在Windows7+VS2010+OpenCV函数库的基础上验证算法的性能。本文算法适用于动态背景刚体缓慢移动和非刚体快速移动场景的目标提取和目标跟踪，选取girl_mov序列图像(640×480像素)和cliff_dive2(400×226像素)序列图像为例进行实验。图 1(a)中girl_mov序列图像属于刚体缓慢移动场景，总共500帧，成功跟踪484帧，目标特征点误检率为4.2%,成功跟踪率为96.8%，其中出现过部分遮挡与完全遮挡；cliff_dive2是一个悬崖跳水序列图像，属于非刚体快速移动场景，总共68帧，成功跟踪66帧，目标特征点误检率为2.8%,成功跟踪率97.1%。目标动作较多，速度很快，未出现遮挡。两个图像序列中摄像机均跟随目标一起运动。实验分无遮挡和有遮挡两种情况进行算法验证。

分别将本文算法的特征点提取实验效果与文献[17]的前后向光流匹配算法进行比较，跟踪实验效果同时与文献[5]中的背景特征点分组算法和文献[17]中的前后向光流匹配算法进行比较。

首先选取girl_mov序列图像利用前10帧综合得到目标特征点的最大交集，跟踪后续490帧，T=100，β=0.9，实验效果如图 4所示。

图 4为girl_mov中前10帧用于提取目标的其中3帧实验效果图，表 1是相应的统计结果，误检数是指图像中将背景特征点误检为目标特征点的个数，与目标提取的准确性息息相关。可以看到，虽然本文算法提取到的前景目标特征点数少于前后向光流匹配算法，但相应误检率也降低了3.8%，这是因为本文算法采用迭代中心点位置的方法，对背景中的特征点有着较强的抑制作用，因此相比于前后向光流匹配算法准确度更高。在对后续490帧图像跟踪过程中，为了说明本文算法的性能，与文献[5]和文献[17]算法进行比较，实验结果如图 5所示。

从图 5中可以看到文献[5]的背景特征点分组算法和文献[17]前后向光流匹配算法在背景没有太大变化时都能成功跟踪到目标，而当图像中的女孩进入一个背景运动复杂的环境中(如第379帧中附近有其他行人干扰)时会出现跟踪漂移、偏差，本文算法由于选取了稳定目标特征点从而能够有效避免这一问题。

选取cliff_dive2序列图像前5帧，根据前5帧得到特征点最大交集，跟踪后续63帧。T=100，β =0.9。图 6为在非刚体快速运动下利用前5帧提取目标的其中3帧实验效果图。从表 2统计结果可以看到前景目标特征点数波动很大，这是因为目标在空中做不同动作导致提取的Harris特征点变化很大，此时本文算法表现出很强的鲁棒性。相比较于文献[17]中前后向光流匹配算法，在目标姿态出现巨大变化时误检率保持在较低的水平。这些特征点在后续帧的跟踪中不会随着目标姿态的变化而剧烈变化，属于强特征点，更能反映前景目标的真实运动。

在对后续63帧图像跟踪过程中，与文献[5]和文献[17]算法进行比较，选取第7帧和第49帧为例说明实验结果如图 7所示。从图 7跟踪效果图可以看出，一般情况下本文算法和文献[17]算法都能够准确跟踪到目标，但是在第7帧中由于目标附近背景变化较大，文献[5]和文献[17]算法均出现了不同程度的跟踪偏移，而本文算法依然能够准确定位目标，这也是本文算法的优点所在。

测试本文算法在部分遮挡和完全遮挡情况下的性能，并和没有使用Kalman预估算法的直接跟踪效果图进行比较，引入遮挡系数α的概念。在前景目标出现部分遮挡或全部遮挡时通过调节Kalman预估算法系统噪声Q_k与观测噪声R_k的取值预测目标的位置，图 8所示为目标被遮挡时利用本文跟踪预测算法与直接跟踪算法的实验结果。

从图 8中可以看出在前景目标出现局部遮挡时，直接跟踪会导致目标范围逐渐缩小，而经过预测算法处理后所得前景目标大小并无变化。这是因为在直接跟踪时，匹配到的目标特征点数目减少，跟踪得到的目标范围也会随之变小，而本文算法在出现局部遮挡时，根据已设定的阈值β，当α≤β时E[Q_k－1]=1－α，E[R_k]=α，预测算法发挥作用，小女孩的位置不仅与当前匹配到的目标特征点有关，还会根据预估算法做出合理的预测。当α≥β时，可以认为目标被完全遮挡，如图 8(c)中完全遮挡，此时E[Q_k－1]=0，E[R_k]=1，观测噪声无限大，预测算法发挥最大作用，因此仍然可以预测出目标的位置。同时可以看到在图 8(b)完全遮挡时，出现了错误匹配的现象，这是因为直接跟踪时的算法在局部小区域内没有匹配到目标特征点，会在更大的范围内搜索匹配特征点，从而导致误匹配。

针对背景与摄像机同时运动情况下的运动目标提取与跟踪提出了一种基于稀疏光流的运动目标提取与跟踪方法。本质上是充分利用光流信息提取出前景目标特征点，并在后续帧中只需对这些特征点进行匹配就能够持续跟踪目标。针对算法在遮挡情况下较为敏感的问题，通过引入基于目标特征点的遮挡系数，结合Kalman预估算法对目标位置进行预测，取得了较好的实验效果。

本文算法的局限性在于需要预先设定目标提取所需要的图像数目n，虽然可以设定一个经验取值来达到目的，但是可能并不适用于所有的视频与图像序列，理论上来说图像数目越多，提取得到的目标特征点越具有代表性，提取目标所需要的时耗越大。后续将进一步研究算法以自适应的方式调整目标提取所需要的图像数目。