随着视频监控市场的迅速发展，新一代的高可扩展性和布控性数字式监控系统将逐步取代传统的模拟闭路电视式的监控技术^[1]。智能视频监控目前在视频目标追踪、城市交通检测、视频动作捕捉、长时场景监测等方面有着重要的应用需求，并结合人工智能技术以及计算机视觉等先进技术对视频中的前景目标进行检索、识别并对其进一步分析如特征提取、行为分析等。其中，面对复杂场景能否有效地提取视频序列中的前景部分成为了影响后续算法可靠性的关键^[2]。

对于视频或图像序列中前景目标提取的方法^[1]有帧差法、背景建模减除法和光流分析法。帧差法是基于视频流中图像帧序列的相邻帧之间像素的时间差分来提取图像中运动区域。但由于动态背景的噪声干扰对前景目标提取的影响，学者们在帧差法的基础上提出了许多改进方法，Shoichi等人^[3]为直观表示相邻两帧图像的背景偏移，采用仿射变换，Hsieh^[4]和Tissainaysgam等人^[5]提出了图像补偿差分方法，首先对背景偏移进行补偿，再对图像进行差分计算。帧差法的优点是实时性好，算法简单，运行速度快，计算量小，但对环境噪声敏感，背景无法动态变化且前景部分由于受到像素差阈值的影响容易产生残缺。

背景建模减除法是利用视频流中的图像帧序列建立背景模型，将当前帧与背景图进行差分计算获得前景目标，提取的准确性取决于背景参数模型。针对如何建立有自适应性的背景模型，学者们提出了改进的方法。Karmann等人^[6]和Kilger等人^[7]提出了用卡尔曼滤波器(Kalinan filtering)的自适应背景模型对图像序列进行背景建模，其对光照和天气的变化具有自适应性；McKenna等人^[8]考虑减小影子和不可靠颜色线索对运动目标检测的影响，结合像素的颜色信息和梯度信息对背景进行建模。李博川等人^[9]在混合高斯模型基础上结合HSV空间阴影抑制来进行前景目标提取，在一定程度上减小了由于传统高斯背景差分法难以区分阴影和运动目标的不足，改善了检测效果。Stauffer等人^[10]则提出了自适应的混合高斯背景模型。背景建模减除法运算简单，可以对运动目标有效捕捉，但对背景移动速度较快、目标与背景交叉明显的情况，该方法仍有一定的局限性。

光流法的核心是提取图像帧序列中具有相同光流向量的目标物体，即相同的区域运动模式，因而在平滑性原则限制条件下，计算视频流图像帧序列的时空梯度对运动场的变化情况准确估算，实现运动物体与背景的检测与分割。Horn等人^[11]假设光流的全局平滑性来计算光流场分布情况；Luca等人^[12]则基于梯度下降的优化方法在金字塔图像中迭代计算出光流场。光流法可以在摄像机运动的情况下，无需预知任何背景信息即可有效地检测出运动目标，但缺点是抗噪性能低，多光源、遮挡、阴影等都会严重影响光流场的计算结果，且方法计算量大，实时性差，对于智能视频监控类的应用仍需研究更高性能的算法^[13]。

近年来，RPCA (robust principal component analysis)目标前景提取算法在前景目标检测中得到广泛应用^[14-16]，杨彪等人^[17]利用Lab颜色空间中a、b通道对光照不敏感的特点对其分别进行RPCA分解得到稀疏前景，但没用针对其他复杂场景的目标检测，而且后期空洞及信息缺失采用形态学滤波，不适用于多种类型的视频数据，周伟等人^[18]提出基于${l_0} $群稀疏RPCA模型用于检测运动目标，考虑运动目标区域的空间相关性，运用过分割算法对视频进行同性区域分组，再构建群稀疏模型进行定位运动区域，在一定程度上减小了背景噪声的干扰，但过分割的算法在应对较小及较密的行人视频检测中尚有不足。RPCA算法的原理是经过对含前景目标的视频进行分析，可以得出视频中每一帧的图像是由前景和背景部分组成，其可以各由一个矩阵进行表示。由于在视频图像中，除了全局变量受到光照和动态纹理等影响之外，图像背景是近乎静态的，且每帧背景图像之间具有相联性，可以将视频或图像序列中的背景近似建模为低秩矩阵；而图像前景一般只占据图像像素中的小部分，因此可以被视为稀疏的部分。在建立的前景稀疏和背景低秩的矩阵基础上，用${l_1} $范数对前景矩阵进行约束，分离稀疏和低秩矩阵，进而实现对前景目标的提取。但RPCA分解算法在复杂场景下如树叶摇动、水波动、喷泉变化、窗帘晃动、光照变化以及摄像头抖动等均会对前景目标提取带来较多噪声，导致部分前景目标信息的缺失^[18]。

本文在稀疏低秩模型基础上进行优化改进，对初筛选的前景目标图像设计前景目标种子并行识别算法，然后基于灰度值优化连接、前景目标种子融合与多模板去噪、前景目标区域规则填充，处理后的前景目标图像对复杂场景产生的噪声有效抑制。

本文算法将从显著性目标快速提取与验证、稀疏低秩模型的建立及求解、前景目标种子并行识别与优化连接、实验结果对比验证4个部分构成，算法流程如图 1所示。

本文算法详细步骤如下：

1) 显著性前景目标快速提取与验证。基于帧差欧氏距离设计显著性前景目标验证算法快速提取显著性前景目标帧号并对比人工校验结果。

2) 稀疏低秩模型的建立及求解。对输入的视频或图像序列进行预处理，对其进行求解具有稀疏特性的前景得到观测矩阵，进行松弛变换及ALM(拉格朗日乘子算法)求解进而获得处理后的前景掩膜图像(MASK)。

3) 前景目标种子并行识别。输入经过稀疏低秩处理后的MASK图像，以起点O(0, 0)，半径r为37进行前景目标种子并行识别、连接，最后进行前景目标种子融合获得初步识别图像，在识别图像的基础上设计多模板去噪算法及前景目标种子按照规则类和非规则类进行填充获得前景识别图像。

4) 结合noncvx-RPCA、MoG-RPCA、GreGoDec算法、混合高斯背景消去算法(GM)、LK光流算法，从应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度对实验结果对比验证。

本文算法的主要创新点体现在稀疏低秩模型的基础上进行优化改进，显著性目标帧号快速提取极大地提高算法的检测效率，在定位点的邻域内对经过稀疏低秩模型初筛选的MSAK图像进行并行识别、连接及种子融合，并设计多模板去噪算法及区域种子规则填充处理，进而得到信息较为完整、清晰的前景目标图像。在实验结果分析阶段，利用应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度对实验结果对比验证，本文算法相对于noncvx-RPCA算法、MoG-RPCA算法、GreGoDec算法、混合高斯背景消去算法(MG)和LK光流算法能够更完整地将前景目标与动态背景分离，具有工程应用推广前景。

含有显著性目标的视频帧帧号在前后发生变化定义为关键帧，是描述镜头里出现的主要内容。为了能够预先提取视频前景目标，快速判断出哪些视频并未包含移动前景目标，记录每组视频中包含显著前景目标的视频帧的帧号。本文涉及显著性目标判断算法，进而构成显著性目标帧号提取算法，该算法的思想是基于帧差欧氏距离方法^[19]得到一个视频的多个关键帧，然后在其邻域范围内应用显著性前景目标提取算法进行检索识别，可以确定含有显著性目标视频帧的起始和终止帧号。

本文关键帧快速提取的原理是将图像帧序列的特征看做坐标空间中的点，两个帧图像的空间相似度等同于这两个点的接近程度，通常用他们之间的欧氏距离来表示。欧氏距离变换(EDT)的精度较高，更接近实际距离，以此多维空间中各个点之间的绝对距离也可以被量化。

采用基于帧差的欧氏距离方法快速提取各个子镜头中(图像帧序列)的关键帧，用$d $定量表示第$i $帧图像的帧差欧氏距离，数学表达式为

$ d = \sqrt {\sum\limits_{t = 1}^G {{{\left[ {\left( {{x_{i + 2}} - {x_{i + 1}}} \right) - \left( {{x_{i + 1}} - {x_i}} \right)} \right]}^2}} } $

(1)

式中，$G $为视频或图像序列中颜色或灰度的级，${x_i} $、${x_{i + 1}} $、$ _{i + 2}$分别为第$i $帧、第$ i + 1$帧、第$ i + 2$帧图像的灰度值。

关键帧提取方法具体步骤如下：

1) 在一个包含有$N $个帧图像的镜头中总共有$ \left( {N - 2} \right)$个帧差欧氏距离，逐帧计算各图像的帧差欧氏距离值；

2) 计算这$ \left( {N - 2} \right)$个帧差欧氏距离的极值，以及各极值点对应的函数值；

3) 计算各函数值的均值；

4) 取出所对应函数值大于均值的极值点，其对应的帧图像即为所要选取的关键帧图像。

将所得的关键帧帧号输出并在统计图像上表示出来。若镜头中前景目标连续出现，可输出1个或多个关键帧；若前景目标只出现于镜头中的一帧，则该帧即为关键帧。该方法对于具有前景目标的单帧能够较为精准地识别。

本文采用PEST2009数据库对显著性目标帧号提取方法进行定性实验分析，结果如图 2所示，以Campus视频为例，显著性目标第1次出现在第200帧，在第230帧完全消失。

采用PEST2009数据库对显著性目标帧号提取方法进行验证分析，通过人工干预获取8段视频的前景目标出现和消失的视频帧的帧号。结果如表 1所示。以Campus视频为例，前景目标共出现了11次，其出现的帧号为：85，200230，306523，600，643683，693712，740906，1 0061 036，1 264，1 3281 376，1 3771 407；其中，单帧解释为一闪而过的干扰帧。

为了验证显著性目标提取方法的准确性，结合基于帧差欧氏距离的关键帧提取方法对比人工干预数据进行验证，结果如图 3所示，曲线表示的是视频中不同帧的帧差欧氏距离，曲线中十字标记为快速提取到的关键帧。

将视频图像矩阵通过所设计的算法分离为两个不同的矩阵，分别进行显示，即可得到背景和前景目标图像。

针对本文需在视频中提取前景目标的问题，应用鲁棒主成分分析(RPCA)^{[14-16, 20]}方法可将此问题转换为：已知视频图像数据矩阵为$\mathit{\boldsymbol{M}} $，且$ \mathit{\boldsymbol{M}} = \mathit{\boldsymbol{L}} + \mathit{\boldsymbol{S}}$，$\mathit{\boldsymbol{L}} $为低秩矩阵可作为背景建模，$ \mathit{\boldsymbol{S}}$为稀疏矩阵描述运动目标，为了寻求视频图像数据中主成分$\mathit{\boldsymbol{L}} $的最小秩，将此问题归结为优化问题，即

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{\mathit{\boldsymbol{L}},\mathit{\boldsymbol{S}}} rank\left( \mathit{\boldsymbol{L}} \right) + \lambda {{\left\| \mathit{\boldsymbol{S}} \right\|}_0}}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\mathit{\boldsymbol{L}} + \mathit{\boldsymbol{S}} = \mathit{\boldsymbol{M}}} \end{array} $

(2)

式中，$ rank(\mathit{\boldsymbol{L}})$表示矩阵$\mathit{\boldsymbol{L}} $的秩，$\parallel \;{\parallel _0} $表示${l_0} $范数，即矩阵非零元素的个数。通过求解$ \lambda $得到此优化问题的解，即$ \left( {\mathit{\boldsymbol{L}}, \mathit{\boldsymbol{S}}} \right)$。但式(2)为NP-Hard问题，所以将其进行松弛变化将问题转化为易于解决的凸优化问题，即用${{\rm{l}}_1}$范数代替${{\rm{l}}_0}$范数，用$\mathit{\boldsymbol{L}}$的核范数$ \parallel \mathit{\boldsymbol{L}}{\parallel _*} = \sum\limits_i {} {\sigma _i}\left( \mathit{\boldsymbol{L}} \right)$代替$\mathit{\boldsymbol{L}} $的秩，所以可将式(2)转换为易于求解的凸优化问题，其表达式为

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{\mathit{\boldsymbol{L}},\mathit{\boldsymbol{S}}} {{\left\| \mathit{\boldsymbol{L}} \right\|}_ * } + \lambda {{\left\| \mathit{\boldsymbol{S}} \right\|}_1}}\\ {{\rm{s}}.\;{\rm{t}}.\;\;\;\mathit{\boldsymbol{L}} + \mathit{\boldsymbol{S}} = \mathit{\boldsymbol{M}}} \end{array} $

(3)

采用增广拉格朗日乘法算子解决式(3)凸优化问题，从而得到唯一解$\left( {\mathit{\boldsymbol{L}}, \mathit{\boldsymbol{S}}} \right) $拉格朗日乘子算法一般解决的优化问题为

$ \begin{array}{*{20}{c}} {\min f\left( \mathit{\boldsymbol{X}} \right)}&{{\rm{s}}.\;{\rm{t}}.\;\;\;\;h\left( \mathit{\boldsymbol{X}} \right) = 0} \end{array} $

(4)

则式(3)鲁棒PCA问题能够用ALM(拉格朗日乘子算法)求解，转化后的表达式为

$ \begin{array}{*{20}{c}} {\mathop {\min }\limits_{L,S} f\left( \mathit{\boldsymbol{X}} \right) = {{\left\| \mathit{\boldsymbol{L}} \right\|}_ * } + \lambda {{\left\| \mathit{\boldsymbol{S}} \right\|}_1}}\\ {{\rm{s}}.\;{\rm{t}}.\;\;h\left( \mathit{\boldsymbol{X}} \right) = \mathit{\boldsymbol{M}} - \mathit{\boldsymbol{L}} - \mathit{\boldsymbol{S}} = 0} \end{array} $

(5)

则定义的增广拉格朗日函数为$\mathit{\Gamma} \left( {\mathit{\boldsymbol{L}}, \mathit{\boldsymbol{S}}, \mathit{\boldsymbol{Y}}, \mu } \right)$，其表达式为

$ \begin{array}{*{20}{c}} {\mathit{\Gamma }\left( {\mathit{\boldsymbol{L}},\mathit{\boldsymbol{S}},\mathit{\boldsymbol{Y}},\mu } \right) = {{\left\| \mathit{\boldsymbol{L}} \right\|}_ * } + \lambda {{\left\| \mathit{\boldsymbol{S}} \right\|}_1} + }\\ {\left\langle {\mathit{\boldsymbol{Y}},\mathit{\boldsymbol{M}}, - \mathit{\boldsymbol{L}} - \mathit{\boldsymbol{S}}} \right\rangle + \frac{\mu }{2}\left\| {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{L}} - \mathit{\boldsymbol{S}}} \right\|_{\rm{F}}^2} \end{array} $

(6)

式中，$\mathit{\boldsymbol{Y}} $为拉格朗日乘子向量，$\mu $为惩罚参数，是一个标量，$\parallel * {\parallel _{\rm{F}}} $为Frobenius范数，即矩阵元素平方和开根号。

通过迭代式(6)，即

$ \left( {{L_{k + 1}},{S_{k + 1}}} \right) = \arg \mathop {\min }\limits_{L,S} \mathit{\Gamma }\left( {\mathit{\boldsymbol{L}},\mathit{\boldsymbol{S}},{Y_k},{\mu _k}} \right) $

得到唯一解$ \left( {\mathit{\boldsymbol{L}}, \mathit{\boldsymbol{S}}} \right)$，在计算的过程中可以采用交替更新迭代的方式，即首先固定$ \mathit{\boldsymbol{S}}$和$ \mathit{\boldsymbol{Y}}$，通过计算

$ \begin{array}{*{20}{c}} {\arg \mathop {\min }\limits_L {{\left\| \mathit{\boldsymbol{L}} \right\|}_ * } + \frac{\mu }{2}\left\| {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{L}} - \mathit{\boldsymbol{S}} + {\mu ^{ - 1}}\mathit{\boldsymbol{Y}}} \right\|_{\rm{F}}^2 = }\\ {\mathit{\Lambda }_\mu ^{ - 1}\left( {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{S}} + {\mu ^{ - 1}}\mathit{\boldsymbol{Y}}} \right)} \end{array} $

求得能够使得$ \mathit{\Gamma} $最小化的$ \mathit{\boldsymbol{L}}$矩阵，然后进一步固定$ \mathit{\boldsymbol{L}}$和$ \mathit{\boldsymbol{Y}}$的值，求解公式

$ \begin{array}{*{20}{c}} {\arg \mathop {\min }\limits_\mathit{\boldsymbol{S}} {{\left\| \mathit{\boldsymbol{S}} \right\|}_1} + \frac{\mu }{2}\left\| {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{L}} - \mathit{\boldsymbol{S}} + {\mu ^{ - 1}}\mathit{\boldsymbol{Y}}} \right\|_{\rm{F}}^2 = }\\ {{\mathit{\Theta }_{\lambda /\mu }}\left( {\mathit{\boldsymbol{M}} - \mathit{\boldsymbol{L}} + {\mu ^{ - 1}}\mathit{\boldsymbol{Y}}} \right)} \end{array} $

求得能够使得$ \mathit{\Gamma} $最小的$ \mathit{\boldsymbol{S}}$，这样迭代数次就可以收敛到这个子问题的最优解。

对于含有动态背景的视频来说，其前景目标仍然是只占据图像像素中的小部分，因此依然可以被视为稀疏矩阵，但因其背景是动态的，具有不确定性，例如树叶摇动、水波动、喷泉变化、窗帘晃动或摄像头本身轻微晃动等均会对前景目标提取带来较多噪声，导致部分前景目标信息的缺失。如图 4所示。

动态的背景也会被识别为前景目标图像，但被误认为前景目标图像的动态背景具有不连续性的特点，且因动态背景的影响，会使得少部分的前景目标图像信息丢失，因此可以设计前景目标种子并行识别和优化连接算法去除前景目标图像中的动态背景，同时能够对MASK图像中所缺失的重要信息进行填补。

前景目标种子并行识别与优化连接方法的设计思路为：1)灰度像素种子识别。对源图像进行灰度值反转并根据灰度验证和对称性检测^[21-22]将图像上各个灰度像素识别为前景目标子块和非前景目标子块；2)灰度像素优化连接。根据灰度值和方向相似性连接前景目标种子，其次进行融合及多模板去噪, 最后针对前景目标区域进行种子填充增强连通性让目标更完整。该算法采用并行结构设计，可促进灰度信息融合, 提高运行速度，总体流程如图 5所示。

通过对大量的MASK图像进行灰度值反转之后观察得知，前景目标像素相对于背景像素灰度值较小且具有较为明确的方向性，其中，灰度验证是确定索引像素比邻域像素灰度值是否更低，对称性检测是判断像素的方向特性是否存在显著变化。对于图像中任意像素，在半径为$ r$的邻域内依次进行灰度验证和对称性检测。

在半径为$ r$的范围内，其灰度值应满足

$ \begin{array}{*{20}{c}} {{I_{\rm{C}}} = I\left( {0,0} \right)}\\ {{I_{{\rm{avg}}}} = \frac{1}{{\left( {2 \times r + 1} \right) \times \left( {2 \times r + 1} \right)}} \times }\\ {\sum\limits_{x = j - r}^{x = j + r} {\sum\limits_{y = i - r}^{y = i + r} {I\left( {i,j} \right)} } ,{I_{\rm{C}}} \le {K_S} \cdot {I_{{\rm{avg}}}}} \end{array} $

(7)

式中，$ {I_{{\rm{avg}}}}$为灰度验证滑动窗口(边长为$2r + 1 $的正方形)范围内所有像素的平均灰度值；$ I\left( {x, y} \right)$为像素$\left( {x, y} \right) $的灰度值，$I\left( {i, j} \right) $为中心像素$ \left( {i, j} \right)$的灰度值, 等同于$ {I_{\rm{C}}}$；$ {K_S}$为阈值参数，取值可为0~1。

验证前景目标种子方向性，在半径为$ r$个像素的范围内计算每个像素4个方向0°、45°、90°和135°的深度变化情况，若有显著跳跃，则种子方向性较强。具体算法如下：

1) 分别计算中心像素两侧$ r$个像素的灰度均值${{\bar m}_{v1}} $和${{\bar m}_{v2}} $

$ \left\{ \begin{array}{l} {{\bar m}_{v1}} = \frac{1}{r}\sum\limits_{n = - r}^{n = - 1} {I\left( u \right)} \\ {{\bar m}_{v2}} = \frac{1}{r}\sum\limits_{n = 1}^{n = r} {I\left( u \right)} \end{array} \right. $

(8)

式中，$v $ =1、2、3、4分别为0°、45°、90°和135° 4个方向，$I\left( u \right) $为对称性检测模板中，中心像素第$u $个像素的灰度值，$ u \in \left[ { - r, - 1} \right]$或$ u \in \left[ {1, r} \right]$。

2) 计算各方向灰度变化，即

$ {d_v} = \min \left\{ {{{\bar m}_{v1}} - {g_v},{{\bar m}_{v2}} - {g_v}} \right\} $

(9)

式中，$ {g_v}$表示方向$v $的$2r + 1 $个像素中的最低灰度值。

3) 获得最大和最小灰度变化值${d_{{\rm{max}}}} $和${d_{{\rm{min}}}} $，即

$ {d_{\max }} = \max \left\{ {{d_v}} \right\},{d_{\min }} = \min \left\{ {{d_v}} \right\} $

(10)

4) 判断像素灰度变化是否显著，即

$ {d_{\max }} \ge t,{d_{\max }} - {d_{\min }} \ge s $

(11)

式中，$t, {\rm{ }}s $为大量实验调整后的阈值经验参数。

在前景目标图像中存在种子中断或缺失的情况，从完整性和连续性角度出发，需对目标种子连接处理。由于前景目标种子像素具有相似的灰度、方向信息以及会受到邻域的非前景目标种子块的干扰，分3步连接前景目标：首先根据灰度相似性进行前景目标的优化连接^[20]，然后融合种子信息并设计多模板去噪，最后结合方向相似性设计前景目标区域横纵双向填充获得较为完整的前景目标图像。

如图 6所示，对于任意前景目标种子$ A$，定义集合$\mathit{\boldsymbol{B}} = \{ {B_i}, {\rm{ }}i = 1, 2, \ldots , 8\} $，集合$\mathit{\boldsymbol{C}} = \{ {C_j}, j = 1, 2, \ldots , 16\} $。若$ \forall {B_i}$和$\forall {C_j} $均为非前景目标的像素，则需要将$ A$作为孤立噪声予以消除；若$\forall {B_i} $为非前景目标像素，但$\exists {C_j} $为前景目标种子，则定义集合${\mathit{\boldsymbol{C}}_{\rm{S}}} = \{ {C_j}|{C_j} \in \mathit{\boldsymbol{C}} $且${C_j} $是前景目标种子}，然后搜寻前景目标的连接路径$ A - {B_i} - {C_j}({C_j} \in {\mathit{\boldsymbol{C}}_{\rm{S}}})$。

由于${\mathit{\boldsymbol{C}}_{\rm{S}}} $可能含有多个前景目标种子，根据$ A$到某个种子的映射关系可能存在多条对应路径，于是设计如下优化方法寻找最佳路径，若$ \mathit{\boldsymbol{B}}$区域不存在目标种子，$\mathit{\boldsymbol{C}} $区域存在目标种子，则取$ \mathit{\boldsymbol{B}}$区域灰度最小值的坐标点进行连接，若$ \mathit{\boldsymbol{B}}$和$\mathit{\boldsymbol{C}} $区域都存在目标种子，则直接将其连接，从而保证路径经过的像素灰度与前景目标种子灰度相似，其中也包括方向相似的前景目标种子, 即

$ \begin{array}{l} \;\;\;\;\;\;\;\;\min G = I\left( {{B_i}} \right) + I\left( {{C_j}} \right)\\ {\rm{s}}.\;{\rm{t}}.\;\;\;\left\{ \begin{array}{l} {B_i} \in \mathit{\boldsymbol{B}}\\ {\mathit{\boldsymbol{C}}_S} \ne \emptyset \\ P_A^i = \left( {A,{B_i}} \right)\\ P_A^{i,j} = \left( {A,{B_i},{C_j}} \right)\\ i = 1,2, \cdots ,8,j = 1,2, \cdots ,16 \end{array} \right. \end{array} $

(12)

式中，$I\left( \cdot \right) $表示相应像素的灰度值，取值为0~255的整数，前景目标种子的灰度值为0，其余像素灰度值则可能为1~255。$G $为像素连接的灰度值，也称距离代价；$P_A^i $为路径$A - {B_i}({C_j} \notin {\mathit{\boldsymbol{C}}_{\rm{S}}} $且$ {B_i}$为目标种子)，$P_A^{i, j} $为路径$A - {B_i} - {C_j}({C_j} \in {\mathit{\boldsymbol{C}}_{\rm{S}}}) $；

由于算法是并行结构，5个并列的子流程会产生5幅独立的前景目标识别图像，均来自起点$O $ (0, 0)，搜索半径分别为$ r$=3~7，然后进行灰度信息融合和滑动去噪处理。令5幅前景目标识别结果为${\mathit{\boldsymbol{S}}_1} \sim {\mathit{\boldsymbol{S}}_5}$，融合处理公式为

$ {\mathit{\boldsymbol{S}}_{\left( {0,0} \right)}} = \sum\limits_{i = 1}^5 {{\mathit{\boldsymbol{S}}_i}} $

(13)

在此基础上，使用基于正方形模板处理的去噪方法^[22]，对尺寸较小的孤立噪声块直接消除。以任意前景目标种子为中心像素，去噪模板的长度为$L$，模板的边界像素为集合$\mathit{\boldsymbol{E}} $，令$L \times L $模板含有的前景目标像素数目为$m $。

多模板去噪方法如下：令$L \times L $模板($ L$=5, 7, …，19)含有的前景目标像素数目为$m $，若模板边界像素都为非前景目标像素且$m $小于等于阈值${M_L} $，则模板范围内的前景目标像素属于孤立噪声点，全部予以删除。进而，对每幅图像中的每个前景目标像素作为模板的中心像素进行去噪处理以消除尺寸较小的孤立噪声块。

由于背景滤除在去除无效噪声的同时也滤除了一些有效前景目标种子，如汽车等规则的前景目标表现为内部较多空洞，使得前景目标出现断裂、分离的现象，而此时应用形态学算子也很难较为完整地恢复前景目标图像，所以设计区域内横纵双向连接处理可有效填充种子区域，但针对行人等非规则物体为了减小前景目标和背景之间的黏连，采用区域外相邻前景区域纵向生长连接^[23]以消除分离断层的影响。在本文中针对行人和汽车分别设计区域内前景目标种子横纵连接算法从水平和竖直两个方向进行种子连接，步骤如下：

1) 规则类和非规则类前景目标区分准则。本文在已有视频数据集的前景目标基础上按照最小外接矩形的长宽比$R $、目标轮廓顶点线性回归系数$ r$和目标帧差移动距离$D $作为准则函数进行规则类和非规则前景目标特征区分。对于某帧图像中的前景目标区域$ {\mathit{\boldsymbol{S}}_i}$，分类准则如下：

(1) 若$D \ge {D_0} $，则目标帧差移动距离较大，则$ {\mathit{\boldsymbol{S}}_i}$为规则类前景目标；否则，进入步骤(2);

(2) 若$R < {R_0} $且$|r| < {r_0} $，$ {\mathit{\boldsymbol{S}}_i}$为规则类前景目标；否则$ {\mathit{\boldsymbol{S}}_i}$为非规则类前景目标。

2) 对于非规则类前景目标(如行人、动物):

(1) 从前景目标区域$ {\mathit{\boldsymbol{S}}_i}$纵向搜索相邻前景目标区域，若存在断层区域$ {{\mathit{\boldsymbol{S'}}}_{i1}}, {{\mathit{\boldsymbol{S'}}}_{i2}}, \ldots {{\mathit{\boldsymbol{S'}}}_{in}}$，转入步骤(2)，若无则结束。

(2) 对存在若干个断层区域，进行区域外像素块首尾匹配并纵向生长，填充断层。

3) 对于规则类前景目标(如汽车、轮船)：

(1) 从前景目标区域${\mathit{\boldsymbol{S}}_r} $的第一行左端开始扫描，沿$ x$轴方向进行连接前景目标种子，直至扫描到图像最右端；

(2) 进入下一行，按步骤(1)的方法从左至右扫描连接处理。

(3) 重复步骤(1)(2)的过程，直至完成每一行的扫描连接处理。

同理，对纵向前景目标种子进行连接处理。据此，完成区域内前景目标种子横向和纵向连接处理。

前景目标提取方法是在关键帧范围内将待处理的视频图像经过稀疏低秩模型处理之后，得到MASK图像，以起点$O $(0, 0)进行灰度值搜索，前景目标种子识别在其半径为$ r$的邻域内进行，以检测灵敏度和结果稳定性为收敛目标，本文算法应用5个$ r$值(37)进行前景种子识别和后续种子连接，最后融合所有的前景目标种子并进行多模板去噪处理以及前景目标区域按照规则类和非规则类分别进行种子填充，获得信息较为完整的前景目标图像。该方法融合5幅前景目标识别结果，可更全面、快速、稳定地识别，有效的去噪处理可剔除孤立的噪声，保证识别准确率。因此，本文算法在前景目标识别准确率、完整性以及处理速度方面均有所改进。

采用PEST2009数据集中4个视频数据集(DB₁~DB₄)和山西太长高速公路2个视频数据集(HB₁~HB₂)来测试本文提出的运动目标前景提取方法，结果如图 7所示。6个数据集均有较为复杂的动态背景。其中，DB₁视频中动态环境为水流在不断地流动，分辨率为160×128像素，单帧为灰度图像。DB₂视频中动态环境为摇曳的树叶，分辨率为160×128像素，单帧为灰度图像。DB₃视频中动态环境包括树叶的摇曳以及前景目标在水上造成的运动，分辨率为320×240像素，单帧为灰度图像。DB₄视频中动态环境为摄像头的轻微抖动，分辨率为320×240像素，单帧为灰度图像。HB₁视频为太长高速公路K791+390上行桥梁路段，选取上午时间10 :08 :15—10 :13 :15为实验数据，有较大的阴影面积，分辨率为960×576像素，单帧为彩色图像。HB₂视频为太长高速公路K804+020上行路段，道路线性良好，选取上午时间11 :44 :20—11 :49 :20为实验数据，阴影的面积较小，分辨率为960×576像素，单帧为彩色图像。

为了更好地评估本文算法，与现有较好的前景目标提取方法noncvx-RPCA^[24]、MoG-RPCA^[25]、GreGoDec^[26]、混合高斯背景消去法(MG)^[27-28]、Lucas-Kanade光流算法(LK)^{[12, 29]}进行对比，并从应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度对实验结果进行了分析。

本文算法在VS2010C++上实现，与对比算法在MATLAB平台上仿真实现，操作系统为Windows 7旗舰版，处理器为Intel(R) Core(TM) i7-4790，主频3.6 GHz，内存8 GB。

重要参数设置:本文算法对阈值参数分别设置为${K_{\rm{S}}} $ =0.85(DB视频数据集)，0.96(HB视频数据集)，$t $ =4，$ s$=3，${R_0} $ =4，${r_0} $ =0.4；noncvx-RPCA、MoG-RPCA和GreGoDoc算法参数均为相应作者公开提供的源代码中的参数；MG方法的训练帧数为1，学习速率为0.05，高斯核数为5，背景阈值取0.7；LK方法中参数不变。

本文分别从6个视频数据集中选取了一些代表性样本，并通过几个图例来展示本文算法与对比算法的应用效果。图 7从上往下分别为DB₁—DB₄，HB₁—HB₂中的样本。

经过RPCA处理之后的效果如图 7(b)所示，可见在前景目标提取的过程中，由于水的波动、摇曳的树叶以及摄像头抖动给初次筛选结果带来了较多的噪点且前景目标出现了较为严重的信息缺失。在此基础上应用本文设计的前景目标并行搜索识别方法，效果见图 7(c)所示，从图中能发现该方法在保证基本形状结构的情况下，能够有效剔除有动态背景所带来的噪声，最终实现视频前景目标的提取。对比noncvx-RPCA算法和GreGoDec算法，复杂环境因素对检测效果影响较大，GreGoDec在HB₁~HB₂数据集检测效果较好，MoG-RPCA算法也较为有效地提取了前景目标的主要轮廓，但对树叶及水流的影响也较为严重，对比MG和LK算法，复杂背景均带来较大噪声干扰，其中MG算法在去除噪声填补空洞上采用形态学开算法，使得检测出的前景目标有较多黏滞信息，而且在阴影面积不同的情况下，检测效果差异较大。而LK算法对光线敏感，变化的光线会被错误地识别为光流，在对环境要求苛刻的情况下并不适用。

通过图 7可以清晰地看出，本文算法相对于对比算法能够更完整地将前景目标与动态背景分离，并减小前景目标与背景之间的黏连情况，更有效地保留了原始图像中前景目标的结构信息。

在一个数据存储量较大的视频当中，实际前景目标出现的帧数在总帧数中占的比例较小，若能够预先提取前景目标，判断出哪些视频包含移动前景目标，从而做进一步的筛选及追踪处理将极大提高检测效率，大大减小工作量，本文以山西高速公路视频数据集(HB)近千幅样本进行测试，若$P $代表含有前景目标的图像数目，$N $代表无前景目标的图像数目，$FP $代表未含前景目标的图像被判别为有前景目标的图像数目，$FN $代表含前景目标的图像被判别为无前景目标的图像数目，$TP $代表正确检测出有前景目标的图像数目，$TN $代表正确检出无前景目标的图像数目。本文采用漏检率(FNR)、误检率(FPR)以及正确率(PPR)来评估前景目标定位的准确性，具体公式为

$ \left\{ \begin{array}{l} {F_{{\rm{FNR}}}} = \frac{{FN}}{P} \times 100\% \\ {F_{{\rm{FPR}}}} = \frac{{FP}}{{TP + FP}} \times 100\% \\ {F_{{\rm{PPR}}}} = \frac{{TP + TN}}{{P + N}} \times 100\% \end{array} \right. $

(14)

分别采用本文算法、noncvx-RPCA算法、MoG-RPCA算法、GreGoDec算法、MG算法、LK算法对数据集DB和HB进行测试，并按照上述评估指标对测试结果进行分析。

图 7直观地展示了6种不同算法对6个数据集的对比检测效果，图 8(a)反映漏检率，漏检率越低越好，本文算法FNR均保持在10%以下，比noncvx-RPCA、MoG-RPCA、GreGoDec、MG及LK算法的FNR低。图 8(b)反映误检率，误检率越低越好，本文算法在比较算法中FPR最低。图 8(c)反映正确率，本文算法的PPR比对比算法高且稳定在90%以上，另外，MoG-RPCA算法在HB₁—HB₂上由于运算量超出算法设计范围，运行失效。

完整的前景目标检测将会对接下来的特征提取和行为分析提供重要的参考依据。算法优劣需要定量的指标来衡量，研究利用信息检索领域常用的准确率—召回率^[30-31]来评估算法。

本文从DB和HB数据集共抽取了100幅有前景目标的图像，以10×10像素为单元格作为处理单元，通过与人工对前景目标描点进行对比，采用正确率、召回率和$ {\rm{F}}$值评估前景目标的完整性，$ {\rm{F}}$值是准确率和召回率的调和平均值^[31]，也是最常用的综合判定指标，其值越大，算法越好。具体公式为

$ {F_{\rm{F}}} = \frac{{2PR}}{{P + R}} $

(15)

式中，$P $为正确检测到的前景目标种子区域占所有检测的前景目标区域的比例，$R $为正确检测到的前景目标种子区域占实际存在的前景目标区域。

按照上述方法，表 2给出了算法准确率、召回率和$ {\rm{F}}$值的评估结果，可以看出，本文算法取得了90.1%的平均准确率，88.7%的平均召回率以及89.4%的平均$ {\rm{F}}$值，高于其他5种方法，另外，GreGoDec算法在一些噪声干扰较小的情况提取的目标也较为完整，整体性能较好，而noncvx-RPCA算法对一些噪声抑制表现出的性能还不够优越。

另外，对比不同数据集，通过计算所用算法平均运行时间来比较算法的执行效率，即平均每幅图像的检测时间，如表 3所示，可以看到本文算法在确保准确性的同时，时间复杂度较低，其中时间主要消耗在稀疏低秩的求解以及前景目标种子优化连接，整体上稍快于MoG-RPCA算法。另外，GreGoDec算法在DB₁—DB₂数据库中模型求解时间最少，noncvx-RPCA算法在DB₃—DB₄中运行较优，LK算法则在HB₁—HB₂中计算速度最快。

为了在复杂动态环境下对显著性前景目标有效快速检测，本文提出一种基于稀疏低秩模型优化方法，为了快速筛选与追踪前景目标，以基于帧差欧氏距离方法设计显著性目标帧号快速提取算法，确定关键帧邻域内为检测范围，对初筛选的前景目标图像进行前景目标种子并行识别以确定前景目标种子块，再进一步从基于灰度值优化连接、信息融合和多模板去噪及区域规则填充去除前景目标图像中的动态背景保留有效信息，同时对MASK(掩膜)图像中的前景目标按照区域规则填充以消除空洞、缺失的影响，从应用效果、前景目标定位的准确性以及前景目标检测的完整性3个角度看，本文算法能够更完整地将前景目标与动态背景分离，并减小前景目标与背景之间的黏连情况，更有效地保留了原始图像中前景目标的结构信息。在接下来的研究中，不断优化本文算法整体模型和细节中的不足，面对光线异常下可结合阴影抑制使其具有更强的鲁棒性，在更多复杂场景下如无人机移动视频中对算法性能和有效性进行评估，以此为特征提取与异常行为分析提供数据支撑。