Print

发布时间: 2020-01-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190155
2020 | Volume 25 | Number 1




    图像分析和识别    




  <<上一篇 




  下一篇>> 





自适应混合高斯建模的高效运动目标检测
expand article info 刘伟, 郝晓丽, 吕进来
太原理工大学信息与计算机学院, 晋中 030600

摘要

目的 如何使快速性与完整性达到平衡是运动目标检测的关键问题。现有的满足快速性的算法容易受到光照的影响,对动态环境的适应能力较弱,获取的目标信息不完整,导致空洞问题的产生。而具有较高完整性的算法复杂度高,运算速度慢,实时性差。为此,本文提出基于自适应混合高斯建模的3帧差分算法。方法 利用3帧差分运算简单、可扩展性强、抗干扰能力好的特性,对视频图像进行目标轮廓的提取。针对3帧差分运算导致目标内部信息提取不完整的问题,采用学习率自适应调整的混合高斯背景差分,在模型创建之初,通过较快的模型更新速率,增加背景模型的迭代次数,消除物体运动造成的"鬼影"。在背景模型中的干扰信息消除之后,以目标像素及相邻8像素在当前帧与背景模型中的差异度为依据调整学习率,实现背景模型的自适应修正,增加目标图像的完整性;同时,通过删除冗余的高斯分布,降低算法复杂度。为进一步确保目标边缘的完整及连续,采用边缘对比差分算法,使参与运算的帧数依据目标的运动速度自适应选取,以降低背景点的误判率,使边缘信息尽可能地连续、完整。结果 本文算法获取的目标信息完整,且边缘平滑。在提升检测率的同时保证较高的准确率,达到了95.23%,所获目标的完整度提高了28.95%;与传统混合高斯算法相比,时间消耗降低了29.18%,基本达到实时性要求。与基于混合高斯建模的背景差分法(BD-GMM)和基于边缘对比的3帧差分法(TFD-EC)相比,本文算法明显占优。结论 实验结果表明,本文算法可以有效抑制动态环境的干扰,降低算法复杂度,既保证实时性,又具有较好的完整性,可广泛应用于智能视频监控、军事应用、工业检测、航空航天等领域。

关键词

运动目标检测; 3帧差分; 边缘对比差分; 背景模型; 混合高斯建模; 自适应学习率

Efficient moving targets detection based on adaptive Gaussian mixture modelling
expand article info Liu Wei, Hao Xiaoli, Lyu Jinlai
College of Information and Computer, Taiyuan University of Technology, Jinzhong 030600, China
Supported by: National Key Research and Development Program of China (2017YFB1401001)

Abstract

Objective Moving target detection is an important branch of image processing and computer vision, and it is also a core part of intelligent monitoring systems. Its main content is to observe the entire scene in the video sequences and find the moving targets. Therefore, the main purpose of moving target detection is to extract the moving target from the video sequences effectively and obtain the feature information of the moving target, such as color, shape, and contour. Extracting moving targets is the process of target and background classification. The process finds the difference by successive sequences of images and extracts the differences owing to the motion of the object to obtain the desired target. Moving target detection requires fast acquisition of moving targets in the video image and, as much as possible, to ensure the integrity of the acquired moving targets. Thus, speed and integrity are two key indicators of moving target detection algorithms. In terms of rapidity, algorithms are required to have lower complexity and can detect moving targets in real time. The existing algorithms that satisfy speed are easily affected by illumination, have weak adaptability to the dynamic environment, and the acquired target information is incomplete, thereby resulting in a hole problem. The internal integrity of the target and the integrity of the target contour are required, thereby indicating that the internal information of the moving target can be fully obtained, and the phenomenon of missed detection caused by the misidentification of the foreground area as the background in the detection is eliminated. At the same time, the target edges are as continuous and smooth as possible. However, the algorithm with improved integrity has high complexity, slow operation speed, and poor real-time performance. Therefore, achieving the balance between speed and integrity has become a key issue in moving target detection, causing the algorithm to have high extraction efficiency while fully extracting the internal information and contour of the target. Method This study proposes a three-frame difference algorithm based on adaptive Gaussian mixture modeling. To ensure the real-time performance of the algorithm, this study relies on the three-frame difference operation, which is simple, extensible, and has good anti-interference ability to extract the target contour of the video image. The operation can improve the detection efficiency of the algorithm. For the problem that the three-frame difference operation leads to incomplete extraction of the internal information of the target, the Gaussian mixture background difference adaptively adjusted by the learning rate is used. The difference achieves an adaptive update of the background model by setting the frame number threshold and adopting different learning rates before and after the threshold. At the beginning of the model creation, the rate of iteration of the background model is increased by the faster update rate of the model, and the "ghosting" caused by the motion of the object is eliminated. After the interference information in the background model is eliminated, the learning rate is adjusted based on the difference between the target pixel and adjacent eight pixels in the current frame and the background model, thereby implementing adaptive correction of the background model and solving the problem of misjudgment and loss of targets generated during the model update process. The approach can increase the integrity of the target image. At the same time, to speed up the Gaussian mixture modeling, the model redundancy decision strategy is adopted to determine the weight and priority of the Gaussian distributions, and the redundant Gaussian distributions are deleted to avoid the time consumption caused by the redundancy models in the matching. Ultimately, the balance between algorithm integrity and algorithm real-time are achieved. To further ensure the integrity and continuity of the target edge, we use the edge contrast difference algorithm, which is based on the target edge detected by the Canny operator. The number of frames participating in the edge contrast operation is adaptively selected based on the target motion speed, thereby decreasing the false positive rate of the background point and making the edge information as continuous and complete as possible. Result Subjective and objective evaluation methods are combined on the experimental results. Subjectively, the background difference based on Gaussian mixture modeling (BD-GMM), the three-frame difference based on edge contrast (TFD-EC), and the proposed algorithm are used to detect single-target and multi-target video in different backgrounds. The results show that the target information obtained by the algorithm are complete and the edges are smooth. Objectively, the proposed algorithm improves the detection rate while ensuring a high accuracy rate of 95.23%, and the integrity of the target is improved by 28.95%. These values are significantly higher than those of other algorithms. In terms of speed, the time consumption is reduced by 29.18% compared with that of the traditional Gaussian mixture algorithm, thereby meeting the real-time requirements. Compared with the BD-GMM and TFD-EC algorithms, both subjective and objective, the proposed algorithm is superior to the two algorithms. Conclusion The experimental results show that because the algorithm adopts Gaussian mixture background modeling based on adaptive learning rate, it can effectively suppress the interference of a dynamic environment and decrease the complexity of the algorithm. The three-frame difference algorithm based on edge comparison ensures the timeliness of the algorithm and integrity of the target edge. Therefore, the proposed algorithm ensures real-time performance, has good integrity, and can be widely used in fields such as intelligent video surveillance, military applications, industrial inspection, and aerospace.

Key words

moving target detection; three-frame difference; edge contrast difference; background model; Gaussian mixture modeling(GMM); adaptive learning rate

0 引言

运动目标检测是通过对视频图像的分析,寻找视频图像中目标运动所引起的帧间差异,从而有效检测和提取运动目标,是目标识别与跟踪的基础(许益成等,2018)。运动目标检测要求快速地获取视频图像中的运动目标,并尽可能保证所获取运动目标的完整性。快速性是指获取运动目标的算法复杂度低,能够实时检测。完整性包括目标内部的完整和目标轮廓的完整。目标内部的完整指充分获取运动目标信息,消除检测中由于前景区域被错判为背景所导致的漏检现象;目标轮廓的完整指目标边缘尽可能地连贯、平滑。

目前,3帧差分法以其独有的对场景中运动目标的敏感性,通过计算相邻帧图像间的差异度,达到快速获取目标轮廓的目的。然而也正是由于对运动物体的高敏感,常会导致两个问题:1)当物体运动缓慢、场景过于复杂时,由于相邻帧图像中重叠区域大、像素值未发生明显变化,导致空洞现象。2)在背景存在噪音及物体运动过快时,由于同一区域的像素值发生较大改变,相邻帧间差分会导致边缘信息的大量缺失及重影,影响提取运动目标轮廓的完整性,致使检测结果不够准确。

针对问题1),通常采用构建背景模型,以当前帧与背景模型的差分运算来提取运动目标,即根据视频图像中的每个像素点在时域上的分布情况构建各个像素点的颜色分布模型,通过目标像素与模型的匹配达到避免空洞的目的。目前混合高斯背景建模能够提供高质量图像背景,既能够对复杂的场景进行建模,又能够在物体缓慢运动时充分获取目标信息,同时弱化光线变化和局部扰动的影响。当前混合高斯背景建模在学习过程中,所有高斯分布的学习率都被设定为相同值(郭伟等,2016),忽略了在背景模型构建过程中,不同阶段模型的更新速率应该有差异这一重要事实,造成背景模型稳定后仍保持较快的更新速率,使得由运动变为静止的物体融入背景,导致漏检,减弱了对环境的适应能力;其次,在背景模型趋于稳定后,不需要过多的高斯模型来创建背景,而固定的背景高斯分布个数易造成系统内存的浪费,加大了运算量(王传云和秦世引,2018),使算法实时性降低。因此,如何根据图像信息自适应选择模型的更新速率,以及如何实现视频图像中背景模型的实时更新是混合高斯背景建模的首要问题。为此,Hu和Zheng(2016)提出了一种基于混合高斯模型的运动目标检测算法。首先利用3帧差分方法实现运动区域的粗分割,之后在混合高斯背景建模的过程中,依据高斯模型权重的变化决定背景模型数量的增加与删除,使高斯模型个数不断适应每个像素。该方法提高了算法的检测效率,但是混合高斯建模采用固定的学习速率,不能快速适应环境的变化,易造成运动目标的误判或丢失。Ma等人(2017)提出了一种基于改进混合高斯模型的自适应运动目标检测算法。根据每个像素的灰度值,自适应地选择高斯分布的数量来学习和更新背景模型并采用形态学方法消除阴影。该算法具有良好的适应性,但其学习率无法依据所得图像与目标图像的差异度进行调整,使模型的可靠性减弱。问题2)的产生,一方面是由于“空洞”发生在目标边缘,导致二值化图像会存在大量的边缘缺失;另一方面,在目标快速运动时,相邻图像帧的像素信息相差过大,目标边缘会产生重影。针对这些问题,Chu等人(2016)提出3帧差分与数学形态相结合的检测算法,但由于像素点的扩充及消除,使得图像中连通区域的大小发生改变,很难得到完整且面积接近真实目标的检测结果。

因此,目前的检测算法存在以下问题:1)目标图像的空洞问题,当物体运动缓慢或对比度低时,前景图像中部分区域被误判为背景,导致检测准确性低。2)目标边缘信息获取不完整。3)无法在完整获取运动目标的同时有较低的算法复杂度,达到完整性与实时性的平衡。

针对上述问题,本文提出了具有自适应混合高斯背景建模的3帧差分法用于运动目标检测。首先,为保证算法的高效性,在目标提取上,采用3帧差分法快速提取运动目标的轮廓信息;其次,为进一步适应光照及动态变化的场景,采用具有自适应学习率的混合高斯背景建模,以避免目标内部信息的空洞现象;最后,为进一步避免目标边缘的缺失及重影,采用边缘对比差分算法,根据目标速度的不同,自适应地确定参与边缘对比运算的最优帧数,以降低背景点的误判率,使边缘信息尽可能地光滑、连续、完整。

本文的创新点如下:

1) 提出一种具有自适应学习率的混合高斯背景建模方法。根据目标图像的检测效果,自适应调整学习率。在模型创建之初,选择较大的学习率增加高斯模型的权重和均值,以加速背景的更新速率,消除物体运动造成的“鬼影”;在背景模型中的干扰信息去除之后,依据提取结果合理选择学习率,以保证模型的可靠性。

2) 提出一种基于边缘对比的3帧差分算法。以Canny算子检测得到的边缘为基础,根据目标运动参数自适应获取参与边缘对比的最佳帧数$N$,从而降低背景点的误判率,使得目标边缘连续且完整。

3) 为解决目标获取完整性与算法实时性之间的矛盾,考虑到对所获运动目标的轮廓信息的精度要求不高,本文利用3帧差分法快速的优势,完成运动目标轮廓的提取;考虑到高质量的背景建模是消除空洞的前提,本文利用混合高斯建模生成高精度的背景模型。为了加快混合高斯建模的速度,采用模型冗余判定策略,通过判定高斯分布的权重及优先级,将多余的高斯分布删除,避免冗余模型在匹配时消耗时间,最终达到算法完整性与算法实时性的平衡。

1 研究现状

鉴于快速性与完整性直接决定了目标检测的实用性及检测结果的质量,为了快速提取目标,通常采用基于Vibe的背景建模和3帧差分。其中,基于Vibe的背景建模将当前帧像素点与所建立的样本集进行匹配,该方法运算速率快,易于实现,但无法充分获取目标,且存在“鬼影”现象(Biao和Lin,2017)。3帧差分依据相邻图像间的差异获取目标,该方法计算简单、实时性强,虽然提取的目标信息存在缺失,但能准确获得目标轮廓。针对上述问题,高健焮和陈健(2017)提出基于改进ViBe算法的运动目标检测方法,在初始时期先使用ViBe算法进行检测,当目标像素在图像中所占比例超过设定阈值时,改用3帧差分检测运动目标,该方法运算速率快,易于实现,且能减少光照变化对检测结果的影响,但所得目标的边缘图像模糊,未准确提取所有特征信息。Han等人(2015)提出了一种结合3帧差分法与光流法的运动目标检测算法,该算法选择Harris角点检测提取目标区域以降低算法复杂度,并引入采用大津法(OTSU)的3帧差分算法与光流法检测结果融合。该方法可以较完整地检测移动物体,并满足实时性要求,但所得运动目标仍存在信息丢失的现象。由于3帧差分算法具有计算简单、可扩展性强、抗干扰能力强等优势,因此本文采用3帧差分算法对运动目标轮廓进行检测,以提高算法实时性。

然而以快速性为优势获取运动目标的3帧差分法,容易产生空洞及边缘不完整等缺陷。为了保证所获目标内部信息的完整性,通常采用LK(Lucas-Kanade)光流法和背景差分法。LK光流法通过各个像素的矢量特征对图像进行动态分析,得到完整目标,但计算量过大,导致实时性和可用性差(李成美等,2018)。背景差分法是根据当前帧与背景模型之间的差异,获取运动目标的位置信息,因此需要依靠稳定的背景模型来保证所获目标的完整性。目前,建立背景模型的方法有均值背景建模(亢洁和李晓静,2018)、CodeBook背景建模(Zhang等,2018)和单高斯背景建模(杨文浩和李小曼,2016)等。但上述方法建立的背景模型适用场景单一,在复杂背景下容易过滤掉部分重要信息,产生较大误差。而基于混合高斯建模的背景差分法以不断更新背景模型的方式保证所提取目标的完整性,可以有效避免复杂环境对目标提取的干扰(杜鹃和吴芬芬,2017),但模型更新速率的固定使得算法复杂度增加,实时性受到影响。因此本文提出基于自适应学习率的混合高斯背景差分法,通过背景模型的自适应修正,实现目标内部信息的充分获取,并删除冗余的高斯分布,提高算法的实时性。

为进一步确保目标边缘的完整及连续,目前在边缘提取方面,He等人(2018)提出了一种基于改进形态梯度的图像边缘检测算法。它使用结构元素直接处理图像的特征信息,并选择不同形状和尺寸的结构元素对图像进行处理。该方法可以有效检测图像边缘信息,较传统的边缘检测算子抗噪能力更强,但易受动态环境的影响,在光照突变时,存在无法获取边缘的现象。张宁波等人(2016)提出基于图论的边缘提取算法,将图像看做无向图,并以权值的均值作为阈值,通过节点的保留与更新设置其灰度值,从而获得边缘图像。该方法能克服传统边缘算子所存在的不连续、不完整的问题,但当目标与背景对比度低时,边缘信息无法提取。鉴于此,本文提出基于边缘对比差分的检测算法,根据运动目标参数自适应选取参与边缘对比差分的最佳帧数,从而获取完整的目标边缘,该算法能有效克服光照的影响,自适应强且获取的边缘更完整。

2 基于自适应学习率的混合高斯背景差分

在现实场景中,目标缓慢运动、光照突变、物体遮挡等都易导致运动目标丢失及不完整(张金敏和王斌,2016),若直接采用传统混合高斯建模,以固定的学习速率来更新模型(杜鹃和吴芬芬,2017),易造成目标的丢失及误判。当学习率$α$取值过小时,由于模型更新速度不及时,易出现“鬼影”现象;当$α$取值过大时,容易将运动缓慢的目标判断为背景,出现误检。因此,本文提出自适应学习率的混合高斯建模方法。

2.1 问题与解决思路

为了更好地消除动态环境对目标获取的影响,需要提出一种高质量且时间复杂度低的背景模型创建方法。本文主要从以下两点进行改进:

1) 采用一种背景模型更新速率不断改变的方法。通过设定帧数阈值$TH$,并在阈值前后采用不同的学习速率,以实现背景模型的自适应更新。该方法在模型创建之初,为消除物体运动造成的“鬼影”,通过较快的更新速度,增加高斯模型的权重及均值,以加速背景更新。在背景模型中的干扰信息去除之后,以目标像素与相邻8像素在当前帧与背景模型中的差值作为混合高斯背景更新的参考量,从而调整学习率,保证模型的可靠性。

2) 采用消除冗余模型以加快建模速度。由于模型更新过程中,未被采用的高斯分布仍存在于内存中,加速消耗内存资源,造成算法运行速度慢,时间复杂度高(张金敏和王斌,2016)。为消除模型冗余,需要每隔$f$帧,对高斯分布进行一次扫描。检查所有高斯分布的权重$w$及优先级,如果某个高斯分布同时满足${w_{i, t}} < {w_{\min }}$$\left({{w_{i, t}}/{\sigma _{i, t}} < {w_{\min }}/{\sigma _{\min }}} \right)$,则将该高斯分布判定为多余的高斯分布,并删除该高斯分布,从而避免了冗余模型在匹配时所消耗的时间,提升算法的运行速度。

2.2 自适应学习率

在混合高斯背景建模中,通常以固定的学习速率来更新模型(杜鹃和吴芬芬,2017),易造成算法在动态环境中的适应性减弱。因此,本文提出自适应学习率的混合高斯建模方法,设定帧数阈值TH,当小于帧数阈值时,加快背景的更新速度,以消除由于目标运动造成的“鬼影”;当大于帧数阈值时,减慢更新速度,并依据检测效果对学习率进行调整,保证模型的可靠性,以防止过度更新造成的目标丢失。从而达到背景模型的自适应更新,解决模型更新过程中产生的目标误判及丢失问题,学习率$α$的计算式为

$ \alpha {\rm{ = }}\left\{ \begin{array}{l} \frac{1}{{f + {\lambda _1}}}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;f \le TH\\ {\lambda _2} \times \left({1 - \exp \left({ - \Delta {D^2}} \right)} \right)\;\;f > TH \end{array} \right. $ (1)

式中,$α$为学习率,${\lambda _1}$${\lambda _2}$为常数,$f$为帧数,$\Delta D$为目标像素与相邻8像素在当前帧与背景模型中的差值,TH为帧数阈值,参考量$\Delta D$的计算式为

$ \Delta D = \frac{1}{9}\sum\limits_{i = - 1}^1 {\sum\limits_{j = - 1}^1 {\left[ {I\left({x + i, y + j} \right) - B\left({x + i, y + j} \right)} \right]} } $ (2)

式中,$\mathit{I}\left({\mathit{x + i, y + j}} \right)$为目标图像像素点,$\mathit{B}\left({\mathit{x + i, y + j}} \right)$为背景模型像素点。

$f \le TH$时,随着帧数的增加,学习率逐渐递减,模型更新速度由快减慢,此时,通常文献均设定$\alpha $为[0.03, 0.06]时模型的更新效果最优,即$\frac{1}{{f + {\lambda _1}}}$的取值应为[0.03, 0.06]。当$f > TH$时,以目标图像及相邻像素点在当前帧与背景模型中的差值作为模型学习率修正的参考量,只需依据差异程度对学习率进行调整即可,即学习率随着差值的减小而降低,从而保证所获模型的可靠性,减少误检现象。

式(1)中,${\lambda _2} \times \left({1 - \exp \left({ - \Delta {D^2}} \right)} \right)$应满足$\left[ {0, \frac{1}{{{\lambda _1} + TH}}} \right]$,而$0.03 \le \frac{1}{{1 + {\lambda _1}}} \le 0.06$,且$0.03 \le \frac{1}{{TH + {\lambda _1} - 1}} \le 0.06$, 即可得${\lambda _1}$的取值范围为$\left[ {\frac{{94}}{6}, \frac{{103}}{3} - TH} \right]$,据此可得${\lambda _2}$值,即${\lambda _2} = \frac{1}{{TH + {\lambda _1}}}$。同时,阈值$TH$满足

$ \left\{ \begin{array}{l} 0.03 \le \frac{1}{{TH}} \le 0.06\\ \frac{{103}}{3} - TH > \frac{{94}}{6} \end{array} \right. $

求解其值为$\left[ {\frac{{50}}{3}, \frac{{56}}{3}} \right]$,因其为整数,取18。

因此,基于自适应学习率的混合高斯建模既可以消除初始时期背景建模中的干扰因素,又能保证后续背景模型更新的可靠性。

2.3 删除冗余模型

在高斯模型更新后,每个像素都建立了相应的混合高斯模型,其中只有一部分高斯分布可以描述背景,其余高斯分布描述前景,因此需要对模型进一步处理,按${\lambda _{i, t}} = {w_{i, t}}/{\sigma _{i, t}}$计算各个高斯分布的优先级,并按从大到小进行排序。将最小优先级${\lambda _{\min }}$、最小权重${\sigma _{\min }}$与后续模型匹配,剔除不符合标准的模型,得

$ {w_{i,t}} < {w_{\min }}且\left( {{w_{i,t}}/{\sigma _{i,t}} < {w_{\min }}/{\sigma _{\min }}} \right) $ (3)

选择其中的B个高斯模型描述当前帧中的像素特征,删除剩余模型。将${x_t}$与所得的B个高斯模型匹配,当其与任意一个高斯模型匹配成功时,则判断该像素点属于背景模型,否则认为该像素属于前景,即

$ B = \arg \mathop {\min }\limits_b \left( {\sum\limits_{i = 1}^b {{w_{i,t}} > T} } \right) $ (4)

式中,b为初始参数,T为预设定阈值。

3 基于边缘对比的3帧差分

3.1 问题与解决思路

基于自适应学习率的混合高斯背景差分实现了前景信息的有效提取,通过设定不同的学习率,实现背景模型的自适应更新,确保目标获取的完整性,并且有效降低了时间复杂度。但由于目标边缘的位置不断变化,使得像素点获取不完整,边缘模糊的问题依然存在;且由于计算量大,算法复杂度依然较高。为解决目标边缘间断及算法实时性差的问题,本文运用3帧差分法计算简单、快速提取目标边缘轮廓的优势,但现有的3帧差分算法仍存在“重影”及边缘提取不完整的现象(Han等,2015)。因此,本文提出基于边缘对比的3帧差分算法,通过边缘对比差分实现当前模型参数依据目标速度的自适应选取,以降低误检率,获得完整的目标边缘,之后对3帧差分算法的结果进行边缘补充,并通过形态学滤波消除噪声干扰,细化目标图像。

3.2 边缘对比

当目标图像中任意像素点在连续N帧视频序列发生变化时,要获取该时刻目标图像的边缘信息,需将连续N帧边缘图像中同一位置的像素点进行比较。若该点像素的值均为1,则属于背景点,并将其像素值设为0,从而消除背景边缘的影响;若该点像素的值不全为1,则由当前帧的像素值决定其取值。通过该方法能有效消除背景的影响,精确获取目标边缘。

边缘对比差分算法表达式为

$ {C_k}\left({x, y} \right) = {E_k}\left({x, y} \right)\left[ {1 - \sum\limits_{i = k - 1}^{k + N - 2} {{E_i}\left({x, y} \right)} } \right] $ (5)

式中,${C_k}\left({x, y} \right)$为当前帧的边缘对比差分结果,${\mathit{\boldsymbol{E}}_k}\left({x, y} \right)$为当前帧边缘图像,${\mathit{\boldsymbol{E}}_i}\left({x, y} \right)$为第$i$帧Canny算子检测的边缘图像。

图 1$N$取3时边缘对比差分示意图。

图 1 边缘对比差分示意图
Fig. 1 Edge contrast difference diagram ((a) (k-1) th frame edge image; (b) k th frame edge image; (c) (k+1) th frame edge image; (d) edge contrast difference result)

在视频图像中,检测目标往往存在由静止到运动的过程,当目标在${N_1}$帧开始运动,通过边缘对比差分,$N \ge {N_1}$时,所获目标边缘连续且完整,如图 1所示;$N < {N_1}$时,目标图像的边缘信息会出现缺失,其对比差分示意图如图 2所示。因此,需以目标的运动速度为依据对帧数$N$进行合理选择,达到目标边缘的充分获取。

图 2 边缘对比差分示意图
Fig. 2 Edge contrast difference diagram ((a) (k-1) th frame; (b) k th frame; (c) edge contrast difference result)

首先通过3帧差分算法提取第$k$帧和第$k + 1$帧图像的运动目标,然后分别求取所获二值图像的零阶矩与一阶矩,并根据零阶矩与一阶矩的比值求取目标重心。图像的零阶矩和一阶矩为

$ {M_{00}} = \sum\limits_X {\sum\limits_Y {V\left({x, y} \right)} } $ (6)

$ \left\{ \begin{array}{l} {M_{10}} = \sum\limits_X {\sum\limits_Y {x \cdot V\left({x, y} \right)} } \\ {M_{01}} = \sum\limits_X {\sum\limits_Y {y \cdot V\left({x, y} \right)} } \end{array} \right. $ (7)

式中,${V\left({x, y} \right)}$表示图像在该点的灰度值。根据零阶矩与一阶矩的值得到目标重心,计算式为

$ \bar x = \frac{{{M_{10}}}}{{{M_{00}}}}, \mathit{\bar y} = \frac{{{M_{01}}}}{{{M_{00}}}} $ (8)

设第$k$帧图像的目标重心为${B_0}\left({{x_0}, {y_0}} \right)$,第$k+n$帧图像的目标重心为${B_n}\left({{x_n}, {y_n}} \right)$。设$L$为目标沿$x$轴方向运动时两帧目标重心的间距在运动方向上的投影长度,则

$ {L_n} = \left| {{x_n} - {x_0}} \right| $ (9)

以投影长度为依据,第$k$帧图像中目标的瞬时速度为

$ v = \frac{{\Delta x}}{{\Delta n}} = \frac{{\left| {{x_1} - {x_0}} \right|}}{1} = \frac{{{L_1}}}{1} = {L_1} $ (10)

式中,$v$的单位为像素点/帧。当$v = {L_1} < 1$时,运动目标在两帧图像中未发生明显运动,需增加参与运算的帧数,继续计算第$k$帧与第$k + n$帧的投影长度${L_\mathit{n}}$,直到$v = \frac{{{L_\mathit{n}}}}{{\Delta n}} \ge 1$时结束。此时目标在第$k + n$帧图像中发生运动,即在连续的$n + 1$帧视频图像内目标首次发生了运动,为增强目标检测的准确性,参与运算的帧数应比实际帧数增加1帧,即第$k$帧目标图像进行边缘对比差分运算的帧数$N$应为$N = n + 2$,参数$N$的获取过程如图 3所示。

图 3 参数N的获取
Fig. 3 Acquisition of parameter N

4 基于自适应混合高斯的3帧差分法

基于自适应学习率的混合高斯背景差分能对前景图像完整提取,增加算法在动态环境中的提取效率,有效改善运动目标的检测精度,但算法复杂度高,目标的边缘信息不完整;而基于边缘对比的3帧差分能有效获取目标轮廓,实时性强。因此,两者的结合,在完善目标图像、弥补目标信息提取不完整的同时降低了算法复杂度,提高了算法的运算速度。之后采用形态学对所得目标图像进行处理,以消除不相关像素的干扰,在去除图像噪声点的同时保持运动目标的完整及边缘的平滑(王思明和韩乐乐,2018),图 4为算法的构建图。

图 4 算法构建图
Fig. 4 Algorithm construction diagram

5 实验分析与验证

实验在Corei5-8300HCPU, 8 GB内存, 2 GB显存, MX150显卡, 256 GB固态硬盘, Windows操作系统上进行,使用MATLAB2014b和Visio2013等软件开发工具。

5.1 验证基于自适应学习率的混合高斯背景差分算法

为了验证在背景建模过程中本文算法的优越性,选用CAVIAR测试集中的视频作为测试数据,该视频为动态背景下的单目标,帧速率为30帧/s,选择第60帧图像进行检测。将基于自适应学习率的混合高斯背景差分算法分别与杜鹃和吴芬芬(2017)Ma等人(2017)所提算法进行比较,其中杜鹃和吴芬芬(2017)采用固定的学习率更新背景模型,Ma等人(2017)在阈值前后对高斯模型采用不同的更新速率,但学习率不依据检测效果自适应调整。不同算法提取目标图像的对比图如图 5所示。

图 5 不同算法提取的目标图像
((a) original image; (b) Du and Wu(2017); (c) Ma et al.(2017); (d) ours)
Fig. 5 Target images extracted by different algorithms

由上述实验可知,杜鹃和吴芬芬(2017)算法的检测结果中部分目标信息丢失,且存在干扰像素;Ma等人(2017)算法所得结果仍存在内部信息的空洞;本文算法有效消除背景噪声的干扰,且目标特征提取完整。

为了更直观地表明自适应学习率对本文算法检测准确率的影响,即对所得运动目标完整性的影响。通过分析算法在不同学习率下所提取的目标像素点占总目标像素点的比例,得出所获目标的完整度,结果如图 6所示,随着帧数的增加,模型的学习率自适应更新,保证了所获目标的高完整性。

图 6 目标完整度变化图
Fig. 6 Target integrity change chart

将本文算法与杜鹃和吴芬芬(2017)Ma等人(2017)算法所得目标的完整度进行对比,结果如图 7所示。本文算法所提取的目标完整度明显高于上述二者,相较于杜鹃和吴芬芬(2017)算法,本文算法所获目标的完整度提高了28.95%,相较于Ma等人(2017)算法,本文算法所获目标的完整度提高了10.28%,因此本文算法的检测准确率得到了有效提升。

图 7 目标完整度对比图
Fig. 7 Target integrity comparison chart

为了进一步验证本文算法在保证目标完整性的同时有效解决了混合高斯复杂度高、运算速度慢的问题,将用上述算法对同一视频图像进行处理,分析提取目标所消耗的时间。统计结果如图 8所示。当帧数较少时,3种算法时间消耗接近,随着帧数的增加,本文算法所用时间明显低于两者,相比杜鹃和吴芬芬(2017)算法,本文算法的时间消耗降低了29.18%,相比Ma等人(2017)算法,本文算法的时间消耗降低了16.68%。

图 8 时间消耗对比图
Fig. 8 Time consumption comparison chart

综上,本文提出的基于自适应学习率的混合高斯背景差分方法,在时间消耗降低的前提下,提取的运动目标特征保持完整,从主观和客观进行分析,都得到了充分验证。

5.2 验证基于边缘对比的3帧差分算法

为了验证在目标边缘提取上本文算法的优越性,将基于边缘对比的3帧差分算法分别与张宁波等人(2016)提出的基于图论的边缘提取算法和He等人(2018)采用的改进形态梯度的图像边缘检测算法进行比较,对比结果如图 9所示。

图 9 不同算法提取目标边缘
((a) original image; (b) Zhang et al.(2016); (c) He et al.(2018); (d) ours)
Fig. 9 Target edges extracted by different algorithms

由上述实验可以看出,张宁波等人(2016)提取的目标的轮廓信息中,脚部信息缺失;He等人(2018)基本获取了目标的轮廓信息,但受动态环境的影响,目标边缘的呈现仍有欠缺,在边缘清晰度上不及张宁波等人(2016);而本文算法所得目标边缘平滑且连续,在保证轮廓信息准确性的同时完整性也有所提升。

5.3 多场景验证

为了验证本文算法的性能,选取了不同背景下的单目标和多目标视频作为检测数据,分别运用基于混合高斯建模的背景差分法(BD-GMM)、基于边缘对比的3帧差分法(TFD-EC)和本文算法对检测数据进行处理并分析实验结果,如表 1所示。

表 1 视频数据
Table 1 Video data

下载CSV
视频 背景状态 目标数 来源
视频1 静态 单目标 Visual Tracker Benchmark
视频2 动态 单目标 CAVIAR Test Case Scenarios
视频3 静态 多目标 CAVIAR Test Case Scenarios
视频4 动态 多目标 Visual Tracker Benchmark

5.3.1 静态背景的单目标检测

实验选取视频1中第115帧图像进行检测,通过对3种算法所得结果的比较,验证本文算法在静态背景的单目标检测中可以较为准确地提取运动目标,并保证边缘的完整性。实验1的结果如图 10所示。在静态背景下对单目标检测时,BD-GMM算法基本完整提取了视频图像中的运动目标,但所得图像的边缘信息不连续、间断;TFD-EC算法有效获取了目标的轮廓,减少了部分“空洞”现象,但仍有部分信息未获取;使用本文算法进行检测,“空洞”问题得到解决,目标被充分提取,且物体的边缘信息保留完整,有利于后续对运动目标的跟踪。

图 10 静态背景下单目标的算法对比图
((a) current video image; (b) BD-GMM; (c) TFD-EC; (d) ours)
Fig. 10 Comparison of single targets in static background

5.3.2 动态背景的单目标检测

实验选取视频2中第50帧图像进行检测,通过对3种算法所得结果的比较,验证本文算法在动态背景的单目标检测中可以避免背景噪音对目标提取的影响,保证目标信息的完整性。实验2结果如图 11所示。BD-GMM算法所提取的运动目标较为完整,有效过滤了视频图像中动态背景(如:水、草)的干扰,但是运动目标的轮廓间断,且由于人物部分颜色与草丛颜色相近,未检测到部分脚部信息。TFD-EC算法较为完整地提取了目标的轮廓,人物边缘连续且完整,但仍存在部分空洞现象。采用本文算法处理后,充分提取了视频图像的前景信息,在过滤掉背景噪音的同时基本解决了空洞以及边缘不连续的问题,得到了完整的运动目标。

图 11 动态背景下单目标的算法对比图
((a) current video image; (b) BD-GMM; (c) TFD-EC; (d) ours)
Fig. 11 Comparison of single targets in dynamic background

5.3.3 静态背景的多目标检测

实验选取视频3中第18帧图像进行检测,通过3种算法所得结果的比较,突出本文算法在静态背景的多目标检测中能够充分提取图像中运动对象,且“空洞”现象与“漏检”现象基本消除,提高了算法的检测效率。实验3结果如图 12所示。在静态背景下对多目标进行检测,BD-GMM算法所提取的目标有较高的完整性,但边缘信息不连续,存在漏检现象;TFD-EC算法只获得了运动目标的边缘轮廓,对运动缓慢的目标,无法有效提取,空洞现象较为严重;采用本文算法所获得的目标信息较为完整,且边缘连续,基本提取了图像中所包含的运动目标,避免了TFD-EC算法的“空洞”问题以及BD-GMM算法的边缘间断问题。

图 12 静态背景下多目标的算法对比图
((a) current video image; (b) BD-GMM; (c) TFD-EC; (d) ours)
Fig. 12 Comparison of multiple targets in static background
图 13 动态背景下多目标的算法对比图
((a) current video image; (b) BD-GMM; (c) TFD-EC; (d) ours)
Fig. 13 Comparison of multiple targets in dynamic background

5.3.4 动态背景的多目标检测

实验选取视频4中第25帧图像进行检测,比较3种算法的效果图,突出本文算法在动态背景的多目标检测中既消除了背景噪音的干扰,又保证了较高的检测率,基本实现对多目标的检测。实验4结果如图 13所示。在对动态背景的多目标进行检测时,BD-GMM算法有效避免了图像中树叶晃动所造成的影响,保证了目标的完整性,但对与背景颜色相似的目标出现了漏检现象;TFD-EC算法只获得了部分运动目标的边缘轮廓,存在因运动缓慢造成的空洞现象,且背景噪声使所得结果出现无关目标;采用本文算法所获得的检测结果,基本完整提取了运动目标,过滤了图像中的背景噪声,使目标信息完整呈现,多目标被成功检测。

为了更客观地评价本文算法在多目标检测中的有效性,选用检测率、准确率和F-Measure 3个定量指标来评价检测精度。检测率是指正确检测的目标人数占总目标人数的比例;准确率是指正确检测的人数占已检测出人数的比例;F-Measure为检测率与准确率的加权调和平均, 其值越大代表算法越有效。具体为

$ \left\{ \begin{array}{l} D = \frac{{TP}}{{TP + FN}} \times 100\% \\ C = \frac{{TP}}{{TP + FN}} \times 100\% \\ {F_{{\rm{Measure}}}}{\rm{ = }}\frac{{2 \times D \times C}}{{D + C}} \times 100\% \end{array} \right. $ (11)

式中,D为检测率,C为准确率,FMeasureF-Measure值,TP为正确检测的目标人数;FP为错误检测的目标人数;FN为未检测出的目标人数。

BD-GMM、TFD-EC和本文算法的评价结果如表 2所示。由表 2可知,本文算法的检出率、准确率明显高于BD-GMM和TFD-EC算法。由于图像中目标的运动较为缓慢,TFD-EC算法比BD-GMM算法未检测出的人数较多,导致检测率较低,并且由于动态背景的干扰,所获结果中存在噪声,使得误检目标增多;BD-GMM算法采用了混合高斯背景建模,对动态环境适应性强,相同人数的目标图像中所检测出的运动人数较TFD-EC算法有所增加,准确率提高,但对人物与背景颜色相似的目标仍存在漏检现象;本文算法综合了BD-GMM和TFD-EC算法的优势,在提升检测率的同时保证较高的准确率,前景信息很好地保存了目标轮廓,剔除了动态背景对目标的干扰,完整获取了运动目标。根据F-score,本文算法相比其他算法具有更高的值,即在目标检测中更有效。

表 2 算法评价结果
Table 2 Algorithm evaluation result

下载CSV
检测算法 数据 检测出的人数 未检测出人数 误检人数 D/% C/% FMeasure/%
BD-GMM 视频3
视频4
20 3 2 85.71 90 87.8
TFD-EC 视频3
视频4
19 4 2 80.95 89.47 85
本文 视频3
视频4
21 1 1 95.23 95.23 95.23

综合以上4个实验,分别计算BD-GMM、TFD-EC和本文算法在实验中所消耗的时间,如表 3所示。由于TFD-EC算法的实时性与简单性,在实验中所消耗的时间最少;采用混合高斯背景建模的BD-GMM算法因为其复杂度较高,模型迭代速度较慢,所消耗的时间最多;本文算法融合了3帧差分与混合高斯背景建模,一定程度上增加了算法复杂度,检测时间较TFD-EC算法有所增加,但明显低于BD-GMM算法所需时间,且提高了检测精度。

表 3 算法运行时间
Table 3 Algorithm runtime 

下载CSV
/s
检测算法 实验1 实验2 实验3 实验4 总时间
BD-GMM 103.21 52.13 21.13 26.37 202.84
TFD-EC 8.6 6.3 2.37 3.4 20.67
本文 26.22 14.18 6.23 9.04 55.67

6 结论

本文对现有的基于自适应学习率的混合高斯背景差分法和基于边缘对比的3帧差分法等运动目标检测算法做出改进,针对运动目标检测中由于动态背景干扰造成目标提取不完整的问题,提出改进的基于自适应学习率的混合高斯背景差分方法。本文方法主要适用于动态背景下运动目标的完整提取。考虑到混合高斯建模的复杂度高、边缘提取不平滑等缺陷,提出基于边缘对比的3帧差分,根据目标的运动速度合理选择参与边缘对比的帧数,并以此补充3帧差分图像的边缘信息。本文算法融合了3帧差分算法的实时性、简单性以及混合高斯背景建模对动态环境的适应性、对目标提取的完整性。实验表明,本文算法可以有效抑制噪声对图像的干扰,在复杂背景下仍可以提取目标,实时性提高的同时保证了目标的完整性。

参考文献

  • Biao W and Lin Z. 2017. Improvements on Vibe algorithm for detecting foreground objects//Proceedings of the 5th International Conference on Computer Science and Network Technology. Changchun, China: IEEE[DOI:10.1109/ICCSNT.2016.8069375]
  • Chu H X, Yang Y, Xie Z Y and Zhang R Y. 2016. Research of behavior recognition algorithm based on block matrix//Proceedings of 2016 IEEE International Conference on Mechatronics and Automation. Harbin, China: IEEE[DOI:10.1109/ICMA.2016.7558822]
  • Du J, Wu F F. 2017. Movement target tracking algorithm by using Gaussian mixture model. Journal of Nanjing University of Science and Technology, 41(1): 41-46 (杜鹃, 吴芬芬. 2017. 高斯混合模型的运动目标检测与跟踪算法. 南京理工大学学报, 41(1): 41-46) [DOI:10.14177/j.cnki.32-1397n.2017.41.01.006]
  • Guo W, Gao Y Y, Liu X Y. 2016. Improved moving object detection method based on mixture Gaussian model. Computer Engineering and Applications, 52(13): 195-200 (郭伟, 高媛媛, 刘鑫焱. 2016. 改进的基于混合高斯模型的运动目标检测算法. 计算机工程与应用, 52(13): 195-200) [DOI:10.3778/j.issn.1002-8331.1409-0016]
  • Gao J X, Chen J. 2017. Moving object detection method based on improved ViBe algorithm. Journal of Computer Applications, 37(S2): 99-102 (高健焮, 陈健. 2017. 基于改进ViBe算法的运动目标检测方法. 计算机应用, 37(S2): 99-102)
  • Hu X G, Zheng J M. 2016. An improved moving object detection algorithm based on Gaussian mixture models. Open Journal of Applied Sciences, 6(7): 449-456 [DOI:10.4236/ojapps.2016.67045]
  • Han X W, Gao Y, Lu Z and Zhang Z M. 2015. Research on moving object detection algorithm based on improved three frame difference method and optical flow//Proceedings of the 5th International Conference on Instrumentation and Measurement, Computer, Communication and Control. Qinhuangdao, China: IEEE[DOI:10.1109/IMCCC.2015.420]
  • He Y B, Zeng Y J, Chen H X, Xiao S X, Wang Y W, Huang S Y. 2018. Research on improved edge extraction algorithm of rectangular piece. International Journal of Modern Physics C, 29(1): #1850007 [DOI:10.1142/S0129183118500079]
  • Kang J, Li X J. 2018. Moving object detection based on mean background and three frame difference. Journal of Shaanxi University of Science & Technology, 36(1): 148-153 (亢洁, 李晓静. 2018. 基于均值背景与三帧差分的运动目标检测. 陕西科技大学学报, 36(1): 148-153) [DOI:10.3969/j.issn.1000-5811.2018.01.028]
  • Li C M, Bai H Y, Guo H W, Liang H J. 2018. Moving object detection and tracking based on improved optical flow method. Chinese Journal of Scientific Instrument, 39(5): 249-256 (李成美, 白宏阳, 郭宏伟, 梁华驹. 2018. 一种改进光流法的运动目标检测及跟踪算法. 仪器仪表学报, 39(5): 249-256)
  • Ma J Y, Jie F R and Hu Y J. 2017. Moving target detection method based on improved Gaussian mixture model//Proceedings of SPIE 10420, 9th International Conference on Digital Image Processing. Hong Kong, China: SPIE[DOI:10.1117/12.2282506]
  • Wang C Y, Qin S Y. 2018. Background modeling of infrared image in dynamic scene with Gaussian mixture model in compressed sensing domain. Acta Automatica Sinica, 44(7): 1212-1226 (王传云, 秦世引. 2018. 动态场景红外图像的压缩感知域高斯混合背景建模. 自动化学报, 44(7): 1212-1226) [DOI:10.16383/j.aas.2017.c170061]
  • Wang S M, Han L L. 2018. Moving object detection under complex dynamic background. Opto-Electronic Engineering, 45(10): 180008 (王思明, 韩乐乐. 2018. 复杂动态背景下的运动目标检测. 光电工程, 45(10): 180008) [DOI:10.12086/oee.2018.180008]
  • Xu Y C, Tan W A, Chen L T. 2018. Moving object detection algorithm based on improved mixture Gaussian model. Control Engineering of China, 25(4): 630-635 (许益成, 谭文安, 陈丽婷. 2018. 基于改进混合高斯模型的运动目标检测算法. 控制工程, 25(4): 630-635) [DOI:10.14107/j.cnki.kzgc.150940]
  • Yang W H, Li X M. 2016. Single Gaussian model for background using block-based gradient and linear prediction. Journal of Computer Applications, 36(5): 1383-1386 (杨文浩, 李小曼. 2016. 融合子块梯度与线性预测的单高斯背景建模. 计算机应用, 36(5): 1383-1386) [DOI:10.11772/j.issn.1001-9081.2016.05.1383]
  • Zhang J M, Wang B. 2016. Moving object detection under condition of fast illumination change. Opto-Electronic Engineering, 43(2): 14-21 (张金敏, 王斌. 2016. 光照快速变化条件下的运动目标检测. 光电工程, 43(2): 14-21) [DOI:10.3969/j.issn.1003-501X.2016.02.003]
  • Zhang C J, Cheng J, Tian Q. 2018. Incremental codebook adaptation for visual representation and categorization. IEEE Transactions on Cybernetics, 48(7): 2012-2023 [DOI:10.1109/tcyb.2017.2726079]
  • Zhang N B, Liu Z Z, Zhang K, Wang L L. 2016. Edge extraction method based on graph theory. Journal of Computer Applications, 36(8): 2301-2305, 2331 (张宁波, 刘振忠, 张昆, 王路路. 2016. 基于图论的边缘提取方法. 计算机应用, 36(8): 2301-2305, 2331) [DOI:10.11772/j.issn.1001-9081.2016.08.2301]