Print

发布时间: 2018-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.180029
2018 | Volume 23 | Number 9




    图像理解和计算机视觉    




  <<上一篇 




  下一篇>> 





适用于旋转摄像下目标检测的图像补偿
expand article info 翟丁丁, 王琦, 杨燕, 王凡, 胡小鹏
大连理工大学计算机科学与技术学院, 大连 116024

摘要

目的 摄像机旋转扫描条件下的动目标检测研究中,传统的线性模型无法解决摄像机旋转扫描运动带来的图像间非线性变换问题,导致图像补偿不准确,在动目标检测时将引起较大误差,造成动目标虚假检测。为解决这一问题,提出了一种面阵摄像机旋转扫描条件下的图像补偿方法,其特点是能够同时实现背景运动补偿和图像非线性变换补偿,从而实现动目标的快速可靠检测。方法 首先进行图像匹配,然后建立摄像机旋转扫描非线性模型,通过参数空间变换将其转化为线性求解问题,采用Hough变换实现该方程参数的快速鲁棒估计。解决摄像机旋转扫描条件下获取的图像间非线性变换问题,从而实现图像准确补偿。在此基础上,可以利用帧间差分等方法检测出运动目标。结果 实验结果表明,在摄像机旋转扫描条件下,本文方法能够同时实现图像间的背景运动补偿和非线性变换补偿,可以去除大部分由于立体视差效应(parallax effects)产生的匹配错误。并且在实验中,本文方法处理速度可以达到50帧/s,满足实时性要求。结论 在面阵摄像机旋转扫描的条件下,相比于传统的基于线性模型的图像补偿方法,本文方法能够快速、准确地在背景补偿的基础上同时解决图像间非线性变换问题,从而更好地提取出运动目标,具有一定的实用价值。

关键词

旋转扫描; 非线性变换; Hough变换; 帧间差分; 图像补偿

Image compensation for object detection under rotating camera
expand article info Zhai Dingding, Wang Qi, Yang Yan, Wang Fan, Hu Xiaopeng
School of Computer Science and Technology, Dalian University of Technology, Dalian 116024, China
Supported by: National Natural Science Foundation of China(61272523)

Abstract

Objective In the field of moving object detection, detecting fixed cameras has gradually matured. In numerous practical applications, camera motion, such as rotating scan, is required to increase the monitoring range and achieve gaze monitoring. In comparison with moving object detection under fixed camera conditions, the camera motion causes further difficulty in moving object detection. Image compensation is needed to eliminate the effect of image transformation caused by the camera motion. However, the traditional linear model cannot solve the nonlinear transform generated by the rotating scan movement of cameras. Under the condition of camera rotating scan, the key step of image compensation is to find an accurate motion model to describe image transformations between image frames, including rotation, translation, and scaling. The existing methods are not able to meet simultaneously the application requirements in terms of calculation time and accuracy. To solve this problem, a robust image compensation method under the condition of camera rotating scan is proposed, which can simultaneously achieve background motion and image nonlinear transform compensations. Method Our method includes four steps to achieve the goal of image compensation for camera rotating scan. First, corresponding point pairs are obtained through image matching. Feature points in the current frame are extracted through Features from Accelerated Segment Test (FAST) corner detection method and then matched with those in the previous frame. Subsequently, the global displacement of the background is computed through the matching points. On this basis, the Kalman filter updates its state and predicts the global displacement of the next frame and the positions of the current feature points appearing on the next image. Consequently, the feature points in the next frame matched with the current feature point are searched in the estimated image area. As the matched image area is reduced, feature matching accuracy can be improved. Second, a global transformation model between adjacent frames is established. In accordance with the analysis of the camera imaging mechanism for rotating scan, a nonlinear motion model is proposed. On the basis of the nonlinear motion model, a camera equation is established, which is further transformed into a linear problem by parameter space conversion. Third, Hough transform is utilized to estimate the parameters of the global motion model by using the matched point pairs. The global motion model is then mapped into the image to obtain the coordinate transformation relationship between adjacent images. Through the coordinate transformation relationship, the image is normalized to a unified coordinate system. This step leads to the implementation of background motion and nonlinear transform compensations. Finally, foreground objects are segmented from the image. The block-based inter-frame difference method is used to detect moving objects. To extract the foreground objects completely, the mathematical morphological opening is operated to eliminate isolated pixel points and small line segments. Then, a closing operation is performed to fill the holes in the object regions to maintain the completeness of the object. Result To prove the validity of the proposed method, different experiments are tested on several videos, including grass, traffic section, and indoor and other real scenes. All the experiments run on the Windows platform and the algorithm is implemented in C++. The adopted camera is Hikvision's DS-2DF230IW-A with resolution of 1 280×720. To evaluate the performance of this method, we compare it with other global motion models, including affine transformation and local linear models. The experimental results can be summarized as follows. When the frame interval is small, the affine transformation model produces a large error. The local model and method presented in this paper can achieve improved results. As the rotation angle of the camera increases, nonlinear transformation becomes increasingly significant. The compensation result generates isolated pixels and small segments due to the occurrence of edge effect for the local linear model method. However, the method proposed in this paper can remove 90% of the isolated pixels and small segments, which can solve the problem of nonlinear transformation for camera rotating scan. In addition, the proposed method can be quickly solved by camera equations and Hough transform with processing speed of 50 frames per second (fps), which can meets real-time requirements. This method also has limitations in that it is only suitable for a low-pitch angle of the camera. The influence of pitch angle on the results of our method requires further analysis and research. Conclusion Detecting moving objects on a rotating scan camera is a difficult issue because the motion of the camera leads to the movement of the background and deformation of the image. Image compensation is required to remove background motion and image deformation. The quality of the image compensation method directly affects the final result of moving object detection. For traditional methods, nonlinear transformation is not considered thoroughly. The camera imaging mechanism under the condition of camera rotating scan is analyzed in this paper. Then, a nonlinear transformation model and the corresponding calculation method are presented. Results prove that compared with existing methods, our proposed method can achieve real-time performance and smaller compensation errors under the condition of camera rotating scan. On the basis of this method, the object detection problem in the dynamic background is converted into the object detection problem in the static background. Then, the reliable detection of the moving object can be achieved by using frame difference. As pan-tilt-zoom monitoring technology is increasingly widely used for scanning and monitoring large-scale scenes, the proposed method has practical values for object detection.

Key words

rotating-scan; nonlinear transform; Hough transform; frame difference; image compensation

0 引言

近些年来,随着计算机视觉的发展,图像补偿技术在军事监控、医学影像和环境监控等领域得到了广泛的应用。尤其在目标检测领域,基于摄像机固定条件下的目标检测技术已经逐渐成熟[1-3]。然而,在许多实际应用中,需要摄像机的运动才能增大检测范围,实现对运动目标的凝视监控和连续检测与跟踪。但是摄像机的运动导致了整个背景的运动和图像的形变,需要进行图像补偿将背景运动和图像形变去除,相对于传统的固定背景而言,大大增加了目标检测的复杂度。一个好的补偿效果直接影响了动目标检测的最终结果。因此,摄像机运动条件下的图像补偿技术仍需进一步研究。

摄像机的运动形式可大致分为两种,一种是摄像机安装在移动的载体上;另一种是摄像机的支架固定,摄像头可以旋转、俯仰和缩放。

随着云台技术在监控领域的大量使用,采用一套摄像系统同时完成区域搜索和目标检测跟踪任务成为了光电搜索跟踪领域研究的一个热点。本文研究的是摄像机支架固定情况下,摄像头左右旋转扫描的运动类型。

在摄像机旋转扫描运动条件下,场景背景在图像中发生运动,为实现动目标检测,需要对背景运动进行补偿;此外,摄像机在旋转扫描时,平面成像机制引起非线性的场景运动,导致图像间非线性变换问题,该问题如果不进行补偿,在动目标检测时将引起较大误差,造成动目标虚假检测。因此,为实现摄像机旋转扫描条件下的图像补偿,不仅要解决全局背景运动问题,还要考虑图像间的非线性变换问题。

常用的图像补偿技术包括块匹配补偿[4]、光流补偿[5]和特征匹配[6]等方法。其中块匹配补偿方法是一种基于模式匹配的位移估值算法,只考虑了平移运动,不适合旋转等运动情况。光流法适用的范围比较广,能够应用于旋转运动情况,但是运算量太大。特征匹配的方法不局限于平移运动,并且不用像光流法一样对每个像素求运动矢量,大大提高了算法速度。所以,本文提出的图像补偿方法主要是基于特征匹配的补偿方法。

基于特征匹配的图像补偿技术主要步骤为:在相邻帧中分别提取特征,并匹配特征,利用匹配的特征来求解全局运动参数,从而进行图像补偿。其中的关键步骤就在于建立全局运动模型,并求解出全局运动参数。

仿射变换模型是常用的全局运动模型,包括二参数、四参数、六参数等仿射模型[7-9],这些模型都属于线性模型,即像素的运动矢量大小与像素坐标呈线性关系。线性模型无法解决摄像机旋转扫描运动带来的图像间非线性变换问题。双线性模型[10]是线性模型的直接推广,是一种八参数的非线性模型,该模型对全局运动的估计比仿射变换模型更加准确,但计算复杂度更大。文献[11]提出了一种基于椭球面方程的运动补偿模型,增加了模型的自由度,从而能够增强模型对复杂背景的描述能力,取得了一定的改进效果,但是涉及的未知参数较多,计算复杂,难以达到实时性的要求。文献[12]提出一种基于局部子块的运动补偿方法,将图像进行分区域处理,假设图像局部区域内的背景点满足统一的约束方程,从而利用多个局部模型近似描述背景的真实运动情况。该方法能够取得较好的效果,但是需人工设定分块大小,当分块不当时,模型将不能准确地描述图像间的非线性变换,使得补偿结果误差较大。

针对特征匹配补偿方法中现有的运动模型的局限性,本文提出一种基于摄像机旋转扫描模型的图像补偿方法。该方法从摄像机的运动角度分析,对摄像机的成像机制进行建模,建立摄像机旋转扫描运动模型。在图像特征匹配的基础上,将摄像机旋转扫描模型转化为线性求解问题,并采用Hough变换求解出全局运动参数,同时实现背景运动补偿和图像间非线性变换补偿。通过该图像补偿方法,能够消除图像之间的背景运动和非线性变换问题,将动态背景下的目标检测问题转换为静态背景下的目标检测问题,进而可以利用帧间差分[12]等方法实现运动目标的快速可靠检测。

1 摄像机旋转扫描模型

经过理论分析(请参见1.1节)和实际试验测量,发现摄像机在旋转扫描的过程中,由于摄像机角度的偏移,导致图像间非线性变换问题,即图像两边像素与中间像素的运动位移不一致,并且两边像素运动的差异与摄像机的旋转方向有关。在不经非线性变换补偿的情况下,对图像的成像误差进行了分析,其中图像大小为1 280×720像素,摄像机视角为5°,运动状态为绕固定轴顺时针旋转,转速为5 r/min,帧频率为20帧/s,图像的非线性成像误差如图 1所示。

图 1 图像非线性变换
Fig. 1 Image nonlinear transform

图 1显示了两个问题:1)误差呈非线性,无法用线性模型(如仿射变换模型)准确描述;2)图像两边成像误差非对称且较中间严重。并且随着帧间间隔的增加,图像成像误差更加严重,当图像成像误差超过1像素时,如果不进行补偿,将会对后续的动目标检测造成影响。

当摄像机转速为5 r/min,帧频率为20帧/s时,每一帧间隔对应的摄相机旋转角度约为0.18°。在焦距$f=1\;000$,图像大小为1 280×720像素,摄像机顺时针旋转的条件下,选取不同的帧间间隔,图像中的成像误差也不同,认为误差 < 0.5像素为可接受的坐标,那么可接受的坐标范围如表 1所示。

表 1 误差分布情况
Table 1 Error distribution

下载CSV
帧间间隔 摄相机旋转角度 $x$坐标范围
(误差 < 0.5像素)
1帧 0.18° [-640, 640]
5帧 0.9° [-525, 420]
10帧 1.8° [-455, 240]
15帧 2.7° [-475, 150]
20帧 3.6° [-530, 100]

表 1中,当帧间间隔较大时(>5帧),此时图像的边缘成像误差较严重。为了解决非线性变换误差问题,准确检测出动目标,采用针孔成像模型描述摄像机旋转扫描运动,对摄像机的成像机制进行建模,建立摄像机旋转扫描工作方式下的摄像机方程;将该方程线性化,并利用Hough变换实现该方程参数的快速鲁棒估计,从而得到摄像机旋转扫描模型。具体步骤如下:

1.1 1维扫描条件下摄像机方程

在面阵摄像机旋转扫描条件下,摄像机成像模型如图 2所示。

图 2 摄像机旋转扫描模型
Fig. 2 Camera rotating-scan model

图 2中的摄像机旋转扫描模型在此假定情况下:旋转轴与像平面平行,且旋转轴通过焦点,即摄像机的俯仰角度为0,在水平方向上左右旋转的运动模式。

其中I和Π是摄像机旋转扫描运动中两个状态的像平面,$A$是一个目标点,$O$是摄像机的焦点,${A_1}$${A_2}$$A$点在I和Π上的成像点,$CD$$EF$分别是I、Π与摄像机所在的水平面$W$上的交线,${N_1}$${N_2}$为两个成像平面的中心点,$f$为摄像机的焦距,${{A'}_1}$${{A'}_2}$${A_1}$${A_2}$$CD$$EF$上的投影点,$\angle {N_1}O{N_2} = \theta $为摄像机旋转的角度。

在摄像机旋转扫描过程中,监控场景中的物体在相邻两帧图像中的坐标位置满足一定的关系。如图 2所示,物体在像平面上的成像点由I上的${A_1}$点变成了Π上的${A_2}$点,若以每帧图像中心为原点,即以${N_1}$${N_2}$为原点,图像中任一位置的横坐标为$x$,纵坐标为$y$,则两个成像点的横纵坐标发生的变化如下:

1) $x$坐标。为方便观察成像点横坐标之间的关系,将旋转扫描运动模型进行水平方向上的投影,如图 3所示。

图 3 旋转扫描模型的水平投影
Fig. 3 Horizontal projection of rotating-scan model

$CD$$EF$是前后两帧的像平面, 那么横坐标的变换则由${N_1}{{A'}_1}$变换成了${N_2}{{A'}_2}$,令${N_1}{{A'}_1} = x$${N_2}{{A'}_2} = x'$,通过几何关系推导,能够得到两个成像点的横坐标之间关系式为

$ x' = \frac{{x + f \cdot {\rm{tan}}\left( \theta \right)}}{{1 - \frac{x}{f}{\rm{tan}}\left( \theta \right)}} $ (1)

2) $y$坐标。如图 2所示,${A_1}$, ${A_2}$点的纵坐标分别是${A_1}{{A'}_1}$${A_2}{{A'}_2}$,令${A_1}{{A'}_1} = y$${A_2}{{A'}_2} = y'$通过几何关系推导,能够得到两个成像点的纵坐标之间的关系式为

$ y' = \frac{{y \cdot \left( {{\rm{1 + ta}}{{\rm{n}}^2}\left( \theta \right)} \right)\cos \left( \theta \right)}}{{1 - \frac{x}{f} \cdot {\rm{tan}}\left( \theta \right)}} $ (2)

将式(2)中的$y$坐标变换关系画图进行分析,如图 4所示。

图 4 垂直方向坐标变化
Fig. 4 Vertical coordinate changes

图 4中,不同的线段表示不同的$y$坐标,即图像垂直方向上的不同高度。从图 4可以看出,$y$的坐标越大,成像点的$y$变化越大,并且随着$x$坐标绝对值的增大而增大,但是变化都不大于1像素,当$x$的坐标范围在[-500, 500]之间时,误差 < 0.5像素, 可以忽略不计。

$x$坐标变换关系如图 1所示,可以看出,摄像机左右旋转扫描时,非线性变换主要体现在$x$坐标上。

1.2 方程线性化及参数求解

式(1)(2)显示成像点$\left({x, y} \right)$$\left({x', y'} \right)$之间的变换是非线性的,且$x$坐标变换与$y$坐标无关,$y$坐标变换程度很小,可以忽略不计。

在式(1)中,令参数$A = f \cdot {\rm{tan}}\left(\theta \right)$$B = {\rm{tan}}\left(\theta \right)/f$,可以得

$ x' = \frac{{x + A}}{{1 - x \times B}} $ (3)

将式(3)线性化可以得

$ A = - xx'B + \left( {x' - x} \right) $ (4)

式中,可以通过特征点匹配方法得到多组$x$${x'}$,然后利用这些匹配点对结合参数估计方法求解出全局运动参数。

常用的参数估计方法有最小二乘估计[13]、Hough变换[14]、局部Hough变换[15-16]等。其中,最小二乘法在拟合直线时对野值(outlier)比较敏感。在建立背景运动模型时,如果匹配特征位于运动目标时,最小二乘法容易产生较大误差;Hough变换在参数求解时,利用投票表决原理来拟合模型参数,可靠性较高,对噪声有较好的适应性;局部Hough变换将全局投票简化为局部投票,在直线检测时,能够克服求解短线段和提取边缘杂乱时,投票表决容易失败的情况。

采用Hough变换方法,利用测量数据空间和参数空间的点—线对偶性,把测量数据空间中直线的检测问题转换到参数空间中,即将多组匹配点对$x$${x'}$映射到$A$$B$参数空间中,通过Hough变换检测出直线,从而估计出全局运动参数。如图 5所示,参数空间坐标系中多条线的聚焦点对应于参数的解。

图 5 Hough变换参数求解
Fig. 5 Hough transform for parameters solution

2 基于旋转扫描模型的图像补偿

基于摄像机旋转扫描模型的图像补偿方法主要分为以下几个步骤:首先对图像进行特征点匹配,然后利用匹配的特征点对摄像机旋转扫描模型进行参数求解,得到准确的摄像机方程,从而实现对图像的精确补偿。在此基础上进行目标检测来检验补偿的准确性。

2.1 特征点匹配

在进行图像的非线性变换补偿之前,需要对相邻帧的图像进行特征点匹配,利用匹配结果进行全局运动参数估计。

图 5所示,需要通过匹配当前帧和参考帧中的一些特征点来求解摄像机模型的未知参数。本文采用FAST算法[17]提取特征点,然后对特征点进行匹配。通过当前图像与上帧图像的匹配点对检测出当前背景的全局位移。在此基础上,使用卡尔曼滤波器[18]对下一帧全局位移进行预估,计算出当前特征点在下帧图像中的位置,在估计的范围内搜索与当前特征点相匹配的特征点,缩小匹配范围,提高匹配精度。

2.2 非线性变换补偿

通过图像匹配,可以得到多组匹配点对。接下来,利用1.2节所示的Hough变换方法,求解式(4)中摄像机旋转扫描模型的参数$A$, $B$。首先,Hough变换将此线性关系投影到$A$, $B$参数空间;其次,在给定多组匹配点对$\left({x, y} \right)$, $\left({x', y'} \right)$的条件下,利用Hough变换能够获得$A$, $B$的可靠解,得到准确的摄像机方程。

通过摄像机方程能够得到相邻两帧图像的像素之间坐标对应关系,然后以前一帧图像作为参考帧,对后一帧图像进行非线性变换补偿,补偿结果如图 6所示。

图 6 像素位移真实值与计算值
Fig. 6 Real and calculated values of pixel displacement

图 6中,两条线段分别代表图像中像素的真实位移值和采用摄像机方程计算得到的值。可以看出,计算值与真实值基本吻合,且实验结果表明误差不超过0.5像素。因此,提出的摄像机方程能够较好地对相邻两帧图像进行非线性变换补偿。

2.3 基于图像补偿的运动目标检测

通过图像特征点匹配和非线性变换补偿,能够有效地解决背景运动和图像间非线性变换问题。将两幅图像中除了前景目标以外的背景部分准确补偿,从而将动态背景下的目标检测转化为静态背景下的目标检测。接下来,通过目标检测方法来验证图像补偿的准确性。

常见的目标检测算法主要有帧间差分法,背景减除法和光流法[19]。其中光流法可适用于动平台下的目标检测,但是由于计算复杂度较高,限制了它的广泛应用。帧间差分法和背景减除法计算比较简单,但是如果不进行图像补偿,这些方法只能应用于静平台下。本文研究是在动平台条件下,可以选择帧间差分法或背景减除法来验证补偿的效果。其中帧间差分法是对相邻帧做差,背景减除法是对当前帧和背景帧做差,原理都是通过阈值与差的大小来判断是否为运动区域,但背景减除法必须要有背景图像,并且背景图像是随着光照和外部环境的变化而实时更新的,而帧间差分法更为简单直观,所以我们采用帧间差分法进行目标检测。

实验采用基于分块均值的帧间差分方法[20],该方法与普通的帧间差分方法相比,能够提高检测速度。其原理是:将每一帧图像进行分块,并对每一个小块取均值作为特征,然后对当前帧和相邻帧的特征块做绝对差,差值大于阈值的认为是运动目标,小于阈值的认为是背景块,基于此思想将图像进行二值化,从而得到差分结果图像。实验中采取的块大小为2×2像素,阈值为40。

3 实验结果分析

实验的PC机配置为:Intel(R) Core(TM) i3-2350M CPU @2.30 GHz,8.00 GB RAM,在Windows平台上实验,算法用C++来实现。摄像机的型号为海康威视DS-2DF230IW -A,进行仿真实验的实验场景为该摄像机旋转摄像下采集的多组视频,视频帧图像分辨率为1 280×720像素。为了更好地验证本文方法,对平移模型、仿射变换模型、局部线性模型等方法做了实验。部分实验结果如图 7所示。

图 7 目标检测结果(帧间隔:1帧)
Fig. 7 Object detection results (frame interval: 1 frame)
((a)scene grayscale images; (b)non-compensation; (c)affine transformation; (d)local model; (e)ours)

图 7(a)中6幅图像分别为不同场景下拍摄的视频序列中当前帧图像的灰度图,帧间间隔为1帧;图 7(b)为未经图像补偿,直接对相邻两帧图像用帧间差分做目标检测的结果;图 7(c)是使用6参数的仿射变换线性模型进行补偿后的目标检测结果;图 7(d)是采用局部模型进行分区域补偿后的目标检测结果。考虑到旋转摄像下图像间的非线性变换性质,这里图像区域的划分主要是左中右3部分,经过不断实验调整最佳划分参数,然后分别对各个区域采用线性模型进行补偿;图 7(e)是经过本文方法补偿后的目标检测结果。

图 7(b)可以看出,选取的两帧图像在不经过背景运动补偿的情况下,除了前景目标,静止背景也发生了运动,整体近似于平移运动,但是两边的差异相比中间要更明显,图像之间存在着非线性变换;图 7(c)显示,在相机旋转扫描拍摄条件下,基于仿射变换模型补偿后的目标检测难以取得较好的效果,因该模型是一种线性模型,无法精确地描述出图像间的非线性变换,导致相邻两帧图像补偿不准确,检测结果会出现许多杂点和线段。图 7(d)中显示,不同区域采用不同参数的线性模型,可以取得更好的效果。图 7(e)中显示,经过本文方法对图像进行非线性变换补偿,可以减少误差,取得较好的效果。

图 7实验结果表明:当帧间间隔较小时,局部模型和本文方法均能取得较好的效果。但是,随着摄像机旋转角度的增大,图像间的非线性变换会更加明显,当帧间间隔为5帧,摄像机的旋转角度为0.9°时,实验结果如图 8所示。

图 8 目标检测结果(帧间间隔:5帧)
Fig. 8 Object detection results (frame interval: 5 frames)
((a)scene grayscale images; (b)affine transformation; (c)local model; (d)ours)

图 8(a)为当前帧场景图像的灰度图,帧间间隔为5帧;图 8(b)是使用仿射变换线性模型进行补偿后的目标检测结果,可以看出,仿射变换的误差非常大。图 8(c)为局部模型的结果,将图像局部区域进一步细分,然后用局部线性模型进行补偿,从结果中可以看出,该方法在图像的场景边缘部分补偿不够准确,出现部分误差,并且人工设置分块区域容易因分块不当导致误差增加。图 8(d)可以看出,随着摄像机旋转角度的增加,本文方法仍然能够取得较好的效果。

此外,在背景比较复杂的情况下,结果会出现一些孤立的像素点和小线段,如图 7第5组和第6组草地、树叶较多的实验结果中,由于草地、树叶容易受光照、风等外界因素影响,导致目标检测结果产生大量噪声,这些不连续的像素如果不消除将会对目标标记造成影响,所以需要再对其进行形态滤波[21]、去噪等进一步处理。

为了去除不相干结构对目标检测的影响,抑制目标空洞的产生,本文先对帧差后的二值图像进行一次开运算以去除杂乱点和立体视差效应(parallax effects)[22]产生的小线段,然后进行一次闭运算操作填充可能存在的空洞。以图 7中的第4、5、6组实验为例,将本文方法得到的目标检测结果,再经过形态学后处理的实验结果如图 9所示。

图 9 形态学后处理结果
Fig. 9 Morphological post-processings((a)before morphological processing; (b)after morphological processing)

图 9可以看出,经过形态学后处理之后,能够去除孤立的像素点和小线段,填补空洞现象,从而较完整地提取出运动目标。

以上实验结果表明,本文方法与已有的方法相比,能够更好地解决摄像机旋转扫描条件下获取图像的非线性变换问题,将图像准确补偿,从而更好地提取出运动目标。此外,本文方法通过摄像机方程和Hough变换可以快速求解,处理速度可以达到50帧/s,完全满足实时性要求。

本文方法也有一定局限性,适用于摄像机俯仰角度较小的旋转扫描情况。实验结果表明,在中远距离目标和较小的俯仰角情况下,本文方法仍然能够较好地工作。但是,俯仰角对本文方法结果影响规律以及在大俯仰角情况下的改进算法还需要进一步的分析和研究。

4 结论

提出了一种摄像机旋转扫描条件下的图像补偿方法。首先模拟摄像机旋转扫描过程中的成像原理,提出一种摄像机扫描运动模型并建立摄像机方程,通过参数空间变换将其转化为线性求解问题,进而采用Hough变换实现该方程参数的快速鲁棒估计。该方法能够同时实现图像的背景运动和非线性变换补偿,实现图像之间的准确配准。在此基础上,可以采用帧间差分等方法对配准后的图像进行目标检测。实验结果表明,该方法具有很好的实时性,并且能够较好地消除摄像机运动带来的图像间非线性变换问题,从而能够较为准确地提取出运动目标。

随着云台技术越来越广泛地应用于对大范围场景的扫描监视,在摄像机实现的区域搜索和目标检测跟踪领域研究中,本文方法有一定的实用价值。

参考文献

  • [1] Li J, Lan J H, Li J. A novel fast moving target detection method[J]. Journal of Central South University:Science and Technology, 2013, 44(3): 978–984. [李建, 蓝金辉, 李杰. 一种新型快速运动目标检测算法[J]. 中南大学学报:自然科学版, 2013, 44(3): 978–984. ]
  • [2] Tian Y M, Wan B, Dong W T. Object detection algorithm based on moving background in MPEG-4 video[J]. Acta Optica Sinica, 2009, 29(5): 1227–1231. [田玉敏, 万波, 董文涛. MPEG-4视频中运动背景下的目标检测算法[J]. 光学学报, 2009, 29(5): 1227–1231. ] [DOI:10.3788/AOS20092905.1227]
  • [3] Zhang S, Wang C, Chan S C, et al. New object detection, tracking, and recognition approaches for video surveillance over camera network[J]. IEEE Sensors Journal, 2015, 15(5): 2679–2691. [DOI:10.1109/JSEN.2014.2382174]
  • [4] Tao T F, Han C Z, Wu Y Q, et al. Motion estimation based on an improved block matching technique[J]. Chinese Optics Letters, 2006, 4(4): 208–210.
  • [5] Turetken E, Alatan A A. Temporally consistent layer depth ordering via pixel voting for pseudo 3D representation[C]//Proceedings of 20093DTV Conference: the True Vision-Capture, Transmission and Display of 3D Video. Potsdam, Germany: IEEE, 2009: 1-4. [DOI:10.1109/3DTV.2009.5069679]
  • [6] Hagege R, Francos J M. Parametric estimation of affine transformations:an exact linear solution[J]. Journal of Mathematical Imaging and Vision, 2010, 37(1): 1–16. [DOI:10.1007/s10851-009-0188-4]
  • [7] Wang H B, Zhao Z Y, Gu B, et al. Research on multi-moving object detection algorithm based on global motion compensation[J]. Application of Electronic Technique, 2011, 37(1): 110–113, 116. [王洪斌, 赵振涌, 顾彪, 等. 基于全局运动补偿的多运动目标检测方法研究[J]. 电子技术应用, 2011, 37(1): 110–113, 116. ] [DOI:10.3969/j.issn.0258-7998.2011.01.037]
  • [8] Zheng S Y, Fei S M, Liu H, et al. A novel approach to moving object detection in image sequence acquired by a mobile camera[J]. Journal of Image and Graphics, 2007, 12(9): 1590–1597. [郑世友, 费树岷, 刘怀, 等. 动态场景图像序列中运动目标检测新方法[J]. 中国图象图形学报, 2007, 12(9): 1590–1597. ] [DOI:10.3969/j.issn.1006-8961.2007.09.015]
  • [9] Wang S J, Zhao J, Han X Z. Fast global motion estimation algorithm based on affine transformation[J]. Chinese Journal of Liquid Crystals and Displays, 2012, 27(2): 263–266. [王思珺, 赵建, 韩希珍. 基于仿射变换的快速全局运动估计算法[J]. 液晶与显示, 2012, 27(2): 263–266. ] [DOI:10.3788/YJYXS20122702.0263]
  • [10] Jung B, Sukhatme G S. Real-time motion tracking from a mobile robot[J]. International Journal of Social Robotics, 2010, 2(1): 63–78. [DOI:10.1007/s12369-009-0038-y]
  • [11] Lin C C, Wolf M. Detecting moving objects using a camera on a moving platform[C]//Proceedings of the 201020th International Conference on Pattern Recognition. Istanbul, Turkey: IEEE, 2010: 460-463. [DOI:10.1109/ICPR.2010.121]
  • [12] Yu H F, Liu W, Yuan H, et al. Moving object detection based on sub-block motion compensation[J]. Acta Electronica Sinica, 2017, 45(1): 173–180. [于红绯, 刘威, 袁淮, 等. 基于子块运动补偿的运动目标检测[J]. 电子学报, 2017, 45(1): 173–180. ] [DOI:10.3969/j.issn.0372-2112.2017.01.024]
  • [13] Xu P L, Shimada S. Least squares parameter estimation in multiplicative noise models[J]. Communications in Statistics-Simulation and Computation, 2000, 29(1): 83–96. [DOI:10.1080/03610910008813603]
  • [14] Dahyot R. Statistical Hough transform[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(8): 1502–1509. [DOI:10.1109/TPAMI.2008.288]
  • [15] Guerreiro R F C, Aguiar P M Q. Incremental local Hough Transform for line segment extraction[C]//Proceedings of the 8th IEEE International Conference on Image Processing. Brussels, Belgium: IEEE, 2011: 2841-2844. [DOI:10.1109/ICIP.2011.6116139]
  • [16] von Gioi R G, Jakubowicz J, Morel J M, et al. LSD:a line segment detector[J]. Image Processing on Line, 2012, 2: 35–55. [DOI:10.5201/ipol.2012.gjmr-lsd]
  • [17] Wang M, Dai Y P. Local robust feature based on FAST corner detection[J]. Transactions of Beijing Institute of Technology, 2013, 33(10): 1045–1050. [王蒙, 戴亚平. 基于FAST角点检测的局部鲁棒特征[J]. 北京理工大学学报, 2013, 33(10): 1045–1050. ] [DOI:10.3969/j.issn.1001-0645.2013.10.010]
  • [18] Gao W G, Yang Y X, Zhang S C. Adaptive robust kalman filtering based on the current statistical model[J]. Acta Geodaetica et Cartographica Sinica, 2006, 35(1): 15–18, 29. [高为广, 杨元喜, 张双成. 基于当前加速度模型的抗差自适应Kalman滤波[J]. 测绘学报, 2006, 35(1): 15–18, 29. ] [DOI:10.3321/j.issn:1001-1595.2006.01.004]
  • [19] Hu W M, Tan T N, Wang L, et al. A survey on visual surveillance of object motion and behaviors[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2004, 34(3): 334–352. [DOI:10.1109/TSMCC.2004.829274]
  • [20] Hu J H, Yang F, Xu J J. Motion detection based on blocks frame difference and background subtraction[J]. Electronic Measurement Technology, 2007, 30(10): 49–53. [胡建华, 杨帆, 徐健健. 基于分块差分与背景减除的运动检测[J]. 电子测量技术, 2007, 30(10): 49–53. ] [DOI:10.3969/j.issn.1002-7300.2007.10.014]
  • [21] Serra J. Introduction to mathematical morphology[J]. Computer Vision Graphics and Image Processing, 1986, 35(3): 283–305. [DOI:10.1016/0734-189X(86)90002-2]
  • [22] Yuan C, Medioni G, Kang J M, et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax: IEEE Computer Society, USA, 8073196[P]. 2011-12-06.