Print

发布时间: 2017-04-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.20170413
2017 | Volume 22 | Number 4




    遥感图像处理    




  <<上一篇 




  下一篇>> 





显著图和多特征结合的遥感图像飞机目标识别
expand article info 吴喆, 曾接贤, 高琪琪
南昌航空大学计算机视觉研究所, 南昌 330063

摘要

目的 遥感图像飞机目标的检测与识别是近年来国内外研究的热点之一。传统的飞机目标识别算法一般是先通过目标分割,然后提取不变特征进行训练来完成目标的识别。在干扰较少的情况下,传统算法的识别效果较好。但遥感图像存在着大量的干扰因素,如光照变化、复杂背景及噪声等,因此传统算法识别精度较低,耗时量较大。为快速、准确识别遥感图像中飞机目标,提出一种基于显著图和全局特征、局部特征结合的飞机目标识别算法。 方法 首先使用改进的Itti显著算法提取遥感图像中的显著目标;接着使用基于区域增长和线标记算法寻找连通区域来确定候选目标的数量和位置;然后提取MSA(multi-scale autoconvolution)、Pseudo-Zernike矩和Harris-Laplace特征描述子,并使用标准差和均值的比值来评估特征的稳定性,再把提取的特征结合成特征向量;最后应用支持向量机的方法完成对候选目标的识别。 结果 实验结果表明,本文算法检测率和识别率分别为97.2%和94.9%,均高于现有算法,并且耗时少,虚警率低(为0.03),对噪声干扰、背景影响以及光照变化和仿射变化均具有良好的鲁棒性。 结论 本文算法使用了图像的3种特征信息,包括MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子,有效克服单一特征的缺点,提高了遥感图像飞机目标的识别率和抗干扰能力。

关键词

飞机目标识别; 遥感图像; 显著图; MSA; 不变矩; Harris-Laplace

Aircraft target recognition in remote sensing images based on saliency images and multi-feature combination
expand article info Wu Zhe, Zeng Jiexian, Gao Qiqi
Institute of Computer Vision, Nanchang Hangkong University, Nanchang 330063, China
Supported by: Supported by: National Natural Science Foundation of China (61165011, 61662049)

Abstract

Objective The detection and recognition of aircraft targets in remote sensing images has recently become a popular research issue both local and abroad. In traditional methods, invariant features are extracted from segmented targets to train learning machines. In cases with less interference, traditional methods work effectively. In practice, however, several interfering factors, including non-uniform/unstable illumination, complex background, and noise, contaminate the quality of remote sensing images. Thus, traditional methods are time-consuming and cannot achieve high recognition accuracy. To recognize an aircraft target in a remote sensing image rapidly and accurately, this study proposes an aircraft target recognition algorithm based on saliency images as well as global and local features. Method Visually salient targets in a remote sensing image are extracted using the modified Itti algorithm. A region increasing algorithm and a line marked algorithm are both applied to search connected regions, Accordingly, the number and location of candidate targets can be determined. Multi-scale autoconvolution (MSA), pseudo-Zernike moment, and Harris-Laplace feature are extracted, and their stability is evaluated based the ratio of the standard deviation to the mean. The selected features are combined to constitute a feature vector. Lastly, the candidate targets are recognized via support vector machine (SVM). Result Experimental results show that the detection and recognition accuracies of the proposed algorithm are 97.2% and 94.9%, respectively, which are both higher than the values for existing methods. In addition, the proposed algorithm has other advantages, including low time consumption, low false alarm rate (0.03), strong robustness against noise, complex background and affine transformation. Conclusion This study proposes a new aircraft target recognition algorithm based on saliency image as well as global and local features. The combination of the employed features, including MSA, Pseudo-Zernike moment and Harris-Laplace feature, provide more discriminant information than single feature. The novel algorithm improves both recognition efficiency and anti-interference ability.

Key words

aircraft targets recognition; remote sensing image; saliency image; multi-scale autoconvolution (MSA); invariant moments; Harris-Laplace

0 引言

飞机目标检测与识别在遥感图像分析中有着广泛的应用。因此,飞机目标检测与识别是国内外研究者特别关注的一个重要研究方向,也提出了很多有效的算法。文献[1]采用组合不变矩和SVM (support vector machine) 对飞机目标进行识别,通过提取Hu矩和仿射不变矩,并结合其他特征,筛选出7个特征参数来实现飞机目标识别,弥补了单一特征描述信息能力不足的缺点。但是特征的直接组合,抗噪能力较差,鲁棒性不强。文献[2]采用由粗到精的匹配策略,先使用图像的边缘信息通过粗匹配得到候选目标,再使用飞机形状特征对候选目标精匹配来完成飞机目标识别。该算法虽能较好的识别出遥感图像中的飞机目标,但算法实现的精度依赖先验的目标姿态和形状分割的效果,抗干扰能力不强。文献[3]是基于神经网络的识别方法,该方法的精度依赖于样本图像的数量,且当目标旋转、缩放或进行仿射变换时,误识率较高,而且神经网络的训练时间较长,节点参数很难确定,同时易出现过学习和欠学习现象。

飞机目标检测与识别虽取得了一定成就,但是同时也存在不足,因此识别特征和识别方法的选取依然至关重要。不变矩作为描述目标整体信息的特征,具有平移、旋转和尺度 (RST) 等不变性,因而被广泛应用于目标识别。随着Hu矩[4]及各种新不变矩的出现,提高了目标识别的精度。文献[5]提出了多尺度自卷积特征 (MSA) 在目标识别中的应用,具有RST不变性,识别率高于仿射矩,结合最小距离分类器对仿真飞机目标有较高的识别精度。另外,显著图能快速排除干扰,定位出原始图像中的感兴趣区域,因而在图像检测与识别中有着广泛的应用,其中具代表性的就是Itti算法[6]。文献[7]采用显著图结合飞机对称性进行飞机识别,该算法虽能较快地识别出图像中的飞机目标,但若图像中有油罐等对称干扰物时,也存在误识。角点作为表征目标局部信息的特征,具有较强的抗噪性和抗干扰性,在目标识别中应用甚广。文献[8]采用角点的DT网和不变矩,并结合欧氏距离完成飞机目标的识别,识别精度较高,而且具有较好的抗干扰能力和鲁棒性,但是对于颜色相同的飞机目标识别精度不高。文献[9]提出一种结合Harris-Laplace特征区域检测与梯度仿射不变矩的飞机识别方法,该算法虽能克服光照变化的影响,但仅使用单一特征识别精度不高,同时虚警率较高。文献[10]基于骨架线几何特征参数与网络测度,提出一种多光谱遥感影像自动提取飞机目标的方法,但稳定性不高。SVM是基于统计学习理论和结构风险最小化的原理来实现分类识别的,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势[11]。文献[12]提出了一种基于主成分分析 (PCA) 和SVM飞机识别方法,但鲁棒性不高。

通过对现有飞机识别算法的分析,可知其主要是先提取目标的特征,然后采用不同的分类器进行识别。有时在提取目标特征前也可以先对原始图像进行预处理,该步骤是为了去除原始图像中的各类噪声[13]。对飞机识别来说,利用单一的特征进行识别已出现瓶颈,因此本文提出基于显著图和全局特征、局部特征结合的由粗到精的飞机目标识别算法。在粗定位阶段提取图像的显著图并且快速标记出显著目标的位置和数量;在精匹配阶段提取MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子作为特征向量,最后用SVM来实现飞机目标检测与识别。

1 算法整体流程设计

本文算法流程如图 1所示。首先将待识别的遥感图像进行预处理,包含灰度化和去噪等过程;然后采用改进的Itti算法提取显著图,定位显著目标并作为候选目标。确定候选目标后,提取候选目标的Pseudo-Zernike矩、MSA和Harris-Laplace特征描述子,用特征的标准差和均值的比值来评估特征的稳定性后,再结合成特征向量。同样,提取样本图像的Pseudo-Zernike矩、MSA和Harris-Laplace特征描述子,再完成特征评估和结合。最后使用SVM进行训练和识别。若该遥感图像属于飞机图像,则标记该候选目标为飞机目标,并输出飞机的类型;否则为背景图像,并舍弃该候选目标。

图 1 算法流程图
Fig. 1 Algorithm flowsheet

2 飞机目标粗定位

为快速准确地定位出飞机目标,在粗定位阶段,首先对遥感图像进行预处理;然后提取预处理后的遥感图像中的显著目标;最后使用基于区域增长和线标记搜索算法寻找连通区域,从而来确定候选目标的数量和位置。

2.1 图像预处理

由于卫星成像设备拍摄的遥感图像会有很多不确定和客观因素,从而导致直接获取的遥感图像会存在大量的噪声及干扰等,所以需要对图像进行预处理。本文的图像预处理主要包括灰度化、去噪等。

遥感图像是彩色图像,而后续图像处理过程都是针对灰度图像,因此将彩色图像转化为灰度图像。根据人眼对颜色敏感度的不同,采用式 (1) 加权平均法对遥感图像进行灰度化。

$ gray = 0.30 \times R + 0.59 \times G + 0.11 \times B $ (1)

式中,$R $$G $$B $各表示遥感图像的红、绿、蓝3个颜色分量,$gray $表示灰度化之后的像素值。

由于遥感图像存在大量的噪声干扰,因此需要进行去噪处理。尽管噪声干扰的类型不一,一般来说经过滤波后可以去除。采用中值滤波和频域滤波的方法来消除噪声,其去噪效果如图 2所示。

图 2 去噪效果
Fig. 2 Noise removing result ((a) original image; (b) image after denoising)

2.2 提取显著图

显著图是最能凸显原图中感兴趣区域的图像。Itti[6]模型是比较有代表性的提取显著图的模型。该模型首先提取图像的颜色、亮度、方向3个特征,然后通过center-surround算子求取特征在不同尺度上的差值,并归一化,将得到的各类特征的视觉显著性度量结果合成一幅显著图。显著图能较好地反映原图中存在的显著目标。

根据Itti模型,提出了一种基于灰度图像的显著图提取算法。该算法通过用小波变换替代高斯滤波来生成特征金字塔,首先提取小波系数、不同方向和不同频带的特征,然后将其合成显著图来凸显图像中的显著目标。

小波系数$I $绝对值的大小反映了图像区域的灰度变化。大尺度下,小波系数的绝对值大,表明对应的图像区域内存在较大的灰度变化,因而小波系数绝对值大的点可作为感兴趣点。小波变换的这一特性可作为一类视觉特征用于检测[14]

小波变换在不同频带和方向上对原始图像进行分解,生成水平、垂直和对角方向上的分量,分别用$H $$V $$D $依次代表水平、垂直和对角方向上的分量。各分量分别包含水平、垂直和对角方向上的方向信息。可以利用这些信息生成方向特征图。小波分解后会形成一种多尺度的塔形数据结构。这种多分辨率特征更符合人眼的视觉特征。改进的Itti模型的结构图如图 3所示。

图 3 改进的Itti模型的结构图
Fig. 3 Improved Itti model structure

在小波分解生成的多尺度金字塔的基础上,采用Itti模型的center-surround算子生成特征图并通过线性组合生成显著图。

1) 运用center-surround算子在“中心”细尺度$ c$和“周边”粗尺度$s $对应的特征金字塔分量图之间求取差值,生成特征减差图$I\left( {c, s} \right), V\left( {c, s} \right), H\left( {c, s} \right), D\left( {c, s} \right) $。其中,$ c$∈{2, 3, 4},$ s = c + \delta $$ \delta $∈{2, 3}。

2) 运用归一化算子$N $(·) 对特征减差图进行归一化并线性融合,生成4幅显著特征图,即

$ \begin{array}{l} \overline I = \oplus _{c = 2}^4 \oplus _{s = c + 3}^{c = 4}N\left( {I\left( {c, s} \right)} \right)\\ \overline V = \oplus _{c = 2}^4 \oplus _{s = c + 3}^{c = 4}N\left( {V\left( {c, s} \right)} \right)\\ \overline H = \oplus _{c = 2}^4 \oplus _{s = c + 3}^{c = 4}N\left( {H\left( {c, s} \right)} \right)\\ \overline D = \oplus _{c = 2}^4 \oplus _{s = c + 3}^{c = 4}N\left( {D\left( {c, s} \right)} \right) \end{array} $ (2)

式中,“$ \oplus $”表示在不同尺度层上对每一特征的特征图进行降采样运算。

3) 对4幅显著特征图进行归一化并求和,生成最终的显著图,即

$ S = \frac{1}{4}\left( {N\left( {\overline I } \right) + N\left( {\overline V } \right) + N\left( {\overline H } \right) + N\left( {\overline D } \right)} \right) $ (3)

对原始图像预处理后,应用本文算法提取图像的显著图,如图 4所示。

图 4 改进的Itti显著图
Fig. 4 Improved Itti model ((a) original image; (b) saliency map)

图 4可知,显著图凸显了原图中的飞机等显著目标,而大量背景图像已被滤除,这有利于后续提取显著目标信息。

2.3 定位候选目标

采用改进的Itti算法提取的显著图不仅突显原图中的显著目标而且滤除了复杂的背景。因此,只要将显著图转化为二值图,就可以在二值图像中寻找显著目标作为候选目标。

用阈值法对显著图二值化。阈值法的关键是选取合适的阈值。由理论和实验可知,显著图中显著区域的灰度值高于图像的平均灰度值,因此可采用显著图的平均灰度均值$m $作为阈值。阈值表达式为

$ m = \frac{{\sum\limits_{i = 1}^{i = M} {\sum\limits_{j = 1}^{j = N} {S\left( {i, j} \right)} } }}{{M \times N}} $ (4)

式中,${S\left( {i, j} \right)} $表示显著图的灰度,$ M$$ N$表示显著图的大小,即长和宽。

进行二值化运算,得到显著图的二值图像$ U\left( {i, j} \right)$,即

$ U\left( {i, j} \right) = \{ _{0\;\;\;S\left( {i, j} \right)\;\; \le m\;}^{1\;\;\;S\left( {i, j} \right)\;\; > m\;} $ (5)

图 5所示是显著图二值化后的结果。

图 5 显著图和二值图像
Fig. 5 Saliency map and binary image ((a) saliency map; (b) binary image)

显著目标在二值图像里是一个连通区域,所以需要确定二值图像中连通区域的数量和位置。确定了连通区域,也就确定了显著目标。采用文献[15]基于区域增长法和线标记法的方法来确定连通区域的数量和位置。

二值图像中连通区域的标记算法结束后,可以得到连通区域的像素集合$ \left\{ {{P_1}, {P_2}, {P_3}, \cdot \cdot \cdot, {P_n}} \right\}$。接着还需要计算每个连通区域的质心和面积,以确定该区域的中心和外接正方形的边长。

数字图像$ f\left( {x, y} \right)$$p + q $>阶矩定义为

$ \begin{array}{l} {m_{pq}} = \sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {{x^p}{y^q}f\left( {x,y} \right)} } \\ p,q = 0,1,2,3 \cdot \cdot \cdot \end{array} $ (6)

式中,$ \left( {x, y} \right) \in {P_i}\left( {i = 1, 2, 3, \cdot \cdot \cdot, n} \right)$是某一连通区域的像素。

质心$ P$的坐标为

$ \{ _{{y_i} = {m_{01}}/{m_{00}}}^{{x_i} = {m_{10}}/{m_{00}}} $ (7)

连通区域的面积$ {A_i}$和外接圆半径$ {r_i}$

$ \begin{array}{l} {A_i} = \sum\limits_{x = 1}^M {\sum\limits_{y = 1}^N {f\left( {x, y} \right)} } \\ {r_i} = {\rm{sqrt}}\left( {{A_i}} \right) \end{array} $ (8)

式中,$\left( {x, y} \right) \in {P_i} $

$2{r_i}$为边长作外切于该区域的外接正方形,即可标记出显著目标。对于半径小于$ {r_i}/5$的连通区域,则认为是噪声并忽略该候选区域。由于显著图和原图大小一致,所以将某个连通区域的质心点${M_i}\left( {{x_i}, {y_i}} \right) $作为中心,$2{r_i} $为边长在原图像中画一个正方形,这样便可确定候选目标。用同样的方法可以标定出原图像中的所有候选目标。图 6是显著目标的标记结果。

图 6 目标定位图
Fig. 6 Target location ((a) salient targets location; (b) original targets location)

3 飞机目标精确识别

粗定位结束后,候选目标的位置和数量就已经确定,但候选目标里不仅包括飞机而且还有如汽车、房屋和油罐等干扰因素。为了消除干扰因素和正确识别飞机目标的机型,本文采用MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子作为特征向量,然后用SVM来实现飞机目标检测与分类识别。

3.1 特征提取

特征提取是目标识别的前提和基础,特征提取的有效性和鲁棒性直接影响目标识别的精度。飞机目标存在多种特征,如形状特征、颜色特征和不变矩等。但是,由于遥感图像飞机目标受到复杂背景、天气变化、设备噪声以及光照变化等多种干扰因素影响,导致遥感图像质量严重下降,因此单一特征明显不足以用于飞机目标准确识别。本文提取MSA、Pseudo-Zernike矩和Harris-Laplace特征区域描述子等特征作为飞机目标识别特征。

3.1.1 提取MSA

MSA特征具有良好的仿射不变性,且计算简单,在目标识别方面稳健性好、识别率高、抗噪能力强[5]

MSA的原理为:一幅图像中任意一点都可以利用该图像不共线的三点线性表示,当图像发生仿射变换时,这4个点的线性关系保持不变,其变换的一种表达形式为

$ F\left( {\alpha, \beta } \right) = \int {_{{R^2}}f\left( x \right)\left( {{f_\alpha } \times {f_\beta } \times {f_\gamma }} \right)} \left( x \right){\rm{d}}x $ (9)

式中,$\alpha, \beta, \gamma \in R $为尺度因子,且$ \alpha + \beta + \gamma = 1$$ {R^2}$代表图像区域。对于${f_\alpha }, {f_\beta }, {f_\gamma }, $$ a \ne 0$时,${f_a}\left( x \right) = f\left( {x/a} \right)/{a^2} $;当$ a = 0$时,$ {f_a}\left( x \right) = \delta \left( x \right)$$a $代表$\alpha, \beta, \gamma, \delta \left( x \right) $为狄拉克函数。$ F\left( {\alpha, \beta } \right)$表示图像灰度值的数学期望,对仿射变换具有不变性。

为提高计算速度,利用傅里叶变换,将上述卷积化为乘积运算,即

$ F\left( {\alpha, \beta } \right) = \frac{1}{{\widehat f{{\left( 0 \right)}^3}}}\int {_{{R^2}}} \widehat f\left( {-\xi } \right)\widehat f\left( {\alpha \xi } \right)\widehat f\left( {\beta \xi } \right)\widehat f\left( {\gamma \xi } \right){\rm{d}}\xi $ (10)

式中,$\widehat f $$f $的傅里叶变换。

通过改变$ \alpha $$ \beta $的值,$ F\left( {\alpha, \beta } \right)$给出无穷多的仿射不变量。

3.1.2 提取Pseudo-Zernike矩

Teh和Chin提出了Pseudo-Zernike多项式,把Pseudo-Zernike矩应用到图像分析中[16]。一幅$ N \times N$的灰度图像上阶数为$n $、重复度为$ m$的Pseudo-Zernike矩定义为

$ {A_{mn}} = \frac{{n + 1}}{\pi }\int\limits_0^{2\pi {\rm{1}}} {\int\limits_0 {{R_{nm}}\left( r \right)} } \cdot {{\rm{e}}^{ - jm\theta }}f\left( {r,\theta } \right)r{\rm{d}}r{\rm{d}}\theta $ (11)

式中,$ f\left( {r, \theta } \right)$是一幅灰度图像的极坐标表示,${{R_{nm}}\left( r \right)} $是Pseudo-Zernike径向多项式,$ n \ge 0$$\left| m \right| \le n $

对于圆心为坐标原点的单位圆内的灰度图像而言,Pseudo-Zernike矩的离散化公式为

$ {A_{nm}} = \frac{{2\left( {n + 1} \right)}}{{{\rm{\pi }}{{\left( {N-1} \right)}^2}}} \times \sum\limits_{i = 0}^{N-1} {\sum\limits_{j = 0}^{N-1} {{R_{nm}}\left( {{r_{ij}}} \right){{\rm{e}}^{ - jm{\theta _{ij}}}}f\left( {i, j} \right)} } $ (12)

式中

$ \begin{array}{l} {r_{ij}} = \sqrt {{{\left( {{c_1}i + {c_2}} \right)}^2} + \left( {{c_1}j + {c_2}} \right)} \\ {\theta _{ij}} = {\rm{ta}}{{\rm{n}}^{-1}}\left( {\frac{{{c_1}j + {c_2}}}{{{c_1}i + {c_2}}}} \right)\\ {c_1} = \frac{{\sqrt 2 }}{{N-1}}\\ {c_{2 = }}-\frac{1}{{\sqrt 2 }} \end{array} $

3.1.3 提取Harris-Laplace特征区域的梯度仿射不变矩

基于Harris算法得到的特征区域虽具有仿射不变性,但不具有尺度不变性。文献[17]提出了具有尺度不变性的Harris-Laplace特征区域检测算子。

利用尺度Harris检测算子在不同的尺度因子下检测特征点[9],再根据Lindeberg[18]的尺度空间理论,特征点在某个尺度下的Laplace-of-Gaussian取最大值时所对应的尺度即为特征点特征尺度。选择特征点的特征尺度,即可获得具有尺度不变性的特征区域。Laplace-of-Gaussian公式为

$ {\rm{log}}\left( {x,\delta } \right) = \left| {\delta 2\left( {{L_{uu}}\left( {x,\delta } \right) + {L_{vv}}\left( {x,\delta } \right)} \right)} \right| $ (13)

式中,$ \delta $是尺度因子,$ {{L_{uu}}\left( {x, \delta } \right)}$${{L_{vv}}\left( {x, \delta } \right)} $是图像信号与高斯函数$G\left( {x, \delta } \right) $卷积所得的二阶导数。

由式 (13) 得到图像的尺度不变性特征区域后,在该区域提取梯度仿射不变矩作为描述子,并把该描述子作为飞机目标识别的一个特征。

Flusser等人[1]提出的仿射不变矩因具有仿射不变性在遥感图像的飞机识别中应用广泛,但此仿射不变矩因在利用中心矩计算时使用的是表征图像灰度值函数,易受图像灰度变化的影响。为避免在图像照度变化下的敏感性,用计算区域的梯度值代替原始图像的灰度信息[19],即把Flusser等人提出公式中的中心矩计算公式改为

$ {u_{pq}} = {\int {\int\limits_D {\left( {x-{x_0}} \right)} } ^p}{\left( {y-{y_0}} \right)^q}g\left( {x, y} \right){\rm{d}}x{\rm{d}}y $ (14)

式中,$ g\left( {x, y} \right)$表示图像像素梯度值。

在矩计算时,用图像的梯度值替代其灰度值后,提取的特征向量不受光照变化的影响,因此得到梯度仿射不变矩的公式为

$ \left\{ {\begin{array}{*{20}{l}} {T{I_1} = \left( {{u_{20}}{u_{02}} - u_{11}^2} \right)/u_{00}^4}\\ {T{I_2} = \left[ { - u_{30}^2u_{03}^2 + 6{u_{30}}{u_{21}}{u_{12}}{u_{03}} - 4{u_{30}}u_{12}^3 - 4u_{21}^3{u_{03}} + 3u_{21}^2u_{12}^2} \right]/u_{00}^{10}}\\ {T{I_3} = \left[ {{u_{20}}\left( {{u_{21}}{u_{03}} - u_{21}^2} \right) - {u_{11}}\left( {{u_{30}}{u_{03}} - {u_{21}}{u_{12}}} \right) + {u_{02}}\left( {{u_{30}}{u_{12}} - u_{21}^2} \right)} \right]/u_{00}^7} \end{array}} \right. $ (15)

3.2 特征评估与结合

提取出抗噪性好、稳定性高的特征是飞机识别的关键步骤之一。因此特征提取后,需要进行特征评估。文献[1]是把均值$\mu $与标准差$ \delta $的比值$J $作为特征评价函数。$ J$越小,说明该特征性能越好;反之,该特征性能越差。$J $的计算方法为

$ J = \sum\limits_{i = 1}^N {\frac{{{\mu _i}}}{{{\delta _i}}}/N} $ (16)

式中,$ N$表示提取特征时所用图像的总数量。

以下是对本文提取的特征进行评估稳定性的过程。

MSA不需要利用更高阶矩是因为在某些情况下,高阶矩对噪声更敏感。通过改变$ \alpha $$ \beta $值,$ F\left( {\alpha, \beta } \right)$可给出无穷多的仿射不变量特征。表 1是依次选取10幅、20幅、30幅飞机目标图像,经实验选择5对$\left( {\alpha, \beta } \right) $${F_1} \sim {F_5} $由式 (10) 得到的MSA特征不变量。这5对$\left( {\alpha, \beta } \right) $值为 (0, -0.5),(0.4, 0.8),(-0.2, 0.7),(0.3, -0.5), (-0.4,-0.7)。同时第5列给出了60幅图像提取的各个特征的平均评价性能$ J$

表 1 MSA特征数据及其评估值$ F\left( {\alpha, \beta } \right)$
Table 1 The date of MSA and assessed value

下载CSV
$\alpha $ $\beta $ 10幅 20幅 30幅 $J $
0 -0.5 0.334 2 0.342 3 0.341 2 0.022 5
0.4 0.8 0.684 5 0.690 3 0.688 9 0.018 6
-0.2 0.7 0.646 1 0.651 2 0.648 9 0.020 1
-0.3 -0.5 0.442 3 0.450 2 0.447 6 0.019 6
-0.4 -0.7 0.657 2 0.825 1 0.798 6 0.530 1

表 2同样是依次选取10幅、20幅、30幅飞机目标图像,利用式 (12) 提取Pseudo-Zernike矩特征,并且在最后一列给出特征平均评价性能。

表 2 Pseudo-Zernike矩特征数据及其评估值
Table 2 The date of Pseudo-Zernike and assessed value

下载CSV
Pseudo-Zernike矩 10幅 20幅 30幅 $J $
$ {A_{10}}$ 0.012 0 0.011 2 0.009 6 0.963 5
${A_{11}} $ 0.060 1 0.052 2 0.050 6 0.971 5
$ {{A_{20}}}$ 0.044 2 0.043 2 0.045 4 0.511 2
$ {{A_{21}}}$ 0.006 3 0.005 9 0.005 6 0.496 8
${{A_{30}}} $ 0.008 4 0.007 8 0.008 5 0.510 2
$ {{A_{41}}}$ 0.062 4 0.061 9 0.064 0 0.119 5
${{A_{53}}} $ 0.016 8 0.015 6 0.014 8 0.384 5
${{A_{54}}} $ 0.039 8 0.042 0 0.042 7 0.317 3

利用Harris-Laplace算子提取图像中飞机目标的特征区域,其中在Harris-Laplace算子提取中先利用尺度Laplace算子选取不同尺度因子下的候选特征点,在特征点选取过程中其阈值$T = t \times {\rm{ma}}{{\rm{x}}_{{\rm{local}}}} $,其中maxlocal为局部像素极大值,$ t$取0.12(实验过程中发现$t $取0.08~0.2之间有利于识别)。对选取的特征点利用式 (13) 选取对应的特征区域。

同样依次选取10幅、20幅、30幅飞机目标图像,针对特征区域利用式 (15) 选取梯度仿射不变矩$ \left\{ {T{I_1}, T{I_2}, T{I_3}} \right\}$,并且同时得到特征的评价指标,如表 3所示。

表 3 Harris-Laplace特征域描述子数据及其评估值
Table 3 The date of Harris-Laplace and assessed value

下载CSV
Harris-Laplace描述子 10幅 20幅 30幅 $ J$
$ {T{I_1}}$ 36.586 3 36.957 6 37.072 4 0.018 9
${T{I_2}} $ 52.089 2 52.466 8 52.754 9 0.020 5
$ {T{I_3}}$ 43.937 0 44.838 1 44.727 7 0.019 5

表 1可知,MSA特征$ J$的平均值为0.122 2,所以根据$ J$的标准取MSA的特征量为$\left\{ {{F_1}, {F_2}, {F_3}, {F_4}} \right\} $;同理,表 2的Pseudo-Zernike矩特征$ J$的平均值为0.534 3,所以取Pseudo-Zernike矩特征$\left\{ {{A_{20}}{A_{21}}, {A_{30}}, {A_{41}}, {A_{53}}, {A_{54}}} \right\} $表 3的特征$J $的平均值为0.019 6,3个特征的$ J$在0.019 6左右浮动不大,因此3个特征均采用。

由以上分析可知,选取的各个特征的$J $均较小,所以特征稳定,鲁棒性高。

把各特征结合成新特征$ \boldsymbol{Q}$,表达公式为

$ \boldsymbol{Q} = \left\{ {{F_1}, {F_2}, {F_3}, {F_4}, {A_{20}}, {A_{21}}, {A_{30}}, {A_{41}}, {A_{53}}, {A_{54}}, T{I_1}, T{I_2}, T{I_3}} \right\} $ (17)

为消除新特征之间的差异度,提高特征的鲁棒性和准确性,需要采用式 (18) 对新特征$\boldsymbol{Q} $进行归一化,即

$ {Q_i} = \frac{{{Q_i}-{\rm{min}}\left( \boldsymbol{Q} \right)}}{{{\rm{max}}\left( \boldsymbol{Q} \right)-{\rm{min}}\left( \boldsymbol{Q} \right)}} $ (18)

式中,$ {Q_i}$表示组合矩$\boldsymbol{Q} $中第$ i$个特征,${{\rm{mas}}\left( \boldsymbol{Q} \right)} $表示$ \boldsymbol{Q}$中最小特征,${{\rm{max}}\left( \boldsymbol{Q} \right)} $表示$ \boldsymbol{Q}$中最大特征。

3.3 训练识别

特征提取和结合完成后,就可以利用新特征进行飞机目标识别。本文采用8种飞机类型,共240幅飞机图片和60幅背景图像。其中选取160幅飞机图片和40幅背景图片用来训练,剩余的图片用来识别。对于每一幅图像,提取图像的特征向量$\boldsymbol{Q} $,并作为分类器的输入用来进行飞机目标识别,这里采用SVM作为分类器。

LibSVM软件包使用方便,支持多类分类,可调参数少,并且提供了交互检验功能,因此采用LibSVM来实现SVM分类器。核函数选用高斯核,即

$ K\left( {x, {x_i}} \right) = {\rm{exp}}\left( {-{{\left\| {x-{x_i}} \right\|}^2}/2{\delta ^2}} \right) $ (19)

式中,$ {{\delta ^2}}$代表核函数的宽度。参数优化采用网格搜索法,惩罚系数$C $和参数宽度${{\delta ^2}} $取值分别为400和0.5。

3.4 飞机识别性能指标

飞机识别算法的性能包括飞机的检测率、识别率、虚警率、综合评价指标$ \overline Z $和消耗时间。检测率和识别率采用文献[8]的方法计算,虚警率采用文献[7]的方法计算。消耗时间是指从遥感图像中识别出所有飞机目标所花费的时间。$ \overline Z $是根据检测率和识别率定义的一个综合评价指标,综合评价了飞机识别算法的性能,表达公式为

$ \overline Z = \frac{{2R \times D}}{{R + D}} $ (20)

式中,$ R$为算法最终识别率,$ D$为最终检测率。

4 实验及结果分析

实验的硬件平台是内存1.99 GB、CPU为Pentium (R) Dual-Core E5300 @ 2.60 GHz的台式计算机。编程环境是Windows XP系统下的Matlab R2009a软件。本文用飞机目标识别评价指标来衡量飞机识别算法的性能,评价指标如3.4节所述。实验图像全部来源于谷歌地球软件Google Earth 7.0.2,分辨率为0.61 m。样本图像是从谷歌地图获取的不同地区的民用和军用机场的遥感图像中的适量飞机目标图像和背景图像,首先建立了8种飞机类型共300幅飞机图像库;然后使用本文算法对图像库中的飞机进行实验;最后将本文算法中的单一特征与组合特征的实验结果进行对比,并且将本文实验结果与其他文献算法的实验结果也进行了对比。本文的测试图像库总共包含289架飞机目标,其中检测出281架,误检8架。检测率为0.97,虚警率为0.03。

本文算法的组合特征与单一特征实验结果对比如表 4所示。

表 4 组合特征与单一特征识别性能对比
Table 4 The contrast of combination feature and single feature

下载CSV
检测算法 检测率 虚警率 消耗时间/s
Pseudo-Zernike矩 0.89 0.05 8.2
MSA 0.79 0.07 18.3
梯度仿射不变矩 0.75 0.08 8.4
组合特征 0.97 0.03 9.3

根据实验结果可知,本文算法的检测率达到0.97,高于MSA、Pseudo-Zernike矩和梯度仿射不变矩,同时虚警率为0.03,均低于其他3个特征。本文算法的消耗时间9.3 s,少于MSA的耗时,略高于其他两个特征的耗时。因此本文算法优于单一特征识别算法。

本文算法与其他文献算法的实验对比结果如表 5所示。

表 5 不同识别算法性能对比
Table 5 The contrast of different recognition algorithm

下载CSV
检测算法 检测率 识别率 虚警率 消耗时间/s 综合评价
文献[2] 0.893
文献[7] 0.930 0.05 41.7
文献[8] 0.952 0.907
本文 0.972 0.949 0.03 9.3 0.960

根据表 5的实验数据可知,文献[2]的实验精度依赖于先验形状,识别率0.893低于本文算法的0.949。文献[7]的检测率0.930,低于本文的检测率,同时耗时41.7 s是本文耗时9.3 s的4倍多。文献[8]的检测率和识别率略低于本文算法。因此,本文算法比其他文献算法的检测率更高,同时虚警率更低,而且消耗时间更少,综合评价性能高。

本文算法可以识别8种飞机目标。图 7所示是不同机场、不同背景的飞机检测结果。由图 7可知,本文算法可以识别出不同机场、不同机型的飞机,同时能克服不同背景和和光照变化的影响。

图 7 飞机检测结果图
Fig. 7 Results of target recognition ((a) AFB image; (b) AFB image; (c) high illumination; (d) low illumination)

5 结论

本文提出了一种由粗到精的层次化的识别方法来识别遥感图像飞机目标。在粗定位阶段,首先利用改进的显著图算法快速提取遥感图像中存在的显著目标;然后用基于区域增长和线标记的方法来确定显著目标的大小和位置,并将这些显著目标作为候选目标,为后续识别做好准备。在精识别阶段,首先提取候选目标和样本图像的MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子,有效地克服了使用单一特征无法描述目标多种信息的不足,而无需对目标进行分割;然后进行特征评估和融合;最后使用SVM进行训练识别,判断该候选目标是否为飞机目标以及飞机目标的种类。实验结果表明,本文算法的检测率达到97.2%,虚警率为0.03,同时耗时较少,能部分克服仿射变化和复杂地面环境及光照变化的干扰,具有较强的鲁棒性。解决飞机目标识别问题的关键在于特征和分类方式的选取。因此,为了使识别效果更加精确鲁棒,下一步的工作可以致力于设计新的特征和优化现有的分类算法。同时,飞机识别的效果很大程度上也取决于样本库是否完善。进一步扩展飞机类别和数量,建立更加完善的数据库,对飞机识别系统精度的提升同样有着非常重要的作用。

参考文献

  • [1] Zhu X F, Ma C W.The study of combined invariants optimization method on aircraft recognition[C]//Proceedings of 2011 Symposium on Photonics and Optoelectronics. Wuhan, China: IEEE, 2011: 1-4. [DOI:10.1109/SOPO.2011.5780562 ]
  • [2] Liu G, Sun X, Fu K, et al. Aircraft recognition in high-resolution satellite images using coarse-to-fine shape prior[J]. IEEE Geoscience and Remote Sensing Letters, 2013, 10(3): 573–577. [DOI:10.1109/LGRS.2012.2214022]
  • [3] Fang Z X, Yao G Q, Zhang Y N. Target recognition of aircraft based on moment invariants and BP neural network[C]//Proceedings of 2012 World Automation Congress. Beijing, China: IEEE, 2012: 1-5.
  • [4] Wahi A, Palamsamy C, Sundaramurthy S. Rotated object recognition based on Hu moment invariants using artificial neural system[C]//Proceedings of 2012 World Congress on Information and Communication Technologies. Trivandrum Indian: IEEE, 2012: 45-49. [ DOI:10.1109/WICT.2012.6409048]
  • [5] Xu X Q, Wang B, Yu J C, et al. Application of a new invariant moments on image recognition[J]. Optical Technique, 2007, 33(4): 580–583. [徐学强, 汪渤, 于家城, 等. 一种新型不变矩在图像识别中的应用[J]. 光学技术, 2007, 33(4): 580–583. ] [DOI:10.3321/j.issn:1002-1582.2007.04.027]
  • [6] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254–1259. [DOI:10.1109/34.730558]
  • [7] Li W, Xiang S M, Wang H B, et al. Robust airplane detection in satellite images[C]//Proceedings of the 18th International Conference on Image Processing. Brussels, Belguim: IEEE, 2011: 2821-2824. [ DOI:10.1109/ICIP.2011.6116259]
  • [8] Zeng J X, Fu J, Fu X. Aircraft target recognition in remote sensing images based on distribution of the feature points and invariant moments[J]. Journal of Image and Graphics, 2014, 19(4): 592–602. [曾接贤, 付俊, 符祥. 特征点和不变矩结合的遥感图像飞机目标识别[J]. 中国图象图形学报, 2014, 19(4): 592–602. ] [DOI:10.11834/jig.20140414]
  • [9] Zhang Y X, Hu J, Zhang Z, et al. Research on aircraft recognition based on local detection and affine invariant feature[J]. Remote Sensing Information, 2013, 28(3): 3–7, 13. [张永霞, 胡坚, 张正, 等. 基于区域检测算法与不变矩特征的飞机特征提取方法研究[J]. 遥感信息, 2013, 28(3): 3–7, 13. ] [DOI:10.3969/j.issn.1000-3177.2013.03.001]
  • [10] Cai D, Chen Y M, Wei W. Study on aircraft recognition in multi-spectral remote sensing image based on skeleton characteristics analysis[J]. Bulletin of Surveying and Mapping, 2014(2): 50–54, 71. [蔡栋, 陈焱明, 魏巍. 基于骨架特征的多光谱遥感影像飞机目标识别方法研究[J]. 测绘通报, 2014(2): 50–54, 71. ] [DOI:10.13474/j.cnki.11-2246.2014.0052]
  • [11] Zhang X G. Introduction to statistical learning theory and support vector machines[J]. Acta Automatica Sinica, 2000, 26(1): 32–42. [张学工. 关于统计学习理论与支持向量机[J]. 自动化学报, 2000, 26(1): 32–42. ]
  • [12] Wang D H, He X, Wei Z H, et al. A method of aircraft image target recognition based on modified PCA features and SVM[C]//Proceedings of the 9th International Conference on Electronic Measurement & Instruments. Beijing, China: IEEE, 2009: 4177-4181. [ DOI:10.1109/ICEMI.2009.5274100]
  • [13] Fu J. Aircraft targets recognition research in remote sensing images based on the features fusion[D].Nanchang: Nanchang Hangkong University, 2014. [付俊. 基于特征融合的遥感图像飞机目标识别研究[D]. 南昌: 南昌航空大学, 2014.]
  • [14] Ma X X, Shen T S, Xu J. Algorithm for detecting ship target in infrared image based on saliency map[J]. Infrared, 2013, 34(10): 31–36. [马新星, 沈同圣, 徐健. 一种基于视觉显著图的舰船红外图像目标检测方法[J]. 红外, 2013, 34(10): 31–36. ] [DOI:10.3969/j.issn.1672-8785.2013.10.007]
  • [15] Gao H B, Wang W X. New connected component labeling algorithm for binary image[J]. Journal of Computer Applications, 2007, 27(11): 2776–2777, 2785. [高红波, 王卫星. 一种二值图像连通区域标记的新算法[J]. 计算机应用, 2007, 27(11): 2776–2777, 2785. ]
  • [16] Teh C H, Chin R T. On image analysis by the methods of moments[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988, 10(4): 496–513. [DOI:10.1109/34.3913]
  • [17] Mikolajczyk K, Schmid C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63–86. [DOI:10.1023/B:VISI.0000027790.02288.f2]
  • [18] Lindeberg T. Edge detection and ridge detection with automatic scale selection[J]. International Journal of Computer Vision, 1998, 30(2): 117–156. [DOI:10.1023/A:1008097225773]
  • [19] Liu P P, Zhao H W, Geng Q T, et al. Affine invariant fast local feature description algorithm[J]. Liu P P, Zhao H W, Geng Q T, et al. Affine invariant fast local feature description algorithm[J]. Journal of Jilin University:Engineering and Technology Edition, 2010, 40(4): 1059–1064. [刘萍萍, 赵宏伟, 耿庆田, 等. 仿射不变的快速局部特征描述子算法[J]. 吉林大学学报:工学版, 2010, 40(4): 1059–1064. ]