|
发布时间: 2018-09-16 |
遥感图像处理 |
|
|
收稿日期: 2017-12-01; 修回日期: 2018-02-08
基金项目: 国家十三五科技预研基金项目(41415020402)
第一作者简介:
张磊, 1989年生, 男, 博士研究生, 主要从事实时自动目标识别、嵌入式图像处理系统、计算机视觉方面的研究。E-mail:lzhang89@163.com;
洪星, 男, 硕士研究生, 主要从事实时自动目标识别方法、计算机视觉方面的研究。E-mail:hust_hongxing@126.com; 周斌, 男, 高级工程师, 主要研究方向为精确制导。E-mail:giggsnet@163.com.
中图法分类号: TP391.41
文献标识码: A
文章编号: 1006-8961(2018)09-1424-09
|
摘要
目的 高分辨率遥感图像中,靠岸舰船检测有着广泛的应用前景,其主要难点在于舰船与港口陆地在空间上紧邻,在颜色和纹理特征上相似,舰船与港口陆地难以分割。针对这种情况,利用港口岸线平直的几何特点和靠岸舰船多为舷靠的停泊特点,提出一种基于投影分析的靠岸舰船检测方法。方法 首先,对原始图像进行预处理,利用K-means聚类算法与区域生长算法相结合的方式得到海陆分割图像,利用Sobel算子与Otsu分割结合的方式获取边缘图像;然后,通过改进的Hough变换提取直线特征,结合港岸几何特性定位港口岸线;再将海陆分割后的二值图像向沿岸线和垂直岸线两个方向进行投影,根据沿岸线方向投影形态确定和分离并靠舰船,根据垂直岸线方向的投影形态定位舰船目标;最后,利用舰船尺寸、长宽比、最小外接矩形占空比特征去除虚警。结果 在15个港口场景不同分辨率的遥感图像测试集上,本文方法整体检测率达到85.4%,虚警率达17.2%;限定分辨率范围在2~4 m的情形下,检测率提高到93.5%,虚警率降低至5.3%。结论 本文方法简单有效,无需港口先验信息,适用于多尺度和多方向的靠岸舰船目标检测任务,对不同类型舰船形态差异具有鲁棒性,且能够分离并靠舰船。
关键词
靠岸舰船检测; 岸线检测; 投影分析; 高分辨率遥感图像; 并靠船检测
Abstract
Objective In high-resolution remote sensing images, inshore ship detection has broad application prospects, such as ocean surveillance, fisheries management, and military reconnaissance. However, unlike the ship detection under pure sea background, inshore ship detection is much more challenging, considering the complex background of the port. The main difficulty of inshore ship detection is that the ship and the dock are adjacent in space and similar in color and texture features, thereby introducing difficulties in distinguishing them. Effective methods for this task are scarce. The existing methods can be mainly into three types. The first is based on template matching but prior geographical information of the port is needed, which is often difficult to obtain. The second type is based on the ship contour method, in which the robustness is low and detecting side-by-side ships is difficult. The third type is based on local features of the ship, which often assume that the ship has a V-shaped bow and is powerless to other ships. Other than the existing methods, a method for inshore ship detection using projection analysis is proposed in this paper. Our method is based on the observation that the shoreline of a dock is typically straight and inshore ships are usually anchored along the ship's rail. Method First, the original image is preprocessed by two sibling approaches:one that segments the sea and land and another that extracts edges. For sea-land segmentation, the K-means clustering algorithm and region-growing algorithm are combined to improve the segmentation quality, which is significant for our method. Meanwhile, the original image is processed to a gradient image by Sobel operator, and then the gradient image is segmented to an edge image with the Otsu algorithm. Second, an improved Hough transform is conducted on the edge image to extract the straight lines, among which are dock shorelines. To remove interference lines, we assume that all extracted lines of dock shorelines should only lie on the border of water. Then, we start to search for ships on both sides of the located dock shorelines. Taking one dock shoreline as an example, we project the sea-land segmentation image perpendicular to the dock shoreline direction and obtain a projection curve. If a ship is anchored along the dock shoreline, the projection curve shape is convex. Otherwise, the curve shape is flat. Furthermore, we can locate the ship with a bounding box by analyzing the curve shape conveniently. To separate side-by-side ships, we conduct another projection in the dock shoreline direction and separate these ships by analyzing the peak and valley of the projection curve. Finally, we remove false alarms using features of ship size, aspect ratio, and duty ratio. Result We have randomly chosen 292 high-resolution remote sensing images of 15 different scenes on Google Earth to test our method. The test images have a total of 962 ships, comprising 139 aircraft carriers, 794 destroyers, and 29 civilian ships. The resolution of the images ranges from 1 m to 5.5 m. Thus, the ships on these images are variant in scale, orientation, and even brightness. Our method has correctly detected 822 of the 962 ships, comprising 134 aircraft carriers, 666 destroyers, and 22 civilian ships. These results represent 85.4% of the total detection rate, 96.4% of the aircraft carrier detection rate, and 83.9% destroyer detection rate. Meanwhile, we have 171 false alarm targets, thereby representing a false alarm rate of 17.2%. Results show that if the resolution is limited from 2 m to 4 m, the total detection rate grows up to 93.5% and the false alarm rate decreases to 5.3%. However, our method is sensitive to the quality of sea-land segmentation, which is essential to extracting the straight line features of the dock shorelines. Thus, the detection rate is compromised on very complex backgrounds, as shown in this paper. Conclusion Our method is simple and effective for inshore ship detection tasks. No prior information on the harbors is needed. The method is suitable for detection of inshore ships in variable resolutions and directions. It is robust to ship shapes and side-by-side ships can be detected as well. Given that our method is sensitive to the quality of sea-land segmentation, more powerful segmentation algorithms, which is our future research direction, may be effective.
Key words
inshore ship detection; dock shoreline detection; projection analysis; high resolution remote sensing image; side-by-side ships detection
0 引言
舰船作为海上运输载体和重要军事目标,其自动检测技术在民用和军事领域都有着广阔的应用前景[1-2]。根据背景的复杂程度,舰船检测主要分为离岸舰船检测和靠岸舰船检测。以往的大多数研究主要针对的是单纯海洋背景的离岸舰船检测,并取得了较好的检测效果[3-7]。相较于纯海洋背景的离岸舰船,靠岸舰船所处背景更复杂,既包含海洋背景,又包含港岸陆地背景,舰船与港岸在颜色和纹理特征上相似,空间上紧邻,如何将二者分开是靠岸舰船检测任务的难点。
现有的靠岸舰船检测方法主要可分为3类:第1类是基于港口先验地理信息的方法[8-10]。这类方法往往采用模板匹配的方式,实现简单,但先验信息往往不易获取,模板需要烦琐的手工标记;第2类是基于舰船轮廓的方法[11-12],这类方法通常利用不变性广义Hough变换或可变夹角链码方式匹配舰船轮廓,具有旋转和尺度不变性,但鲁棒性较低且难以检测并靠舰船;第3类是基于局部特征的方法[13-16],这类方法往往假设舰船有“V ”形船头,适用范围小,难以从局部特征得到舰船整体特征。
本文分析了大量港口几何特性和舰船停泊特性,发现大中型港口的岸线大多数都是平直的,且靠岸舰船多数采用舷靠方式停泊,即船舷紧贴港口岸线,舰船方向与港口岸线方向一致。针对这些特性,提出一种基于投影分析的舰船检测方法。算法流程如图 1所示。
首先进行图像预处理,一方面是对原图进行海陆分离,另一方面是获取梯度和边缘信息;然后利用改进的Hough变换提取直线特征,结合海陆分割的结果定位港口岸线;之后,根据舰船停泊特性选定可能的停靠空间作为投影空间,在投影空间范围内对海陆分割图像进行两次投影:第1次沿岸线方向,根据投影的峰谷特性确定并靠船的连接位置,实现并靠船分离,第2次投影垂直岸线方向,若该投影空间内有舰船则投影曲线应为“拱形”,根据其形态可以确定舰船位置和尺寸;最后,结合舰船尺寸、长宽比等特征进一步确认舰船。
1 算法详细说明
1.1 图像预处理
预处理主要分为两部分:一是海陆分离,二是边缘提取。采用K-means聚类算法与区域生长算法相结合的海陆分割方法[17]。先以2×2区域块为单位,提取块区域灰度均值和方差作为K-means算法聚类的特征,将所有块区域分为两类作为粗分割结果。再以粗分割结果作为种子点进行区域生长,可生长区域限定在粗分割边界附近一定范围内(本文设定的可生长区域为离粗分割边界10像素以内的区域),通过区域生长算法多次迭代得到最终细分割的结果。该方法自适应性和抗噪性较好。
采用Sobel算子提取图像梯度,该算子对噪声不敏感,同时可以方便地计算边缘梯度强度和方向。由于只关心港口岸线的边缘信息,而这部分边缘往往是梯度强度最强的区域,因此对Sobel算子得到的梯度图像进行一次Otsu分割,得到分割的边缘图像。图 2是预处理过程示意图。
1.2 岸线检测
1.2.1 基于改进的Hough变换的直线检测
Hough变换一种从图像空间到参数空间的映射关系,常用于图像中特定几何形状的检测。对于直线的检测问题而言,任意一条直线都可以用参数
$ f\left( {\rho ,\theta } \right) = \rho - x{\text{cos}}\left( \theta \right) - y{\text{sin}}\left( \theta \right) = 0 $ |
标准的Hough变换需要遍历全图像素,对每一个像素点再遍历所有的角度
1) 构造双精度累加器数组
2) 对于边缘图像上的每个边缘点,其坐标为(
3) 直线方向参数
对于每一对参数(
3) 处理完所有边缘点,取累加器数组
4) 合并参数较为接近的直线。
1.2.2 港口岸线定位
港口岸线所在的直线提取出来后,还需进一步确定真实的岸线位置。首先,确定港口岸线的起点和终点。从上到下遍历边缘图像,若边缘点在所检测到的直线上且该点是该直线上第1个被检测到的点,则记该点为岸线线段的起点。相应地,从下往上遍历边缘图像,若边缘点在所检测到的直线上且该点是该直线上第1个被检测到的点,则记该点为岸线线段的终点。为提高精度,进一步细化起止点的检索方式:
1) 将直线按方向分为0°≤
2) 为了减少杂波的干扰,只有梯度方向与直线方向的夹角在70°~110°时,被检边缘点才会被确定为起止点。
确定了起点和终点后的线段还可能包含虚警,虚警主要有两类:一类是该线段全部在陆地内部;另一类是该线段大部分处于水域中。若线段为港口岸线,则其两侧必有一侧包含水域,否则必为第1类虚警;若线段为港口岸线,则其两侧不能同时包含大段水域,否则必为第2类虚警。
假设线段上的点坐标为(
1.3 投影分析
1.3.1 舰船定位
定位线段为我们提供了舰船可能停泊的位置,接下来我们利用投影的方式进行舰船的定位。图 5是靠岸舰船的示意图,
首先,确定一个投影空间,即确定一个用以投影的空间边界。具体流程为:遍历定位线段上每一个点
确定投影空间后,将该空间内的点沿垂直于港口岸线的方向投影到港口岸线上,若该点为水域点则其投影值为0,若该点为陆地点(包括舰船)则其投影值为1,投影到港口岸线上同一位置的所有点的投影值累加,投影结束后可以绘制投影曲线。对图 5所示情形,港口岸线
理想情况下,定位线段紧邻舰船,投影曲线在没有舰船的位置投影积分结果为零,在有舰船的位置形成“拱形”曲线,如图 7(a)所示,此时容易确定舰船位置和尺寸。但由于检测误差,可能存在紧挨舰船的码头岸线漏检或者定位偏移的情况,如图 7(b)所示。此时舰船定位较为困难,得到的“拱形”曲线最高点不再对应舰船宽度,对提取舰船目标形态特征造成较大的干扰。
定义投影曲线整体偏移水平零点的量为投影基准值,若定位线段紧挨舰船则投影基准值为0,若定位线段距离舰船有偏移,则投影基准值不为0,如图 8所示。对于后者,可以将该投影曲线整体减去投影基准值,将其转化为投影基准值为0的情况。
采用以下流程获取投影曲线的投影基准值:
首先,将投影曲线上各投影值由小到大排列(
1.3.2 并靠舰船的分离
如果多艘船并排地停靠在港口,若直接按上述方式投影,投影结果与单艘船舰在定位线段上的投影差异较大而无法检出或不能分隔出多条并列的船舰。
针对并靠船检测问题,提出一种投影分析的方法。对每一条定位线段,假设其一侧停驻有多条并列的舰船,如图 9所示。
由于船舰形态通常上呈现首尾窄中间宽的特征,那么对海陆分割后的图像在其投影空间内沿定位线段方向投影,即从船头向船尾(或船尾向船头)方向投影,投影得到的投影曲线如图 9所示,两条船舰中间的位置将形成波谷,船舰中轴线处将形成波峰,根据峰谷特性可以找到并靠船间的分界线。
然后,在并靠船分界线位置“复制”一条定位线段,即拓展了定位线段集合,相应地,定位线段对应的投影空间也被分隔开来,每一条新的定位线段对应一个新的投影空间,如此将并靠船检测问题转化为单排舰船检测问题。并靠船检测结果如图 10所示。
投影分析的方法除了定位舰船位置,还提供了舰船形态特征,利用这些特征,可以进一步去除虚警。本文主要采用的去虚警策略有:结合图像分辨率,根据舰船长度和宽度范围去虚警;计算舰船长宽比,去除不符合舰船长宽比特性的目标;结合目标最小外接矩形标记辅助分析,去除占空比过小的虚假标记。
2 实验结果与分析
2.1 主要实验数据
在Google Earth上截取部分港口的高分辨率遥感图像,对本文提出的方法进行实验验证,实验图像的分辨率在1 m到5.5 m之间。部分实验结果如图 11所示。
由实验结果可以看出,本文方法适用于多尺度和多方向下的靠岸舰船目标检测。同时,本文方法对舰船类型和形态有鲁棒性,不仅可以检测具有“V”形船头的舰船,还能检测船头较平的舰船和航母。我们选取了Google Earth上15个不同港口场景图像进行透视变换,得到不同分辨率下(1 m/像素到5.5 m/像素)的292帧图像,共含962艘舰船,其中航母139艘,驱护舰794艘,民船29艘。实验结果为:在不区分分辨率的情况下,正确检测到822艘舰船,其中航母134艘,驱逐舰666艘,民船22艘,总检测率85.4%,航母检测率96.4%,驱逐舰检测率83.9%,虚警目标171艘,其中航母4艘,驱逐舰146艘,民船21艘,虚警率17.2%;若选取分辨率在2 m/像素到4 m/像素的样本,检测率提升至93.5%,虚警率降低到5.3%。
图像4背景复杂,反光阴影等干扰多,但依然能够检出大部分舰船目标。漏检的两只舰船主要是因为海面反光较强,且船头(尾)紧贴港岸拐角,海陆分割未能将舰船首尾的海域分割出来,因此难以获取有效的投影特征。
2.2 参数敏感性分析
本文方法包括图像预处理、岸线检测、投影分析和目标确认4个阶段,主要参数包括:海陆分离相关参数,Hough变换选取峰值数目,投影空间范围阈值,并靠船分离判定阈值。
其中,海陆分离相关参数是敏感参数,主要原因是K-means算法对初始化较为敏感,区域生长算法利用图像灰度和方差信息进行分类,容易受噪声干扰。本文采用K-means算法与区域生长算法相结合的方式,前者对图像进行粗分割,后者在前者分割基础上再进行局部精分割,有效缓解了欠分割、过分割和空洞情形。但由于遥感图像质量受光照、天气等成像条件影响较大,目前海陆分割尤其是港口海陆分割依然有许多难点需要进一步研究,而这并非本文的主要研究目的,因此本文提出的方法在复杂港口背景下受限于海陆分割的瓶颈而影响检测检测效果。
另外,并靠船分离判断阈值也是敏感参数,由于舰船形态差异和图像质量差异,不同的并靠船投影曲线形态可能有较大不同。本文在实验过程中收集到的并靠船主要是具有“V”形船头的舰船,这种类型并靠舰船投影形态具有较为明显的峰—谷—峰特性,对于其他形态的并靠舰船可能难以取得良好的分割效果。
Hough变换选取峰值数目和投影空间范围阈值属于不敏感参数。Hough变换选取峰值数目决定了提取直线的数目,在实验中将这一峰值数目设置为50200之间,这是考虑到在绝大多数情形下,这一数目是大于图像中港口岸线数的。由于提取的直线会根据先验知识进一步去除干扰直线,因此Hough变换选取峰值的数目设定范围可以较为宽松。同理,由于投影分析时会去除投影基准值影响,投影空间范围阈值也可根据实际情况适当放宽。
3 结论
本文提出的基于投影分析的靠岸舰船检测是有效的。该方法能够检测多尺度和多方向的靠岸舰船,对多种类型的舰船均有较好的检测效果,对并靠船具有检测能力。该方法还具有实现简单,检测速度快,且无需地理信息保障条件的优点。
本文方法仍在存在两方面的局限性:1)只能检测以舷靠方式停泊在平直港岸的舰船,不能检测尾靠方式停泊或港岸不平直的靠岸舰船;2)在背景复杂时,检测的性能比较依赖海陆分割效果,对于阴影等可能影响岸线提取或投影形态的情形需要进一步研究。
参考文献
-
[1] Dai H, Du L, Wang Y, et al. A modified CFAR algorithm based on object proposals for ship target detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1925–1929. [DOI:10.1109/LGRS.2016.2618604]
-
[2] Gao G. A parzen-window-kernel-based CFAR algorithm for ship detection in SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2011, 8(3): 557–561. [DOI:10.1109/LGRS.2010.2090492]
-
[3] Zhu C R, Zhou H, Wang R S, et al. A novel hierarchical method of ship detection from spaceborne optical image based on shape and texture features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(9): 3446–3456. [DOI:10.1109/TGRS.2010.2046330]
-
[4] Yang G, Li B, Ji S F, et al. Ship detection from optical satellite images based on sea surface analysis[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(3): 641–645. [DOI:10.1109/LGRS.2013.2273552]
-
[5] Corbane C, Najman L, Pecoul E, et al. A complete processing chain for ship detection using optical satellite imagery[J]. International Journal of Remote Sensing, 2010, 31(22): 5837–5854. [DOI:10.1080/01431161.2010.512310]
-
[6] Zou Z X, Shi Z W. Ship detection in spaceborne optical image with SVD networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 5832–5845. [DOI:10.1109/TGRS.2016.2572736]
-
[7] Jubelin G, Khenchaf A. Multiscale algorithm for ship detection in mid, high and very high resolution optical imagery[C]//Proceedings of 2014 IEEE International Geoscience and Remote Sensing Symposium. Quebec City: IEEE, 2014: 2289-2292. [DOI:10.1109/IGARSS.2014.6946927]
-
[8] Long G, Chen X Q. A method for automatic detection of ships in harbor area in high-resolution remote sensing image[J]. Computer Simulation, 2007, 24(5): 198–201. [隆刚, 陈学佺. 高分辨率遥感图像港内舰船的自动检测方法[J]. 计算机仿真, 2007, 24(5): 198–201. ] [DOI:10.3969/j.issn.1006-9348.2007.05.054]
-
[9] Kuang X Q. Research on method of ship target detection under complex harbor background[D]. Wuhan: Huazhong University of Science and Technology, 2011. [况小琴. 复杂港口背景下舰船目标检测方法研究[D]. 武汉: 华中科技大学, 2011.] http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=D190921
-
[10] Li W K, Fu K, Sun H. Integrated localization and recognition for inshore ships in large scene remote sensing images[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(6): 936–940. [DOI:10.1109/LGRS.2017.2688357]
-
[11] Xu J, Fu K, Sun X. An invariant generalized Hough transform based method of inshore ships detection[C]//Proceedings of 2011 International Symposium on Image and Data Fusion. Tengchong, Yunnan: IEEE, 2011: 1-4. [DOI:10.1109/ISIDF.2011.6024201]
-
[12] Jiang L B, Wang Z, Hu W D. An AIAC-based inshore ship target detection approach[J]. Remote Sensing Technology and Application, 2007, 22(1): 88–94. [蒋李兵, 王壮, 胡卫东. 一种基于可变夹角链码的靠岸舰船目标检测方法[J]. 遥感技术与应用, 2007, 22(1): 88–94. ] [DOI:10.3969/j.issn.1004-0323.2007.01.018]
-
[13] Li X, Liu Y Q, Bian C J, et al. Inshore ship detection method in optical remote sensing images using local salient characteristics[J]. Journal of Image and Graphics, 2016, 21(5): 657–664. [李轩, 刘云清, 卞春江, 等. 局部显著特征下的光学遥感图像舷靠舰船检测[J]. 中国图象图形学报, 2016, 21(5): 657–664. ] [DOI:10.11834/jig.20160513]
-
[14] Li S, Zhou Z Q, Wang B, et al. A novel inshore ship detection via ship head classification and body boundary determination[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1920–1924. [DOI:10.1109/LGRS.2016.2618385]
-
[15] Hu J H, Xu S S, Chen H L, et al. Detection of ships in harbor in remote sensing image based on local self-similarity[J]. Journal of Image and Graphics, 2009, 14(4): 591–597. [胡俊华, 徐守时, 陈海林, 等. 基于局部自相似性的遥感图像港口舰船检测[J]. 中国图象图形学报, 2009, 14(4): 591–597. ] [DOI:10.11834/jig.20090405]
-
[16] Shi Z W, Yu X R, Jiang Z G, et al. Ship detection in high-resolution optical imagery based on anomaly detector and local shape feature[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(8): 4511–4523. [DOI:10.1109/TGRS.2013.2282355]
-
[17] Wang Y H, Qin X J, Wei H P, et al. Inshore ship detection method based on harbor matching and sea-area segmentation[J]. Journal of Huazhong University of Science and Technology (Nature Science Edition), 2017, 45(10): 95–99. [王岳环, 秦小娟, 韦海萍, 等. 基于港口匹配和海域分割的靠岸舰船检测方法[J]. 华中科技大学学报(自然科学版), 2017, 45(10): 95–99. ] [DOI:10.13245/j.hust.171018]