Print

发布时间: 2021-12-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200599
2021 | Volume 26 | Number 12




    遥感图像处理    




  <<上一篇 




  下一篇>> 





改进Mask R-CNN模型的海洋锋检测
expand article info 徐慧芳1,2, 黄冬梅1,3, 贺琪1, 杜艳玲1, 覃学标1
1. 上海海洋大学信息学院, 上海 201306;
2. 上海建桥学院信息技术学院, 上海 201306;
3. 上海电力大学, 上海 201306

摘要

目的 海洋锋的高效检测对海洋生态环境变化、渔业资源评估、渔情预报及台风路径预测等具有重要意义。海洋锋具有边界信息不明显且多变的弱边缘性,传统基于梯度阈值法及边缘检测的海洋锋检测方法,存在阈值选择不固定、判定指标不一致导致检测精度较低的问题。针对上述问题,基于Mask R-CNN(region convolutional neural network)提出一种改进的海洋锋自动检测方法。方法 兼顾考虑海洋锋的小数据量及弱边缘性,首先对数据扩增,并基于不同算法对海表温度(sea surface temperatures,SST)遥感影像进行增强;其次,基于迁移学习的思想采用COCO(common objects in context)数据集对网络模型进行初始化;同时,对Mask R-CNN中残差神经网络(residual neural network,ResNet)和特征金字塔模型(feature pyramid network,FPN)分别进行改进,在充分利用低层特征高分辨率和高层特征的高语义信息的基础上,对多个尺度的融合特征图分别进行目标预测,提升海洋锋的检测精度。结果 为验证本文方法的有效性,从训练数据和实验模型上分别设计多组对比实验。实验结果表明,相比常用的Mask R-CNN和YOLOv3(you only look once)神经网络,本文方法对SST梯度影像数据集上的海洋锋检测效果最好,海洋锋的定位准确率(intersection over union,IoU)及检测平均精度均值(mean average precision,mAP)达0.85以上。此外,通过对比分析实验结果发现,本文方法对强海洋锋的检测效果明显优于弱海洋锋。结论 本文根据专家经验设立合理的海洋锋检测标准,更好地考虑了海洋锋的弱边缘性。通过设计多组对比实验,验证了本文方法对海洋锋的高精度检测效果。

关键词

深度学习; Mask R-CNN; 弱边缘性; 图像增强; 海洋锋检测

Ocean front detection method based on improved Mask R-CNN
expand article info Xu Huifang1,2, Huang Dongmei1,3, He Qi1, Du Yanling1, Qin Xuebiao1
1. College of Information Technology, Shanghai Ocean University, Shanghai 201306, China;
2. College of Information Technology, Shanghai Jian Qiao University, Shanghai 201306, China;
3. Shanghai University of Electric Power, Shanghai 201306, China
Supported by: National Natural Science Foundation of China (41671431, 41906179)

Abstract

Objective The efficient detection of ocean front is of great significance to study the efficient detection of ocean front for marine ecosystem, fishery resources assessment, fishery forecast and typhoon track prediction. Gradient threshold method and edge detection algorithm have been widely used in ocean front detection. Traditional gradient method mainly depends on the gradient threshold, the sea area with gradient value greater than the set threshold has been regarded as the existence of ocean front. However, the selection criteria of threshold cannot tailor the requirements of accurate detection of complex and diverse ocean fronts due to artificial setting dependence, so it is more suitable for the object detection with fixed edge (such as land). During to the weak edge information of ocean front, it is difficult to achieve the good effect through the traditional edge extraction algorithm. A new automatic detection method to detect the small data volume and weak marginal characteristics of ocean fronts has been considering. Based on the advantages of the Mask R-CNN (region convolutional neural network) for instance segmentation, an improved Mask R-CNN network has been applied to the detection of ocean fronts. The ocean front detection method based on the modified Mask R-CNN has evolved the establishment of ocean front detection standards and data preprocessing, such as data expansion, data enhancement and labeling operations. High-precision detection of ocean fronts has been realized based on multiple iterations of training and parameter correction. Method First, the remote sensing images have been performed expansion operations for the small amount of data and the weak edge characteristics, such as rotating, flipping and cropping. Total 2 100 images have been obtained including 800 original images, 500 rotation and flip processing images and 800 random cropping processing images. Meanwhile, sea surface temperatures (SST) remote sensing images have been enhanced based on deep closest point (DCP) and contrast limited adaptive histogram equalization (CLAHE) algorithms. Next, based on migration learning, using the general image classification network model trained on the common objects in context (COCO) dataset as the pre-training model, and using training datasets to train the pre-trained model. In order to meet the needs of ocean front detection, the residual network (ResNet) and feature pyramid network (FPN) model in Mask R-CNN have been optimized respectively. Limited training data leads to over fitting of the deep residual network and poor detection results. Considering the scarcity of ocean front data and the difficulty of constructing training set, the shallow ResNet-18 network has been used to detect ocean front. Multi-scale fusion feature maps have been predicted to enhance the detection effect of ocean front respectively through the full use of the high-resolution and high-level semantic information of low-level features. Result In order to verify the effectiveness of the method, three training datasets of grayscale image, RGB image and gradient image have been designed. Using LabelMe software to label the dataset, and then achieving high-precision detection of ocean fronts by multiple iterations of training and parameter correction. In addition, the weighted harmonic mean Micro-F1 and intersection over union (IoU) have both been used to evaluate the detection accuracy and target location accuracy of the model. In the experiment and analysis section, several groups of comparative experiments have been designed from experimental model. In order to evaluate the robustness and effectiveness of the method, images collection of global ocean fronts has been conducted to make three different datasets and perform multiple different iterations on the datasets. The results have shown that the training has effectively converged, and the detection accuracy of the model has also increased, reaching more than 0.85 after 25 000 iterations. In order to further verify the proposed ocean front detection results based on Mask R-CNN, the three training sets have been trained separately. The experimental results have shown that gradient images have been both higher than RGB images and grayscale images to detect ocean fronts, the positioning accuracy and detection accuracy. In order to highlight the advantages of this model for ocean front detection, this research has compared it with you only look once (YOLOv3) and Mask R-CNN models under three different datasets. The three training datasets have been trained for 30 000 times under different models. The results have demonstrated that the positioning accuracy IoU and accuracy F1 of the ocean front detection method proposed are improved. The detection accuracy of this method is 84.33%, and Micro-F1 is 86.57%. Compared with the YOLOv3 and Mask R-CNN algorithms, the Micro-F1 value has increased by 4.27% and 3.01% respectively. Rapid identification of ocean fronts is the key to practical fishery applications. The running time of the RGB image set under different network models and different iteration times has been presented. Under different iterations, the proposed model takes much less time than YOLOv3. At last, in order to evaluate the effectiveness of the method in the detection of strong and weak fronts, the strong and weak fronts in the three datasets have been screened and trained separately. The results have shown that the accuracy of the method in the detection of strong ocean fronts can be achieved all above 80% higher. Conclusion A reasonable ocean front detection standard has been setup combined with the weak edge characteristics of ocean front. By designing some comparative experiments to verify the high-precision detection effect of the method proposed in this paper on ocean fronts.

Key words

deep learning; Mask R-CNN; weak edge; image enhancement; ocean front detection

0 引言

海洋锋是重要的中尺度海洋现象,是海洋中不同水系或水团之间的狭窄过渡带。在锋面存在的海域,水文要素(如温度、盐度、营养盐、水色等)会显现出剧烈变化的特征。因此,海洋锋可以用温度、盐度、密度、颜色和叶绿素等要素的水平梯度来描述。根据要素不同,分别记做温度锋、盐度锋、水色锋和营养物质锋等。海表温度锋(sea surface temperatures front,SSTF)是海洋锋的重要表现形式,常用来研究海洋锋(Pi和Hu,2010)。在形成海洋锋面的水团中,由不同水体携运的营养盐类在锋区较为丰富,常有浮游植物在此大量繁殖,从而为浮游动物和鱼类提供充足的饵料(Bost等,2009)。此外,台风路径的形成与海洋锋面有很大关系(周磊等,2019)。因此,研究中尺度海洋锋的检测及变化对海洋生态系统变化、渔业资源评估、渔情预报、军事和海洋环境保护及台风路径的预测等均有重要意义,已成为近年来物理海洋学以及海洋交叉学科中的重要课题之一(刘泽,2012任诗鹤等,2015张乐英,2018)。

遥感技术能在同一时间获取大面积海洋要素观测数据。大量的海洋遥感实时资料和大范围的现场观测数据是研究全球海洋锋检测及其时空变化的关键。在海洋锋检测任务中,普遍利用海表温度(sea surface temperatures,SST)遥感影像检测海洋锋,旨在从影像中提取海温过渡带和锋线。梯度阈值法及边缘检测算法是应用最广泛的海洋锋检测方法。传统梯度法主要依赖于梯度阈值,一般将梯度值大于设定阈值的海域视为存在海洋锋。而阈值的选择标准不统一,且依赖于人为设定,主观性强,无法满足复杂多样的海洋锋的准确检测。基于传统的边缘检测方法进行海洋锋检测时,常用算法主要有Canny算子和Sobel算子等,这些算子较适用于有固定边缘(如陆地等)的物体检测(Kostianoy等,2004王植和贺赛先,2004)。由于SST遥感影像中海洋锋边缘信息不明显、对比度不强,呈现弱边缘性。针对这一特性,传统边缘提取算法很难达到理想效果。随着深度学习在图像识别领域的应用,针对传统的海洋锋检测方法的不足,融合深度学习的海洋锋检测方法成为研究热点(He等,2017Lima等,2017胡炎等,2018Sun等,2019Li等,2019曹维东等,2020)。

充足的训练样本是基于深度学习的目标检测的基础。融合深度学习的海洋锋检测,构建充足的训练数据集成本高、数据稀缺,尤其在海洋锋面的边缘信息多变且不明显的弱海洋锋区域,加剧了数据集构建的难度。为此,本文兼顾考虑海洋锋小数据量、弱边缘性等自身特性,提出一种新的海洋锋自动检测方法,基于Mask R-CNN(region convolutional neural network)网络对图像进行实例分割的优势,将一种改进的Mask R-CNN网络应用于海洋锋检测,首先对数据进行扩增和图像增强,采用LabelMe标注软件建立3种不同的训练集,然后通过多次迭代训练及参数修正,实现海洋锋的高精度检测。

1 相关工作

自20世纪70年代以来,海洋锋的检测研究取得很大发展。梯度算法(Davis,1975)是常用的海洋锋检测算法,如Sobel算子、Prewitt算子、Laplacian算子及其他梯度算子,但这些算子对噪声过于敏感,对细小边缘检测效果差。Cayula和Cornillon(1995)考虑到海洋锋两侧水团的明显差异,提出基于直方图分析的SIE(single-image-edgedetection)算法,检测效果好,广泛应用于海洋锋的检测。信息熵算法也是海洋锋检测常用的方法之一,首先将计算得到的局部区域的JS(Jsensen-Shannon)熵值与已设定的阈值比较,得到锋面点,并基于边缘连接算法完成锋面检测(张伟等,2014)。Ping等人(2014)基于梯度阈值法,提出一种双阈值的海洋锋识别方法,首先利用Sobel算子计算SST影像梯度图,并通过梯度直方图方法确定双阈值区间,最终完成海洋锋的识别。此外,平博(2015)提出一种基于万有引力的海洋锋识别,在完成数据去噪和去除细小边缘情况下,提高锋面定位精度。黎安舟等人(2017)将影像中的海洋锋视为图像边缘,通过边缘检测算法进行海洋锋识别。

海洋锋具有弱边缘特性,利用SST遥感影像提取海洋锋线信息属于海洋要素场高频信息的提取,给检测带来很大难度(邵连军等,2015)。针对海洋锋的弱边缘性,传统边缘提取算法很难达到理想效果,对海洋锋进行多尺度描述、分析成为提高检测精度的关键。目前,数学形态学广泛应用于海洋锋检测,通过对结构元素尺寸的膨胀和腐蚀,形成序列尺度下的图像(赵慧,2010张伟等,2014)。小波理论也广泛用于海洋锋检测,核心思想是基于多尺度分析,大尺度能够提取出信号边缘信息,抗干扰性较强,但边缘的定位精度较差;在小尺度影像上边缘定位较准确,但噪音较大(常鹏和阎平凡,1996薛存金等,2007)。

随着深度学习研究的不断深入,卷积神经网络(convolutional neural networks,CNN)和R-CNN在图像识别、语音识别和目标识别等各种场景上取得了巨大成功。在此基础上,He等人(2017)提出的Mask R-CNN网络实现了对图像的像素级的实例分割。欧攀等人(2019)利用Mask R-CNN算法对RGB图像上的目标进行识别与分割,通过对目标物体进行3维建模,实现了对目标的准确定位。胡炎等人(2018)融合深度学习研究多尺度SAR(synthetic aperture radar) 舰船目标检测,实现舰船的高效识别。Deng等人(2019)基于CNN提出一种涡旋检测方法,将传统涡旋检测问题转化为一种二分类问题,最终实现中尺度涡旋的高精度识别。Lima等人(2017)将CNN应用到海洋锋识别过程中,针对海洋锋数据集匮乏问题,提出一种迁移式的神经网络,可以有效识别出目标海域中是否存在海洋锋。Sun等人(2019)提出海洋锋检测和细粒度位置的多尺度检测框架。Lima等人(2017)针对AlexNet、Caffe-Net、GoogLeNet和VGGNet等深度网络在有限的训练数据下容易出现过拟合的实际情况,在前期研究基础上提出一种微调的神经网络用于海洋锋检测。Li等人(2019)针对海洋锋面的弱边缘性,基于CNN提出一种海洋锋识别网络,将每阶段卷积后的特征进行融合,并使用二元交叉熵损失函数和IoU损失函数,修正模型误差,最终识别出更精确的海洋锋。曹维东等人(2020)基于Mask R-CNN提出一种自动化识别海洋锋的方法,在对海洋锋进行像素级的识别基础上,基于阈值法对锋面识别结果进行精细化调整,达到一个较好的海洋锋识别结果。

现有研究已取得一定成果,但针对海洋锋自身特性,传统方法和一般的融合深度学习的方法均难以达到一种理想的检测效果。为此,本文基于Mask R-CNN设计一款新型网络检测模型,并在灰度影像、RGB影像及梯度影像数据集上分别进行强弱海洋锋的检测对比实验。通过设计不同的对比实验,提高海洋锋检测精度。

2 基于Mask R-CNN的海洋锋检测

2.1 基于Mask R-CNN的海洋锋检测基本原理

Mask R-CNN网络作为一种通用的实例分割和目标检测方法,对不同大小的任务需要,可以通过配置不同骨干网络改变模型结构,调节模型复杂度,架构图如图 1所示。残差神经网络(residual neural network,ResNet)和特征金字塔网络(feature pyramid network,FPN)是Mask R-CNN中用于提取特征的骨干网络。ResNet是一种减轻网络训练负担的残差学习框架,ResNet-50与ResNet-101是目前最常用的残差网络,这些网络层次较深。FPN根据特征规模的大小,从不同级别层次的特征中提取感兴趣区域(region of interest, ROI)特征。RPN(region proposal network)区域生成网络用于产生候选区域。ROIAlign通过收集图像特征和候选区域特征,作为后续全连接层的输入,而后进行目标类别判定。

图 1 Mask R-CNN网络架构图
Fig. 1 Network architecture of mask R-CNN

2.2 海洋锋检测模型的构建

本文使用TensorFlow-GPU基于Mask R-CNN构建一种新的海洋锋自动检测模型。ResNet作为Mask R-CNN模型中的残差网络,其深度对海洋锋的分类和检测效果均有很大影响。深层残差网络在有限的训练数据下容易出现过拟合,目标检测效果差。考虑到海洋锋数据稀缺、训练集构建困难等情况,本文选用浅层的ResNet-18网络用于海洋锋的检测。

FPN作为Mask R-CNN模型中提取特征的主干网络,同时利用低层特征高分辨率和高层特征的高语义信息,对不同层的特征进行融合,并在融合后的特征图上进行目标检测,如图 2所示。海洋锋作为SST遥感影像上的小尺度目标,为加强算法对小目标检测效果,本文采用FPN模型进行目标检测,如图 3所示。在多个尺度的融合特征图上分别独立进行目标预测,提高海洋锋检测的精确度。

图 2 单预测金字塔模型
Fig. 2 Single prediction pyramid model
图 3 多尺度预测的金字塔模型
Fig. 3 Pyramid model for multi-scale prediction

针对海洋锋数据特性,除对传统Mask R-CNN中的两种骨干网络调整外,并进行了相应的数据扩充及图像增强操作,实现对海洋锋的有效检测。具体检测流程如图 4所示。

图 4 海洋锋检测流程图
Fig. 4 Flowchart of ocean front detection

首先,为完成海洋锋的有效检测,确立海洋锋检测标准。海洋锋区中存在剧烈的海表面温度跃变,而海表温度变化的梯度大小表征着海洋峰的强弱。为提高海洋锋标注的准确性及增强海洋锋的检测效果,对海洋锋的标注需遵循统一且合理的标准。本文根据专家经验,确立强弱海洋锋标准。将锋面两侧温度差为3~6 ℃、水平温度梯度在1.5~3 ℃/km区间者视为强锋;将锋面两侧温度差为1~3 ℃、水平温度梯度在0.1~1.5 ℃/km区间者视为弱锋。

其次,为解决海洋锋小数据量问题,对数据进行有效扩增。数据扩增方法包括图像平移、旋转、翻转和随机裁剪等。根据海洋锋的呈现形式,对含有海洋锋的遥感影像进行90°旋转、水平翻转、垂直翻转及批量裁剪处理,最终得到2 100幅图像数据。其中原始影像800幅,经过旋转和翻转处理得到的影像共500幅,经过随机裁剪处理的影像共800幅。针对海洋锋的弱边缘性,分别采用DCP(deep closest point)及CLAHE(contrast limited adaptive histogram equalization)两种方法对RGB影像进行信息增强。由于RGB影像为合成图像,为充分验证方法的有效性,借助python得到RGB影像的灰度影像,并基于scharr算法计算RGB影像的梯度影像。基于上述操作,最终得到灰度影像、RGB影像及梯度影像3种数据集,并采用LabelMe软件分别进行标注,得到3种模型训练数据集。

然后,为满足海洋锋检测需求,对Mask R-CNN中残差网络及特征提取网络区域推荐网络进行调整。首先将COCO(common objects in context)数据集训练好的通用图像分类网络模型作为预训练模型。COCO数据集是一个含有328 000幅影像及250万个标签的大型数据集,共91类目标,常作为目标检测和物体分割等识别模型的预训练数据集。其次,利用构建好的3种训练数据集,对预训练好的模型进行训练。训练过程主要对分类网络、定位网络和分割网络进行训练。

最后,为验证模型检测结果的准确性,利用测试数据集对模型进行测试,计算模型的平均精度均值(mean average precision,mAP),并将其结果与手动标注结果进行比较,计算交并比(intersection over union,IoU)值。而且,为进一步提高海洋锋的检测结果,不断修正模型参数,提高mAP和IoU值。同时,为评估本文方法的普适性,分别构建强、弱锋训练集,验证对强锋和弱锋检测的有效性。

2.3 检测模型评估指标

准确率(accuracy)是模型预测正确的个数和所有预测个数的比值,反映检测模型对所有类别的检测性能。在实际检测任务中,研究者更关注检测目标的检测结果。为此,选用精确率(precision,P),召回率(recall,R),调和平均指标F1以及F1均值指标Micro-F1对检测模型性能进行评价。

具体计算时,P为检测出的实际目标数与检测出的样本总数之比,R为检测出的实际目标数与样本中实际目标总数之比。F1充分考虑了模型的P和R,是P和R的加权调和平均值,因此实验选择F1值来评价模型检测率的高低,Micro-F1值为多个类别F1值的平均值。计算公式为

$ {{F_1} = \frac{{2PR}}{{P + R}} \times 100\% } $ (1)

$ {F_1^{{\rm{Micro }}} = \sum\limits_{i = 1}^n F {1_i}/n} $ (2)

$ {P = \frac{{TP}}{{TP + FP}}} $ (3)

$ {R = \frac{{TP}}{{TP + FN}}} $ (4)

式中,$TP$为实际目标图像中正确检测出来的样本个数;$FP$为不是实际目标图像却检测为目标图像的样本个数;$FN$为实际目标图像中未检测出来的样本个数。

此外,使用交并比(IoU)指标评价目标检测的定位准确性,IoU是用衡量真实目标框与实际检测目标框差异的参数,真实目标框和实际检测目标框分别记做$A和B$,其公式为

$ I o U=\frac{A \cap B}{A \cup B} $ (5)

3 实验与分析

3.1 数据来源

本文采用来自Terra/MODIS和Aqua/MODIS的红外波段与来自TMI,AMSR-E,AMSR2,WindSat的微波融合的SST数据作为锋面提取的原始数据,空间分辨率为9 km,时间分辨率为1 d。该数据综合了红外波段数据高空间分辨率及微波数据良好穿透性的优势,解决了云覆盖造成的局部数据丢失问题。

3.2 样本建立及模型训练

为了更好地评估本文方法的鲁棒性和有效性,本文收集全球海洋锋多发地影像,经过数据扩充处理后,制作的训练样本为2010—2020年的3种类型的海表温度遥感影像,即RGB影像集、灰度影像集和梯度影像集,每个数据集有2 100幅影像,部分样例如图 5所示。在预先确立的海洋锋检测标准基础上,本文根据海洋锋边缘信息的强弱不同,将海洋锋预先划分为两类,分别记为Sfront和Wfront,Sfront表示强海洋锋,Wfront表示弱海洋锋。

图 5 3种数据集
Fig. 5 Three datasets
((a) RGB images; (b) gray images; (c) gradient images)

数据集建立完成后,使用LabelMe软件按照COCO数据集的格式对3种数据集分别进行标注。对样本标注时,连续的锋区尽量划为一体,图 6为标注示例图。数据集标注完成后,使用Mask R-CNN网络分别进行训练。本文将75 % 样本作为训练集(train set)用于模型训练,25 % 作为测试集(test set)用来评估训练后模型的泛化误差。

图 6 标注示例图
Fig. 6 Annotation example

3.3 模型测试结果分析

训练时,网络学习率设为0.001,每次迭代的批处理量(batch size)设为32,每迭代1 000次对海洋锋进行一次预测。经过25 000次迭代后,训练网络已具备检测海洋锋的能力。不同迭代次数网络的训练损失(loss)及识别精度(mAP)如表 1所示。可以看出,经过25 000次迭代后,训练得到有效收敛,并逐步下降,模型的检测精度也随之提高,达到0.85以上。

表 1 训练网络损失和识别精确率
Table 1 Training network loss and recognition accuracy rate

下载CSV
迭代次数 训练损失 识别精度
1 000 0.720 0.210
2 000 0.510 0.370
3 000 0.340 0.500
4 000 0.300 0.620
5 000 0.240 0.690
10 000 0.200 0.730
15 000 0.173 0.750
20 000 0.142 0.790
25 000 0.138 0.856
30 000 0.127 0.895

为了验证所提出的基于Mask R-CNN的海洋锋检测结果,对3个训练集均进行3次训练,并按照模型评价标准IoU和F1分别测试模型的定位准确率和检测准确率,识别精度量化过程如图 7所示,图 7(b)为本文模型的检测结果,图 7(c)为人工标注结果,图 7(d)为基于传统Cayula-Cornillon算法得出的检测结果(Nieto等,2012)。IoU作为海洋锋识别的量化精度结果,可通过计算图 7(b)(c)的交并比得到。图 7(b)图 7(d)检测结果对比表明,传统方法的检测结果存在漏检及误检。3种数据集下的模型定位准确率及检测准确率测试结果如表 2所示。

图 7 海洋锋识别精度量化过程
Fig. 7 Quantification process of ocean front recognition accuracy
((a) label data; (b) ours; (c) manually annotate result; (d) result of traditional method)

表 2 模型定位准确率(IoU)及检测准确率(F1)测试结果
Table 2 Positioning accuracy(IoU) and detection accuracy(F1) results of model  

下载CSV
/%
数据集 IoU F1
RGB影像 84.1 88.6
灰度影像 81.3 81.8
梯度影像 87.6 89.3

表 2可知,利用梯度影像进行海洋锋检测时,定位准确率IoU和检测准确率F1均高于RGB影像和灰度影像。这一实验结果表明,海表面温度变化的梯度差异更能准确描述海洋锋存在与否和锋面的强弱。

3.4 实验对比

为进一步验证提出海洋锋检测模型的有效性,与YOLOv3(you only look once)和Mask R-CNN模型在3种数据集上进行对比,分别进行30 000次训练,定位准确率测试结果及模型检测准确率分别如表 3表 4所示。可以看出,相比YOLOv3及Mask R-CNN算法,本文提出的海洋锋检测方法的定位准确率IoU和精确率F1都有一定提高。无论采用哪种模型,使用梯度影像数据集训练得到的模型定位准确率及检测准确率均最高,灰度影像检测效果最差。通过迭代30 000次训练,本文方法IoU检测准确率为84.33 %,Micro-F1为86.57 %。相比YOLOv3及Mask R-CNN算法,Micro-F1值分别提高了4.27 %和3.01 %。

表 3 模型定位准确率(IoU)对比
Table 3 Comparison of model positioning accuracy(IoU)  

下载CSV
/%
网络模型 RGB影像 灰度影像 梯度影像 平均
YOLOv3 84.0 80.3 85.9 83.40
Mask R-CNN 83.2 80.5 84.6 82.77
本文 84.1 81.3 87.6 84.33

表 4 模型精度(F1)对比
Table 4 Comparison of model accuracy(F1)  

下载CSV
/%
网络模型 RGB影像 灰度影像 梯度影像 Micro-F1
YOLOv3 84.6 80.2 82.1 82.30
Mask R-CNN 86.5 79.7 84.5 83.56
本文 88.6 81.8 89.3 86.57

在海洋锋检测任务中,快速识别海洋锋是实际渔业应用的关键。为有效评估模型的检测效率,对不同网络模型在RGB影像集上不同迭代次数的运行时长进行测试,结果如图 8所示。可以看出,在不同迭代次数下,本文提出模型消耗时间最短,远低于YOLOv3完成模型消耗的时间。

图 8 不同模型的训练时间对比
Fig. 8 Comparison of training time among different models

为了评估本文方法对强锋和弱锋检测的有效性,对3种数据集中的强锋和弱锋进行筛选,并分别进行训练。检测时,将3种数据集的90 % 用于训练,10 % 用于测试,结果如图 9所示。从图中结果可知,本文方法对强海洋锋的检测精确率较高,均在80 % 以上。

图 9 强弱海洋锋检测结果
Fig. 9 Detection results of strong and weak ocean front

4 结论

海洋锋是一种重要的海洋现象。快速精确检测海洋锋对海洋生态、渔业资源及台风路径预测等都有重要意义。结合深度学习技术在图像识别和目标检测等领域的发展,本文基于Mask R-CNN提出一种海洋锋自动检测方法,获得了像素级的海洋锋识别结果。

针对海洋锋数据稀缺及弱边缘特性,对数据进行多种形式扩充,有效解决海洋锋数据稀缺问题,并分别采用DCP和CLAHE算法进行信息增强,有效处理海洋锋的弱边缘问题,最终建立灰度影像、RGB影像和梯度影像3种数据集。

为适应融合深度学习的海洋锋检测需求,采用新的浅层残差网络和特征金字塔模型进行特征的提取。利用已经标注好的3种训练集对模型进行训练,实现强弱海洋锋的高精度识别。实验结果表明,本文方法对海洋锋识别的定位准确率IoU和检测准确率F1均在85 % 左右。

为进一步评估本文方法对海洋锋检测的有效性,利用强锋和弱锋分别进行实验。结果表明,本文方法对强海洋锋检测的精确度更高。针对弱海洋锋检测,未来将考虑进一步调整网络结构,提高检测精度。

参考文献

  • Bost C A, Cotté C, Bailleul F, Cherel Y, Charrassin J B, Guinet C, Ainley D G, Weimerskirch H. 2009. The importance of oceanographic fronts to marine birds and mammals of the southern oceans. Journal of Marine Systems, 78(3): 363-376 [DOI:10.1016/j.jmarsys.2008.11.022]
  • Cao W D, Xie C, Han B, Dong J Y. 2020. Automatic fine recognition of ocean front fused with deep learning. Computer Engineering, 46(10): 266-274 (曹维东, 解翠, 韩冰, 董军宇. 2020. 融合深度学习的自动化海洋锋精细识别. 计算机工程, 46(10): 266-274)
  • Cayula J F, Cornillon P. 1995. Multi-image edge detections for SST images. Journal of Atmospheric and Oceanic Technology, 12(4): 821-829 [DOI:10.1175/1520-0426(1995)012<0821:miedfs>2.0.co;2]
  • Chang P, Yan P F. 1996. Wavelet scale space filtering on edge detection. Pattern Recognition and Artificial Intelligence, 9(3): 251-257 (常鹏, 阎平凡. 1996. 一种基于小波变换的多尺度边缘检测方法. 模式识别与人工智能, 9(3): 251-257)
  • Davis L S. 1975. A survey of edge detection techniques. Computer Graphics and Image Processing, 4(3): 248-270 [DOI:10.1016/0146-664X(75)90012-X]
  • Deng L, Wang Y Q, Liu Y, Wang F, Li S K, Liu J. 2019. A CNN-based vortex identification method. Journal of Visualization, 22(1): 65-78 [DOI:10.1007/s12650-018-0523-1]
  • He K, Gkioxari G, Dollár P and Girshick R. 2017. Mask R-CNN//Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV). Venice, Italy: IEEE: 2980-2988[DOI: 10.1109/ICCV.2017.322]
  • Hu Y, Shan Z L, Gao F. 2018. Ship detection based on faster-RCNN and multiresolution SAR. Radio Engineering, 48(2): 96-100 (胡炎, 单子立, 高峰. 2018. 基于Faster-RCNN和多分辨率SAR的海上舰船目标检测. 无线电工程, 48(2): 96-100) [DOI:10.3969/j.issn.1003-3106.2018.02.04]
  • Kostianoy A G, Ginzburg A I, Frankignoulle M, Delille B. 2004. Fronts in the Southern Indian Ocean as inferred from satellite sea surface temperature data. Journal of Marine Systems, 45(1/2): 55-73 [DOI:10.1016/j.jmarsys.2003.09.004]
  • Lima E, Sun X, Dong J Y, Wang H, Yang Y T, Liu L P. 2017. Learning and transferring convolutional neural network knowledge to ocean front recognition. IEEE Geoscience and Remote Sensing Letters, 14(3): 354-358 [DOI:10.1109/LGRS.2016.2643000]
  • Li A Z, Zhou W F, Fan X M. 2017. Research progress of methods for the extraction of mesoscale ocean fronts and eddies based on remote sensing data. Chinese Journal of Image Graphics, 22(6): 709-718 (黎安舟, 周为峰, 范秀梅. 2017. 遥感图像中尺度海洋锋及涡旋提取方法研究进展. 中国图象图形学报, 22(6): 709-718) [DOI:10.11834/jig.160637]
  • Li Q Y, Zhong G Q and Xie C. 2019. Weak edge identification nets for ocean front detection[EB/OL]. [2020-09-30]. https://arxiv.org/pdf/1909.07827.pdf
  • Lima E, Sun X, Yang Y T, Dong J Y. 2017. Application of deep convolutional neural networks for ocean front recognition. Journal of Applied Remote Sensing, 11(4): #042610 [DOI:10.1117/1.JRS.11.042610]
  • Liu Z. 2012. The Spatio-Temporal Variability of Oceanic Fronts offshore China Seas and Analysis of Marine Observations. Qingdao: Institute of Oceanography, Chinese Academy of Sciences (刘泽. 2012. 中国近海锋面时空特征研究及现场观测分析. 青岛: 中国科学院研究生院(海洋研究所))
  • Nieto K, Demarcq H, McClatchie S. 2012. Mesoscale frontal structures in the Canary Upwelling System: new front and filament detection algorithms applied to spatial and temporal patterns. Remote Sensing of Environment, 123: 339-346 [DOI:10.1016/j.rse.2012.03.028]
  • Ou P, Lu K, Zhang Z, Liu Z Y. 2019. Target recognition and spatial location based on mask RCNN. Computer Measurement and Control, 27(6): 172-176 (欧攀, 路奎, 张正, 刘泽阳. 2019. 基于Mask RCNN的目标识别与空间定位. 计算机测量与控制, 27(6): 172-176) [DOI:10.16526/j.cnki.11-4762/tp.2019.06.037]
  • Pi Q L, Hu J Y. 2010. Analysis of sea surface temperature fronts in the Taiwan Strait and its adjacent area using an advanced edge detection method. Science China Earth Sciences, 53(7): 1008-1016 [DOI:10.1007/s11430-010-3060-x]
  • Ping B. 2015. Research on Oceanic Field Recovery and Frontal Detection. Wuhan: Wuhan University (平博. 2015. 海洋场恢复与锋面检测方法研究. 武汉: 武汉大学)
  • Ping B, Su F Z, Meng Y S, Fang S H, Du Y Y. 2014. A model of sea surface temperature front detection based on a threshold interval. Acta Oceanologica Sinica, 33(7): 65-71 [DOI:10.1007/s13131-014-0502-x]
  • Ren S H, Liu N, Wang H. 2015. Review of ocean front in Chinese marginal seas and frontal forecasting. Advances in Earth Science, 30(5): 552-563 (任诗鹤, 刘娜, 王辉. 2015. 中国近海海洋锋和锋面预报研究进展. 地球科学进展, 30(5): 552-563) [DOI:10.11867/j.issn.1001-8166.2015.05.0552]
  • Shao L J, Zhang H L, Zhang C H, Zhou X. 2015. A method for detecting the oceanic front using remotely sensed sea-surface temperature. Hydrographic Surveying and Charting, 35(2): 42-44, 51 (邵连军, 张红雷, 张春华, 周旋. 2015. 基于海温遥感资料的海洋锋检测方法. 海洋测绘, 35(2): 42-44, 51) [DOI:10.3969/j.issn.1671-3044.2015.02.011]
  • Sun X, Wang C G, Dong J Y, Lima E, Yang Y T. 2019. A multiscale deep framework for ocean fronts detection and fine-grained location. IEEE Geoscience and Remote Sensing Letters, 16(2): 178-182 [DOI:10.1109/LGRS.2018.2869647]
  • Wang Z, He S X. 2004. An adaptive edge-detection method based on Canny algorithm. Journal of Image and Graphics, 9(8): 957-962 (王植, 贺赛先. 2004. 一种基于Canny理论的自适应边缘检测方法. 中国图象图形学报, 9(8): 957-962) [DOI:10.3969/j.issn.1006-8961.2004.08.011]
  • Xue C J, Su F Z, Zhou J Q. 2007. Extraction of ocean fronts based on wavelet analysis. Marine Science Bulletin, 26(2): 20-27 (薛存金, 苏奋振, 周军其. 2007. 基于小波分析的海洋锋形态特征提取. 海洋通报, 26(2): 20-27) [DOI:10.3969/j.issn.1001-6392.2007.02.003]
  • Zhang L Y. 2018. Characteristics and Influences of the Northwest Pacific Subtropical Sea Surface Temperature Front. Nanjing: Nanjing University of Information Science and Technology (张乐英. 2018. 西北太平洋副热带海洋锋的变化特征及其影响. 南京: 南京信息工程大学)
  • Zhang W, Cao Y, Luo Y. 2014. An ocean front detection method based on the Canny operator and mathematical morphology. Marine Science Bulletin, 33(2): 199-203 (张伟, 曹洋, 罗玉. 2014. 一种基于Canny和数学形态学的海洋锋检测方法. 海洋通报, 33(2): 199-203) [DOI:10.11840/j.issn.1001-6392.2014.02.013]
  • Zhao H. 2010. Research on Image Edge Detection Based on Mathematical Morphology. Dalian: Dalian University of Technology (赵慧. 2010. 基于数学形态学的图像边缘检测方法研究. 大连: 大连理工大学)
  • Zhou L, Chen D K, Lei X T, Wang W, Wang G H, Han G J. 2019. Progress and perspective on interactions between ocean and typhoon. Chinese Science Bulletin, 64(1): 60-72 (周磊, 陈大可, 雷小途, 王伟, 王桂华, 韩桂军. 2019. 海洋与台风相互作用研究进展. 科学通报, 64(1): 60-72)