发布时间: 2020-04-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190330
2020 | Volume 25 | Number 4

遥感图像处理

改进Deeplab网络的遥感影像海岛岸线分割

王振华, 钟元芾, 何婉雯, 曲念毅, 徐利智, 张文苹, 刘智翔

上海海洋大学信息学院, 上海 201306

收稿日期: 2019-07-11; 修回日期: 2019-09-29; 预印本日期: 2019-10-06

基金项目: 国家自然科学基金项目(41501419, 41671431);上海市地方院校能力建设项目(19050502100);上海市青年科技英才扬帆计划资助项目(18YF1410100);上海海洋大学博士科研启动基金资助项目(A2-2006-00-200338)

第一作者简介: 王振华, 1982年生, 女, 副教授, 主要研究方向为空间数据的抽样检验与质量控制。E-mail:zh-wang@shou.edu.cn;
钟元芾, 男, 硕士研究生, 主要研究领域为计算机视觉。E-mail:475269098@qq.com;
何婉雯, 女, 硕士研究生, 主要研究领域为遥感图像处理。E-mail:wav-1994.jye@foxmail.com;
曲念毅, 男, 硕士研究生, 主要研究领域为遥感精度评价。E-mail:m18201705009@163.com;
徐利智, 女, 硕士研究生, 主要研究领域为遥感空间抽样。E-mail:lizhixu0328@gmail.com;
张文苹, 女, 硕士研究生, 主要研究领域为医学图像处理。E-mail:18616832273@163.com.

中图法分类号: TP301.6

文献标识码: A

文章编号: 1006-8961(2020)04-0768-11

摘要

目的海岛作为一项特殊资源，在海洋开发和利用方面发挥着重要的作用；遥感作为一种非接触式远距离探测手段，为海岛研究提供了重要的数据来源；而深度学习因其对图像特征的提取能力和对复杂问题的拟合能力广泛应用于各个领域。本文结合深度学习的计算优势，兼顾遥感影像的波段数量多和覆盖范围大的特征，以海岛岸线的快速分割为目的，提出了一种改进的海岛岸线遥感影像分割模型。方法该分割模型包括3方面：1）针对遥感影像的多波段特征，提出基于最佳指数的遥感影像波段组合选择，将选择后的波段组合作为海岛岸线分割模型的输入数据；2）针对遥感影像大范围覆盖的特征，提出基于Deeplab神经网络结构的海岛岸线粗分割，将粗分割结果作为海岛岸线优化的初始边界；3）利用全连接条件随机场优化海岛岸线，实现海岛岸线的细分割提取。结果以大小不等的4个海岛的岸线提取为例，分别采用改进的海岛岸线分割模型、全卷积神经网络模型（fully convolutional networks，FCN）、Deeplab模型和目视解译法从遥感影像数据中分割海岛岸线。同时，引入平均交并比（mean intersection over union，MIoU）和相对误差，对各模型分割的海岛岸线结果进行精度比较。结果表明，本文改进的海岛岸线分割模型克服了FCN模型海岛岸线的不连续性问题，降低了海岛岸线的误分割现象；从MIoU值的比较可以看出，本文改进模型与目视解译的海岛岸线结果具有更高的吻合度，较FCN模型提高了17.7%，较Deeplab模型提高了5.2%；从海岸岸线的周长和面积的相对误差可以看出，本文改进模型的相对误差均低于FCN模型和Deeplab模型。结论本文改进模型包含了面向遥感影像的波段选择、利用神经网络训练的海岛岸线粗分割和基于全连接条件随机场的海岛岸线优化，在保证岸线连续性的前提下，提高了海岛岸线的分割精度。

关键词

海岛岸线; 图像分割; 深度学习; 最佳指数; Deeplab神经网络; 全连接条件随机场

Island shoreline segmentation in remote sensing image based on improved Deeplab network

Wang Zhenhua, Zhong Yuanfu, He Wanwen, Qu Nianyi, Xu Lizhi, Zhang Wenping, Liu Zhixiang

College of Information, Shanghai Ocean University, Shanghai 201306, China

Supported by: National Natural Science Foundation of China (41501419, 41671431)

Abstract

Objective Island is naturally formed around the ocean and exposed the sea level at high tide. As a special resource, islands play an important role in ocean development and utilization. Most of the island shorelines were extracted based on the compared and analyzed historical charts, topographic maps, and field survey results, which had several shortcomings, such as difficult observation, high cost, and long period. As a noncontact detection method, remote sensing has become the most important data source for island research. In recent years, deep learning has been widely used in various fields because of its ability to extract image features and to fit complex problems. In this study, a novel segmentation method for island shoreline was proposed, which was designed by the optimum index factor (OIF), convolutional neural network model (CNN), and a fully connected conditional random field (CRF). Method The proposed method included three aspects:1) According to the multiband characteristics of the remote sensing, the optimal band combination was selected based on the OIF. OIF is defined as the ratio of standard deviation of the combined bands to the correlation coefficients of each band. In this study, taking Landsat-8 remote sensing image as data source, the spectral characteristic information of each band of the image was analyzed based on OIF, and then 1, 5, and 6 bands were selected as the optimal band combination, which is considered as the input data for the island shoreline segmentation.2) According to the large coverage characteristics of the remote sensing, a deep convolution neural network model, Deeplab, was selected to obtain essential features of the input image. In general, segmentation methods extracted the characteristics of training samples relying on the artificial experiences, and a single-layer feature, without a hierarchical structure, was obtained by learning. These methods could supply shallow structures and simple features. This condition is the inadequacy of island shoreline segmentation. Thus, given that Deep CNN architecture has the ability to effectively encode spectral and spatial information, it had quickly become the prominent tool in remote sensing applications. Here, the representative deep CNN architecture and Deeplab neural network were selected. Deeplab neural network consists of three parts:(1) ResNet-101 residual network, which is used as the backbone network to the high-dimensional characteristics of remote sensing images. Residual learning can reduce the burden of deep network training, reduce the phenomenon of gradient disappearance caused by several layers, and improve the training accuracy. (2) Dilated convolution in Deeplab neural network, which can aggregate multiscale contextual information without losing resolution or analyzing rescaled images, increase the performance of dense prediction architectures by aggregating multiscale contextual information. (3) Deeplab neural network, which includes aurous spatial pyramid pooling (ASPP) module. It uses dilated convolution with different sampling rates and can effectively capture multiscale information of island images. 3) The island shoreline was optimized by the fully connected conditional random field. As an excellent representative of a probabilistic graphical model, the fully connected conditional random field can incorporate the spatial contextual information in the aspects of labels and observed data. The uniqueness of this model is that it can be flexible to modeling posterior distribution directly. We pre-classify the entire remote sending image into certain island shoreline types via the Deeplab model by using the results of class membership probabilities as the unary potential in the CRF model. The pairwise potential of CRF is defined by a linear combination of Gaussian kernels, which form a fully connected neighbor structure instead of the common four-neighbor or eight-neighbor structure. We use the mean field approximation method to obtain super pixels and correct the classification results by calculating their average posterior probabilities. Result Taking four different islands as example, the island shorelines were segmented by the proposed method, full convolutional neural network (FCN) model, Deeplab model, and the visual interpretation method. Taking the relative error of area and perimeter of the island and the mean intersection over union (MIoU) as the accuracy parameters, the shoreline segmentation results of the four islands were compared. In addition, the relative error of area and perimeter of the proposed method (perimeter) are reduced by 4.6% and 17.7%, respectively. MIoU of the proposed method is increased by 5.2%. Conclusion The comparison results showed that the proposed method overcomes the shortcomings of the traditional segmentation methods for island shoreline segmentation, and it takes full use of the band information of the remote sensing images.

Key words

island shoreline; image segmentation; deep learning; optimum index factor; Deeplab neural network; fully connected conditional random fields

0 引言

海岛是海洋中四面环水并在高潮时露出海平面自然形成的陆地，是散布于广大海域中的天然镶嵌体(李京等，2010)。多数海岛岸线的提取是通过历史海图、地形图和实地调查结果对比分析得到，存在观测难度大、耗资多和周期长等缺点。研究海岛岸线的自动提取、提高海岛岸线提取的精度和效率成为海岛研究中亟待解决的问题之一。

遥感作为一种非直接接触的远距离探测技术，其为海岛研究提供了重要的数据资源。利用遥感影像，国内外很多学者研究了海岛岸线的分割，如王振华等人(2019)利用改进的水平集模型实现了海岛的岸线分割；赵恩伟等人(2015)基于多窄带模型初始化的Grab Cut分割算法对遥感图像中海岛岸线进行提取；冯永玖和韩震(2012)构建了一种基于元胞自动机的岸线提取方法，提取了人工海岸和淤泥质海岸的岸线信息；郭海涛等人(2016)提出了一种四叉树、测地线活动轮廓模型和Canny算子相结合的海陆影像分割方法；方亮等人(2016)利用基于均值漂移的海岛岸线快速提取方法，解决了海岛岸线提取的自动化问题；Nandi等人(2016)通过终点率(end point rate，EPR)和逻辑回归(logistic regression，LR)实现了海岸线变化率的计算和海岸线预测；Ma等人(2017)结合改进的最大类间方差法(OTSU)、均匀的纹理和强度等特征，对全色遥感图像进行了分层海陆分割；Cheng等人(2016)利用种子学习和边缘有向图切割方法实现了海陆的分割。

深度学习因其对图像特征的提取能力和对复杂问题的拟合能力，广泛应用于各个领域，而卷积神经网络是深度学习的代表算法之一。Grangier等人(2009)采用简单结构的卷积神经网络模型，提出了一种基于深度学习的场景解析策略；Long等人(2017)用反卷积层代替全连接层，优化了全卷积神经网络(fully convolutional network, FCN)，使神经网络能接收任意大小的输入并产生相应的输出；Chen等人(2014)在FCN的基础上提出了DeeplabV1网络结构，在不损失精度的前提下，使用空洞卷积增大感受视野，提高图像的分割精度；廖旋等人(2019)提出了一种基于深度特征的融合分割先验的多图像分割算法。针对遥感影像的分割，Li等人(2019)使用基于深度学习的多尺度卷积特征融合方法，对遥感影像中的云朵进行了分割。Wu等人(2019)提出了一种基于全卷积神经网络的分割方法，使用自适应阈值算法调整每一类别指标的阈值，实现了端到端的遥感影像像素级分割。Huang等人(2019)融合高分辨率遥感影像与雷达点云图像，在神经网络中引入门控特征标记单元，实现了对建筑物的精确分割；曾锐和陈锻生(2018)提出了结合两种光谱—空间特征的分类方法，有效提高了图像分割准确率。

由上述研究可看出，面向遥感影像的深度学习图像分割算法研究滞后于基于传统图像的分割算法研究，原因在于：1)基于深度学习的图像分割方法依赖于大规模的数据集、精确的人工标记和长时间的训练，而遥感影像的海量性和大面积覆盖等特征，对深度学习神经网络的计算时效性提出了挑战；2)不同地物在不同的遥感影像波段组合下反映出不同的提取精度，遥感影像的多波段性特征给深度学习模型的输入提出了挑战；3)受自然环境影响，地物类别空间分布不均匀，个别地物尺度较小，且纹理识别难度高，此现象对深度学习的样本标记提出了挑战。本文鉴于遥感影像的大范围覆盖和多波段特征，提出了一种改进的海岛岸线分割模型。

1 改进的海岛岸线分割模型

改进的海岛岸线分割模型包括3方面：1)基于最佳指数的遥感影像波段组合选择，将选择后波段组合数据作为海岛岸线分割的输入数据；2)基于Deeplab神经网络结构的海岛岸线粗分割，将粗分割结果作为海岛岸线优化的初始边界；3)基于全连接条件随机场的海岛岸线优化。图 1所示为改进的海岛岸线分割模型架构图。

图 1 改进的海岛岸线分割模型架构图

Fig. 1 Improved island shoreline segmentation model architecture diagram

1.1 基于最佳指数的遥感影像数据波段组合选择

最佳指数(optimum index factor，OIF)由查维茨教授提出(Chavez等，1982; Chavez, 1984)，其为组合波段的标准差与各波段间相关系数的比值

$O_{\mathrm{IF}}=\frac{\sum\limits_{i=1}^{n} Y_{i}}{\sum\limits_{i=1}^{n} \sum\limits_{j=i+1}^{n}\left|Z_{i j}\right|}$

(1)

式中，$Y_{i}$为第$i$个波段的灰度值标准差，标准差越大表明波段所蕴含的信息离散度越高，信息量越丰富；$Z_{ij}$为第$i$和$j$波段的灰度值相关系数，相关系数越低，表明波段组合后信息冗余量越小；$n$为选取的波段数目。

遥感影像具有多波段特性，各波段采集地表地物从可见光至近红外的光谱响应信息，不同波段组合能区分具有细微光谱特征差异的地物(童庆禧等，2016)，在影像解译时确定最佳波段组合至关重要。以Landsat-8遥感影像为例，其564波段合成非标准假彩色图像，水体岸线清晰，可有效区分陆地和水体；543波段合成标准假彩色图像，地物色彩鲜明，有利于植被分类；652波段合成假彩色图像，农作物显示为高亮的绿色，裸地显示为品红色，对监测农作物有效。进行波段选择需要遵循两个主要原则：1)基于信息量的原则。满足波段包含信息量大，且波段间相关性小(刘德儿等，2013)。2)基于类别可分的原则。要求选最佳波段组合能够满足多数地物或地类被区分(曹敏等，2008)。本文基于最佳指数选择用于海岛岸线分割的最佳波段组合，将选择后波段组合作为输入数据，实现Deeplab神经网络结构的海岛岸线粗分割。

1.2 基于Deeplab神经网络结构的海岛岸线粗分割

Deeplab网络由Google团队于2017年提出(Chen等，2017)。基于Deeplab神经网络的海岛岸线粗分割主要包括3个方面：1)基于ResNet-101残差网络的遥感影像高维特征训练；2)基于空洞卷积的大范围遥感影像数据卷积运算设计；3)基于金字塔池化模块的遥感信息获取。

残差学习可作为神经网络的一部分或多部分，假设该神经网络的输入为$x$，拟合后输出为$H$($x$)；定义另外一个残差映射$F$($x$)为$H$($x$)-$x$，则原始的函数映射$H$($x$)可表示为$F$($x$)+$x$(He等，2016)，如图 2所示。

图 2 残差学习的流程图

Fig. 2 Schematic diagram of residual learning

He等人(2016)通过实验证明，优化残差映射$F$($x$)易于优化原始映射$H$($x$)。$F$($x$)+$x$在前馈神经网络中可作为捷径$x$与主径$F$($x$)的和。捷径未引入多余参数，不影响原始网络的复杂度，整体网络依然可使用现有的深度学习反馈训练求解。使用ResNet-101残差网络作为主干网络，适应了遥感影像的高维特征。同时利用残差学习能减轻深层网络训练的负担，减弱因层数过多造成的梯度消失现象，达到提高训练精度的效果。

空洞卷积，即膨胀卷积，在原始卷积核的基础上增加参数$r$，将原始卷积核中未被占用的区域用0填充，得到新的卷积核大小，计算为

$\left\{\begin{array}{l}F_{\mathrm{h}}=f_{\mathrm{h}}+\left(f_{\mathrm{h}}-1\right) \times(r-1) \\ F_{\mathrm{w}}=f_{\mathrm{w}}+\left(f_{\mathrm{w}}-1\right) \times(r-1)\end{array}\right.$

(2)

式中，$r$为膨胀系数(rate)；$f_{{\rm h}}$、$f_{{\rm w}}$为原始卷积核高和宽；$F_{{\rm h}}$、$F_{{\rm w}}$为膨胀卷积核高和宽。膨胀卷积保证卷积层在不降低空间维度和不增加计算参数的情况下增大卷积相应的感受野，解决遥感影像覆盖范围大而引起的计算效率低等问题。

Deeplab网络中加入了金字塔池化模块(atrous spatial pyramid pooling，ASPP)，解决遥感影像的多尺度信息问题。在输入一幅遥感影像时，使用1个1×1卷积和3个3×3的膨胀系数为6、12、18的空洞卷积并行执行，增加不同尺度范围内语义信息的提取和区分，以实现对遥感影像中多尺度的物体进行捕获，如图 3(a)所示。同时向ASPP中添加了平均池化层，将特征做全局平均池化，经过卷积再融合，如图 3(b)所示。

图 3 带有空洞卷积(ASPP)的并行模块

Fig. 3 Parallel modules with atrous convolution (ASPP)((a) spatial pyramid pooling; (b) image pooling)

1.3 基于全连接条件随机场的海岛岸线优化

使用Deeplab网络实现了海岛岸线的粗分割，其边缘部分连续性不强。引入全连接条件随机场(conditional random field，CRF)进行优化。全连接条件随机场是一种经典的判别型概率图模型，将其引入到遥感影像的海岛岸线分割中，不仅考虑了空间上下文信息，且反映了观测变量之间的相互依赖关系，剔除了较小的误分割区域，细化了海岛岸线的分割边缘。

全连接条件随机场的定义为：假设一副图像$\boldsymbol{P}$包含$n$个像素点，则$\boldsymbol{I}=\left\{I_{1}, I_{2}, \cdots, I_{n}\right\}$为基于图像的观测量，$\boldsymbol{X}=\left\{X_{1}, X_{2}, X_{3}, \cdots, X_{n}\right\}$为随机变量集合，$\boldsymbol{X}$的每个变量值域为$\boldsymbol{L}=\left\{L_{1}, L_{2}, \cdots, L_{k}\right\}$，其中$k$代表标记的类别，($\boldsymbol{X, I}$)构成条件随机场，其概率分布服从Gibbs分布，可表示为(Krähenbühl和Koltun，2011)

$P(\boldsymbol{X} | \boldsymbol{I})=\frac{1}{Z(\boldsymbol{I})} \exp (-E(\boldsymbol{X} | \boldsymbol{I}))$

(3)

式中，$Z(\boldsymbol{I})$为归一化因子，$E(\boldsymbol{X}|\boldsymbol{I})$为能量函数，即CRF的最大后验概率问题转化为能量函数的最小化问题，能量函数可表示为

$E(\boldsymbol{X} | \boldsymbol{I})=\sum\limits_{i} \theta_{i}\left(X_{i}\right)+\sum\limits_{i j} \theta_{i j}\left(X_{i}, X_{j}\right)$

(4)

式中，$\theta_{i}\left(X_{i}\right)$为单个随机变量$X_{i}$的一元能量函数项，表示$X_{i}$为某个类别的代价，在本文模型中代表Deeplab网络的输出。为关于相互连接的两个随机变量($X_{i}$, $X_{j}$)的二元成对能量函数，表示两个变量类别一致性代价，可表示为高斯核函数的线性组合

$\theta_{i j}\left(X_{i}, X_{j}\right)=\mu\left(X_{i}, X_{j}\right) \sum\limits_{m=1}^{K} w^{(m)} k^{(m)}\left(\boldsymbol{f}_{i}, \boldsymbol{f}_{j}\right)$

(5)

式中，$k^{(m)}$为高斯核函数，$w^{(m)}$为线性组合权值，$μ$为类标一致性参数，$\boldsymbol{f}_{i}$和$\boldsymbol{f}_{j}$分别为变量$X_{i}$和$X_{j}$的特征向量，表示形式如下

$\begin{aligned} k\left(\boldsymbol{f}_{i}, \boldsymbol{f}_{j}\right)=& w^{(1)} \exp \left(-\frac{\left|P_{i}-P_{j}\right|^{2}}{2 \theta_{\alpha}^{2}}-\frac{\left|I_{i}-I_{j}\right|^{2}}{2 \theta_{\beta}^{2}}\right)+\\ & w^{(2)} \exp \left(-\frac{\left|P_{i}-P_{j}\right|^{2}}{2 \theta_{\gamma}^{2}}\right) \end{aligned}$

(6)

式中，$\boldsymbol{I}$为3维度颜色向量，$\boldsymbol{P}$为2维像素点坐标向量，$\theta_{\alpha}、\theta_{\beta}、\theta_{\gamma}$为尺度参数，$w^{(1)}$、$w^{(2)}$为超参数。尺度参数控制高斯核的大小，可不断更新优化。通过全连接条件随机场推理得到影像像素的最终类标之后，使用空洞填充方式过滤掉一些内部的无标签点，最终得到海岛岸线分割优化结果。

2 实验

2.1 实验数据

实验数据为2015年1月1日至2019年1月1日间近海Landsat-8遥感影像，共20景，分辨率为30 m。基于目视解译的方法自20景遥感影像中截取不同形状的海岛作为训练样本，共计截取了80景海岛遥感影像, 为了提高训练样本的多样性，降低训练过程中样本不足带来的欠拟合问题，同时增强模型的鲁棒性。本文将80景海岛遥感影像分别进行上下翻转、左右翻转，以及顺时针方向90°旋转和270°旋转后扩充至400景，构成训练数据集。图 4所示为某海岛影像示意图。

图 4 训练集数据

Fig. 4 Training dataset((a)original image; (b)flip vertically; (c)flip horizontal; (d)rotate 90 degrees; (e)rotate 270 degrees)

2.2 基于改进模型的海岛岸线分割

以某海岛岸线分割为例，Landsat-8海岛遥感影像拍摄时间为2017年11月19日，分辨率为30 m，如图 5所示。利用式(1)计算出用于该海岛岸线分割的不同波段组合最佳指数，表 1给出了排名前8的波段组合。根据OIF因子大小，本文选取了Landsat-8遥感影像的156波段作为海岛岸线分割的输入数据。

图 5 波段选择实验用图

Fig. 5 Band selection experiment diagram

表 1 Landsat-8遥感影像的不同波段组合的OIF值
Table 1 OIF values for different band combinations of Landsat-8 remote sensing images

下载CSV

波段组合	标准差和	相关系数和	OIF因子	排序
156	1 598.495	1.416	1 128.813	1
125	1 460.626	1.329	1 098.837	2
135	1 501.910	1.480	1 014.980	3
256	1 589.023	1.574	1 009.299	4
145	1 473.921	1.499	983.263	5
157	1 426.019	1.503	949.003	6
235	1 492.438	1.640	910.167	7
245	1 464.449	1.628	899.718	8
注：加粗部分表示最优波段组合及结果。

将400景海岛遥感影像分为两部分，其中350景作为训练集，50景作为验证集。基于Deeplab神经网络结构实现海岛岸线的粗分割，图 6给出了某海岛原始图像和岸线粗分割结果。以粗分割海岛岸线结果为输入，本文基于全连接条件随机场对其进行优化，得到优化后的海岛岸线，并统计了海岛岸线的周长及覆盖面积，分别为1 919像素和13 893像素。

图 6 基于改进模型的海岛岸线分割结果

Fig. 6 Segmentation result((a)island image; (b)island shoreline rough segmentation results; (c)island shoreline optimization results)

3 海岛岸线分割结果分析与比较

为了验证改进海岛岸线分割模型的可行性，本文选取大小不等的4个海岛为例，分别基于FCN模型、Deeplab模型、目视解译法和本文改进模型对海岛的岸线进行分割。4个海岛的位置及原始数据如图 7所示。海岛1中心经度：129°32′29′′E，中心纬度：33°29′18′′N；海岛2中心经度：129°6′14′′E，中心纬度：33°16′9′′N; 海岛3中心经度：126°53′28′′E，中心纬度：34°10′52′′N；海岛4中心经度：127°18′18′′E，中心纬度：34°2′15′′N。基于不同分割模型的海岛岸线分割结果如图 8所示。

图 7 研究区域

Fig. 7 Research area

图 8 不同模型的海岛岸线分割结果图

Fig. 8 Island shoreline segmentation results for different models

((a)original images; (b)FCN model; (c)Deeplab model; (d)ours; (e)visual interpretation model)

本文将基于目视解译法的海岛岸线分割结果作为真值，用于比较不同分割模型的海岛岸线分割精度，4个海岛的岸线分割结果如表 2所示。为了判断分割模型的精确程度，即判断目标的捕获程度，本文亦引入了平均交并比和相对误差用于衡量分割精确度。平均交并比(mean intersection over union, MIoU)定义为：假设图像分割共有$k$+1个类(从$L_0$到$L_{k}$，其中包含一个背景类)，$P_{ij}$表示本属于类$i$但被预测为类$j$的像素数量。$P_{ii}$表示真正例的数量，而$P_{ij}$和$P_{ji}$则分别表示被解释为假正例和假负例的像素数量。MIoU可表示为

表 2 基于目视解译的海岛岸线周长、面积统计
Table 2 Island perimeter and area statistics based on visual interpretation

下载CSV

图像	周长/像素	面积/像素
海岛1	1 292	16 589
海岛2	1 613	28 639
海岛3	2 084	37 668
海岛4	1 919	13 893

$M_{\mathrm{IoU}}=\frac{1}{k+1} \sum\limits_{i=0}^{k} \frac{P_{i i}}{\sum\limits_{j=0}^{k} P_{i j}+\sum\limits_{j=0}^{k}\left(P_{j i}-P_{i i}\right)}$

(7)

相对误差$δ$定义为：测量所造成的绝对误差$Δ$与被测量真值$L$之比乘以100%。绝对误差$Δ$为测量结果$y$减去测量真值$t$所得。相对误差$δ$可表示为

$\delta=\frac{\Delta}{L} \times 100 \%$

(8)

表 3给出了不同模型用于4个海岛岸线分割的参数。

表 3 基于不同模型的海岛岸线分割结果
Table 3 Island shoreline segmentation results based on different models

下载CSV

	模型	周长/像素	面积/像素	$δ$(周长)/%	$δ$(面积)/%	MIoU/%
海岛1	FCN	1 642	18 103	27.1	9.1	81.4
	Deeplab	1 112	22 277	13.9	34.3	85.2
	本文	1 368	16 027	5.8	3.4	91.3
	目视解译法	1 292	16 589	-	-	-
海岛2	FCN	2 192	30 104	35.9	5.1	85.3
	Deeplab	1 402	34 884	13.1	21.8	88.1
	本文	1 720	27 595	6.6	3.6	89.7
	目视解译法	1 613	28 639	-	-	-
海岛3	FCN	6 902	41 522	231.2	10.2	92.5
	Deeplab	1 428	39 146	31.4	3.9	96.4
	本文	2 142	38 711	2.7	2.8	98.9
	目视解译法	2 084	37 668	-	-	-
海岛4	FCN	7 957	20 628	314.6	48.5	79.8
	Deeplab	1 402	13 240	26.9	4.7	92.3
	本文	2 096	13 901	9.2	0.1	97.5
	目视解译法	1 919	13 893	-	-	-
注：加粗字体表示最优结果；“-”为目视解译真值部分，不进行精度计算。

由表 3可以看出：1)FCN模型分割出的海岛岸线由一系列的离散点组成，岸线不清晰；且受遥感影像的质量影响，基于FCN模型分割的海岛岸线存在小尺度海岛无法识别的现象，如海岛3、海岛4所示，主要海岛周边的小型岛礁未被分割提取。Deeplab模型和本文改进模型通过ASPP模块的作用，可以对小尺度的海岛实现分割，且可分割出连续的海岛岸线。2)从MIoU值的比较可以看出，本文模型高于FCN模型和Deeplab模型，与目视解译的海岛岸线结果具有更高的吻合度。图 9各模型MIoU值的比较也直观地体现出本文改进模型的优越性。3)图 10和图 11直观反映了表 3中岸线周长以及海岛面积预测结果的对比。FCN模型受离散分割结果的影响，周长及面积结果误差较大。本文改进模型通过神经网络和全连接条件随机场由粗到细的分割，得出的周长及面积结果与目视解译真值最为接近，具有最高的精确度。

图 9 不同模型海岛岸线分割MIoU值比较

Fig. 9 Comparison of MIoU values of shoreline segmentation of different models

图 10 不同模型岸线分割海岛周长值比较

Fig. 10 Comparison of perimeter values of islands segmented by different models

图 11 不同模型岸线分割海岛面积值比较

Fig. 11 Comparison of island area values of different models

4 结论

本文利用遥感数据实现海岛岸线的高精度快速分割，通过分析现有图像分割算法，归纳遥感影像的特点以及海岛的自然特征，结合深度学习模型，面向遥感影像改进了海岛岸线的分割模型。最后，将本文模型与FCN模型、Deeplab模型进行了比较，通过对比实验发现本文模型在岸线周长预测、海岛面积预测方面具有最低的相对误差，分割结果与目视解译结果高度吻合，获得了最高的MIoU评价指标得分，论证了本文模型在海岛岸线分割上的优越性。

本文仅实现了海岛岸线的分割，如何实现海岛内不同地物的快速分割是下一步需研究的课题。同时，本文基于最佳指数选择了3个最佳波段作为模型的输入，如何利用遥感影像的多光谱特性，亦是需进一步研究的课题。

参考文献

Cao M, Shi Z L, Shen Q F. 2008. On selection of ALOS image optimum band combination in land cover classification. Bulletin of Surveying and Mapping, 9: 16-18, 27 (曹敏, 史照良, 沈泉飞. 2008. ALOS影像在土地覆被分类中最佳波段选取的研究. 测绘通报, 9(9): 16-18, 27)

Chavez P S, Berlin G L, Sowers L B. 1982. Statistical method for selecting landsat MSS. Journal of Applied Photographic Engineering, 8(1): 23-30

Chavez P S.1984. Image Processing techniques for Thermatic Mapper data//Proceedings of ASPRS-ACSM Technical Papers: 50th Annual Meeting of ASPRS. Washington DC, USA, [s.n.], 2: 728-743

Chen L C, Papandreou G, Kokkinos I, Murphy K and Yuille A L. 2014. Semantic image segmentation with deep convolutional nets and fully connected CRFs[EB/OL].[2019-07-01]. https://arxiv.org/pdf/1412.7062.pdf

Chen L C, Papandreou G, Schroff F and Adam H. 2017. Rethinking atrous convolution for semantic image segmentation[EB/OL].[2019-07-01]. https://arxiv.org/pdf/1706.05587.pdf

Cheng D C, Meng G F, Xiang S M, Pan C H. 2016. Efficient sea-land segmentation using seeds learning and edge directed graph cut. Neurocomputing, 207: 36-47 [DOI:10.1016/j.neucom.2016.04.020]

Fang L, Fu C Q, Fang T, Hong J G. 2016. Rapid abstraction of island or reef shoreline based on mean shift method. Journal of PLA University of Science and Technology (Natural Science Edition), 17(5): 488-492 (方亮, 付成群, 方涛, 洪建国. 2016. 基于均值漂移的海岛(礁)岸线快速提取. 解放军理工大学学报(自然科学版), 17(5): 488-492) [DOI:10.12018/j.issn.1009-3443.20151219001]

Feng Y J, Han Z. 2012. Cellular automata approach to extract shoreline from remote sensing imageries and its application. Journal of Image and Graphics, 17(3): 441-446 (冯永玖, 韩震. 2012. 海岸线遥感信息提取的元胞自动机方法及其应用. 中国图象图形学报, 17(3): 441-446) [DOI:10.11834/jig.20120320]

Grangier D, Bottou L and Collobert R. 2009. Deep convolutional networks for scene parsing//Proceedings of ICML 2009 Workshop on Learning Feature Hierarchies. Montreal: [s.n.]: 109

Guo H T, Sun L, Shen J S, Chen X W, Zhang H W. 2016. An island and coastal image segmentation method based on quadtree and GAC model. Acta Geodaetica et Cartographica Sinica, 45(1): 65-72 (郭海涛, 孙磊, 申家双, 陈小卫, 张宏伟. 2016. 一种四叉树和测地线活动轮廓模型相结合的海陆影像分割方法. 测绘学报, 45(1): 65-72) [DOI:10.11947/j.AGCS.2016.20150240]

He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]

Huang J F, Zhang X C, Xin Q C, Sun Y, Zhang P C. 2019. Automatic building extraction from high-resolution aerial images and LiDAR data using gated residual refinement network. ISPRS Journal of Photogrammetry and Remote Sensing, 151: 91-105 [DOI:10.1016/j.isprsjprs.2019.02.019]

Krähenbühl P and Koltun V. 2011. Efficient inference in fully connected CRFs with Gaussian edge potentials//Advances in Neural Information Processing Systems. Granada: [s.n.]: 109-117

Li J, Chen Y H, Liu Z G, Zhou G H, Meng J M, Ma Y and Deng L. 2010. Remote Sensing of Island and Coast Environment. Beijing: Science Press (李京, 陈云浩, 刘志刚, 周冠华, 孟俊敏, 马毅, 邓磊. 2010.海岛与海岸带环境遥感.北京: 科学出版社)

Li Z W, Shen H F, Cheng Q, Liu Y H, You S C, He Z Y. 2019. Deep learning based cloud detection for medium and high resolution remote sensing images of different sensors. ISPRS Journal of Photogrammetry and Remote Sensing, 150: 197-212 [DOI:10.1016/j.isprsjprs.2019.02.017]

Liao X, Miao J, Chu J, Zhang G M. 2019. Multi-image object semantic segmentation by fusing segmentation priors. Journal of Image and Graphics, 24(6): 890-901 (廖旋, 缪君, 储珺, 张桂梅. 2019. 融合分割先验的多图像目标语义分割. 中国图象图形学报, 24(6): 890-901) [DOI:10.11834/jig.180568]

Liu D E, Yu H X, Lan X J, Chen Y Z. 2013. Land cover information classification based on the optimal band combination of TM image. Metal Mine, 42(10): 80-83 (刘德儿, 于海霞, 兰小机, 陈元增. 2013. 基于最优波段组合的TM影像土地覆盖信息分类. 金属矿山, 42(10): 80-83)

Long J, Shelhamer E, Darrell T. 2017. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(4): 640-651 [DOI:10.1109/TPAMI.2016.2572683]

Ma L, Soomro N Q, Shen J J, Chen L, Mai Z H, Wang G Q. 2017. Hierarchical sea-land segmentation for panchromatic remote sensing imagery. Mathematical Problems in Engineering, 2017: 1-8 [DOI:10.1155/2017/4728425]

Nandi S, Ghosh M, Kundu A, Dutta D, Baksi M. 2016. Shoreline shifting and its prediction using remote sensing and GIS techniques:a case study of Sagar Island, West Bengal (India). Journal of Coastal Conservation, 20(1): 61-80 [DOI:10.1007/s11852-015-0418-4]

Tong Q X, Zhang B, Zhang L F. 2016. Current progress of hyperspectral remote sensing in China. Journal of Remote Sensing, 20(5): 689-707 (童庆禧, 张兵, 张立福. 2016. 中国高光谱遥感的前沿进展. 遥感学报, 20(5): 689-707) [DOI:10.11834/jrs.20166264]

Wang Z H, He W W, Sun J Q, Qu N Y, Huang D M. 2019. Research on improved level set model for island boundary rapid segmentation. Journal of Frontiers of Computer Science and Technology, 13(7): 1206-1216 (王振华, 何婉雯, 孙婧琦, 曲念毅, 黄冬梅. 2019. 改进水平集模型的海岛边界快速分割方法研究. 计算机科学与探索, 13(7): 1206-1216) [DOI:10.3778/j.issn.1673-9418.1807051]

Wu Z H, Gao Y M, Li L, Xue J, Li Y T. 2019. Semantic segmentation of high-resolution remote sensing images using fully convolutional network with adaptive threshold. Connection Science, 31(2): 169-184 [DOI:10.1080/09540091.2018.1510902]

Zeng R, Chen D S. 2018. Concatenating two deep learned spectral-spatial features for hyperspectral remote sensing imagery classification. Journal of Chinese Computer Systems, 39(2): 396-400 (曾锐, 陈锻生. 2018. 结合双深度学习特征的高光谱遥感图像分类. 小型微型计算机系统, 39(2): 396-400) [DOI:10.3969/j.issn.1000-1220.2018.02.038]

Zhao E W, Wen J M, Yang H M, Wu X J, Zhang Z. 2015. A fast method for automatic extraction of island in remote sensing imagery. Remote Sensing Information, 30(6): 63-66, 70 (赵恩伟, 温金苗, 杨鹤猛, 伍小洁, 张增. 2015. 一种快速遥感影像海岛自动提取方法. 遥感信息, 30(6): 63-66, 70) [DOI:10.3969/j.issn.1000-3177.2015.06.012]