Print

发布时间: 2018-11-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.180226
2018 | Volume 23 | Number 11




    遥感图像处理    




  <<上一篇 




  下一篇>> 





卷积神经网络和深度置信网络在SAR影像冰水分类的性能评估
expand article info 黄冬梅1,2, 李明慧1, 宋巍1, 王建1
1. 上海海洋大学, 上海 201306;
2. 上海电力学院, 上海 200090

摘要

目的 海冰分类是海冰监测的主要任务之一。目前基于合成孔径雷达SAR影像的海冰分类方法分为两类:一类是基于海冰物理特性与SAR成像特征等进行分类,这需要一定的专业背景;另一类基于传统的图像特征分类,需要人为设计特征,受限于先验知识。近年来深度学习在图像分类和目标识别方面取得了巨大的成功,为了提高海冰分类精度及海冰分类速度,本文尝试将卷积神经网络(CNN)和深度置信网络(DBN)用于海冰的冰水分类,评估不同类型深度学习模型在SAR影像海冰分类方面的性能及其影响因素。方法 首先根据加拿大海冰服务局(CIS)的冰蛋图构建海冰的冰水数据集;然后设计卷积神经网络和深度置信网络的网络架构;最后评估两种模型在不同训练样本尺寸、不同数据集大小和网络层数、不同冰水比例的测试影像以及不同中值滤波窗口的分类性能。结果 两种模型的总体分类准确率达到93%以上,Kappa系数0.8以上,根据分类结果得到的海冰区域密集度与CIS的冰蛋图海冰密集度数据一致。海冰的训练样本尺寸对分类结果影响显著,而训练集大小以及网络层数的影响较小。在本文的实验条件下,CNN和DBN网络的最佳分类样本尺寸分别是16×16像素和32×32像素。结论 利用CNN和DBN模型对SAR影像海冰冰水分类,并进行性能分析。发现深度学习模型用于SAR影像海冰分类具有潜力,与现有的海冰解译图的制作流程和信息量相比,基于深度学习模型的SAR影像海冰分类可以提供更加详细的海冰地理分布信息,并且减小时间和资源成本。

关键词

海冰的冰水分类; SAR影像; 深度学习; 卷积神经网络; 深度置信网络; 海冰解译图

Performance of convolutional neural network and deep belief network in sea ice-water classification using SAR imagery
expand article info Huang Dongmei1,2, Li Minghui1, Song Wei1, Wang Jian1
1. ShangHai Ocean University, ShangHai 201306, China;
2. ShangHai University of Electric Power, ShangHai 200090, China
Supported by: National Natural Science Foundation of China (41671431, 61702323);Program for Professor of Special Appointment (Eastern Scholar) at Shanghai Institutions of Higher Learning (TP2016038)

Abstract

Objective The classification of sea ice is an important task in sea ice monitoring. Synthetic aperture radar (SAR), as an active microwave sensor, has all-weather, day-and-night, multi-view, and penetration imaging capabilities. SAR has been widely used for sea ice monitoring. Existing methods of automatic sea ice classification using SAR data are divided into two categories as follows:1) Classification based on the physical characteristics of sea ice and imaging characteristics of SAR imagery, such as the relationship between sea ice types and incidence angle, polarization mode, and backscatter coefficient of SAR image; SAR imagery requires professional background. 2) Traditional image classification methods with SAR imagery, such as support vector machine (SVM) and artificial neural network, must design features in advance and thus are limited by prior knowledge. In recent years, deep learning has achieved considerable success in image classification and object recognition. Image classification based on deep learning can automatically learn high-level features of sample data beyond low-level texture and color features, thus achieving a high accuracy of classification results without constraints of human prior knowledge. However, SAR images have different imaging mechanisms from optical imaging of ordinary camera, and sea ice shows lower identifiable characteristics on the SAR imagery than general ground objects with specific shape, texture, and other distinctive features. The effectiveness of deep learning models for sea ice classification remains unclear. We aim to use deep learning models, such as a convolutional neural network (CNN) and a deep belief network (DBN), to classify sea ice and water in SAR imagery and evaluate the performance and influence factors of the two models to improve the accuracy and speed of sea ice classification. Method The entire process of sea ice-water classification experiment mainly includes four steps. First, the study area and the corresponding SAR images must be determined. Hudson Bay was selected, and 16 SAR images of the area were obtained from Sentinel-1 satellite. Second, an experimental data set must be constructed in accordance with the ice chart published by the Canadian Ice Service (CIS), including image cutting, normalization, and labeling. A total of 2 000 training and 400 validation samples were prepared for each sample size, although the sample size varied from 16×16 pixels to 64×64 pixels. Eight regions were used for testing. Third, the structures of the CNN and DBN must be designed, and the influence of different network hyperparameters on classification performance must be discussed. Finally, the classification performance of models influenced by train patch size, data set size, layers of the models, sea ice proportion in the test image, and image filter size must be evaluated. The evaluation was based on the indices of precision ratio, recall ratio, F1 score, and kappa coefficient. Result The CNN and DBN models reached more than 93% overall accuracy and 0.8 kappa coefficient given the pixel-level ground truth generated by SVM and manual correction. Regional concentration values computed by the classification results were close to the concentration data provided in the CIS ice chart with a mean squared error of 0.001 for CNN and 0.016 for DBN. The train patch size of sea ice significantly influenced the classification performance of the models, whereas the data set size and layers of the models only slightly influenced the classification performance of the models. Additional ice and water would be misclassified when the size of the training samples was large. Therefore, the sample size of the CNN and DBN should not be very large. Under our experimental conditions, the optimal train patch size of CNN and DBN was 16×16 pixels and 32×32 pixels, correspondingly. In addition, the sea ice-water ratio of the test samples affected the precision and recall ratios. The ice and water in terms of F1 score and the kappa coefficient stabilized when the sea ice-water ratio was at 0.5. The precision and recall of the DBN were relatively sensitive to the sea ice-water ratio of the test samples. Conclusion We evaluated the performance of the sea ice-water classification in SAR imagery with CNN and DBN. Notably, deep learning demonstrates considerable potential in the sea ice classification. The sea ice classification of SAR images based on deep learning without designing features in advance can be robustly applied to different SAR data products over several traditional classification methods, such as SVM. The classification method based on deep learning models can provide more convenient and more detailed sea ice interpretations than the complex production process of the CIS ice chart and the rough range of sea ice-type tagging information. Owing to the different resolutions of SAR images, the patch size of the optimal classification sample will be different. In this study, errors in the ground truth are inevitable considering the limitations of current sea ice observation methods; these limitations have been discussed. The main contributions of this study are as follows:1) In the sea ice-water classification using SAR images, two typical deep learning networks with different mechanisms have been used. The convolution operation of the CNN is suitable for exploring the local spatial correlation of images and has a robust application in the image recognition field. The restricted Boltzmann machine, as an important component of the DBN, is better at exploring probabilistic relationships among different elements and is more suitable for incremental learning than the CNN. The CNN showed better performance than the DBN in the classification of sea ice-water with SAR imagery. 2) A complete experimental procedure for sea ice classification of SAR images through deep learning methods, which can help guide related research, is summarized. 3) A new idea of using the deep learning method for sea ice classification is proposed. This method can shorten the existing process of creating a sea ice interpretation map and provide accurate geographic distribution information of a sea ice type. In our future work, we will compare the classification performance of different SAR data sources.

Key words

sea ice-water classification; SAR imagery; deep learning; convolution neural network; deep belief network; sea ice interpretation map

0 引言

海冰不仅对全球气候变化有重要影响,并且对船舶航行,海底采矿等会产生重要阻碍,甚至导致重大灾害[1]。合成孔径雷达(SAR)作为一种主动式微波成像雷达,具有全天时、全天候、多视角以及穿透性强等作业特点,近年来被广泛应用于海冰检测。

加拿大海冰服务局(CIS)和美国冰雪中心(NSIDC)等研究机构基于目视观测,雷达观测和大气辐射数据分析,定期为公众提供海冰产品信息。CIS发布的冰蛋图(Ice Chart,又称海冰解译图)由海冰分析员根据冰情手动绘制,能够提供相对直观和丰富的海冰信息,如海冰类别、海冰厚度和海冰密集度等。由于海冰所处的极端环境,大范围长时间的海冰实测数据难以获取,冰蛋图往往被海冰分类与海冰密集度研究者认为是相对准确的海冰分析信息,并作为实验对比标准。然而,手工制作的冰蛋图不仅耗费极大的人力和时间,而且冰蛋图提供的海冰信息是基于区域的,海冰类别具体分布信息并不明确,一个区域有可能是多种海冰混合,如图 1为2017年6月5日CIS发布的哈德逊湾每周冰蛋图。图 1中紫色椭圆标记的冰蛋信息表示这块区域总体海冰密集度为0.9以上,且存在编号为4和1的两种海冰类型,其中编号为4的海冰密集度为0.2,编号为1的海冰类型密集度为0.8。不同海冰分析员的绘制结果还可能存在主观误差[2]。因此,精准、快速的海冰自动分类仍然面临巨大挑战。

图 1 哈德逊湾每周冰蛋图
Fig. 1 The weekly Ice Chart of Hudson Bay

目前基于SAR影像的海冰分类方法的研究可以分为两个方向:

1) 基于海冰物理属性以及SAR影像极化特征的海冰分类方法,如通过建立不同海冰类别与SAR影像的入射角、极化模式、后向散射系数之间的关系模型对海冰进行分类[1, 3]。这种方法需要研究者具备一定的SAR工作原理的专业知识。

2) 从计算机视觉的角度,利用SAR影像海冰图像特征进行分类,比如根据提取的海冰影像的纹理特征,使用支持向量机(SVM)和神经网络等机器学习方法进行海冰分类[4-6]。目前,这些方法取得的最好的分类精度是91%[4]

近年来,基于深度学习的图像分类在各个领域广泛应用。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示[7]。与传统海冰分类方法相比,在制作好实验数据集的基础上,基于深度学习的海冰分类只需要人为设计网络超参数,而不必指定特征提取类型(如纹理特征)。

尽管SAR影像与普通的光学相机成像机制不同,很多基于深度学习模型的SAR影像分类任务取得了很好的分类效果[8-12],Lyu等人[8]在2014年首次将深度置信网络用于城市土地利用和土地覆盖分类,实验结果优于SVM及几个SVM与其他结合的方法。郑磊等人2016年提出一种基于深度置信网络的极化SAR影像分类方法,利用AIRSAR数据进行实验,分类结果精度达到91.06%,与经典的Wishart监督分类和逻辑回归分类方法相比,展现出突出优势[9]。Li等人[10]利用卷积神经网络的高光谱影像分类取得了97%的平均准确率,比传统的有监督方法如最小距离和最大似然方法更加有效。Chen等人[11]通过改进深度卷积神经网络在SAR影像目标分类任务中取得了10类的99%平均准确率。张伟等人[12]和周敏等人[13]在2017年使用卷积神经网络分别在地表覆盖分类和遥感图像飞机目标分类任务中的准确率较传统机器学习方法都有很大的提高。

数字图像分类的重要依据是色、形、位等特征,而SAR影像中的海冰类型的形、位特性较弱,分类主要依靠纹理和颜色特征,这可能对深度学习应用于SAR影像的海冰研究造成困难。图 2为SAR影像上根据冰蛋图标注的不同海冰类型和cifar10数据库中部分标注图像样本。Wang等人[14]在2016年首次使用卷积神经网络应用于SAR影像海冰密集度评估,在没有特征提取和分割后处理的情况下,生成的海冰密集度分布图与海冰分析员手动绘制的结果相比的绝对平均误差小于10%,而且在融化区域和低冰区域的密集度预测结果更加合理。Wang等人[15]在2017年的进一步研究发现,与多层感知机方法相比,CNN在像素级影像细节处理方面具有较低的敏感度,预测的海冰密集度结果噪声低,并且更加接近冰蛋图数据。Petrou等人[16]使用长短时记忆循环神经网络预测海冰运动,预测结果与几天内海冰的真实运动相吻合。

图 2 不同海冰类型和部分标注图像样本
Fig. 2 Different types of sea ice and some labelled samples
((a)types of sea ice; (b)labelled samples)

深度学习模型在普通的图像分类应用中表现优异,然而,SAR影像海冰类别与常见的分类任务有特殊性,基于深度学习方法的SAR影像海冰分类是否同样有效, 这些模型的分类性能表现如何也尚不清楚。虽然Wang等人[14]使用CNN进行海冰密集度开创了深度学习应用于海冰研究的先例,然而海冰分类和海冰密集度评估更有难度,比如数据集标签的制作方面,如图 1所示的海冰专家绘制的冰蛋图中一块区域的总密集度是固定的,可以很容易制作海冰密集度标签;而这块区域是混合两种海冰类型的,两种海冰的具体位置却不知道,这就会依据冰蛋图制作海冰标签带来困扰,数据集标签的好坏对深度学习有监督模型的分类性能至关重要。

本文从数据集制作到深度学习模型的设计到最后的分类性能评估,总结了一套较为完整的基于深度学习模型处理SAR影像海冰分类的流程;通过控制相关参数变量全面探索了CNN和(深度置信网络)DBN两种深度学习模型应用于SAR影像海冰分类性能表现。以加拿大东北部的哈德逊湾为研究区域,实验数据来自哨兵一号卫星。实验结果表明,以SVM像素级分类结果为参考依据,CNN和DBN的SAR影像海冰冰水分类总体准确率至少为93%,Kappa系数为0.8以上;以冰蛋图的海冰区域密集度数据为标准,CNN分类得到的区域密集度的均方误差为0.001,DBN为0.016;与传统的分类方法SVM和K-means相比,两种模型的分类结果与SVM比较接近,而K-means的分类结果相差较远;使用深度学习模型对SAR影像海冰冰水分类不需要更大的数据集以及更深的网络层数。本文的主要贡献在于:

1) 将两种不同机制的典型深度学习网络:卷积神经网络和深度置信网络应用于SAR影像海冰分类,并对两种网络的分类性能进行评估;分析了网络参数对SAR影像海冰分类的性能影响。

2) 总结了一套使用深度学习方法对SAR影像海冰分类的完整实验流程。

3) 对比传统SAR影像海冰分类方法,提供了一种使用深度学习方法进行海冰分类的新思路,缩短了现有海冰解译图制作流程,能够提供更精准的海冰类型地理位置分布信息。

1 方法

卷积神经网络(CNN)[17]属于有监督学习方法,网络的权重由监督信号(如类别标签)进行学习获得。CNN的卷积操作更适合探索图像的局部空间相关性,因此在图像识别领域有很强的应用;DBN[18]属于无监督学习方法,该模型试图找到与输入数据(如图像)最接近的空间向量表达,是一种生成模型,擅长于探索不同元素之间的概率关系,与CNN相比更加适合于增量学习。CNN和DBN两种网络具有不同的学习机制,是深度学习的经典模型。本文以CNN和DBN网络为例,探究深度学习方法在SAR影像海冰分类的性能。

1.1 深度置信网络

深度置信网络是由多层受限玻尔兹曼机(RBM)组成的一种神经网络,训练过程一般分为两个阶段:预训练和微调阶段。

预训练阶段是RBM的训练过程,RBM是一种神经感知机器,由一个显层和一个隐层构成,显层与隐层的神经元之间为双向全连接。一个RBM的能量模型表示为

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;E\left( {v, h|\theta } \right) = \\ -\sum\limits_{i = 1}^n {{a_i}{v_i}}-\sum\limits_{j = 1}^m {{b_j}{h_j}}-\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {{v_i}{w_{ij}}{h_j}} } \\ \;\;\;\;\;\;\;\;\;\;\theta = \{ {w_{ij}}, {a_i}, {b_j}\} \end{array} $ (1)

式中,${{v_i}}$表示第$i$个显层,${{h_j}}$表示第$j$个隐层;${w_{ij}}$表示显层与隐层神经元之间的连接权重;${a_i}$表示第$i$个显层神经元的偏置,${b_j}$表示第$j$个隐层神经元的偏置。

RBM系统的联合概率分布为

$ \begin{array}{l} P\left( {v, h|\theta } \right) = \frac{{{{\rm{e}}^{-E(v, h|\theta )}}}}{{Z\left( \theta \right)}}\\ Z\left( \theta \right) = \sum\limits_{v, h} {{{\rm{e}}^{-E(v, h|\theta )}}} \end{array} $ (2)

训练目标是找到一组最优参数$θ$使得$p$值最大,并且此刻RBM系统达到稳定状态。

微调阶段是一个传统的前向传播神经网络(BPNN),把在预训练阶段得到的RBM的参数作为神经网络的初始参数,使用梯度下降策略进行网络训练,sigmod函数作为激活函数,损失函数是平方误差函数。

本文实验中,DBN初始设置为4层,一个输入层,两个RBM隐层和一个输入层,隐层神经元个数分别设置为64和100。

1.2 卷积神经网络

卷积神经网络是一种深度前向人工神经网络,主要分为3个模块:卷积层、池化层和全连接层。

卷积层由若干个卷积单元组成,每个卷积单元的参数通过反向传播算法优化得到,卷积运算的目的是提取输入的不同特征。以2维图像为例,CNN的卷积过程可以描述为

$ \begin{array}{l} z\left( {x, y} \right) = f\left( {x, y} \right)*g\left( {x, y} \right) = \\ m\sum\limits_n {f\left( {x-m, y-n} \right)g\left( {m, n} \right)} \end{array} $ (3)

式中,$f$代表输入的2维图像,$g$代表卷积核,$m$$n$分别代表卷积核的尺寸。

池化层主要是通过使用局部平均和下采样来降低特征映射输出的敏感性。池化操作能够减小输出特征图的尺寸而不改变它的数量,从而减小网络计算量。图像分类常见的池化方法有平均池化和最大池化。

全连接层是将经过卷积和池化层后得到的高维特征分布转到低维的样本标记过程,非线性激活函数如sigmod、softmax用在本层输出每个类别的分类概率。

本文实验中CNN框架初始设置包含两个卷积层,每一个卷积层后面都有一个池化层,最后是两个全连接层。卷积层卷积核个数分别是32、64,卷积核大小为5×5,步长为1;池化层窗口为2×2,步长为2;第1个全连接层神经元个数为128,第2个全连接层则输出2类分类概率。全连接层后添加了随机Dropout层用来提升网络泛化能力,比例为0.5。

2 实验

整个海冰冰水分类实验流程主要包含4步:1)确定研究区域并获取实验所需的SAR影像数据和SAR影像对应的冰蛋图; 2)根据冰蛋图信息准备实验数据集,包括数据裁剪、归一化、标签制作; 3)设计网络参数,进行CNN和DBN模型训练; 4)从像素级别分类准确率和区域密集度两个方向评估模型分类结果。

2.1 研究区域与SAR影像

哈德逊湾位于加拿大东北部,是CIS进行海冰监测的5个热点区域之一。哨兵一号卫星发射于2014年,是欧洲航天局哥白尼计划(GMES)中的地球观测卫星,载有C波段合成孔径雷达。哨兵一号卫星数据对公众开放并广泛应用于北极海冰监测,以及海洋环境监测等,实验数据下载自polarview网站(http://www.polarview.aq/arctic)。

实验中共使用了16景600 km×600 km覆盖范围,40 m×40 m空间分辨率的双极化(HH和HV)宽幅模式哨兵一号影像数据,时间范围是2017年5月5日到6月25日,该时期哈德逊湾的海冰开始融化,主要海冰类型为一年冰。研究区域和SAR影像的地理位置概括如图 3所示。

图 3 哈德逊湾的地理位置和SAR影像数据集
Fig. 3 The location of Hudson Bay and the data set of SAR imagery

2.2 数据集构建

分别从16景原始SAR影像中裁剪出28个子区域构建实验数据集,训练集(Train)、验证集(Validate)和测试集(Test01—Test08)数据分配细节如表 1所示。

表 1 实验数据集详情
Table 1 Details of experimental dataset

下载CSV
数据集 分辨率/像素 图像编号 获取时间
海冰区域 水区域
832×832 832×1 408 6C10 2017-06-07
640×640 1 280×1 280 1E85 2017-06-20
Train 1 280×1 280 640×640 236D 2017-06-18
832×832 1 280×1 280 96ED 2017-06-18
640×640 1 280×1 280 ED5D 2017-06-08
—— 640×1 280 65D6 2017-06-21
—— 1 280×1 280 9DD8 2017-06-20
640×640 —— B8DC 2017-06-04
1 280×1 280 —— 8B97 2017-05-05
832×832 —— 0B44 2017-06-20
832×832 —— 4362 2017-06-18
Validate 1 280×1 280 1 280×1 280 9E3B 2017-06-25
1 280×1 280 1 280×1 280 C80F 2017-06-25
Test01 2 240×2 240 4 362 2017-06-18
Test02 800×2 240 607D 2017-06-04
Test03 1 344×960 E14F 2017-06-02
Test04 5 280×4 480 4927 2017-06-21
Test05 1 280×1 280 ED5D 2017-06-08
Test06 1 280×1 280 0B44 2017-06-20
Test07 1 280×1 280 0B44 2017-06-20
Test08 1 280×1 280 0B44 2017-06-20
注:“——”表示该图像无此类型区域。

训练集大小是深度学习模型性能的重要因素,本文的实验训练集和验证集分别包含2 000个和400个样本。本文除了研究样本尺寸对分类性能的影响时使用了16×16~64×64像素不同尺寸的样本,如无特别说明样本尺寸均为32×32像素。由于表 1中SAR影像区域可以产生的数据集样本量远远多于实验所需样本量,因此对训练样本采用间隔取样措施,这可以使训练样本来自不同的空间位置,更具代表性并且避免模型过拟合。

3 实验结果

为了客观地评价CNN和DBN模型对SAR影像海冰的分类性能,本文从像素级分类精度和区域密集度吻合度两个角度进行比较。由于海冰获取实测数据成本巨大,导致海冰类别的真值标签有限,很多海冰研究者以美国冰雪中心(NSDIC)、挪威气象机构(NMI)、CIS发布的冰蛋图信息为评价参考标准[2-4, 14, 19]分析专家结合多数据源如高分辨率辐射仪、特殊微波成像仪、合成孔径雷达、以及船舶和直升机观测等途径手动绘制而成,本文以CIS的冰蛋图作为CNN和DBN分类性能评价的主要参考依据。

3.1 基于像素级别准确率的分类性能

CIS冰蛋图上提供的海冰类型和海冰密集度信息是基于区域的、粗范围参考(如图 1),直接以此作为像素级分类将会产生很大的误差。鉴于传统方法SVM的冰水分类最佳性能可达91%以上[4],并得到像素级分类结果,本文将经过修正的SVM结果作为CNN和DBN像素级分类性能比较对象。首先将待测试SAR影像利用ENVI软件的SVM分类器快速得到一个初步的冰水分类结果;然后,由于SVM在像素级分类过程中对像素的灰度值变化相对敏感,而SAR影像存在固有的随机斑点噪声,为了使实验结果更加客观,对SVM分类后的图像噪声进行了窗口为7的中值滤波处理;最终得到的分类结果即为像素级冰水分类参考依据。冰水分类测试是将训练样本尺寸(如32×32像素)无重叠依次扫描整个测试区域的开窗口方式。

查准率($P$),查全率($R$),$F$1,Kappa系数,总体准确率($Acc$)作为分类性能评价指标,定义为

$ \begin{array}{l} P = \frac{{TP}}{{TR + FP}} \times 100\% \\ R = \frac{{TP}}{{TP + FN}} \times 100\% \\ F1 = \frac{{2 \times P \times R}}{{P + R}} \times 100\% \\ \;\;\;\;\;\;\;{\rm{Kappa}} = \frac{{{P_a}- {P_e}}}{{1- {P_e}}}\\ \;\;\;\;\;\;\;{P_a} = \frac{N}{M}\\ M = TP + FN + FP + TN\\ \;\;\;\;\;N = TP + TN\\ {P_e} = \frac{{\left[{\left( {TP + FP} \right) \times \left( {TP + FN} \right) + \left( {FN + TN} \right) \times \left( {FP + TN} \right)} \right]}}{M}\\ \;\;\;\;\;\;\;\;Acc = \frac{N}{M} \times 100\% \end{array} $ (4)

式中,$FN$$FP$$T$N分别表示真正例,假反例,假正例,真反例。

选取4个相同大小区域(Test05—Test08)的测试数据进行CNN和DBN模型的分类实验,分类结果的平均值作为模型性能评估依据,结果如表 2。CNN和DBN的总体准确率都达到了93%以上,Kappa系数0.8以上,冰和水的$F$1指标87%以上。但从各项评价指标结果来看,CNN分类结果与SVM标准的契合度比DBN略高。此外,DBN的海冰分类$F$1指标明显低于海水的,这是否受到测试样本集中的冰水比例影响将在4.2节中进一步讨论。

表 2 基于像素级别的分类结果
Table 2 Classification results based on pixel-level benchmark

下载CSV
方法 $F$1/% $F$1/% Kappa $Acc$/%
CNN 92.72 93.2 0.85 94.78
DBN 87.18 92.84 0.8 93.38

3.2 基于区域密集度的分类性能

海冰密集度是指一个区域内海冰所占的面积百分比。由于SAR影像每个像素的分辨率是定值,所以本文SAR影像海冰密集度定义为区域内海冰像素个数占总像素个数的百分比。从CIS的冰蛋图中选择3个不同的海冰密集度区域(Test02—Test04)对CNN和DBN网络的分类性能作进一步评估,同时把SVM和K-means的分类结果和CIS的冰蛋图海冰密集度数据进行对比。评价指标为均方误差$MSE$,值越接近于0,分类结果与冰蛋图越接近,结果如表 3

表 3 基于区域密集度的分类性能评价
Table 3 Classification performance based on regional concentration

下载CSV
方法 Test02 Test03 Test04 MSE
CIS 0.5 0.9+ 0.9 -
SVM 0.45 0.86 0.88 0.001 6
K-means 0.32 0.78 0.38 0.105 8
CNN 0.5 0.87 0.959 0.001 1
DBN 0.29 0.85 0.95 0.016 1

从有监督分类方法的角度来看,CNN和SVM与冰蛋图的海冰区域密集度数据最为接近,作为无监督分类方法,K-means和DBN表现较差。当区域的海冰密集度较低的时候,DBN表现最差。区域海冰密集度大于0.5时,CNN和DBN网络的分类密集度结果相对一致。

在基于像素级分类性能评估时候,由于缺少像素级SAR影像冰水类别标签,论文把SVM分类结果作为评价对比依据,通过本节SVM分类结果和CIS的区域密集度标准的吻合情况可以看到,SVM的分类和CIS数据基本一致,使用SVM分类结果作为CNN和DBN的像素级分类参考标准基本能够达到实验评估需求。因此,在第4节都将以SVM的像素级分类结果作为分析依据。

4 结果讨论

4.1 训练样本尺寸的影响

深度学习模型的训练样本尺寸是影响模型分类结果的重要因素,在本实验中,分别使用16×16、24×24、32×32、40×40、48×48、56×56、64×64像素大小的样本尺寸进行海冰分类性能评估,在不同尺寸样本构建中,不可避免会使冰水边界的样本中同时包含冰和水,这样的情况下,将冰水含量相对高的作为真实标签。测试样本编号为Test01,结果如图 4图 5

图 4 不同训练样本尺寸的分类结果指标
Fig. 4 The classification result of different patch size((a) $F$1 score of ice; (b) $F$1 score of water; (c) Kappa coefficient of CNN and DBN; (d) overall accuracy of CNN and DBN)
图 5 不同训练样本尺寸分类结果在SAR影像上的可视化
Fig. 5 The classification result image with different patch sizes

图 4(c)(d)中,可以看到当样本尺寸从32像素到64像素变化中,CNN和DBN总体分类准确率和Kappa系数都呈下降趋势。图 5可以看出,当训练样本尺寸变大时,会导致较多的冰和水被错误分类,即白色和绿色像素点增加。而这些错误分类点主要集中在海冰与海水的交界处,这可以理解为样本尺寸越大,分类时滑动窗口包含的冰水混合的可能性也越大,越无法准确标记。因此,对于CNN和DBN过大的样本尺寸是不可取的。

虽然在3.1节的实验中分类对比标准SVM是基于像素级分类,但并不意味着更小的尺寸能取得较高的分类准确率,如图 4所示,在24×24像素时候,CNN和DBN的分类性能都有一个很大的下降。观察图 4(a)(b)可知,这主要是由海冰分类性能下降引起的。之后,DBN网络分类性能随样本尺寸的减小继续下降,而CNN却在更小的样本尺寸16×16像素时分类性能急速上升。在本文的实验条件下(SAR影像分辨率为40 m×40 m),DBN网络分类性能最好的样本尺寸是32×32像素,而CNN分类性能最好的样本尺寸是16×16像素。接下来的实验都采用32×32像素的训练样本尺寸,以便比较。

总体来说,CNN在不同训练样本尺寸下的分类性能的波动性大于DBN,这可能和CNN和DBN不同的学习策略有关。CNN模型更加擅长于从图像中找到局部空间相关性,训练样本尺寸的改变将会直接影响分类对象的空间相关性,由此导致分类性能的波动。DBN是一个旨在找到图像中不同元素间的概率关系的生成模型,所以训练样本尺寸的改变对分类性能波动相对较小。

另外,从图 4可以看到,CNN和DBN模型水的$F$1指标都高于冰的,而且冰的$F$1指标在所有训练样本尺寸性能评估中都比较低,这可能和测试图像总的冰水含量有关,Test01测试影像只有0.3的海冰比例,根据3.1节评价指标$F$1的定义,不同类别样本的数量差距大会对分类性能的评价造成影响。

4.2 海冰冰水比率的影响

根据4.1节所述,冰样本分类的$F$1指标都低于水样本的,认为这和测试样本的冰水比例有关,为了验证猜想,重新选择4景含冰比率分别是0.2, 0.4, 0.6, 0.8的测试样本集(Test05—Test08)进行实验。结果如图 6所示,随着海冰比率的增加,基于CNN网络的海冰分类查准率和查全率逐渐上升,而水的分类查准率和查全率则不断下降;当测试样本冰水比例为0.5时候,冰和水的$F$1分数和Kappa系数开始趋于平稳。相比之下,DBN网络的查准率和查全率对测试样本冰水比例相对敏感。

图 6 CNN和DBN在测试图像不同含冰比率下的分类结果指标
Fig. 6 The classification result of different ice ratio in the case of CNN and DBN((a) precision and recall of ice; (b) precision and recall of water; (c)ice and water of $F$1; (d) overall accuracy and Kappa coefficient)

4.3 滤波器尺寸的影响

由于CNN和DBN的训练样本是图像块状的,测试样本分类也是图像块分类,把块状的分类标签还原到测试图像时候会表现出锯齿特征,而一般海冰边界则相对平滑,为了降低对分类整体准确率的影响,使用中值滤波对锯齿状分类结果进行了平滑处理。分别取355区间、间隔为2的中值滤波窗口进行实验,使用前后对总体分类准确率的影响程度如图 7所示,测试样本编号为Test01,图 7中的两条横线表示没有使用中值滤波的准确率。

图 7 不同滤波尺寸的影响
Fig. 7 The impact of different filter template size

图 7可以看到,使用中值滤波后CNN和DBN的分类准确度都有一个明显的提升,当滤波窗口为19和21时候的分类准确率最高,所以本文在3.1节和3.2节的性能评估都使用了窗口大小为19的中值滤波。

4.4 数据集大小、网络层数、卷积核大小的影响

对于深度学习模型来说,数据集大小和模型层数是影响分类性能的重要因素,实验中尝试使用14层的网络模型结构,以及每类分别为500、1 000、1 500、2 000的样本数量进行训练。这里的网络层数对于CNN和DBN分别指卷积层的数量和隐含层的数量。结果如表 4所示。更多的数据量以及更深的网络层数对分类准确率的影响不大,但CNN网络训练花费的时间相对增加,并且远大于DBN网络的时间,这可能和两个网络的学习机制不同有关。

表 4 不同训练集大小、网络层数的分类结果
Table 4 Classification results based on different dataset sizes and model layers

下载CSV
方法 1层 2层 3层 4层
准确率/% 时间/s 准确率/% 时间/s 准确率/% 时间/s 准确率/% 时间/s
CNN(1 000/类) 91.17 28.2 93.20 81.61 92.98 123.27 93.22 129.78
DBN(1 000/类) 92.50 0.51 92.84 0.57 92.81 0.57 92.47 0.59
方法 500个样本 1 000个样本 1 500个样本 2 000个样本
准确率/% 时间/s 准确率/% 时间/s 准确率/% 时间/s 准确率/% 时间/s
CNN(2层) 90.14 46.18 93.20 81.65 93.55 110.29 93.15 126.57
DBN(2层) 91.43 0.53 92.84 0.57 92.46 0.57 92.81 0.58

卷积操作是CNN模型提取特征的主要学习方式,卷积核大小的设置对模型性能评估起到重要作用。鉴于训练样本尺寸的大小,分别对3×3、5×5、7×7这3种卷积核尺寸进行试验,CNN的分类准确率没有改变。

SAR影像海冰分类呈现的是一些纹理和灰度值差异,而其他大多数图像分类目标则具有明显的形状、纹理、颜色特点,另外SAR影像中冰和水分类相比不同冰型的分类相对容易,所以基于深度学习模型对SAR影像海冰分类的时候,更深的网络层数和更多的训练样本对实验结果影响较小。文中其他的实验CNN选择2个卷积层网络结构,DBN选择2个隐层单元结构,冰和水每类1 000个训练样本来进行模型性能评估。

4.5 误差分析

目前,由于海冰实测数据很难获取,海冰分类没有统一的量化标准,也没有公开的海冰分类数据集,本文使用SVM分类结果以及CIS的冰蛋图作为对比标准,难免会有一些误差需要进一步说明。如3.1节提到的,SVM是像素级的分类效果,对每一个像素的灰度值变化比较敏感,且SAR影像存在固有的斑点噪声,虽然对分类结果进行了滤波处理,但SVM的分类结果只是作为参考,并不能等价海冰冰水分类的真值情况,由此会导致一些实验结果的分析误差。另外,在海冰区域密集度评价标准中的冰蛋图是CIS每周提供,而实验的SAR影像数据是这一周中的某天某一个时间段数据,在海冰融化时期,海冰每天的真实分布可能会与冰蛋图数据有一些出入,这种情况下的实验结果分析也会有误导性。综上,本文的实验分析中忽略了这些误差。

5 结论

本文总结了一套基于深度学习模型的SAR影像海冰分类的完整数据实验流程,并使用CNN和DBN对SAR影像海冰冰水分类进行多方位的性能评价,实验结果表明,这两种模型在SAR影像海冰冰水分类中表现优异。CNN和DBN作为深度学习的两种经典模型,具有不同的学习机制,被广泛应用于SAR影像图像分类任务中[8-11]。由于使用有监督的海冰分类实测数据成本获取巨大,基于半监督或者无监督的海冰分类具有更大的应用前景,而目前这方面的海冰分类研究文献很少。作为DBN的预训练阶段的主要部件受限玻尔兹曼机属于无监督学习,这可能是第4节影响因素讨论中导致CNN和DBN分类表现差异的原因。所以,本文重点以分类精度为指标对CNN和DBN的分类性能进行评价,继而为以后无监督海冰分类提供研究思路。

通过本文两种经典的深度学习模型的性能评估,可以看到深度学习模型在海冰分类上的巨大潜力。对比SVM等一些传统分类方法,基于深度学习的SAR影像海冰分类不必提前设计特征,对不同的SAR数据产品具有更强的鲁棒性和迁移能力;对比CIS冰蛋图的复杂制作流程和粗范围海冰类别标注信息[20],基于深度学习的SAR影像海冰分类方法可以提供更加方便、实时、具体的海冰解译图。由于SAR影像本身的分辨率不同,得到的最佳分类样本尺寸也会不同,通过选取不同来源的SAR影像进行对比研究将会是未来的研究内容;与海冰分类相比,深度学习方法在海冰密集度预测方面的研究较多[14, 19],将更多深度学习方法用于多种海冰类型分类将是下一步研究工作。

参考文献

  • [1] Manore M J, Flett D G, De Abreu R A, et al. Multi-polarization SAR data for operational ice monitoring[C]//Scanning the Present and Resolving the Future. 2001 International Geoscience and Remote Sensing Symposium. Sydney, NSW, Australia, Australia: IEEE, 2001: 1246-1248.[DOI: 10.1109/IGARSS.2001.976807]
  • [2] Moen M A N, Doulgeris A P, Anfinsen S N, et al. Comparison of feature based segmentation of full polarimetric SAR satellite sea ice images with manually drawn ice charts[J]. The Cryosphere, 2013, 7(6): 1693–1705. [DOI:10.5194/tc-7-1693-2013]
  • [3] Ressel R, Singha S, Lehner S, et al. Investigation into different polarimetric features for sea ice classification using X-Band synthetic aperture radar[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(7): 3131–3143. [DOI:10.1109/JSTARS.2016.2539501]
  • [4] Zakhvatkina N, Korosov A, Muckenhuber S, et al. Operational algorithm for ice-water classification on dual-polarized RADARSAT-2 images[J]. The Cryosphere, 2017, 11(1): 33–46. [DOI:10.5194/tc-11-33-2017]
  • [5] Clausi D A, Yue B. Comparing cooccurrence probabilities and Markov random fields for texture analysis of SAR sea ice imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(1): 215–228. [DOI:10.1109/TGRS.2003.817218]
  • [6] Ressel R, Frost A, Lehner S. A neural network-based classification for sea ice types on X-Band SAR images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(7): 3672–3680. [DOI:10.1109/JSTARS.2015.2436993]
  • [7] Sun Z J, Xue L, Xu Y M, et al. Overview of deep learning[J]. Application Research of Computer, 2012, 29(8): 2806–2810. [孙志军, 薛磊, 许阳明, 等. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8): 2806–2810. ] [DOI:10.3969/j.issn.1001-3695.2012.08.002]
  • [8] Lv Q, Dou Y, Niu X, et al. Classification of land cover based on deep belief networks using polarimetric RADARSAT-2 data[C]//Proceedings of 2014 IEEE Geoscience and Remote Sensing Symposium. Quebec City, QC, Canada: IEEE, 2014: 4679-4682.[DOI: 10.1109/IGARSS.2014.6947537]
  • [9] Deng L, Fu S S, Zhang R X. Application of deep belief network in polarimetric SAR image classification[J]. Journal of Image and Graphics, 2016, 21(7): 933–941. [邓磊, 付姗姗, 张儒侠. 深度置信网络在极化SAR图像分类中的应用[J]. 中国图象图形学报, 2016, 21(7): 933–941. ] [DOI:10.11834/jig.20160711]
  • [10] Li J X, Wang C, Wang S G, et al. Classification of very high resolution SAR image based on convolutional neural network[C]//Proceedings of 2017 International Workshop on Remote Sensing with Intelligent Processing. Shanghai, China: IEEE, 2017: 1-4.[DOI: 10.1109/RSIP.2017.7958811]
  • [11] Chen S Z, Wang H P, Xu F, et al. Target Classification Using the Deep Convolutional Networks for SAR Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4806–4817. [DOI:10.1109/TGRS.2016.2551720]
  • [12] Zhang W, Zheng K, Tang P, et al. Land cover classification with features extracted by deep convolutional neural network[J]. Journal of Image and Graphics, 2017, 22(8): 1144–1153. [张伟, 郑柯, 唐娉, 等. 深度卷积神经网络特征提取用于地表覆盖分类初探[J]. 中国图象图形学报, 2017, 22(8): 1144–1153. ] [DOI:10.11834/jig.170139]
  • [13] Zhou M, Shi Z W, Ding H P. Aircraft classification in remote-sensing images using convolutional neural networks[J]. Journal of Image and Graphics, 2017, 22(5): 702–708. [周敏, 史振威, 丁火平. 遥感图像飞机目标分类的卷积神经网络方法[J]. 中国图象图形学报, 2017, 22(5): 702–708. ] [DOI:10.11834/jig.160595]
  • [14] Wang L, Scott K A, Xu L L, et al. Sea ice concentration estimation during melt from dual-pol SAR scenes using deep convolutional neural networks:a case study[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(8): 4524–4533. [DOI:10.1109/TGRS.2016.2543660]
  • [15] Wang L, Scott K A, Clausi D A. Sea ice concentration estimation during freeze-up from SAR imagery using a convolutional neural network[J]. Remote Sensing, 2017, 9(5): 408. [DOI:10.3390/rs9050408]
  • [16] Petrou Z I, Tian Y L. Prediction of sea ice motion with recurrent neural networks[C]//Proceedings of 2017 IEEE International Geoscience and Remote Sensing Symposium. Fort Worth, TX, USA: IEEE, 2017.[DOI: 10.1109/IGARSS.2017.8128230]
  • [17] LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541–551. [DOI:10.1162/neco.1989.1.4.541]
  • [18] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527–1554. [DOI:10.1162/neco.2006.18.7.1527]
  • [19] Chi J, Kim H C. Prediction of arctic sea ice concentration using a fully data driven deep neural network[J]. Remote Sensing, 2017, 9(12): 1305. [DOI:10.3390/rs9121305]
  • [20] Carrieres T, Greenan B, Prinsenberg S, et al. Comparison of Canadian daily ice charts with surface observations off newfoundland, winter 1992[J]. Atmosphere-Ocean, 1996, 34(1): 207–226. [DOI:10.1080/07055900.1996.9649563]