Print

发布时间: 2021-02-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200397
2021 | Volume 26 | Number 2




    学者观点    




  <<上一篇 




  下一篇>> 




RMFS-CNN：遥感图像分类深度学习新框架
expand article info 赵雪梅, 吴军, 陈睿星
桂林电子科技大学电子工程与自动化学院, 桂林 541004
收稿日期: 2020-07-19; 修回日期: 2020-09-15; 预印本日期: 2020-09-22
基金项目: 国家自然科学基金项目（41801233，41761087）；广西自然科学基金项目（2020GXNSFBA159012，2018GXNSFAA160255）；广西科技基地和人才专项项目（桂科AD18281051）；广西自动检测技术与仪器重点实验室项目（YQ20104）
作者简介: 赵雪梅, 1989年生, 女, 副教授, 主要研究方向为信息几何、计算机视觉、深度学习理论及CNN遥感图像分类应用研究。E-mail:zhaoxm@guet.edu.cn;
吴军, 通信作者, 男, 教授, 博士生导师, 主要研究方向为数字摄影测量、计算机视觉及光电信息处理。E-mail:wujun93161@163.com;
陈睿星, 男, 博士研究生, 主要研究方向为深度学习决策系统构建及其图像匹配、目标识别应用。E-mail:291750365@qq.com
中图法分类号: TP751
文献标识码: A
文章编号: 1006-8961(2021)02-0297-08

摘要

现有卷积神经网络（convolutional neural network，CNN）利用卷积层和激活函数的叠加，构建复杂非线性函数拟合输入数据到输出标签的转换关系，这种端到端的学习方式严重影响了CNN特征图与先验知识的融合，导致其对训练样本数量和质量敏感，同时增加了CNN特征图可解释性难度。本文从深度学习建模方式角度出发，以遥感图像特征表达及其可解释性为切入点，搭建传统遥感图像先验知识与CNN的桥梁，分析阐述了黎曼流形特征空间（Riemannian manifold feature space，RMFS）对CNN可解释性、特征演化规律等方面的促进作用；提出融合CNN与RMFS构建RMFS-CNN遥感图像分类新框架，以RMFS为特征过渡平台，一方面利用其线性特征分布规律降低CNN对传统图像特征的学习难度，另一方面定义能够突显图像先验知识的表达范式，提高CNN对可解释性特征的学习能力，以达到利用RMFS对先验知识（特征）表达的优异性能提高CNN遥感图像分类特征利用效率的目的；以RMFS特征表达范式为基础定义控制CNN特征学习偏好的损失函数，进而发展具有良好特征解释性的CNN分类模型及可控的模型训练方法；最后指出构建RMFS-CNN分类框架的可行性及该框架对遥感图像分类和深度学习理论发展方面的理论贡献与应用价值。

关键词

遥感图像分类; 深度学习; 卷积神经网络; 黎曼流形特征空间; 特征表达; 特征定制; 模型训练

RMFS-CNN: new deep learning framework for remote sensing image classification
expand article info Zhao Xuemei, Wu Jun, Chen Ruixing
School of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China
Supported by: National Natural Science Foundation of China(41801233, 41761087)

Abstract

Traditional convolutional neural networks (CNNs) use convolutional layers and activation functions to achieve nonlinear transformation from input images to output labels. The end-to-end training method is convenient, but it seriously hinders the introduction of prior knowledge regarding remote sensing images, leading to high dependency on the quality and quantity of training samples. The trained parameters of CNNs are used to extract features from input images. However, these features cannot be interpreted. That is, the learning process and the learned features are uninterpretable, further increasing dependency on training samples. Restricted by an end-to-end training method, traditional CNNs can only learn general features from the training set, while the learned general features are difficult to transfer to another training set. At present, CNNs can be used on multiple tasks if the model is trained using a target training set. However, improving training accuracy on a finite training set is an extremely difficult task. Traditional CNNs cannot correlate the features contained in the input data and the requirements of certain applications. In addition, loss functions that can be used in certain applications are limited. Among which, some loss functions can only describe the difference between the predicted results and the corresponding labels. In such case, the network will sacrifice the disadvantaged classes to ensure global optimum, resulting in the loss of detailed information.CNNs construct a complex nonlinear function to transfer input images to output labels. The features learned by CNNs cannot be understood and are also difficult to be merged with other features in an explainable manner. By contrast, artificial features can reflect some aspects of information of an image, and the information contained in artificial features is meaningful, i.e., it can be used in most images. Artificial features can be considered prior knowledge that describes the empirical understanding of images. They cannot fully express the information contained in an image. Consequently, combining the advantages of CNNs and prior knowledge is efficient for learning essential features from images. Riemannian manifold feature space (RMFS) exhibits a powerful feature expression capability, through which the spectral and spatial features of an image can be unified. To benefit from CNNs and RMFS, this study analyzes the contribution of RMFS to the interpretability of CNNs and the corresponding evolution of image features from the perspective of CNN modeling and remote sensing image feature representation. Then, an RMFS-CNN classification framework is proposed to bridge the gap between CNNs and prior knowledge of remote sensing images. First, this study proposes using CNNs instead of traditional mathematical transformations to map the original remote sensing image onto points in RMFS. Mapping via CNNs can overcome the effects of neighboring sizes and modeling methods, improving the feature expression capability of RMFS. Second, the features learned via RMFS-CNN can be customized in RMFS to highlight specific information that can benefit certain applications. Furthermore, the customized features can also be used to design a rule-driven data perceptron on the basis of their interpretability and evolutions. Finally, new RMFS-CNN models based on the rule-driven data perceptron can be proposed. Considering the feature expression capability of RMFS, the proposed RMFS-CNN models will outperform traditional models in terms of learning capability and the stability of learned features. New loss functions, which can control the training process of RMFS-CNN models, can be developed by combining the customized features in RMFS. In general, the proposed RMFS-CNN framework can bridge the gap between remote sensing prior knowledge and CNN models. Its advantages are as follows. 1) Points in RMFS are interpretable due to the excellent feature expression capability of RMFS and the one-to-one correspondence between points in RMFS and pixels in the image domain. Therefore, RMFS can connect remote sensing prior knowledge and the learning capability of CNNs. The use of CNNs to learn specific information from remote sensing prior knowledge is efficient on the one hand, and it can ensure the stability of learned features on the other hand. Consequently, the dependency of CNNs on the quality and quantity of training samples can be reduced. 2) Points in RMFS contain the spectral features of corresponding pixels and spatial connections in the neighborhood system. Pixels representing the same object in the image domain are subject to a linear distribution when mapped onto RMFS. On the basis of these characteristics, RMFS can provide a platform for the interpretable features of remote sensing images. Under the premise of knowing the physical meaning and corresponding distribution of remote sensing images in RMFS, data-driven convolution can be converted into rule-driven data perceptron to improve the learning capability of RMFS-CNN models. The learning process and corresponding learned features can be interpreted using the rule-driven data perceptron. 3) RMFS exhibits another interesting distribution characteristic. Data points that represent the main body of an object construct a linear distribution, whereas data points that represent the edge of the object are randomly distributed in areas far from the linear distribution. This distribution characteristic enables RMFS to express different features of an object separately. Accordingly, features conducive to certain applications can be customized in RMFS and then abstracted by following the rule-driven data perceptron. With their feature customization capability, RMFS-CNN models can be refined in accordance to their input data and applications. 4) The RMFS-CNN framework can express the interpretable features of remote sensing images. These features can then be customized to adapt to the input data and the corresponding applications. The customized features contain useful information for a certain application, which can be used to define a constraint on the loss function to control the training process of RMFS-CNN models. Given that the constraint can force the network to learn features beneficial for the target application, two advantages are implemented: learning favorable features for a certain application can improve the training accuracy of a network on the one hand, and the interpretability of the learned features can be maintained on the other hand. Consequently, the trained network is easier to transfer compared with that of traditional CNNs.

Key words

remote sensing image classification; deep learning; convolutional neural network(CNN); Riemannian manifold feature space (RMFS); feature representation; feature customization; model training

0 引言

图像分类是遥感图像处理的重要环节(Khatami等，2016；Liu等，2018)。传统遥感图像分类算法主要利用少量人工标记样本构建分类器模型，故其应用效果除与模型约束条件密切相关外，很大程度上还受人工特征选择影响(Belgiu和Drǎguţ，2016；Ravì等，2016)。受当前模式认知和知识表达水平的限制，人工特征选择的充分性、必要性以及准确性都难以保证，使得传统分类模型适用范围有限，尤其是大尺度地表覆盖分类产品的获取，因广泛采用分区建模方式而普遍存在区域模型精度不一致等问题(Chen等，2015)。随着航空和卫星传感器的发展，遥感图像呈现出海量、多源和多尺度特征，地物信息获取更加丰富完整，在为地物分类的可靠性提升及其产品应用范围拓展奠定良好数据基础的同时，也对分类算法设计及其特征表达、演化和运用模式等各方面提出了新的要求，亟待建立新的遥感图像分类框架。

深度学习的飞速发展为图像分类、识别等问题研究提供了新的思路。卷积神经网络(convolutional neural network, CNN)首先利用卷积核构建邻域模型提取目标上下文信息，再利用大量标记样本训练网络模型参数，极大程度增强了对图像目标不同类型特征的适应能力，在海量、多源和多尺度遥感图像分类应用方面较传统分类算法优势显著。然而，受限于CNN自身特征表达的可解释性，CNN遥感图像分类仍然存在以下问题：

1) CNN利用卷积层叠加来模拟输入数据到输出标签的转换关系，再通过端到端的训练方法获取卷积核最优参数，虽然能实现图像特征的自主学习，但现有网络模型构建方式和训练方法严重阻碍了遥感图像先验知识的引入，导致模型精度主要取决于训练样本数量和质量。

2) CNN通过训练得到的最优卷积核参数提取图像特征，但通过训练得到的卷积核参数往往没有明确的物理意义，提取的抽象图像特征难以直观理解，致使网络模型特征学习过程及提取到的图像特征均不具备可解释性。

3) 现有CNN模型具有较强的特征提取和抽象能力，但不同应用目标所需的遥感图像特征具有鲜明的差异性，经典的网络模型框架难以有效关联图像蕴含的特征及不同应用对特征表达的需求，无法实现精细化的特征学习。

4) 现有CNN模型用来描述网络输出结果与标签样本相似性的通用损失函数，不具备凸显图像某一方面特征的能力，当训练样本并非完美时，网络模型会牺牲劣势样本部分特征以尽可能保证全局最优性，严重影响了网络模型对图像可解释性特征的学习能力及其泛化迁移能力。

本文从深度学习建模方式角度出发，简要回顾CNN遥感图像分类应用现状及面临的困境，进而以遥感图像特征表达及其可解释性为切入点，分析阐述了黎曼流形特征空间(Riemannian manifold feature space, RMFS)构建对CNN可解释性和特征演化规律等方面的促进作用，最后指出构建RMFS-CNN分类框架的可行性及该框架对遥感图像分类、深度学习理论发展方面的理论贡献与应用价值。

1 CNN遥感图像分类

CNN通过卷积和激活函数的组合构建复杂的非线性函数，再利用大量样本训练网络模型获取最优参数(Shi等，2017；Gordo等，2017；Wang等，2019)。按应用的卷积模型结构，CNN遥感图像可分为3类：像素CNN模型、图像块CNN模型和全卷积CNN模型。

像素CNN模型以单像素为学习对象，利用1维卷积抽象像素特征并输出对应像素的标签。Zhong等人(2019)对比了像素CNN、LSTM (long short-term memory)、GBoost、随机森林和支持向量机等5种模型的分类精度，指出像素CNN模型明显高于其他算法，但该模型只能学习像素自身光谱特征，无法充分利用邻域像素相关性，导致像素CNN模型对噪声和异常值敏感。

图像块CNN模型以图像块作为网络输入，利用2D卷积学习图像块中心像素特征，输出图像块标签并将其视为中心像素标签。相比于像素CNN模型，图像块CNN模型能兼顾邻域像素对中心像素的影响，其鲁棒性因图像局部信息学习而得以大幅增强。Kussul等人(2017)分别构建像素CNN模型、图像块CNN模型并应用于Landsat图像，分类结果验证了后者的有效性；与Kussul等人(2017)的工作类似，Yoo等人(2019)和Shang等人(2020)通过加深网络层数方式构建基于图像块的多层CNN模型，进一步提高了遥感图像分类精度。然而，图像块CNN模型建立在图像块内所有像素具有相同标号的假设上，网络模型只能输出图像块中心像素标号，易导致分类结果出现“马赛克”现象。

全卷积CNN模型用卷积层代替全连接层，一方面解决了全连接网络模型需固定输入图像尺寸的问题，另一方面由于能逐像素地输出图像对应标签，成功解决了图像块CNN模型分类结果中的“马赛克”问题，且由于不再需要同质区域标号一致性等模型假设，有效提高了图像分类精度。Poliyapram等人(2019)采用简化U-Net模型训练遥感图像，甚至取得了较原始U-Net模型更高精度的分类结果。尽管全卷积CNN模型在遥感图像分类中取得了阶段性的研究成果(Chai等，2019)，但网络模型的构建和应用没有明确的理论支撑，不符合计算机视觉领域中“在一定层数范围内，网络模型越深，分类精度越高”的一般规律(He等，2016)。究其原因，一方面，CNN的不可解释性导致难以从理论上分析产生该现象的原因，只能通过实验试错的方式经验性地提高模型精度；另一方面，不同研究者用于训练网络的数据源不同，面向实际应用的遥感图像分类普遍存在训练样本数量不足和精度不高等问题(刘颖等，2020)。Zhao等人(2019a)验证了样本质量对CNN模型特征学习能力的影响，结果表明样本质量对最终分类精度的影响高于网络模型对最终分类精度的影响，这就意味着，基于经验改进网络模型结构虽然在部分数据集上表现优异，但在不同数据集上的应用效果不可预测。端到端的网络模型结构在方便数据处理的同时，严重阻碍了遥感图像先验知识与CNN的融合，且其特征学习的不可解释性使得图像特征和应用需求难以有机结合，进一步导致网络特征学习及训练过程的不可控性(Zhao等，2019b)。

理论上，当训练样本满足独立同分布条件时，基于统计学习的网络模型将具有良好的训练效果与较高的训练精度，但完美训练样本的获取十分困难。Reichstein等人(2019)和张兵(2018)认为目前遥感图像分类发展趋势之一是将遥感图像先验知识与深度学习框架融合，但鲜见有较强理论基础的成果公开发表。本文认为，关于目标(或任务)的先验知识一定程度上体现了其观测(样本)数据的某种统计分布特性，而将作为遥感图像先验知识有效表达范式的图像特征，尤其是具有可解释性及内在演化能力的遥感图像特征与CNN深度学习框架相结合，无疑将极大程度地提高CNN对遥感图像数据的利用效率，进而能简化网络模型结构并降低模型计算资源要求，最终实现提高遥感图像分类速度与精度的目的。

2 RMFS图像特征空间

如何充分挖掘图像蕴含的内在信息，将图像隐含信息显式地表达为易于理解和应用的形式(特征)，是融合CNN与遥感图像先验知识，提高CNN对遥感图像特征利用效率的关键。传统遥感图像分类主要以不同波段为坐标轴，基于笛卡儿坐标系构建光谱特征空间(丁建丽等，2014)。该空间中，辐射度相似(近)的像素自然聚集(刘英等，2013)，但不同类型目标间的像素重叠现象明显，尤其是对遥感图像中“同物异谱”、“同谱异物”现象，导致像素可分性较差。将遥感图像映射到高维空间是提高像素可分性的一种有效方式，其代表是利用核函数实现低维图像到高维特征空间隐式映射的支持向量机(Maulik和Chakraborty，2013)。不足之处在于，高维特征空间无法实现图像特征的显式表达，且基于像素的核函数映射也无法构建邻域像素相关性(周建伟和吴一全，2020)。

可以认为，传统图像特征空间的核心是像素的物理意义，主要通过将图像像素映射到光谱特征空间的方式实现图像特征的显式表达，多基于欧氏空间构建。流形是一个带有坐标系统的集合(Seung和Lee，2000)，集合中元素大多通过概率分布、线性子空间等定义，所有元素构成一个光滑曲面。黎曼流形是能够用黎曼测度度量、具有对偶仿射变换等性质的流形，是3维空间的2维曲面(Simons，1968)。黎曼流形曲面表达具有与欧氏空间截然不同的几何特性，能够从不同角度表达数据特征，为传统图像特征表达提供了新的思路(Amari和Nagaoka，2000)。Bąk等人(2012)基于黎曼流形的几何特性定义一种新的度量，用于衡量面向某一个体的、不同设备(时间)采集图像间的相似性；Goh和Vidal (2008)将欧氏空间的局部非线性降维算法拓展到黎曼流形，显著提高了该算法对数据特征的表达能力；Lin和Zha(2008)将传统降维问题转化成黎曼流形上的分类问题，进而利用流形上的几何信息提高数据的降维效果。总体上，通过研究黎曼流形的几何结构，能够探索欧氏空间无法直观表达的图像特征，从而有利于解决传统欧氏空间无法解决的图像处理问题(Pelletier，2005；王瑞霞和彭国华，2017)，主要表现在：1)欧氏空间的算法可以拓展应用到黎曼流形，以提高其对图像特征的学习、表达能力；2)通过数据映射可将欧氏空间原始问题转换为黎曼流形上的其他问题以降低其难度。Zhao等人(2020)结合遥感图像光谱统计特性先验知识与黎曼流形技术进行像素邻域系统特征建模，将基于高斯分布的图像特征映射到黎曼流形，并以黎曼流形测地线代替欧氏空间度量，显著提高了对遥感图像不同类型地物目标的区分能力。这是一种值得借鉴的研究思路。

流形学习是基于流形结构及其几何特征探索图像本质信息的重要方式(Sammon，1969)，主要包括Isomap(isometric mapping)(Tenenbaum等，2000)，LLE(local linear embedding)(Roweis和Saul，2000)和LE(Laplacian eigenmaps)(Belkin和Niyogi，2003)等方法，其目标是探索高维数据的低维嵌入表达，主要通过构建图模型描述流形上数据点的相关性，以便进一步挖掘数据内在的分布规律。将流形学习算法与遥感图像处理应用相结合已成为研究热点。但低维流形嵌入是隐含式的，并不具备显式表达图像可解释性特征的能力，且对流形几何特征的利用效率偏低(van der Maaten等，2009)。Dong和Kuang(2015)利用协方差描述图像特征并将其映射到黎曼流形空间，充分利用黎曼流形空间中的数据可分性，实现图像分类目的。Wu等人(2015)在图像特征协方差的黎曼流形表达基础上，进一步构建流形核函数进行Hilbert空间映射，并利用该空间高维数据可分性强的性质提高图像分类精度，但此类直接处理图像特征协方差的流形学习方式同样不具有可解释性。赵雪梅等人(2017)在满足全局和局部一致性假设的前提下，构建黎曼流形特征空间(RMFS)，实现图像特征在RMFS中的显式表达，其数据点与图像域像素点一一对应。在此基础上，Zhao等人(2019c)研究发现遥感图像同一类型目标像素在RMFS中大体呈过原点的线性分布，这表明RMFS能够将传统欧氏空间的非线性图像分割问题转化为线性运算问题，有效降低数据处理难度，并提高遥感图像分类精度。初步研究表明，RMFS具有极其优异的图像特征表达能力，其特征表达的可解释性及数据分布规律能够有效凸显图像的某一方面或某几方面特征。本文认为，可利用RMFS中的图像特征可解释性及内在演化能力(线性可分性)来提升CNN遥感图像分类性能。1)研究采用CNN代替现有明确的数学变换，将原始遥感图像映射到RMFS，既提高RMFS特征表达能力，又弥补传统数学建模受限于图像域邻域尺度及建模方法之不足；2)利用RMFS特征表达优势，结合数据特点和应用需求凸显图像某一方面特征，实现数据—应用导向的特征定制，并以该定制特征的可解释性及其演化规律为基础，设计面向规则的数据感知方法，进一步提高RMFS特征转化效率；3)基于面向规则的数据感知方法，定义新的CNN模型，以提高网络模型特征学习能力并保障特征学习的稳定性，同时结合RMFS定制特征，设计关联图像特征和应用需求的损失函数，实现CNN训练的可控性。总体而言，可利用RMFS搭建图像先验知识与CNN的桥梁和纽带，构建适用于多尺度、多源和海量遥感数据的RMFS-CNN图像分类新框架，其优势主要体现在：

1) RMFS固有的图像特征表达能力及其数据点与图像域像素一一对应的优良特性，使得RMFS数据点具备明确的可解释性。故以RMFS图像特征表达为基础，可搭建CNN与图像先验知识的桥梁，并利用CNN学习图像中的可解释性特征，一方面能提高网络模型对图像特征的利用效率，另一方面能保障CNN所学特征的稳定性，从而削弱其对训练样本数量和质量的依赖性。

2) RMFS不但能表达图像域像素自身的光谱特征，还蕴含其空间邻域特征，且蕴含的空谱信息的数据点在RMFS上大体呈线性分布。在RMFS-CNN分类框架下，RMFS提供了一个遥感图像可解释性特征表达的平台，在已知RMFS数据物理意义及对应结构特征的前提下，可将传统基于卷积的数据特征学习模式转化为面向规则的数据感知方法，进一步提高遥感图像特征的学习能力及其学习过程和所学特征的可解释性，为构建更加精确的网络模型及训练方法提供理论基础。

3) RMFS表征目标主体的数据点构成其线性分布主体，而表征目标边缘的数据点离散分布于远离线性分布主体的区域，使得RMFS数据不同类型特征具备较强的可分离性。在RMFS特征表达规律及其可解释性的基础上，以数据—应用为导向构建面向特征定制的网络模型，能够有效关联图像特征和应用需求，进而可结合面向规则的数据感知理论发展精细化的网络模型构建方法。

4) 基于RMFS-CNN分类框架具有的特征定制能力及RMFS的特征可解释性，可设计有效凸显图像特征并同时关联应用需求的损失函数，以利于增强训练过程中网络模型对某一个或某几个特征的学习偏好，迫使模型学习有利于目标应用的图像特征，一方面能够提高网络模型训练精度，另一方面还能够保证特征学习结果的可解释性，从而提高网络模型的泛化迁移能力。

3 结语

CNN应用于遥感图像分类无需人工选取图像特征，但缺少先验知识约束导致其严重依赖训练样本；基于图像先验知识的分类器无法完备地描述图像特征，致使相关经验模型普适性较差，二者具有明显的互补性。以遥感图像特征表达及其可解释性为切入点，本文提出的RMFS-CNN分类框架实质上是以RMFS搭建遥感先验知识与CNN的桥梁，利用RMFS对先验知识(特征)表达的优异性能，提高CNN遥感图像分类特征的利用效率，控制CNN的特征学习偏好，以期突破现有CNN遥感图像分类技术瓶颈，改善遥感图像分类速度和精度。RMFS构建不要求输入数据规则排列，且能同时对数据空间和光谱特征进行建模，故RMFS-CNN分类框架不仅能应用于多光谱、高光谱等规则排列的遥感图像，还可处理Lidar点云等不规则排列数据，对于多尺度、多源遥感数据分类、分析方法研究及其应用领域拓展具有重要意义。目前，采用传统数学方法构建RMFS图像特征空间无需训练数据，但RMFS-CNN分类框架仍需要训练数据才能学习图像特征，关于该框架下的图像特征表达、学习机制、机理及网络模型构建、训练方式及方法尚处于初步探索阶段，存在以下问题有待深入研究：

1) 邻域系统特征建模。准确描述目标局部信息及上、下文信息是图像特征表达的基础。目前RMFS主要利用高斯分布描述图像邻域光谱特征，但这种图像邻域表达方式并非唯一；此外，不同图像邻域系统下，遥感图像数据映射到黎曼流形中目标地物的空间统计分布特性也有待系统、深入地归纳总结与比较分析。

2) CNN特征学习。现有CNN主要通过全连接、卷积操作等方式学习图像特征，但全连接应用于图像数据缺乏实际物理意义且参数量大，卷积操作只能应用于规则图像数据且无法改变图模型结构和尺寸。而新兴的GCN(graph convolutional network)虽然能用于不规则数据，但受限于其图结构变化能力，难以应用于大尺度数据。借助于RMFS-CNN框架开展面向规则的CNN特征学习模式不仅有助于理解CNN特征演化规律，提高学习效率，也可建立更为灵活的输入数据到输出数据转换关系，是改善CNN模型学习性能值得关注的研究方向。

3) RMFS-CNN框架下的模型构建与训练。以数据—应用为导向，可基于RMFS数据特征表达规律及其可解释性构建面向特征定制的CNN模型，研究能够强化网络特征学习偏好的损失函数，从而发展形成可控的、精细化的网络模型构建和训练方法。深入挖掘基于RMFS的特征定制及应用需求关联关系是提高CNN网络模型构建精度、训练过程可控性及推进精细化网络发展的关键。

参考文献

  • Amari S and Nagaoka H. 2000. Methods of Information Geometry. Providence: American Mathematical Society
  • Bąk S, Corvée E, Brémond F, Thonnat M. 2012. Boosted human reidentification using Riemannian manifolds. Image and Vision Computing, 30(6/7): 443-452 [DOI:10.1016/j.imavis.2011.08.008]
  • Belgiu M, Drǎguţ L. 2016. Random forest in remote sensing: a review of applications and future directions. ISPRS Journal of Photogrammetry and Remote Sensing, 114: 24-31 [DOI:10.1016/j.isprsjprs.2016.01.011]
  • Belkin M, Niyogi P. 2003. Laplacian eigenmaps for dimensionality reduction and data representation. Neural Computation, 15(6): 1373-1396 [DOI:10.1162/089976603321780317]
  • Chai D F, Newsam S, Zhang H K, Qiu Y F, Huang J F. 2019. Cloud and cloud shadow detection in Landsat imagery based on deep convolutional neural networks. Remote Sensing of Environment, 225: 307-316 [DOI:10.1016/j.rse.2019.03.007]
  • Chen J, Chen J, Liao A P, Cao X, Chen L J, Chen X H, He C Y, Han G, Peng S, Lu M, Zhang W W, Tong X H, Mills J. 2015. Global land cover mapping at 30 m resolution: a POK-based operational approach. ISPRS Journal of Photogrammetry and Remote Sensing, 103: 7-27 [DOI:10.1016/j.isprsjprs.2014.09.002]
  • Ding J L, Yao Y, Wang F. 2014. Detecting soil salinization in arid regions using spectral feature space derived from remote sensing data. Acta Ecologica Sinica, 34(16): 4620-4631 (丁建丽, 姚远, 王飞. 2014. 干旱区土壤盐渍化特征空间建模. 生态学报, 34(16): 4620-4631) [DOI:10.5846/stxb201212291895]
  • Dong G G, Kuang G Y. 2015. Target recognition in SAR images via classification on Riemannian manifolds. IEEE Geoscience and Remote Sensing Letters, 12(1): 199-203 [DOI:10.1109/LGRS.2014.2332076]
  • Goh A and Vidal R. 2008. Clustering and dimensionality reduction on Riemannian manifolds//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA: IEEE: 1-7[DOI: 10.1109/CVPR.2008.4587422]
  • Gordo A, Almazán J, Revaud J, Larlus D. 2017. End-to-end learning of deep visual representations for image retrieval. International Journal of Computer Vision, 124(2): 237-254 [DOI:10.1007/s11263-017-1016-8]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
  • Khatami R, Mountrakis G, Stehman S V. 2016. A meta-analysis of remote sensing research on supervised pixel-based land-cover image classification processes: general guidelines for practitioners and future research. Remote Sensing of Environment, 177: 89-100
  • Kussul N, Lavreniuk M, Skakun S, Shelestov A. 2017. Deep learning classification of land cover and crop types using remote sensing data. IEEE Geoscience and Remote Sensing Letters, 14(5): 778-782 [DOI:10.1109/LGRS.2017.2681128]
  • Lin T, Zha H B. 2008. Riemannian manifold learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(5): 796-809 [DOI:10.1109/TPAMI.2007.70735]
  • Liu N, Wan L H, Zhang Y, Zhou T, Huo H, Fang T. 2018. Exploiting convolutional neural networks with deeply local description for remote sensing image classification. IEEE Access, 6: 11215-11228 [DOI:10.1109/ACCESS.2018.2798799]
  • Liu Y, Lei Y B, Fan J L, Wang F P, Gong Y C and Tian Q. 2020. Survey on image classification technology based on small sample learning[EB/OL].[2020-07-04]. https://kns.cnki.net/kcms/detail/detail.aspx?doi=10.16383/j.aas.c190720 (刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 2020.基于小样本学习的图像分类技术综述[EB/OL].[2020-07-04]. https://kns.cnki.net/kcms/detail/detail.aspx?doi=10.16383/j.aas.c190720)
  • Liu Y, Wu L X, Ma B D. 2013. Remote sensing monitoring of soil moisture on the basis of TM/ETM+ spectral space. Journal of China University of Mining and Technology, 42(2): 296-301 (刘英, 吴立新, 马保东. 2013. 基于TM/ETM+光谱特征空间的土壤湿度遥感监测. 中国矿业大学学报, 42(2): 296-301) [DOI:10.13247/j.cnki.jcumt.2013.02.022]
  • Maulik U, Chakraborty D. 2013. Learning with transductive SVM for semisupervised pixel classification of remote sensing imagery. ISPRS Journal of Photogrammetry and Remote Sensing, 77: 66-78 [DOI:10.1016/j.isprsjprs.2012.12.003]
  • Pelletier B. 2005. Kernel density estimation on Riemannian manifolds. Statistics and Probability Letters, 73(3): 297-304 [DOI:10.1016/j.spl.2005.04.004]
  • Poliyapram V, Imamoglu N and Nakamura R. 2019. Deep learning model for water/ice/land classification using large-scale medium resolution satellite images//Proceedings of 2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama, Japan: IEEE: 3884-3887[DOI: 10.1109/IGARSS.2019.8900323]
  • Ravì D, Bober M, Farinella G M, Guarnera M, Battiato S. 2016. Semantic segmentation of images exploiting DCT based features and random forest. Pattern Recognition, 52: 260-273 [DOI:10.1016/j.patcog.2015.10.021]
  • Reichstein M, Camps-Valls G, Stevens B, Jung M, Denzler J, Carvalhais N, Prabhat. 2019. Deep learning and process understanding for data-driven earth system science. Nature, 566(7743): 195-204 [DOI:10.1038/s41586-019-0912-1]
  • Roweis S T, Saul L K. 2000. Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500): 2323-2326 [DOI:10.1126/science.290.5500.2323]
  • Sammon J W. 1969. A nonlinear mapping for data structure analysis. IEEE Transactions on Computers, C-18(5): 401-409 [DOI:10.1109/T-C.1969.222678]
  • Seung H S, Lee D D. 2000. The manifold ways of perception. Science, 290(5500): 2268-2269 [DOI:10.1126/science.290.5500.2268]
  • Shang R H, He J H, Wang J M, Xu K M, Jiao L C, Stolkin R. 2020. Dense connection and depthwise separable convolution based CNN for polarimetric SAR image classification. Knowledge-Based Systems, 194: #105542 [DOI:10.1016/j.knosys.2020.105542]
  • Shi B G, Bai X, Yao C. 2017. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(11): 2298-2304 [DOI:10.1109/TPAMI.2016.2646371]
  • Simons J. 1968. Minimal varieties in Riemannian manifolds. Annals of Mathematics, 88(1): 62-105 [DOI:10.2307/1970556]
  • Tenenbaum J B, de Silva V, Langford J C. 2000. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500): 2319-2323 [DOI:10.1126/science.290.5500.2319]
  • van der Maaten L, Postma E and van den Herik H J. 2009. Dimensionality Reduction: A Comparative Review. TiCC TR 2009-005[s.n.]
  • Wang Q, Yuan Z H, Du Q, Li X L. 2019. GETNET: a general end-to-end 2-D CNN framework for hyperspectral image change detection. IEEE Transactions on Geoscience and Remote Sensing, 57(1): 3-13 [DOI:10.1109/TGRS.2018.2849692]
  • Wang R X, Peng G H. 2017. An image retrieval method with sparse coding based on Riemannian manifold. Acta Automatica Sinica, 43(5): 778-788 (王瑞霞, 彭国华. 2017. 基于黎曼流形稀疏编码的图像检索算法. 自动化学报, 43(5): 778-788) [DOI:10.16383/j.aas.2017.c150838]
  • Wu Y W, Jia Y D, Li P H, Zhang J, Yuan J S. 2015. Manifold kernel sparse representation of symmetric positive-definite matrices and its applications. IEEE Transactions on Image Processing, 24(11): 3729-3741 [DOI:10.1109/TIP.2015.2451953]
  • Yoo C, Han D, Im J, Bechtel B. 2019. Comparison between convolutional neural networks and random forest for local climate zone classification in mega urban areas using Landsat images. ISPRS Journal of Photogrammetry and Remote Sensing, 157: 155-170 [DOI:10.1016/j.isprsjprs.2019.09.009]
  • Zhang B. 2018. A survey of developments on optical remote sensing information technology and applications. Journal of Nanjing University of Information Science and Technology (Natural Science Edition), 10(1): 1-5 (张兵. 2018. 光学遥感信息技术与应用研究综述. 南京信息工程大学学报(自然科学版), 10(1): 1-5) [DOI:10.13878/j.cnki.jnuist.2018.01.001]
  • Zhao X M, Gao L R, Chen Z C, Zhang B, Liao W Z. 2019a. Large-scale Landsat image classification based on deep learning methods. APSIPA Transactions on Signal and Information Processing, 8: e26 [DOI:10.1017/ATSIP.2019.18]
  • Zhao X M, Gao L R, Chen Z C, Zhang B, Liao W Z, Yang X. 2019b. An entropy and MRF model-based CNN for large-scale Landsat image classification. IEEE Geoscience and Remote Sensing Letters, 16(7): 1145-1149 [DOI:10.1109/LGRS.2019.2890996]
  • Zhao X M, Li Y, Wang H J. 2019c. Manifold based on neighbour mapping and its projection for remote sensing image segmentation. International Journal of Remote Sensing, 40(24): 9304-9320 [DOI:10.1080/01431161.2019.1629718]
  • Zhao X M, Li Y, Zhao Q H. 2017. Unsupervised remote sensing image segmentation based on data sampling. Journal of Remote Sensing, 21(5): 767-775 (赵雪梅, 李玉, 赵泉华. 2017. 观测数据采样化的遥感影像非监督分割. 遥感学报, 21(5): 767-775) [DOI:10.11834/jrs.20176410]
  • Zhao X M, Wang H J, Wu J, Li Y, Zhao S J. 2020. Remote sensing image segmentation using geodesic-kernel functions and multi-feature spaces. Pattern Recognition, 104: #107333 [DOI:10.1016/j.patcog.2020.107333]
  • Zhong L H, Hu L N, Zhou H. 2019. Deep learning based multi-temporal crop classification. Remote Sensing of Environment, 221: 430-443 [DOI:10.1016/j.rse.2018.11.032]
  • Zhou J W, Wu Y Q. 2020. Building area recognition method of remote sensing image based on MRELBP feature, Franklin moment and SVM. Acta Geodaetica et Cartographica Sinica, 49(3): 355-364 (周建伟, 吴一全. 2020. MRELBP特征、Franklin矩和SVM相结合的遥感图像建筑物识别方法. 测绘学报, 49(3): 355-364) [DOI:10.11947/j.AGCS.2020.20190073]