0 引言

随着遥感技术的发展，遥感数据也向高光谱分辨率、高空间分辨率和高时间分辨率的方向发展。日益强大的对地观测网络提供着PB级遥感数据, 具有高量级(volume)，多变性(velocity)，多样化(variety)和不确定性(veracity)4V的特点^[1]，如图 1。作为采集分析地球数据及其变化的重要技术手段，遥感技术被广泛用于气候研究、环境监测、军事侦查、和国土资源等领域^[2-5]。其中地物识别与分类是遥感技术的一项重要内容。一般来讲，针对分类任务，遥感技术所面临的主要问题：一是数据特征的可分性无法保障；二是标记实例数目有限。不同类型的遥感影像分类也具有不同的特点，如高光谱遥感影像，光谱特征冗余以及同谱异物和同物异谱的现象也是其分类任务中面临的巨大挑战，而对于高分辨率遥感影像，其空间特征的连续性和有效性也决定着分类结果的好坏。

图 1 “大数据”下的遥感对地观测技术新模式

Fig. 1 A new model of remote sensing earth observation technology based on big data

从原始的目视解译方法到根据海量遥感影像分类问题引入的模式识别方法如最大似然法、最小距离法、KNN(K-nearest neighbor)算法等，再到后来针对大量细节信息和光谱复杂化引入的ANN(artificial neural network)、SVM (support vector machine)、遗传算法和面向对象等算法，可以看出与日俱增的海量遥感影像推动着遥感图像处理算法的进步。在遥感技术进入数据密集型研究的今天^[2]，更加智能的计算技术和方法亟需被引入。

1 深度学习简介

自2012年Krizhevsky等人建立AlexNet^[6]以远超传统方法的成绩折桂ILSVRC图像分析大赛以来，深度学习开始在各个领域引发研究热潮。传统的模式识别算法往往通过分而治之的思想将图像识别问题划分为特征提取和选择、分类器设计等步骤，这种大而化简的解决思路虽可以将问题分解为若干可控的子问题，同时也会出现子问题最优解无法收敛于全局最优解，即使是最好的专家也不会总是可以完美地融合特征分类方法和分类器的设计。深度学习提供的“端到端”学习模式可以将学习流程进行整合，从原始数据到任务结果输出为一个整体，最后学习到的模型为原始数据到期望输出的映射，可以说深度学习是机器学习中一种基于大规模数据的表征学习算法。得益于整体性优化特性，深度学习在RGB自然影像上取得了瞩目的效果。相比起“Handcrafted”的解决思路，这种结合数据结构表征学习与任务的问题求解方式更加适合于遥感图像的分类识别任务。众多学者通过依托张量运算的形式高效地解决了结合深度学习的遥感影像地物分类识别问题^[7-8]。同时一些成熟的深度学习平台也促进了深度学习在遥感图像处理的研究过程。表 1为比较常用的深度学习平台介绍(部分基于张量运算设计)。

表 1 深度学习平台汇总
Table 1 Summary of deep learning platforms

下载CSV

工具	特点	网站
PyTorch	发布至1.0版本，支持C++与Python接口，融入Caffe2框架	https://pytorch.org/
TensorFlow	发布至2.0 Alpha版本，支持C、R、Python等，简化部署流程，可支持TPU，轻量版本可布设在移动或嵌入式设备中	https://tensorflow.google.cn/
Theano	发布1.0.0版本，支持C与Python接口，偏底层，使用推广日渐式微，被更高级的Wrapper库如Keras，Lasagne和Blocks所替代	http://deeplearning.net/software/theano
Keras	高级Wrapper库，支持Python、R语言接口。在Theano或者TensorFlow框架下运行，后者已经完全合并到TensorFlow	https://github.com/keras-team/keras
Caffe	Caffe，Caffe2两个版本，完全融入到PyTorch框架中。支持C++，Python与MATLAB等接口，轻量版Caffe2go可部署移动平台	http://caffe.berkeleyvision.org/；https://caffe2.ai/
MatConvNet	MATLAB上的深度学习工具，GPU仅支持NVIDIA	http://www.vlfeat.org/matconvnet/
Cuda-convnet2	支持C++/CUDA接口，多GPU	https://code.google.com/p/cuda-convnet2/
MXNet	支持Python，R，Julia接口，可后台自动并行	https://github.com/apache/incubator-mxnet
Gvnn	依托于Torch平台，用于几何计算机视觉的神经网络库	https://github.com/ankurhanda/gvnn

然而，遥感影像的数据结构往往比自然影像更加复杂。根据遥感影像的特殊性质，若要更友好地结合深度学习还需要解决如下问题：

1) 由于数据密集性(空—光—时)、视场地点特殊(气候恶劣地区或外星球)等原因，标签样本不足在遥感图像处理领域较为普遍，这阻碍了深度学习模型的充分训练。

2) 遥感数据的高维特性导致普通自然影像的深度学习模型效果欠佳，如何设计高效的符合遥感数据结构特性的深度学习网络也成为了热点问题之一。

3) 遥感影像记录了各类地物电磁波强度，其内在的光学传输模型具有较强的物理意义，如何有效地结合深度学习模型与遥感相关的物理意义是此领域的难点。

4) 深度学习模型在遥感影像特征提取中的黑箱性质难以解释。

本文以结合深度学习的遥感影像特征提取和不充足样本下地物识别与分类作为出发点，对2017—2019年用于遥感图像处理中小样本训练的深度学习方法进行归类总结，同时指出当前研究存在的问题，展望今后发展趋势，以期推进深度学习对遥感技术与运用更全面的服务。

2 样本不充分下的地物识别与分类研究

本节主要介绍如何结合深度学习技术解决遥感影像在样本不充分下的有效训练问题，分别从深度生成模型、迁移学习以及其他高效特征提取的网络3个方面介绍，其中多种方法策略交叉结合，结构如图 2，涉及的缩写词对应如表 2。

图 2 小样本下遥感影像处理解决思路

Fig. 2 Solution of remote sensing image processing with small samples

表 2 缩略词全称
Table 2 Acronyms and their full names

下载CSV

缩写词	全称
SVM	support vector machine
ANN	artificial neural network
MLR	multiple logistic regression
LSTM	long short-term memory
CapsNet	capsules network
GMM	Gaussian mixture model
EM	expectation-maximization
CNN	convolution neural network
SAR	synthetic aperture radar
GPS	global positioning system
CVA	change vector analysis
PCA	principal component analysis
FCN	fully convolutional network
CRF	conditional random field
ICA	independent component correlation
TCA	transfer component analysis
SSTCA	semisupervised TCA
DAE	denoised autoencoder
SDAE	stackDAE
VAE	variational autoencoder
GAN	generative adversarial network
WGAN	Wasserstein GAN
DCGAN	deep convolutional GAN
CGAN	condition GAN
ACGAN	auxiliary classifier GAN
CCA	canonical correlation analysis
MMD	maximum mean discrepancy
KPCA	KernelPCA
ReLU	rectified linear unit
SELU	scaled exponential linear unit
CRNN	convolution recurrent NN
BCNN	Bayesian CNN

2.1 基于样本增强的辅助训练方法——深度生成模型

统计学中预测模型根据对数据学习的内容分为两种模型，判别式模型和生成式模型。前者直接面向数据的后验分布，不考虑样本本身的分布特性，只为确定决策边界和分类原则，像传统的SVM^[9]、MLR^[10]等模型以及深度学习中的CNN^[6]，LSTM^[11]，CapsNet^[12]等均为判别式模型。生成式模型探索数据本身的联合统计分布特性，关注数据高阶相关性，而非分类边界。这类方法有朴素贝叶斯、GMM、EM算法为代表的浅层生成式模型以及深度学习模型中的玻尔兹曼机^[13]、VAE(variational autoencoder)^[14]、GAN(generative adversarial network)^[15]等。需要注意的是在深度模型中，虽然深度生成模型对概率分布进行建模，但是层间也会包含判别过程，所以区分依据仅从模型原理出发，在使用过程中互相借鉴，互有重叠。浅层生成式模型针对遥感数据这类高维问题时由于自身建模和表示能力有限，会出现优化困难的缺陷。相反，深度生成模型通过深层次网络逼近分布，对遥感数据分布可进行更精确的建模。本节主要使用比较流行的两种复杂概率分布深度生成式模型：GAN和VAE在遥感领域的应用进行总结。

与估算真实分布的参数不同，GAN与VAE的原理均是通过隐变量分布模拟目标概率分布。使用函数逼近器(如自编码或CNN)和某种可微可测的损失计算方法，将任意一种概率分布(隐分布)映射到目标概率分布。两者区别在于，GAN使用多个深度神经网络来组建博弈过程，通过收敛进行这种映射，而VAE借鉴自编码网络的函数逼近器，使用KL(Kullback-Leibler)散度结合变分下界的方式完成映射。经过分析2017—2019年文献发现，遥感影像处理中结合VAE的研究较少。文献[16]在高光谱影像解混中用VAE进行盲源分离。文中提出的DAEN包括两部分，第1部分用DAE对光谱进行非监督特征提取，第2部分是使用VAE同时得到端元与丰度信息。相比非负矩阵分解与堆叠非负稀疏自编码的解混方法，在丰度估计时，VAE的深度结构保证了“非负性”与“和为一”的假设依赖，而且可以针对显著的异常值保证较好的效果。相比之下，引入的GAN的结构主要有DCGAN^[17]、WGAN^[18]、LSGAN^[19]、CGAN^[20]、ACGAN^[21]和CycleGAN^[22]等，如表 3所示。应用从高光谱、高分影像到SAR影像，甚至结合GPS数据均有广泛涉及。

表 3 引入遥感影像的代表性GAN网络介绍
Table 3 Introduction of representative GAN network of remote sensing images

下载CSV

网络名称	特点
DCGAN[17]	将CNN的优点应用在GAN中，使得整个训练过程趋于稳定，并且生成器生成的数据具有多样性，更加符合GAN的需求，但是此种算法由于引进了CNN，整个模型易崩溃，会出现梯度爆炸等问题
WGAN[18]	使用Wassertein距离替代交叉熵做损失，并通过对训练深度神经网络中的权重进行剪枝处理，使得整个训练过程更加稳定，理论上解决了梯度消失的问题，但是如果对某些必要的权重进行剪枝，还是会使得梯度消失或者爆炸
LSGAN[19]	使用最小二乘损失函数代替了交叉熵损失函数，缓解了GAN训练不稳定，生成图像质量差，多样性不足的问题
CGAN[20]	通过在数据生成的过程中增加约束性的条件，即利用标签将输入输出进行标记，能使得模型快速达到收敛条件
ACGAN[21]	与CGAN类似，生成时添加标签信息进行约束，不同的是在判别过程中使用一部分网络判断每个样本的真假，另一部分进行一个分类任务
SemiGAN[23]	在判别过程中，扩充输出维度，将真伪与类别信息结合表示
Cycle-GAN[22]	使用两个镜像对称的GAN，构成了一个环形网络，两个GAN共享两个生成器，并各自带一个判别器，可以实现迁移学习中无配对的两个图片集的训练

在变化检测中，Lebedev等人^[24]创新性地将pix2pix网络引入变化检测模型中，使用语义分割的思路将变化的部分突出。Gong等人^[25]使用无监督的GAN网络结合两期多光谱影像对CVA检测差异图进行对抗学习，再将生成的差异图进行聚类优化得到最终结果，文中设计了基于DCGAN与VAE方法的对比试验，由于图像块较小，DCGAN并未发挥出其卷积特征提取的优势，同时实验印证了由于L2范数的约束导致VAE实验中影像模糊效果较差，近期该团队又针对异构影像数据的变化检测问题做了基于对抗神经网络的研究^[26]，构造基于CGAN的无监督域适应训练架构，学习SAR与光学影像的深度分布特征并转化为一致空间，将转化后的结果用于变化检测，在不需要训练样本的同时保证了检测的精确性。SAR影像由于其成像机理特殊，影像中含有大量的散斑，与光学传感器不易结合。域适应的训练架构可以为异构传感器数据的使用提供一个有效的解决方法。这种解决思路在其他研究中也有涉及，Merkle等人^[27]将多光谱影像通过对抗学习映射到SAR影像的特征空间中，再用基于强度或特征的匹配方法进行有效匹配，从而完成使用SAR影像对多光谱影像在无需任何人工标定的情况下的几何校正。Ma等人^[28]构造了一个基于GAN的热红外影像与可视化影像融合模型，使用LSGAN，在判别器设计上使用最小二乘的损失函数替换原始的Sigmoid交叉熵损失函数，保证了模型训练的稳定性。将融合后的影像与未融合的可见光影像做对抗训练过程，之后推广到多分辨率影像的融合实验，凭借LSGAN的优势模型对上采样带来的噪声鲁棒性较强。

GAN不仅是在异构传感器的域对抗问题上有效解决方案，在跨区域的对抗问题上也有不错的效果。Bashmal等人^[29]构建了深度神经网络特征提取结合自编码的对抗学习模型来解决跨区域分类问题。使用VGG16网络做特征预提取，结合自编码构造两个区域的遥感影像对抗学习过程，通过学习目标域高阶分布特性，将源域的训练样本很好地匹配到目标域中，分布修正的结果比普通SVM精度高10%~20%，对比其他域适应算法提高5%~10%。类似文献[30-32]等均为基于GAN域适应方法在遥感影像上的应用，其思路类似，不再赘述。

在没有深度生成网络之前，数据增强往往依赖如下策略：对于高分影像进行简单变换，如平移、旋转等扩充训练样本；针对高光谱数据，通过基于物理模型的模拟，如相同地物不同光照下的光谱曲线模拟或者通过数据驱动进行标签传播。这些解决方法对数据本身和物理环境假设有很强的依赖性，因此GAN强大的样本生成能力引发了许多学者的关注。在Lin等人^[33]工作中以ACGAN为基础框架，将输入输出结合高光谱影像特征，构建了基于光谱维和空谱维的GAN分类模型，把训练完成的生成器生成的样本使用在类别分类训练的过程中，结果表明，生成样本可以提升分类器性能。Wang等人^[34]也探索了ACGAN在高光谱数据中的使用，使用离群挑选机制，在判别器训练的过程中隔离了质量不高的生成样本，既保留了类别信息又削弱了由于生成样本数据质量差引起的梯度混乱现象，结果表明此方法有明显效果。Zhang等人^[35]将生成器生成的样本用在了构建基于高分辨率影像的飞机探测中，改善了由于训练样本不足造成的探测模型鲁棒性差的问题。Audebert等人^[36]设计了添加样本信息控制的WGAN，并将真实光谱训练好的分类模型在生成样本上进行测试，发现分类结果差异较小，这表明生成样本中的分类决策面与真实样本一致，同时使用PCA探究了两种样本的特征空间，结果也显示两者的高度一致性。最后还尝试了调整生成器生成指定多类别混合的光谱数据，这种比简单插值获得的光谱更加有模型意义，对混合像元分解有一定研究意义。Xu等人^[37]探究了生成对抗网络数据增强工作对分类性能的效果，发现虽有提升，但是由于生成样本的相似性导致效果不突出。SiftingGAN^[38]的设计融合了提高生成样本利用效果的几个策略，首先针对GAN网络生成样本多样性，运用“边训练，边生成”的机制，对比“训练后生成”，这种效果相当于同时使用了多个生成器，大大增加了样本的多样性，这种方法会带来很大风险，生成样本的质量将无法得到保证，因此随后定义了“sifting”机制，通过结合生成器与判别器的损失函数来定义生成样本的质量筛查规则，在一定程度上保障了生成数据既丰富又有效，将数据的应用从自身结构训练推广到其他网络的训练，该模型在高分影像的场景分类中进行了实验，效果很好。苏建民等人^[39]改进了边界平衡生成对抗网络，实现了端到端的单帧遥感图像超分辨。相较于其他基于卷积神经网络的超分辨方法，该方法更稳定更快收敛、重建细节更为丰富。

以上工作虽表明生成的样本可以提升分类器的性能，但是这种提升并不会因为添加的数据增多而持续，有时候反而下降。原因是在训练分类时，不仅没有对抗过程的引入而且生成样本的有效性判断机制也不完善，这就导致生成器的结构误差在训练过程中传播，这种负影响随着越来越多生成样本的使用而增大。有关样本生成的应用除了用在地物识别与分类上之外，还有影像去云^[40]、影像融合^[41]和影像去模糊^[42]等应用，这里不再赘述。

除了域适应和样本生成应用之外，GAN在对抗训练的过程中，学习到的高阶数据分布特征对遥感影像分类与识别任务帮助很大。Zhang等人^[43]结合FCN与WGAN构建了一个非监督的特征提取方法，分层连接判别器特征同时提取多卷积层特征作为影像的空谱特征，设置浅层和深层网络特征提取方法作为对比试验，结果表明，提出的特征提取方法训练可分性更强。Duan等人^[44]将NLlayer^[45]引入到GAN网络中，在保持局部信息的同时，注入了较远像素点的依赖关系，整个框架将分类任务划分成非监督表征学习和监督分类两个子任务，子任务间共享相同网络，只是在监督分类时将判别器最后添加类别信息的损失函数进行微调。Shi等人^[46]结合基于FCN的Segnet网络^[47]，构造了一种基于GAN的像素级遥感影像道路提取模型。语义分割网络Segnet作为生成器结构，与真实标签图对抗训练，最终通过高阶特性的对抗过程完成对Segnet的训练，而且在判别过程中，将分割后图与原始图进行合并判别，更好地保留了原始特征。Zhong等人^[48]使用SemiGAN的结构，将判别器扩展到包含标签信息与真伪信息的网络模型，在对抗训练的同时提取深度特征，同时结合CRF进行分类后处理，提升分类精度。结果表明，使用了概率图模型的分类结果要比未使用的高3%~4%。Chen等人^[49]针对高光谱影像的光谱可视化做了深入研究，通过引入Cycle-GAN提取空谱特征，避免了由于直接挑选RGB响应波段显示时其他波段信息被忽略的问题，同时也缓解了使用PCA/ICA或者流型空间对齐等方法而引发的推理成本增高的问题。将特征提取的损失函数融入到对抗训练的过程中，针对于不同的特征空间进行智能化调整，最终构建VGAN进行颜色空间的迁移特征学习而不是像素配准，在这一过程中，对抗损失控制了颜色与自然影像一致而循环一致性损失控制了光谱信息的保留。Xu等人^[50]改进了DCGAN结果，将用SELU激活单元替换DCGAN的ReLU，使其在有限样本下有效学习大场景的高分辨率遥感影像，并在输入层和输出层添加类别信息，实现在有效表征学习的同时实现分类效果。表 4中列举深度生成模型的应用。

表 4 深度生成模型应用汇总表
Table 4 Application summary table of deep generation model

下载CSV

生成模型	运用领域	适用数据	训练策略	特点	参考文献
CGAN	变化检测	SAR与多光谱数据	异构训练	无监督，异构数据训练，但是图像块较小。	[26]
	几何校正	SAR与多光谱数据	异构训练	无需人工标定。	[27]
	目标探测	高分数据	数据增强	提升鲁棒性。	[30]
	分类	高光谱数据	数据增强	性能提升有限。	[32]
		高分数据	数据增强	SifitingGAN，提出生成策略，保证多样性，高质量。	[38]
DCGAN	变化检测	多光谱数据	差异图学习	无监督式训练，差异图生成后聚类优化。	[25]
	分类	高分数据	数据增强	大场景应用。	[50]
ACGAN	分类	高光谱数据	数据增强	光谱分辨率高，生成样本策略化提高质量, 无空间信息。	[34]
				空谱结合的数据增强。	[33]
WGAN	分类	高光谱数据	数据增强	无空间信息。	[31, 36]
				空谱特征，高维可分性强。	[43]
SeimiGAN	分类	高光谱数据	数据增强	分类后，使用CRF进行空间处理。	[48]
Cycle-GAN	可视化	高光谱数据	特征提取	颜色空间的迁移特征学习。	[49]
LSGAN	数据融合	热红外与多光谱数据	异构数据特征匹配	上采样过程对噪声的鲁棒性强。	[28]
GBGAN	超分辨率	高分数据	数据增强	丰富细节。	[39]
AAL	分类	高分/高光谱数据	数据增强	监督/半监督学习进行迁移。	[24, 35, 37]
VAE	混合像元分解	高光谱数据	结合自编码特征提取	与自编码特征提取组合使用，使用VAE实现NMF。	[16]
	变化检测	多光谱数据	差异图学习	VAE结果模糊。	[25]

在以上的模型运用中，GAN的使用场景主要有3种：1)对抗学习后生成样本；2)对抗学习后作为判别式模型进行特征提取与分类；3)进行域对抗解决迁移学习域适应问题。其中涉及的问题有：1)训练的稳定性问题；2)生成器在样本生成的多样性与有效性的均衡。GAN本身训练不稳定性虽然被替换损失函数等措施改善，比如从JS散度替换为权重限制的Wasserstein距离测度或者替换成最小二乘损失函数，这些替换是否对实际遥感数据应用效果有明显提升有待确定，研究应注重在结合遥感数据的特质进行改进，尤其是在目前定量遥感的发展过程中，更需要对生成数据的细节有严格的控制。另一方面，在训练GAN时，应结合决策面的特征和分布特征同时进行训练，对生成器的多样性与有效性进行提升性能。

2.2 基于知识复用的辅助训练策略——迁移学习

针对数据依赖的情况，放宽训练数据与测试数据独立同分布的假设，迁移学习就可以解决训练样本不足的问题。由于逐层权值的结构特性更加适应于训练知识复用和微调机制，这使得在遥感影像分类问题中迁移学习的训练策略更多地应用在基于深度神经网络的算法模型中。迁移学习的目的是花更少的代价建立更准确的模型。它可以将源域学习的知识应用到新的目标域上。对迁移学习理论的分类非常多，大致为两种，一种是基于任务类型的分类，将迁移学习按照源域和目标域任务与有无标签进行分类，依此可分为归纳式迁移、直推式迁移、无监督迁移。另一种基于迁移对象分类，样本迁移、特征迁移、参数模型迁移、关系迁移。

结合深度学习，Tan等人^[51]提出基于样本迁移、映射的迁移(数据分布迁移)、基于网络的迁移、基于对抗的深度迁移学习的分类标准。Tuia等人^[52]针对迁移学习在遥感的使用情况将其分成基于特征的迁移、基于数据分布的迁移、基于分类器的迁移和基于主动学习的迁移。这些分类标准互相重合、互有特色。迁移学习在遥感技术领域的应用已然不是一个新的概念，从浅层方法到结合深度网络结构，大量的研究都在解决类似的问题：如何有效地解决由于传感器、采集时间、地表变化、视场和光照差异所引起的影像分布漂移对模型的影响。

根据近期研究，解决思路可归纳为两个方面：1)将预训练的网络进行目标域特征提取或者微调直接应用到分类任务，对应基于特征的迁移或者网络的迁移。遥感领域中对空间纹理或者光谱纹理的特征提取的有效性对分类性能影响很大，而深层次的特征提取网络需要大量的数据进行训练，因此训练好的网络再利用是最直接的迁移策略；2)基于结构迁移的方法，将源域与目标域的数据结构或者网络结构映射到相似空间，对应了基于映射的迁移、数据分布的迁移。基于结构迁移的方法可以为如何充分利用已有的样本提供解决思路。

依据第1种解决思路，Kemker等人^[53]使用多光谱仿真合成数据集来训练语义分割的模型，然后用有限的真实数据做微调，这种使用合成影像初始化的模型有效抑制了过拟合现象。Chaib等人^[54]使用训练好的FCN作为一个单独的特征描述符，然后采用判别相关分析进行特征融合。Ammour等人^[55]先使用了预训练的网络进行特征提取，然后结合非对称的两个网络进行数据域适应和分类，将两个网络映射到相同的特征空间，最后通过权重系数调节办法将两者进行后训练，这种迁移架构综合了上述两种思路。Liu等人^[56]通过对土壤物化分析结果结合光谱知识库对CNN进行预训练，然后结合高光谱遥感影像进行微调，最后得到土壤质量的分布。该工作为深度迁移学习与物化机理分析有机结合提供了解决思路。Shi等人^[57]使用预训练的GoogLeNet^[58]，针对高光谱大范围的遥感影像进行目标探测。结合精细分块和编码技术，提出了可行的高准确度的目标探测框架。类似的应用还有一系列研究^[59-61]等。

针对第2种解决思路，结合GAN与域适应的论文展现了基于结构的迁移方法的有效性。除此之外，Li等人^[62]通过调整网络结构中的BatchNormal实现对抗，首先在源域中训练一个带BatchNormal的DNN结构，对每个隐含层统计神经元的反馈信息，通过一种在线学习的更新机制，将神经元响应更新到针对目标域特征的概率空间，这样做的好处在于保证了每一层接收的上层数据来自于相似的分布空间，简化了域迁移的问题，而且在保证了迁移效果的同时，从计算角度上避开了大量的运算开支。王立伟等人^[63]将在Image Net数据集中预训练后的深层残差网络泛化到高光谱分类任务中，把其作为特征提取器，针对高光谱数据集中因为有标签样本不足造成的深度卷积网络过拟合的问题，提出基于模型的迁移学习策略，结合网络预训练的底层卷积核参数，再通过目标数据集微调网络高层卷积核参数，使模型在使用少量有标签样本的情况下取得了更好的分类效果。Sumbul等人^[64]将zero-shot引入遥感影像分类中，zero-shot主旨是利用源域学习到的知识，建立新类别的识别系统，即源域和目标域的类别信息无交叉。这种迁移的过程需要引入新的辅助信息，属性描述信息。先结合自标注、Word2Vector和层次化科学分类方法构建了语义描述向量，将其作为树木精细分类的zero-shot转移信息源，使用双线性函数对深度网络提取的可视化特征和构建的语义描述向量进行建模，最后将学习到的兼容性函数利用新类别的输入类向量判定类别所属，结果的精度比随机猜测提升1倍以上。Zhou等人^[65]使用深度特征对齐网络解决高光谱遥感影像的域适应问题，使用双CRNN结构(FANN)同时提取源域与目标域光谱特征与特征上下文关系，并使用带有“域匹配”与“类分离”功能的域适应标准将网络层对应并进行共同隐式空间映射。不仅在相同传感器不同时间的数据上进行迁移实验，还设计了非常具有挑战性的迁移实验，将地表捕获的与航空捕获的不同视角的高光谱遥感数据进行迁移实验。结果验证了特征提取和迁移结构的有效性。岳学军等人^[66]采用深度迁移结构对柑橘树4个不同物候期的高光谱数据进行自适应特征提取和降维，迁移和融合多种特征，并建立了精度较高的柑橘叶片钾素含量估测模型。除了这些目标域无监督的迁移学习策略，结合主动学习的迁移策略也取得了不错的效果，Deng等人^[67]对源域中训练结合空谱特征提取的分层堆叠稀疏自编码，然后使用目标域样本进行少量微调。结合主动学习策略选择信息量最大的目标域样本进行标记并训练网络，结果发现，在不同场景相同传感器的高光谱影像迁移训练任务中，基于主动学习选择性标记的方法精度提升较大。Deng等人^[68]还尝试了多核表示的结合主动学习的迁移过程。李海雷等人^[69]为了解决SAR数据不足、无法训练深度网络模型的问题，提出了基于中层表达的迁移学习模型。利用改进的深度残差神经网络作为特征提取器，在特征提取器后添加自适应网络并使用Sentinel-1数据集对模型进行微调。与上两种方式不同，Liu等人^[70]将主动学习策略用在了训练开始的样本挑选中，使用代表性与信息量大小两个评价策略进行选择，然后结合双域自编码层间的CCA构架了Deep Mapping的框架，最后微调网络得到源域与目标域共同特征空间。该工作可以解决异构高光谱传感器的迁移问题。除了使用深度模型之外，一些浅层结构也取得了不错的效果。Luo等人^[71]应用了流型空间的正则化约束进行无监督的域适应，结果在多光谱和高光谱遥感影像上效果显著。Peng等人^[72]使用了判别式联合迁移匹配技术，将源域与目标域的特征映射到KPCA空间，并进行经验最小化MMD，引入L2范数进行实例重加权，剔除与目标任务无关的源域数据，同时将半监督TCA引入流型约束中保留双域的局部特征，训练结束后双域被映射到对齐的子空间中进行分类，实验使用了同一高光谱遥感场景中不同区域作为迁移学习测试，相比SSTCA等算法性能优越。其中重加权剔除数据的过程可以看作是基于实例的迁移学习，基于实例的迁移案例还有^[73-74]。表 5列举了深层迁移学习的一些应用。

表 5 深层迁移学习应用汇总表
Table 5 Application summary of deep transfer learning

下载CSV

原理	运用领域	适用数据	特点	参考文献
基于特征的迁移	语义分割	多光谱数据	数据增强、跨场景，抑制过拟合。	[48]
	场景分类	高分数据	与FCN结合、特征融合。	[49]
基于网络的迁移	定量分析	高光谱数据	深度迁移与物化机理分析相结合。	[51]
	目标探测	高光谱数据	精细分块编码实现大范围高光谱遥感。影像的目标探测	[52]
	分类/目标探测/几何校正	高分数据	多时相数据处理等。	[54-56]
基于数据分布的迁移	特征提取	高分数据	双网络映射，权重微调。	[50]
			在网络内部BatchNormal训练，对目标域特征概率空间进行迁移，减少运算开支	[57]
基于模型的迁移	分类	高光谱数据	更改源域卷积网络的卷积核参数，少量标记样本进行。	[58]
			空谱双网络，可对航空与地面不同视角的数据进行训练。但精度不高。	[60]
		高分数据	zero-shot学习，源域目标域类别无交叉迁移，但精度不高。	[59]
	反演	高光谱数据	结合植物物候信息进行自适应特征提取。	[61]
其他—主动学习	分类	SAR数据	中层表征网络迁移，主动学习标记样本微调，较大幅度提升进度。	[64]
		高光谱数据	主动学习策略初始化训练样本，更好表达源域目标域的特征空间。	[65]

迁移学习虽然为充分利用已有标签数据提供可能的解决思路，但是迁移学习的能力也是有限的，当两个域间的任务和数据分布和规模差异很大容易出现负迁移的情况。所以结合遥感技术领域的可迁移性衡量标准应该被进一步的研究。

2.3 其他深度学习策略

有效的特征提取不仅可以优化数据特征的可分性，还能帮助解决训练样本不足与特征维度高的训练冲突。在此讨论基于深度特征提取方法应对样本不足情况下的案例，主要分为两种：

1) 结合半监督思想的深度训练技术。半监督学习技术可以更好地学习标注和未标注的数据，从而使深度特征提取模型训练更加充分。Wu等人^[75]使用半监督思想对CRNN进行训练，做法是利用未标注数据聚类形成的伪标签来预训练网络，然后再用少量标注信息进行监督训练。期间提出了一种结合变分推理的贝叶斯聚类算法做聚类。结果发现使用伪标签预训练的半监督深度网络学习模式对深度不变性的特征提取充分。Kang等人^[76]也是使用了伪标签数据进行训练深度网络，不同的是伪标签来自于基于空谱特征提取后生成的分类概率图。Zhang等人^[77]使用少部分标注样本结合未标注样本对DAE进行训练，并将训练好的DAE用来降维然后再分类。Han等人^[78]将半监督学习与CNN结合用在场景分类，使用协同训练的思想生成伪标签从而扩充深度模型的训练数据集，利用了低置信度的样本进行网络优化，抑制了误分类现象。Fang等人^[79]也将协同训练的思想用在了高光谱影像的深度模型的训练问题上，使用协同训练的样本选择算法，将ResNet深度网络进行成功训练。张洪群等人^[80]提出了一种基于深度结构的半监督遥感图像检索方法。采用无监督的稀疏自动编码算法在大量无标签遥感图像上进行特征学习，然后进行CNN进行有监督分类。其中只有少量具有代表性的有标签数据进行训练，有效减少了对图像进行标注的烦琐工作。邓鸿儒等人^[81]提出一种主动学习和深度学习结合的极化SAR影像建筑区提取方法。结合最优次优准则的主动学习和深度学习自动编码器模型，利用主动学习得到未标记样本中最富有信息量的样本进行人工标记; 并将标记好的样本加入到训练样本中重新训练分类器，该方法在检测率、漏警率和虚警率上均有提升。范荣双等人^[82]提出一种针对高分辨率的建筑物提取算法，解决了传统卷积神经网络算法应用于建筑物提取时需要大量样本来训练等问题，精度有着明显提高，但大范围的应用效率有待考证。相比较而言，季顺平等人的工作^[83]可以看做将深度算法应用在大场景实际问题中的成功探索，使用一种改进的Mask R-CNN完成了首次大场景下建筑物的实例分割，并且提供了一套目前范围最大、精度最高、涵盖多种样本形式多类数据源的建筑物数据库。结合贝叶斯深度学习与主动学习，杨承文等人^[84]提出一种基于深度贝叶斯网络于主动学习结合的高光谱图像分类的方法运用少量的训练样本训练一个初始卷积神经网络模型，根据与贝叶斯结合的主动采样策略选出不确定样本，减小模型的确定性，提高模型的分类效果。程圆娥等人^[85]将稀疏自编码与主动学习相结合，在分类时综合利用影像的光谱和空间信息，利用少量标记样本以监督学习的方式完成模型的精调。最后，利用主动学习算法选择最不确定性样本对其进行标注，并加入至训练样本以提高分类器的分类效果。

2) 其他策略。这里主要介绍近期学者尝试的一些新颖网络结构。Hao等人^[86]利用双流结构分别进行光谱和空间特征的学习，光谱特征使用SDAE，空间特征使用分块的CNN结构，两者分别计算后验概率矩阵最后在进行融合输出最后类别。在文献[87-90]中，研究人员们使用CapsNet改进传统的CNN，丢弃池化层，添加动态路由机制，同时提取有效特征和特征与特征之间的关系，改善了过拟合现象。Pan等人^[91]基于PCANet^[92]构建了MugNet并引入高光谱遥感影像分类问题，多粒度的扫描可以表征不同粒度的空谱间相关性，最后通过集成学习的思想将不同粒度的深度网络集成输出最终结果。通过结合集成学习的思想MugNet有利于解决小样本下的分类问题。Haut等人^[93]将BCNN^[94]引入到高光谱遥感影像分类中，并结合主动学习的思想，控制训练过程中由于样本数量限制导致的过拟合问题。结果表明主动学习指导训练的BCNN在样本极少的情况下，迭代可达较高的分类精度。同时这种使用分布表征神经元的方式，为打开深度网络黑箱提供了解决方案。Alam等人^[95]结合CRF和CNN构建了空谱特征结合的高光谱图像分类架构，通过使用部分波段分组的多个空谱结构扩充训练样本，同时结合CNN构建CRF势函数进行粗分类，最后结合反卷积得到优化后的分类结果。Ma等人^[96]设计了一个带有跳跃结构的反卷积网络提取空谱特征，分别从空间和光谱两个通道进行提取，最后输出全连接层进行分类。中间的跳跃机制可以将层间特征融合一起，相当于一个非线性的局部到全局的金字塔特征提取器，实验验证了该结构可以有效抑制由于样本不充分引起的过拟合现象。Singhal等人^[97]将深度系统的概念引入到字典的构造，使用链接的方式对所有层进行求解而不是对每一层依次求解，还在深度字典学习框架中引入了不同以往的判别惩罚机制和随机正则化，通过深层稀疏字典对高维数据进行特征提取，以解决小样本下的高光谱影像分类问题。张兵^[98]针对大场景遥感信息提取的工程化实施问题，设计了一个面向海量遥感大数据的信息智能快速提取系统，命名为苍灵系统，其完整覆盖了样本制作、数据准备、深度学习系统开发与分析、产品可视化分析与展示等流程。底层式开发方式解决了深度学习框架对遥感图像数据兼容问题，并且在系统中增加了样本多样性机制，提高模型泛化能力。

与2.2节的zero-shot学习并列的学习方法为one-shot(或者说few-shot)学习。如果zero-shot的任务是对并没有在训练集中出现的类别进行正确分类的话，那one-shot^[99]则是仅学习每个类别中的一个样本，而few-shot学习(FSL)则是拓展到每个类别有少量可学习样本。传统的深度学习是在大量数据下进行的，不管是源域亦或目标域，监督式亦或非监督式，训练的有效性必须有一个前提，就是可接触的数据足够多，而FSL模式则相反。FSL起源于元学习(meta learning)，可分为基于模型的、基于测度的和基于优化过程的FSL。2018年以来，FSL在自然图像领域的与自然语言处理领域取得了很好的表现，由于它可以在少样本情况下让深度学习模型训练充分，因此也逐渐被引入到遥感技术领域中。其中，有一种基于测度的FSL网络为孪生网络(Siamese network)^[100]，它通过共享两个神经网络连接权重建立，需要输入的是数据对。这种区别输入影像对的方式很适合用于遥感技术中的变化检测。Daudt等人^[101]用全卷积网络实现孪生网络结构，并用在了多时相影像的变化检测当中，使用了3种孪生网络的测度方法。Zhan等人^[102]使用深度孪生网络过来进行小范围航空高分影像的变化检测。类似还有文献[103]。另外，He等人^[104]将SLIC分割结合多尺度孪生网络对航片进行建筑物的提取，He等人之前还研究了孪生网络在变化检测的应用^[105-106]。此外，关于孪生网络的应用还有场景分类^[107]、图像检索^[108]。除了孪生网络，其他基于测度的FSL也被应用于高光谱遥感分类中^[109]，空谱特征结合的原型网络(prototypical network)^[110]使用局部空普特征进行高光谱小样本分类。Liu等人^[111]使用深度测度学习与最近邻算法结合，提出了面向高光谱遥感分类的深度FSL框架。Rostami等人^[112]使用SLIC Wasserstein距离作为测度函数建立FSL过程，实现异构数据(光学到SAR)的训练问题。由上可见，FSL可为小样本的遥感分类等问题提供了一种途径。表 6中列举一些相关应用。

表 6 其他深度学习策略应用汇总表
Table 6 Application summary of other deep learning strategies

下载CSV

学习类型	适用数据	运用领域	特点	参考文献
半监督学习	高光谱数据	分类	聚类形成伪标签对网络预训练，之后监督微调。	[70]
			训练过程中引入空谱特征。	[71]
			标注样本与未标注样本同时对网络训练。	[72]
	高分/高光谱数据	场景分类	协同训练生成伪标签，对网络训练。	[73-74]
	多光谱数据	图像检索	先无监督训练, 再少量标记样本下有监督训练。	[75]
主动学习	高分数据	建筑物提取	大范围的应用有效性有待考证。	[77]
	高光谱数据	分类	融合了深度贝叶斯网络的训练方法。	[79]
			引入贝叶斯卷积神经网络，用神经元表征分布特性，尝试对深度学习黑箱性进行解释。	[88]
FSL	高光谱数据	分类	基于原型网络的小样本学习，空谱结合。	[109, 111]
	SAR数据	分类	灵活建立测度函数，实现光学到SAR异构数据的小样本训练问题。	[112]
	高分数据	分类/变化检测	基于孪生网络的小样本训练，多种测度方式。	[102-103]
				[105-107]
		道路提取	结合SLIC分割进行多尺度孪生组网。	[104]
		图像检索	-	[108]
其他	高光谱数据	分类	组建双通道网络，分别对空谱特征进行学习。	[81]
			引入胶囊网路。	[82-85]
			空间尺度多粒度组网，进行集成学习。	[86]
			CNN网络结合CRF后处理进行空谱分类。	[90]
			添加跳跃结构的反卷积进行金字塔式的空谱特征提取。	[91]
			深度学习结合字典学习构建layer-wise的深度字典。	[92]
注:“-”表示原文献中无结论。

3 结论

参考文献

[1] Reichstein M, Camps-Valls G, Stevens B, et al. Deep learning and process understanding for data-driven earth system science[J]. Nature, 2019, 566(7743): 195–204. [DOI:10.1038/s41586-019-0912-1]
[2] Li D R. Brain cognition and spatial cognition:on integration of geo-spatial big data and artificial intelligence[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1761–1767. [李德仁. 脑认知与空间认知——论空间大数据与人工智能的集成[J]. 武汉大学学报:信息科学版, 2018, 43(12): 1761–1767. ] [DOI:10.13203/j.whugis20180411]
[3] Wang X, Tan K, Chen B Z, et al. Assessing the spatiotemporal variation and impact factors of net primary productivity in China[J]. Scientific Reports, 2017, 7: #44415. [DOI:10.1038/srep44415]
[4] Wang X, Tan K, Xu K L, et al. Quantitative evaluation of the eco-environment in a coalfield based on multi-temporal remote sensing imagery:a case study of Yuxian, China[J]. International Journal of Environmental Research and Public Health, 2019, 16(3): #511. [DOI:10.3390/ijerph16030511]
[5] Tan K, Zhang Y S, Wang X, et al. Object-based change detection using multiple classifiers and multi-scale uncertainty analysis[J]. Remote Sensing, 2019, 11(3): #359. [DOI:10.3390/rs11030359]
[6] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc., 2012.
[7] Makantasis K, Doulamis A D, Doulamis N D, et al. Tensor-based classification models for hyperspectral data analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(12): 6884–6898. [DOI:10.1109/TGRS.2018.2845450]
[8] Huang F H, Yu Y, Feng T H. Hyperspectral remote sensing image change detection based on tensor and deep learning[J]. Journal of Visual Communication and Image Representation, 2019, 58: 233–244. [DOI:10.1016/j.jvcir.2018.11.004]
[9] Tan K, Li E Z, Du Q, et al. An efficient semi-supervised classification approach for hyperspectral imagery[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 97: 36–45. [DOI:10.1016/j.isprsjprs.2014.08.003]
[10] Ou D P, Tan K, Du Q, et al. A novel tri-training technique for the semi-supervised classification of hyperspectral images based on regularized local discriminant embedding feature extraction[J]. Remote Sensing, 2019, 11(6): #654. [DOI:10.3390/rs11060654]
[11] Gers F A, Schmidhuber J, Cummins F. Learning to forget: continual prediction with LSTM[C]//Proceedings of the 9th International Conference on Artificial Neural Networks. Edinburgh: IET, 1999.[DOI: 10.1049/cp:19991218]
[12] Wang X, Tan K, Du Q, et al. Caps-TripleGAN:GAN-assisted capsnet for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 7232–7245. [DOI:10.1109/TGRS.2019.2912468]
[13] Tan K, Wu F Y, Du Q, et al. A parallel gaussian-bernoulli restricted boltzmann machine for mining area classification with hyperspectral imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(2): 627–636. [DOI:10.1109/JSTARS.2019.2892975]
[14] Kingma D P, Welling M. Auto-encoding variational bayes[EB/OL].[2019-07-01].http://arxiv.org/pdf/1312.6114..2013.pdf.
[15] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal: MIT Press, 2014.
[16] Su Y C, Li J, Plaza A, et al. DAEN:deep autoencoder networks for hyperspectral unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(7): 4309–4321. [DOI:10.1109/TGRS.2018.2890633]
[17] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[EB/OL].[2019-07-01].http://arxiv.org/pdf/1511.06434.2015.pdf.
[18] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[EB/OL].[2019-07-01].http://arxiv.org/pdf/1701.07875.pdf.
[19] Mao X D, Li Q, Xie H R, et al. Least squares generative adversarial networks[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017.[DOI: 10.1109/ICCV.2017.304]
[20] Mirza M, Osindero S. Conditional generative adversarial nets[EB/OL].[2019-07-01].http://arxiv.org/pdf/1411.1784.pdf.
[21] Odena A, Olah C, Shlens J. Conditional image synthesis with auxiliary classifier gans[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney: PMLR, 2017.
[22] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017.[DOI: 10.1109/ICCV.2017.244]
[23] Odena A. Semi-supervised learning with generative adversarial networks[EB/OL].[2019-07-01].http://arxiv.org/pdf/1606.01583.pdf.
[24] Lebedev M A, Vizilter Y V, Vygolov O V, et al. Change detection in remote sensing images using conditional adversarial networks[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2018. [DOI:10.5194/isprs-archives-XLII-2-565-2018]
[25] Gong M G, Niu X D, Zhang P Z, et al. Generative adversarial networks for change detection in multispectral imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(12): 2310–2314. [DOI:10.1109/LGRS.2017.2762694]
[26] Niu X D, Gong M G, Zhan T, et al. A conditional adversarial network for change detection in heterogeneous images[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(1): 45–49. [DOI:10.1109/LGRS.2018.2868704]
[27] Merkle N, Auer S, Müller R, et al. Exploring the potential of conditional adversarial networks for optical and SAR image matching[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(6): 1811–1820. [DOI:10.1109/JSTARS.2018.2803212]
[28] Ma J Y, Yu W, Liang P W, et al. FusionGAN:a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11–26. [DOI:10.1016/j.inffus.2018.09.004]
[29] Bashmal L, Bazi Y, Alhichri H, et al. Generative adversarial networks for cross-scene classification in remote sensing images[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018.[DOI: 10.1109/IGARSS.2018.8517487]
[30] Wang R, Collins L M, Bradbury K, et al. Semisupervised adversarial discriminative domain adaptation, with applicationto remote sensing data[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018.[DOI: 10.1109/IGARSS.2018.8518096]
[31] Bejiga M B, Melgani F. An adversarial approach to cross-sensor hyperspectral data classification[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018.[DOI: 10.1109/IGARSS.2018.8518500]
[32] Elshamli A, Taylor G W, Berg A, et al. Domain adaptation using representation learning for the classification of remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(9): 4198–4209. [DOI:10.1109/JSTARS.2017.2711360]
[33] Lin Z, Chen Y S, Ghamisi P, et al. Generative adversarial networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5046–5063. [DOI:10.1109/TGRS.2018.2805286]
[34] Wang D Y, Vinson R, Holmes M, et al. Early tomato spotted wilt virus detection using hyperspectral imaging technique and outlier removal auxiliary classifier generative adversarial nets (OR-AC-GAN)[C]//Proceedings of 2018 ASABE Annual International Meeting. Detroit: American Society of Agricultural and Biological Engineers, 2018.[DOI: 10.13031/aim.201800660]
[35] Zhang Y H, Sun H, Zuo J W, et al. Aircraft type recognition in remote sensing images based on feature learning with conditional generative adversarial networks[J]. Remote Sensing, 2018, 10(7): #1123. [DOI:10.3390/rs10071123]
[36] Audebert N, Le Saux B, Lefèvre S. Generative adversarial networks for realistic synthesis of hyperspectral samples[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018.[DOI: 10.1109/IGARSS.2018.8518321]
[37] Xu Y H, Du B, Zhang L P. Can We generate good samples for hyperspectral classification?-a generative adversarial network based method[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018.[DOI: 10.1109/IGARSS.2018.8519295]
[38] Ma D G, Tang P, Zhao L J. SiftingGAN:generating and sifting labeled samples to improve the remote sensing image scene classification baseline in vitro[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(7): 1046–1050. [DOI:10.1109/LGRS.2018.2890413]
[39] Su J M, Yang L X. Super resolution of single frame remote sensing image based on generative adversarial nets[J]. Computer Engineering and Applications, 2019, 55(12): 202–207, 214. [苏健民, 杨岚心. 基于生成对抗网络的单帧遥感图像超分辨率[J]. 计算机工程与应用, 2019, 55(12): 202–207, 214. ] [DOI:10.3778/j.issn.1002-8331.1807-0188]
[40] Dong J Y, Yin R Y, Sun X, et al. Inpainting of remote sensing SST images with deep convolutional generative adversarial network[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(2): 173–177. [DOI:10.1109/LGRS.2018.2870880]
[41] Bermudez J D, Happ P N, Feitosa R Q, et al. Synthesis of multispectral optical images from SAR/optical multitemporal data using conditional generative adversarial networks[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(8): 1220–1224. [DOI:10.1109/LGRS.2019.2894734]
[42] Zhang Y G, Xiang Y, Bai L. Generative adversarial network for deblurring of remote sensing image[C]//Proceedings of the 2018 26th International Conference on Geoinformatics. Kunming, China: IEEE, 2018.[DOI: 10.1109/GEOINFORMATICS.2018.8557110]
[43] Zhang M Y, Gong M G, Mao Y S, et al. Unsupervised feature extraction in hyperspectral images based on wasserstein generative adversarial network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(5): 2669–2688. [DOI:10.1109/TGRS.2018.2876123]
[44] Duan Y P, Tao X M, Xu M, et al. GAN-NL: unsupervised representation learning for remote sensing image classification[C]//Proceedings of 2018 IEEE Global Conference on Signal and Information Processing. Anaheim: IEEE, 2018.[DOI: 10.1109/GlobalSIP.2018.8646414]
[45] Wang X L, Girshick R, Gupta A, et al. Non-local neural networks[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018.[DOI: 10.1109/CVPR.2018.00813]
[46] Shi Q, Liu X P, Li X. Road detection from remote sensing images by generative adversarial networks[J]. IEEE Access, 2018, 6: 25486–25494. [DOI:10.1109/ACCESS.2017.2773142]
[47] Badrinarayanan V, Kendall A, Cipolla R. Segnet:a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481–2495. [DOI:10.1109/TPAMI.2016.2644615]
[48] Zhong Z L, Li J. Generative adversarial networks and probabilistic graph models for hyperspectral image classification[EB/OL].[2019-06-25].https://arxiv.org/pdf/1802.03495.pdf.
[49] Chen S Y, Liao D P, Qian Y T. Spectral image visualization using generative adversarial networks[C]//Proceedings of the 15th Pacific Rim International Conference on Artificial Intelligence. Nanjing, China: Springer, 2018.[DOI: 10.1007/978-3-319-97304-3_30].
[50] Xu S H, Mu X D, Chai D, et al. Remote sensing image scene classification based on generative adversarial networks[J]. Remote Sensing Letters, 2018, 9(7): 617–626. [DOI:10.1080/2150704X.2018.1453173]
[51] Tan C Q, Sun F C, Tao K, et al. A survey on deep transfer learning[C]//Proceedings of the 27th International Conference on Artificial Neural Networks. Rhodes: Springer, 2018: 270-279.[DOI: 10.1007/978-3-030-01424-7_27]
[52] Tuia D, Persello C, Bruzzone L. Domain adaptation for the classification of remote sensing data:an overview of recent advances[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2): 41–57. [DOI:10.1109/MGRS.2016.2548504]
[53] Kemker R, Salvaggio C, Kanan C. Algorithms for semantic segmentation of multispectral remote sensing imagery using deep learning[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 60–77. [DOI:10.1016/j.isprsjprs.2018.04.014]
[54] Chaib S, Liu H, Gu Y F, et al. Deep feature fusion for VHR remote sensing scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(8): 4775–4784. [DOI:10.1109/TGRS.2017.2700322]
[55] Ammour N, Bashmal L, Bazi Y, et al. Asymmetric adaptation of deep features for cross-domain classification in remote sensing imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(4): 597–601. [DOI:10.1109/LGRS.2018.2800642]
[56] Liu L F, Ji M, Buchroithner M. Transfer learning for soil spectroscopy based on convolutional neural networks and its application in soil clay content mapping using hyperspectral imagery[J]. Sensors, 2018, 18(9): #3169. [DOI:10.3390/s18093169]
[57] Shi T, Wang J, Wang P F, et al. Recognition and location of typical scenes in large hyperspectral remote sensing image based on deep transfer learning[C]//Proceedings of the 1st International Conference on Advanced Algorithms and Control Engineering. IOP, 2018.[DOI: 10.1088/1742-6596/1087/6/062035]
[58] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015.[DOI: 10.1109/CVPR.2015.7298594]
[59] Guo Y Q, Jia X P, Paull D. Effective sequential classifier training for SVM-based multitemporal remote sensing image classification[J]. IEEE Transactions on Image Processing, 2018, 27(6): 3036–3048. [DOI:10.1109/TIP.2018.2808767]
[60] Chen Z, Zhang T, Ouyang C. End-to-end airplane detection using transfer learning in remote sensing images[J]. Remote Sensing, 2018, 10(1): 139. [DOI:10.3390/rs10010139]
[61] Wang S, Quan D, Liang X F, et al. A deep learning framework for remote sensing image registration[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 148–164. [DOI:10.1016/j.isprsjprs.2017.12.012]
[62] Li Y H, Wang N Y, Shi J P, et al. Adaptive batch normalization for practical domain adaptation[J]. Pattern Recognition, 2018, 80: 109–117. [DOI:10.1016/j.patcog.2018.03.005]
[63] Wang L W, Li J M, Zhou G M, et al. Application of deep transfer learning in hyperspectral image classification[J]. Computer Engineering and Applications, 2019, 55(5): 181–186. [王立伟, 李吉明, 周国民, 等. 深度迁移学习在高光谱图像分类中的运用[J]. 计算机工程与应用, 2019, 55(5): 181–186. ] [DOI:10.3778/j.issn.1002-8331.1805-0134]
[64] Sumbul G, Cinbis R G, Aksoy S. Fine-grained object recognition and zero-shot learning in remote sensing imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2): 770–779. [DOI:10.1109/TGRS.2017.2754648]
[65] Zhou X, Prasad S. Deep feature alignment neural networks for domain adaptation of hyperspectral data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(10): 5863–5872. [DOI:10.1109/TGRS.2018.2827308]
[66] Yue X J, Ling K J, Wang L H, et al. Inversion of potassium content for citrus leaves based on hyperspectral and deep transfer learning[J]. Transactions of the Chinese Society of Agricultural Machinery, 2019, 50(3): 186–195. [岳学军, 凌康杰, 王林惠, 等. 基于高光谱和深度迁移学习的柑橘叶片钾含量反演[J]. 农业机械学报, 2019, 50(3): 186–195. ]
[67] Deng C, Xue Y M, Liu X L, et al. Active transfer learning network:a unified deep joint spectral-spatial feature learning model for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1741–1754. [DOI:10.1109/TGRS.2018.2868851]
[68] Deng C, Liu X L, Li C, et al. Active multi-kernel domain adaptation for hyperspectral image classification[J]. Pattern Recognition, 2018, 77: 306–315. [DOI:10.1016/j.patcog.2017.10.007]
[69] Li H L, Hu X J, Guo H, et al. Land use/land cover classification based on transfer learning[J]. Bulletin of Surveying and Mapping, 2018(9): 50–54, 73. [李海雷, 胡小娟, 郭杭, 等. 迁移学习支持下的土地利用/土地覆被分类[J]. 测绘通报, 2018(9): 50–54, 73. ] [DOI:10.13474/j.cnki.11-2246.2018.027]
[70] Lin J Z, Zhao L, Li S Y, et al. Active-learning-incorporated deep transfer learning for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11): 4048–4062. [DOI:10.1109/JSTARS.2018.2874225]
[71] Luo C, Ma L. Manifold regularized distribution adaptation for classification of remote sensing images[J]. IEEE Access, 2018, 6: 4697–4708. [DOI:10.1109/ACCESS.2018.2789932]
[72] Peng J T, Sun W W, Ma L, et al. Discriminative transfer joint matching for domain adaptation in hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(6): 972–976. [DOI:10.1109/LGRS.2018.2889789]
[73] Yan L, Zhu R X, Liu Y, et al. TrAdaBoost based on improved particle swarm optimization for cross-domain scene classification with limited samples[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(9): 3235–3251. [DOI:10.1109/JSTARS.2018.2859836]
[74] Li X, Zhang L P, Du B, et al. Iterative reweighting heterogeneous transfer learning framework for supervised remote sensing image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(5): 2022–2035. [DOI:10.1109/JSTARS.2016.2646138]
[75] Wu H, Prasad S. Semi-supervised deep learning using pseudo labels for hyperspectral image classification[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1259–1270. [DOI:10.1109/TIP.2017.2772836]
[76] Kang X D, Zhuo B B, Duan P H. Semi-supervised deep learning for hyperspectral image classification[J]. Remote Sensing Letters, 2019, 10(4): 353–362. [DOI:10.1080/2150704X.2018.1557787]
[77] Zhang X W, Cahill N D. Semi-supervised deep autoencoder network for graph-based dimensionality reduction of hyperspectral imagery[C]//Proceedings of SPIE 10644, Algorithms and Technologies for Multispectral, Hyperspectral, and Ultraspectral Imagery XXIV. Orlando: SPIE, 2018.[DOI: 10.1117/12.2303912]
[78] Han W, Feng R Y, Wang L Z, et al. A semi-supervised generative framework with deep learning features for high-resolution remote sensing image scene classification[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 23–43. [DOI:10.1016/j.isprsjprs.2017.11.004]
[79] Fang B, Li Y, Zhang H K, et al. Semi-supervised deep learning classification for hyperspectral image based on dual-strategy sample selection[J]. Remote Sensing, 2018, 10(4): #574. [DOI:10.3390/rs10040574]
[80] Zhang H Q, Liu X Y, Yang S, et al. Retrieval of remote sensing images based on semisupervised deep learning[J]. Journal of Remote Sensing, 2017, 21(3): 406–414. [张洪群, 刘雪莹, 杨森, 等. 深度学习的半监督遥感图像检索[J]. 遥感学报, 2017, 21(3): 406–414. ] [DOI:10.11834/jrs.20176105]
[81] Deng H R, Xu J, Shan W L, et al. Polarized SAR image building area extaction using active deep learning[J]. Journal of Geomatics Science and Technology, 2018, 35(3): 278–284. [邓鸿儒, 徐佳, 单文龙, 等. 利用主动深度学习提取极化SAR影像建筑区[J]. 测绘科学技术学报, 2018, 35(3): 278–284. ]
[82] Fan R S, Chen Y, Xu Q H, et al. A high-resolution remote sensing image building extraction method based on deep learning[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(1): 34–41. [范荣双, 陈洋, 徐启恒, 等. 基于深度学习的高分辨率遥感影像建筑物提取方法[J]. 测绘学报, 2019, 48(1): 34–41. ] [DOI:10.11947/j.AGCS.2019.20170638]
[83] Ji S P, Wei S Q. Building extraction via convolutional neural networks from an open remote sensing building dataset[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(4): 448–459. [季顺平, 魏世清. 遥感影像建筑物提取的卷积神经元网络与开源数据集方法[J]. 测绘学报, 2019, 48(4): 448–459. ] [DOI:10.11947/j.AGCS.2019.20180206]
[84] Yang C W, Li J M, Yang D Y. Active learning for hyperspectral image classification with deep Bayesian[J]. Computer Engineering and Applications, 2019, 55(18): 166–172. [杨承文, 李吉明, 杨东勇. 基于深度贝叶斯主动学习的高光谱图像分类[J]. 计算机工程与应用, 2019, 55(18): 166–172. ] [DOI:10.3778/j.issn.1002-8331.1805-0427]
[85] Cheng Y E, Zhou S G, Yuan C Q, et al. Hyperspectral image classification based on active deep learning[J]. Computer Engineering and Applications, 2017, 53(17): 192–196, 248. [程圆娥, 周绍光, 袁春琦, 等. 基于主动深度学习的高光谱影像分类[J]. 计算机工程与应用, 2017, 53(17): 192–196, 248. ] [DOI:10.3778/j.issn.1002-8331.1611-0174]
[86] Hao S Y, Wang W, Ye Y X, et al. Two-stream deep architecture for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(4): 2349–2361. [DOI:10.1109/TGRS.2017.2778343]
[87] Paoletti M E, Haut J M, Fernandez-Beltran R, et al. Capsule networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(4): 2145–2160. [DOI:10.1109/TGRS.2018.2871782]
[88] Zhu K Q, Chen Y S, Ghamisi P, et al. Deep convolutional capsule network for hyperspectral image spectral and spectral-spatial classification[J]. Remote Sensing, 2019, 11(3): 223. [DOI:10.3390/rs11030223]
[89] Wang W Y, Li H C, Pan L, et al. Hyperspectral image classification based on capsule network[C]//2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE, 2018.[DOI: 10.1109/IGARSS.2018.8518951]
[90] Deng F, Pu S L, Chen X H, et al. Hyperspectral image classification with capsule network using limited training samples[J]. Sensors, 2018, 18(9): #3153. [DOI:10.3390/s18093153]
[91] Pan B, Shi Z W, Xu X. MugNet:deep learning for hyperspectral image classification using limited samples[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 108–119. [DOI:10.1016/j.isprsjprs.2017.11.003]
[92] Chan T H, Jia K, Gao S H, et al. PCANet:a simple deep learning baseline for image classification?[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5017–5032. [DOI:10.1109/TIP.2015.2475625]
[93] Haut J M, Paoletti M E, Plaza J, et al. Active learning with convolutional neural networks for hyperspectral image classification using a new Bayesian approach[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(11): 6440–6461. [DOI:10.1109/TGRS.2018.2838665]
[94] Gal Y, Ghahramani Z. Bayesian convolutional neural networks with Bernoulli approximate variational inference[EB/OL].[2019-06-25].https://arxiv.org/pdf/1506.02158.pdf.
[95] Alam F I, Zhou J, Liew A W C, et al. Conditional random field and deep feature learning for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1612–1628. [DOI:10.1109/TGRS.2018.2867679]
[96] Ma X R, Fu A Y, Wang J, et al. Hyperspectral image classification based on deep deconvolution network with skip architecture[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4781–4791. [DOI:10.1109/TGRS.2018.2837142]
[97] Singhal V, Majumdar A. Row-sparse discriminative deep dictionary learning for hyperspectral image classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(12): 5019–5028. [DOI:10.1109/JSTARS.2018.2877769]
[98] Zhang B. Remotely sensed big data era and intelligent information extraction[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1861–1871. [张兵. 遥感大数据时代与智能信息提取[J]. 武汉大学学报·信息科学版, 2018, 43(12): 1861–1871. ] [DOI:10.13203/j.whugis20180172]
[99] Santoro A, Bartunov S, Botvinick M, et al. One-shot learning with memory-augmented neural networks[EB/OL].[2019-06-25].https://arxiv.org/pdf/1605.06065.pdf.
[100] Koch G, Zemel R, Salakhutdinov R. Siamese neural networks for one-shot image recognition[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille: JMLR, 2015: 2.
[101] Daudt R C, Le Saux B, Boulch A. Fully convolutional siamese networks for change detection[EB/OL].[2019-06-25].https://arxiv.org/pdf/1810.08462.pdf.
[102] Zhan Y, Fu K, Yan M L, et al. Change detection based on deep siamese convolutional network for optical aerial images[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1845–1849. [DOI:10.1109/LGRS.2017.2738149]
[103] Fang B, Pan L, Kou R. Dual learning-based siamese framework for change detection using bi-temporal VHR optical remote sensing images[J]. Remote Sensing, 2019, 11(11): 1292. [DOI:10.3390/rs11111292]
[104] He H Q, Zhou J C, Chen M, et al. Building extraction from UAV images jointly using 6D-SLIC and multiscale Siamese convolutional networks[J]. Remote Sensing, 2019, 11(9): 1040. [DOI:10.3390/rs11091040]
[105] He H Q, Chen M, Chen T, et al. Learning to match multitemporal optical satellite images using multi-support-patches Siamese networks[J]. Remote Sensing Letters, 2019, 10(6): 516–525. [DOI:10.1080/2150704X.2019.1577572]
[106] He H Q, Chen M, Chen T, et al. Matching of remote sensing images with complex background variations via siamese convolutional neural network[J]. Remote Sensing, 2018, 10(2): 355. [DOI:10.3390/rs10020355]
[107] Liu X N, Zhou Y, Zhao J Q, et al. Siamese convolutional neural networks for remote sensing scene classification[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(8): 1200–1204. [DOI:10.1109/LGRS.2019.2894399]
[108] Chaudhuri U, Banerjee B, Bhattacharya A. Siamese graph convolutional network for content based remote sensing image retrieval[J]. Computer Vision and Image Understanding, 2019, 184: 22–30. [DOI:10.1016/j.cviu.2019.04.004]
[109] Tang H J, Li Y S, Han X, et al. A spatial-spectral prototypical network for hyperspectral remote sensing image[J]. IEEE Geoscience and Remote Sensing Letters, 2019. [DOI:10.1109/LGRS.2019.2916083]
[110] Snell J, Swersky K, Zemel R S. Prototypical networks for few-shot learning[EB/OL].[2019-07-01].http://arxiv.org/pdf/1703.05175.pdf.
[111] Liu B, Yu X C, Yu A Z, et al. Deep few-shot learning for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(4): 2290–2304. [DOI:10.1109/TGRS.2018.2872830]
[112] Rostami M, Kolouri S, Eaton E, et al. Deep transfer learning for few-shot SAR image classification[J]. Remote Sensing, 2019, 11(11): #1374. [DOI:10.3390/rs11111374]
[113] Windrim L, Ramakrishnan R, Melkumyan A, et al. A physics-based deep learning approach to shadow invariant representations of hyperspectral images[J]. IEEE Transactions on Image Processing, 2018, 27(2): 665–677. [DOI:10.1109/TIP.2017.2761542]