0 引言

随着对地观测技术、计算机技术和人工智能技术等的发展，遥感大数据时代已经到来。特别是5G等通信技术的革新，使得万物智能互联逐渐成为可能。在此情况下，发展遥感边缘智能的应用技术，将遥感数据处理与分析技术前置，应用于卫星在轨处理解译、无人机动态实时跟踪、大规模城市环境重建和无人驾驶识别规划等场景中，无疑可以节省大量的传输带宽、处理时间和资源消耗。因此，如何设计更快、更准、更小型化的智能技术算法模型，在遥感领域已受到越来越多的重视。

深度学习凭借其强大的特征自学习和应用泛化能力，在遥感数据智能解译领域已得到大量研究，众多基于深度神经网络模型的遥感数据智能解译模型被相继提出，并获得推广(Gao等，2018；Yan等，2018；Wang等，2020a)。然而，由于深度学习模型复杂度高，同时依赖海量的样本数据驱动，尤其是遥感分析任务中数据量大且时效性要求高，使得基于深度学习的遥感智能应用普遍需要依赖硬件系统强大的计算能力。而现有实用级的基于深度学习的智能系统大多部署在具有强大计算能力的云计算数据中心。因此，如何将深度学习模型高效地部署在资源受限的终端设备，从而使得在低功耗的环境下进行智能前移是目前遥感智能技术应用中极具挑战性的难题。

针对上述问题，边缘智能(edge intelligence，EI)技术提供了一种新的解决模式。边缘智能是结合人工智能和边缘计算的新兴领域，充分利用并整合云、边缘和终端设备，达到任务全局性能最优的目标(Zhou等，2019)。具体地，通过协同终端设备与边缘服务器，整合二者的计算本地性与强计算能力的互补性优势，达到显著降低深度学习模型训练和预测等的延迟与能耗的目的，从而具备根据设备类型和场景分配智能的能力，让智能在云和边缘之间流动。现阶段该技术在计算资源的分配与协调方面已取得初步进展，然而，其核心科学问题在于：如何在资源受限的边缘端高效运行部署深度学习模型，除了边缘服务器与终端设备间的协同调度(即资源重构)，还包括边缘设备深度学习模型优化(即模型压缩)和适用于边缘设备的样本迁移学习(即小样本学习)等问题。

综上所述，面对实际应用中瞬息万变的环境以及边缘应用场景中对目标快速发现、精准识别和协同分析的应用需求，基于遥感智能解译技术和边缘智能技术的研究成果，构建面向新型应用场景支撑高效信息获取和决策的遥感边缘智能技术具有重要的研究意义。目前遥感边缘智能技术的研究主要面临以下3个难题：

1) 样本数量限制。相比于视觉场景图像，遥感数据本质上存在着小样本的问题。遥感场景包含大量复杂背景和目标类别，但实际有效样本数量较少。尤其是新出现、新改装的目标，往往面临着严重的类别分布不均衡问题。

2) 计算资源限制。遥感图像数据覆盖区域一般可达数公里甚至数百公里，单幅数据量最大可达数百吉字节(Gigabyte，GB)，给边缘设备的存储空间带来不小压力。此外随着深度学习模型越来越复杂，通常要求较高的算力资源支持，在边缘端就需要解决模型复杂度和功耗间的矛盾。

3) 灾难性遗忘问题。遥感数据分析中，新任务、新类别层出不穷，现有的算法面向持续输入的数据往往泛化能力差，存在灾难性遗忘问题，如何进行持续学习，以保持模型算法的高精度和高性能也成为亟待解决的挑战。

针对上述问题，目前国内外相关领域已经开展了部分方法研究与技术攻关，如图 1所示，在利用小样本学习解决边缘端受样本限制问题，持续学习解决边缘端灾难性遗忘问题，以及通过轻量化模型设计、模型剪枝、模型压缩和知识蒸馏等方法解决边缘端受计算资源限制问题等方面取得了一系列成果。本文对上述边缘智能算法的理论及其在遥感数据解译中的研究现状进行了归纳总结，同时针对遥感边缘智能的典型应用进行了介绍，以期推进边缘智能技术在遥感应用领域的发展和应用。

图 1 遥感边缘智能技术研究相关技术路线图

Fig. 1 Related technologies of edge intelligence technology

1 小样本情况下的泛化学习

深度学习技术所带来的算法性能提升是在大量训练样本提供的数据支撑下获取的。相较于动辄上万的视觉图像，在遥感边缘智能应用场景中，深度学习算法通常面临着小样本问题：对于出现频率较低的目标，实际往往只能获取几幅到几十幅图像的样本数据。以基于遥感图像的飞机目标识别任务为例，部分型号的飞机生产和保有的数量较少，因此可获取的图像样本数量十分有限，而现有的飞机型号识别算法缺乏小样本条件下的学习能力，实际中往往陷入严重的过拟合问题，导致在实际应用中的识别效果较差。针对边缘终端上的小样本问题对于遥感边缘智能技术发展的约束，探索适用于遥感数据解译需求的小样本学习方法成为学界研究重点。如图 2所示，现有的解决思路可以归为两大类：一类是结合遥感图像特性进行样本智能化扩充，从而满足模型训练时的数据量需求；另一类则是从知识复用的角度出发，按照迁移学习、元学习和度量学习等策略引入先验知识，辅助在新地物类别上的学习，从而实现降低算法对遥感样本数据量需求的目的，完成小样本遥感智能解译。如表 1所示，本节将从样本生成以及知识复用两个角度介绍相关的算法原理和技术应用。

图 2 小样本泛化学习方法与典型应用场景总结

Fig. 2 A taxonomy of few-shot learning methods and typical applications

表 1 不同小样本方法总结
Table 1 Comparison of different few-shot learning methods

下载CSV

原理	方法	优点	缺点	典型应用
样本生成	传统数据扩充方法	扩充速度快，扩充效率高	需要结合专家经验选择具体扩充方法；扩充样本信息丰度有限	Yu等人(2017)；Wang等人(2019c)
	基于仿真技术的样本生成方法	可以按需自定义设置图像内容，并自动化生成图像的标注信息	仿真建模需要一定的专业知识和时间投入	Kusk等人(2016)；Yan等人(2019)；Kong等人(2020)
	基于深度生成模型的样本生成方法	样本生成自动化程度高	深度生成模型训练中的不稳定性问题	Ma等人(2019)；Zhang等人(2018b)
知识复用	迁移学习	操作简单，学习精度高	迁移的数据集之间需要存在较强的相关性	Marmanis等人(2016)；Rostami等人(2019)
	基于度量学习的小样本学习方法	对于各类小样本学习任务的通用性较强，无需再训练	双源输入型结构对终端计算、存储性能存在一定需求	Rao等人(2019)；Zhang等人(2019a)
	基于元学习的小样本学习方法	在各类小样本学习任务上通用性较强，学习速度快	模型的泛化性能依赖于类别信息丰富的辅助数据集作为支撑	Zhai等人(2019)；Alajaji和Alhichri(2020)

1.1 样本生成

1.1.1 基于仿真技术的样本生成方法

1.1.2 基于深度生成模型的样本生成方法

1.2 知识复用

1.2.1 迁移学习

1.2.2 度量学习

1.2.3 元学习

2 轻量化模型设计与训练

2.1 轻量化模型设计

海量的遥感图像和日益提高的遥感图像分辨率对深度学习算法的性能要求越来越高。随着图幅尺寸的增加、数据量的扩增，早期出现的一些卷积神经网络，例如LeNet(LeCun等，1998)和AlexNet(Krizhevsky等，2012)等浅层卷积神经网络逐渐难以满足工业界对算法性能指标的要求。因此，诞生了一大批网络深度更深，性能更加卓越的卷积神经网络，如VGG(visual geometry graph)(Simonyan和Zisserman，2015)、GoogLeNet(Szegedy等，2015)、ResNet(He等，2016)和DenseNet(Huang等，2017a)等。受限于卷积神经网络局部连接的属性，为了获取更好的特征表达能力，模型需要不断增加网络的深度，从最初仅有7层的AlexNet到16层的VGG，再到101层的ResNet，甚至动辄成百上千层的DenseNet。

随着遥感图像分辨率的提升、网络深度的增加和参数的堆叠带来性能的提升，与之相伴的是庞大的模型、巨量的参数和缓慢的算法效率。只有解决了深度学习在存储、功耗和速度上的问题，才能让深度学习走出实验室，走向工业界，从而更广泛地应用到边缘计算设备上，推动边缘智能技术的发展。

面对现阶段存在的问题和挑战，轻量化模型设计成为重要的解决途径。轻量化模型设计是在算法设计阶段尽可能保留算法高性能前提下，减少模型参数、提高算法运算速度的一种设计理念。如图 3和表 2所示，轻量化模型设计方法通常可分为两大类，第1类是在模型训练前进行轻量化模型设计的方法，这类方法通常结合遥感图像图幅尺寸广阔、分辨率高、模态多样的特点进行设计，从而提高模型处理大尺寸多通道遥感数据的速度。常见的有卷积计算单元设计方法、人工网络设计方法和自动设计方法。第2类轻量化模型设计方法是在模型初次设计后或模型训练完成后，再进行进一步的设计优化。这类方法通常针对遥感图像场景中存在的冗余特征和遥感图像高比特位的数据表示方式进行设计，从而减少冗余的特征和数据表示，进一步提高算法响应速度。常见的方法有模型剪枝和模型量化方法。下面是几种常见轻量化模型设计方法的介绍。

图 3 轻量化模型设计方法与典型应用场景总结

Fig. 3 A taxonomy of lightweight model designing methods and typical applications

表 2 轻量化模型设计总结
Table 2 Lightweight model design method

下载CSV

原理	方法	优点	缺点	实现方式	运用领域	典型应用
模型 设计	轻量化 模型	较好地平衡模型规模和模型精度，对性能影响较小	依赖人工先验知识或大规模机器搜索	卷积计算单元轻量化	图像分类	Krizhevsky等人(2012)；Chollet(2017)；Zhang等人(2018a)；Ma等人(2018)
					图像地物要素提取	Valada等人(2020)；Cao等人(2019)；Wang等人(2019b)
					SAR图像船舶检测	Zhang等人(2019b)
				人工设计轻量化模型	图像分类	Howard等人(2017)；Sandler等人(2018)；Zhang等人(2018a)；Ma等人(2018)；Iandola等人(2016)
					图像建筑物提取	Ji等人(2018)；Ma等人(2020)
					图像目标检测	Li等人(2019)
				自动设计轻量化模型	图像分类	Zoph等人(2018)；Tan等人(2018)
					图像语义分割	Howard等人(2019)
模型 优化	模型 剪枝	灵活地从多 种粒度对模 型空间复杂 度进行缩减， 不依赖于硬 件环境	训练过程复 杂；过度剪枝 可能导致模 型的特征表 达能力损失	细粒度剪枝	图像分类	Guo等人(2016)；Hassibi和Stork(1993)；LeCun等人(1989)
			核内剪枝	图像分类	Mao等人(2017)
				粗粒度剪枝	图像分类	He等人(2017)；Liu等人(2017)；Luo等人(2017)
					图像目标检测	王生生等人(2019a)
				层级剪枝	图像分类	Rueda等人(2017)；Li等人(2017)
	模型 量化	适用于所有模型，模型压缩程度较高	需要依赖相应的底层硬件支持	二值量化	图像分类	Hubara等人(2016)；Rastegari等人(2016)；Lin等人(2017)
				三值量化	图像分类	Zhu等人(2017a)
				多值量化	图像分类	Jacob等人(2018)

2.1.1 轻量化模型

2.1.1.1 卷积计算单元轻量化设计方法

2.1.1.2 模型轻量化人工设计方法

2.1.1.3 模型轻量化自动设计方法

2.1.2 模型剪枝

模型剪枝的轻量化设计基于卷积神经网络过参数化的假设，即在神经网络中参数众多，包含大量无用甚至有害的参数，在遥感图像解译领域，多种模态的数据和图像局部的空间、颜色、纹理等特征都存在一定程度的冗余和重复，剪枝的目的就是删减掉冗余和不必要的参数。

如表 2所示，模型剪枝按照剪枝粒度的区别可分为细粒度剪枝、核内剪枝、粗粒度剪枝和层级剪枝。其中，细粒度剪枝指对模型中单个权重的剪枝，核内剪枝的剪枝粒度扩大到卷积核的某一维，粗粒度剪枝方法通常是直接对卷积核、特征图甚至是通道进行剪枝，层级剪枝则是在模型网络层的级别上进行剪枝。

模型剪枝算法按照不同的剪枝执行阶段可分为迭代式剪枝和动态剪枝。如图 4所示，最常见的迭代剪枝方式遵循：训练/微调—剪枝规则计算—剪枝—训练/微调的步骤。动态剪枝通常指剪枝和训练同时进行，一般是在目标函数中加入指导剪枝的正则项。如表 3所示，按照模型剪枝方式和规则进一步进行了分类总结。

图 4 迭代剪枝过程示意图

Fig. 4 Schematic diagram of iterative pruning process

表 3 模型剪枝方法总结
Table 3 Model pruning method

下载CSV

剪枝方法	原理	优点	缺点	剪枝方式	剪枝规则	典型应用
细粒度 剪枝	单个权重的剪枝	模型收敛快压缩比高	需要适配智能计算终端设备底层硬件	迭代式剪枝	判别函数	Guo等人(2016)
				动态剪枝	海森矩阵	Hassibi和Stork(1993)； LeCun等人(1989)
核内剪枝	卷积核某一维剪枝	进一步摆脱存储空间的制约	易导致计算量增加	迭代式剪枝	权重阈值	Mao等人(2017)
粗粒度 剪枝	卷积核、特征图或通道进行剪枝	对底层硬件兼容性更好	剪枝粒度大，遗留大量冗余参数，需要后处理操作	迭代式剪枝	Lasso回归	He等人(2017)
				迭代式剪枝	BN缩放系数	Liu等人(2017)
				迭代式剪枝	通道子集近似	Luo等人(2017)
层级剪枝	网络层级别进行剪枝	压缩效率最高	模型结构改变，算法精度下降明显，训练难度较高	动态剪枝	判别函数	Rueda等人(2017)
				迭代式剪枝	权重层合并	Li等人(2017)

遥感数据通常需在机载、舰载和星载等算力受到严重制约的应用平台上进行处理和分析任务，对模型算法的速度和功耗有较高要求。而模型剪枝算法能够有效降低模型空间复杂度，通常随着剪枝粒度的增加，模型轻量化程度逐步提高，大粒度的剪枝算法更适合在严苛计算能力存储条件下终端的算法部署。

目前模型剪枝算法在遥感场景的应用中仍属于起步阶段。Wang等人(2019a)提出一种基于卷积核剪枝方法的两阶段目标检测方法，将卷积核权重绝对值之和作为剪枝标准，升序排序后，进行剪枝操作，精简网络结构提高推理速度。文中提出的模型结构在多个遥感数据集上提升了检测算法的速度。

2.1.3 模型量化

2.2 轻量化模型训练

2.2.1 传统方法

传统的轻量化神经网络训练遵循反向传播算法(backpropagation algorithm，BP)。如图 5所示，在模型训练过程中，以批量训练数据作为输入，通过前向传播过程得到预测输出，根据损失函数计算预测输出与期望输出的累计误差值。然后，通过反向传播过程，基于梯度下降法完成参数的更新。重复以上过程，直到累计误差最小或者达到设置的训练步骤。

图 5 模型训练示意图

Fig. 5 Schematic diagram of model training

在遥感领域，主要针对目标多尺度、数据多模态等特点对训练过程进行改进。其中，针对遥感图像的多尺度特征，通过融合不同特征学习阶段的多尺度特征图方式实现多尺度特征学习，通常对各个特征的输出进行辅助目标函数监督，能够在不增加推理阶段计算量的前提下显著提高性能、加速训练过程。针对多种模态数据的遥感图像，通常通过增加正则惩罚项显示约束各个模态数据的训练过程，有助于均衡特征学习速度，防止欠拟合和过拟合的产生。

2.2.2 知识蒸馏

与传统的训练方法相比，知识蒸馏的训练过程需要两个网络模型。如图 6所示，学生网络表示需要训练的轻量化模型，尤其是边缘智能模型，网络的模型尺寸较小，性能有限，而教师网络表示已经经过预训练的、高精度的网络模型。因此，知识蒸馏框架的目的就是通过对教师网络知识的学习，促进学生网络性能的提升。学生网络在训练过程中，除了同传统方法一样，应用训练数据的标签作为监督信息，还会将提取自教师网络的知识同时作为一种监督信息，用来辅助学生网络的训练。目前，已经提出了很多种知识提取策略，例如Hinton等人(2015)提出的知识蒸馏框架中，使用教师网络的软化概率输出监督学生网络的训练。Romero等人(2015)提出匹配教师网络和学生网络的中间层的特征。Zagoruyko和Komodakis(2016)则建议匹配两个网络的注意力图。为了减轻两个网络的特征差异较大的问题，Kim等人(2018)提出应用自编码器进行特征对齐操作。Shen等人(2019)基于生成对抗网络，对教师网络和学生网络的特征进行相似性鉴别。

图 6 知识蒸馏结构图

Fig. 6 The framework of knowledge distillation

针对遥感数据的知识蒸馏主要考虑目标的尺度差异大、形状不规则等方面的特点进行蒸馏架构的设计，其中多尺度特征可通过学习教师网络不同阶段的知识实现，形状特征则通过学习教师网络输入之间的相关特征实现。此外，还有一些方法通过自蒸馏架构提升学生网络的性能，即使用学生网络本身作为教师指导学生网络训练，例如，浅层网络学习深层网络的上下文注意力信息，深层网络学习浅层网络的语义注意力信息。

3 面向多任务的持续学习

遥感数据的获取速度和数量得到快速提高，对人工智能提出了新的标准和要求，迫切希望深度神经网络模型可以不断地适应并随着时间的推移不断学习。当前的深度神经网络模型一般都是静态模型，需要使用大量数据进行长时间的训练，然而模型只能应用于当前任务，不能随着时间推移而适应或者扩展。当有新的数据可用并且模型需要更新时，模型无法保持对原任务的性能要求，导致灾难性遗忘问题。例如，基于卫星图像的飞机、船舶等目标的检测识别任务，目前通用的方法是针对不同的目标训练单独的模型，甚至是针对细分的目标型号单独训练模型，这种方式实现复杂且应用繁琐。而卫星图像每天都可以大量更新，现存的静态模型无法及时更新并利用新增的数据。针对上述问题，要求深度模型具有持续学习能力，而多任务持续学习是解决该问题的有效技术手段。

多任务持续学习研究的是从无限的数据流中学习知识的问题，目标是将学习到的知识进行扩展，应用于未来的学习中，如图 7所示，多任务持续学习有广阔的应用场景。多任务持续学习结构如图 8所示。数据流中不同阶段的数据样本分别属于不同的任务，比如飞机船舶的检测任务、地物要素的分类任务等。如表 4所示，在持续学习模型训练阶段，样本集只包含当前任务样本，而先前任务的样本不可见；在持续学习模型推理阶段，要求模型对先前任务和当前任务均保持良好的预测精度。存在的方法主要分为两类：基于样本数据重现的方法以及基于模型结构扩展的方法。前者通过储存或者拟合先前任务的训练数据避免灾难性遗忘，后者主要是调整模型的参数或者结构，保证网络的持续学习能力。

图 7 多任务持续学习方法与典型应用场景总结

Fig. 7 A taxonomy of multi-tasks continual learning methods and typical applications

图 8 多任务持续学习结构图

Fig. 8 The framework of multi-tasks continual learning

表 4 多任务持续学习方法总结
Table 4 Multi-tasks continual learning methods

下载CSV

原理	方法	优点	缺点	运用领域	训练策略	特点	典型应用
样本 数据 重现	旧样本存储	平衡训练数据	增加样本存储空间，应用场景受到限制	图像分类	近邻样本均值	提升鲁棒性	Rebuffi等人(2017)； Li等人(2020)
				道路检测	覆盖算法	仅适用于单一类别	Zhang等人(2017)
				精细化标注	知识蒸馏	多标签分类	Tasar等人(2019a，b)
	伪样本生成	生成数据自由	训练步骤复杂，生成模型难收敛	图像分类	生成对抗	可以持续生成大量样本	Xiang等人(2019)
模型 结构 扩展	优化 约束	实现 简单	要求任务具有相关性，网络容量易耗尽	图像分类	应用费雪信息矩阵	实现简单	Kirkpatrick等人(2017)
					渐进增加	资源可以重复使用	Rusu等人(2016)
				精细化标注	自组织网络	自适应类别和节点	Kurnaz等人(2005)
	参数 隔离	任务自 适应	额外的参数存储	图像分类	构建网络原型	保留历史信息	Bruzzone和Prieto(1999)
				多源数据融合	集成算法	无需历史数据	Aljundi等人(2017)；Parikh和Polikar(2007)

3.1 基于样本数据重现的方法

3.2 基于模型结构扩展的方法

4 展望与挑战

5 结语

参考文献

Alajaji D and Alhichri H. 2020. Few shot scene classification in remote sensing using meta-agnostic machine//Proceedings of the 6th Conference on Data Science and Machine Learning Applications. Riyadh, Saudi Arabia: IEEE: 77-80[DOI:10.1109/cdma47397.2020.00019]
Aljundi R, Chakravarty P and Tuytelaars T. 2017. Expert gate: lifelong learning with a network of experts//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 3366-3375[DOI:10.1109/CVPR.2017.753]
Bruzzone L, Prieto D F. 1999. An incremental-learning neural network for the classification of remote-sensing images. Pattern Recognition Letters, 20(11-13): 1241-1248 [DOI:10.1016/S0167-8655(99)00091-4]
Cao Z Y, Fu K, Lu X D, Diao W H, Sun H, Yan M L, Yu H F, Sun X. 2019. End-to-end DSM fusion networks for semantic segmentation in high-resolution aerial images. IEEE Geoscience and Remote Sensing Letters, 16(11): 1766-1770 [DOI:10.1109/LGRS.2019.2907009]
Chen Z, Zhang T, Ouyang C. 2018. End-to-end airplane detection using transfer learning in remote sensing images. Remote Sensing, 10(1): #139 [DOI:10.3390/rs10010139]
Chollet F. 2017. Xception: deep learning with depthwise separable convolutions//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 1800-1807[DOI:10.1109/CVPR.2017.195]
Deng J, Dong W, Socher R, Li L J, Li K and Li F F. 2009. ImageNet: a large-scale hierarchical image database//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE: 248-255[DOI:10.1109/cvpr.2009.5206848]
Fernando C, Banarse D, Blundell C, Zwols Y, Ha D, Rusu AA, Pritzel A and Wierstra D. 2017. Pathnet: evolution channels gradient descent in super neural networks[EB/OL].[2020-02-04]. https://arxiv.org/pdf/1701.08734.pdf
Finn C, Abbeel P and Levine S. 2017. Model-agnostic meta-learning for fast adaptation of deep networks//Proceedings of the 34th International Conference on Machine Learning. Sydney: JMLR.org: 1126-1135
Gao X, Sun X, Yan M L, Sun H, Fu K, Zhang Y and Ge Z P. 2018. Road extraction from remote sensing images by multiple feature pyramid network//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE: 6907-6910[DOI:10.1109/IGARSS.2018.8519093]
Guo Y W, Yao A B and Chen Y R. 2016. Dynamic network surgery for efficient DNNs//Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook: ACM: 1381-1395
Hassibi B and Stork D G. 1993. Second order derivatives for network pruning: optimal brain surgeon//Advances in Neural Information Processing Systems. San Francisco: ACM: 164-171
He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778[DOI:10.1109/CVPR.2016.90]
He Y H, Zhang X Y and Sun J. 2017. Channel pruning for accelerating very deep neural networks//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 1398-1406[DOI:10.1109/ICCV.2017.155]
Hinton G E, Vinyals O and Dean J. 2015. Distilling the knowledge in a neural network[EB/OL].[2020-02-04]. https://arxiv.org/pdf/1503.02531.pdf
Howard A, Sandler M, Chu G, Chen L C, Chen B, Tan M X, Wang W J, Zhu Y K, Pang R M, Vasudevan V, Le Q V and Adam H. 2019. Searching for MobileNetV3[EB/OL].[2020-02-04]. https://arxiv.org/pdf/1905.02244.pdf
Howard A G, Zhu M L, Chen B, Kalenichenko D, Wang W J, Weyand T, Andreetto M and Adam H. 2017. MobileNets: efficient convolutional neural networks for mobile vision applications[EB/OL].[2020-02-04].https://arxiv.org/pdf/1704.04861.pdf
Huang G, Liu Z, Van Der Maaten L and Weinberger K Q. 2017a. Densely connected convolutional networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 2261-2269[DOI:10.1109/CVPR.2017.243]
Huang Z L, Pan Z X, Lei B. 2017b. Transfer learning with deep convolutional neural network for SAR target classification with limited labeled data. Remote Sensing, 9(9): #907 [DOI:10.3390/rs9090907]
Hubara I, Courbariaux M and Soudry D. 2016. Binarized neural networks//Proceedings of 2016 Conference on Neural Information Processing Systems. Barcelona: NIPS: # 6573
Iandola F N, Han S, Moskewicz M W, Ashraf K, Dally W J and Keutzer K. 2016. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and < 0.5 MB model size[EB/OL].[2020-02-04].https://arxiv.org/pdf/1602.07360.pdf
Jacob B, Kligys S, Chen B, Zhu M L, Tang M, Howard A, Adam H and Kalenichenko D. 2018. Quantization and training of neural networks for efficient integer-arithmetic-only inference//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 2704-2713[DOI:10.1109/cvpr.2018.00286]
Ji M, Liu L F, Buchroithner M. 2018. Identifying collapsed buildings using post-earthquake satellite imagery and convolutional neural networks:a case study of the 2010 Haiti earthquake. Remote Sensing, 10(11): #1689 [DOI:10.3390/rs10111689]
Ji S W, Xu W, Yang M, Yu K. 2013. 3D convolutional neural networks for human action recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(1): 221-231 [DOI:10.1109/tpami.2012.59]
Kaya M, Bilge H Ş. 2019. Deep metric learning:a survey. Symmetry, 11(9): 1066 [DOI:10.3390/sym11091066]
Kemker R, Salvaggio C, Kanan C. 2018. Algorithms for semantic segmentation of multispectral remote sensing imagery using deep learning. ISPRS Journal of Photogrammetry and Remote Sensing, 145: 60-77 [DOI:10.1016/j.isprsjprs.2018.04.014]
Kim J, Park S and Kwak N. 2018. Paraphrasing complex network: network compression via factor transfer//Proceedings of the 32nd Conference on Neural Information Processing Systems. Montréal: NIPS: #7541
Kirkpatrick J, Pascanu R, Rabinowitz N, Veness J, Desjardins G, Rusu A A, Milan K, Quan J, Ramalho T, Grabska-Barwinska A, Hassabis D, Clopath C, Kumaran D, Hadsell R. 2017. Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences of the United States of America, 114(13): 3521-3526 [DOI:10.1073/pnas.1611835114]
Kong F J, Huang B H, Bradbury K and Malof J M. 2020. The synthinel-1 dataset: a collection of high resolution synthetic overhead imagery for building segmentation//Proceedings of 2020 IEEE Winter Conference on Applications of Computer Vision. Snowmass Village, CO: IEEE: 1803-1812[DOI:10.1109/wacv45572.2020.9093339]
Krizhevsky A, Sutskever I and Hinton G E. 2012. ImageNet classification with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook: ACM: 1097-1105
Kurnaz M N, Dokur Z, Ölmez T. 2005. Segmentation of remote-sensing images by incremental neural network. Pattern Recognition Letters, 26(8): 1096-1104 [DOI:10.1016/j.patrec.2004.10.004]
Kusk A, Abulaitijiang A and Dall J. 2016. Synthetic SAR image generation using sensor, terrain and target models//Proceedings of the 11th EUSAR European Conference on Synthetic Aperture Radar. Hamburg: VDE: 405-409
LeCun Y, Denker J S and Solla S A. 1989. Optimal brain damage//Proceedings of the 2nd International Conference on Neural Information Processing Systems. Cambridge: ACM: 598-605
LeCun Y, Bottou L, Bengio Y, Haffner P. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278-2324 [DOI:10.1109/5.726791]
Li D W, Wang X L and Kong D G. 2017. DeepRebirth: accelerating deep neural network execution on mobile devices[EB/OL].[2020-02-04].https://arxiv.org/pdf/1708.04728.pdf
Li H F, Jiang H, Gu X, Peng J, Li W B, Hong L, Tao C. 2020. CLRS:continual learning benchmark for remote sensing image scene classification. Sensors, 20(4): #1226 [DOI:10.3390/s20041226]
Li L, Zhang S B, Wu J. 2019. Efficient object detection framework and hardware architecture for remote sensing images. Remote Sensing, 11(20): #2376 [DOI:10.3390/rs11202376]
Li Z Z, Hoiem D. 2018. Learning without forgetting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(12): 2935-2947 [DOI:10.1109/TPAMI.2017.2773081]
Lin X F, Zhao C and Pan W. 2017. Towards accurate binary convolutional neural network//Proceedings of the 31st Conference on Neural Information Processing Systems. Long Beach: NIPS: #6638
Liu B, Yu X C, Yu A Z, Zhang P Q, Wan G, Wang R R. 2019. Deep few-shot learning for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 57(4): 2290-2304 [DOI:10.1109/tgrs.2018.2872830]
Liu Z, Li J G, Shen Z Q, Huang G, Yan S M and Zhang C S. 2017. Learning efficient convolutional networks through network slimming//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 2755-2763[DOI:10.1109/ICCV.2017.298]
Luo C, Ma L. 2018. Manifold regularized distribution adaptation for classification of remote sensing images. IEEE Access, 6: 4697-4708 [DOI:10.1109/access.2018.2789932]
Luo J H, Wu J X and Lin W Y. 2017. ThiNet: a filter level pruning method for deep neural network compression//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 2068-5076[DOI:10.1109/ICCV.2017.541]
Ma D A, Tang P, Zhao L J. 2019. SiftingGAN:generating and sifting labeled samples to improve the remote sensing image scene classification baseline in vitro. IEEE Geoscience and Remote Sensing Letters, 16(7): 1046-1050 [DOI:10.1109/lgrs.2018.2890413]
Ma H J, Liu Y L, Ren Y H, Yu J X. 2020. Detection of collapsed buildings in post-earthquake remote sensing images based on the improved YOLOv3. Remote Sensing, 12(1): #44 [DOI:10.3390/rs12010044]
Ma N N, Zhang X Y, Zheng H T and Sun J. 2018. ShuffleNet V2: practical guidelines for efficient CNN architecture design//Proceedings of the 15th European Conference on Computer Vision. Cham: Springer: 122-138[DOI:10.1007/978-3-030-01264-9_8]
Mallya A, Davis D and Lazebnik S. 2018. Piggyback: adapting a single network to multiple tasks by learning to mask weights//Proceedings of the 15th European Conference on Computer Vision. Cham: Springer: 67-82[DOI:10.1007/978-3-030-01225-0_5]
Malmgren-Hansen D, Kusk A, Dall J, Nielsen A A, Engholm R, Skriver H. 2017. Improving SAR automatic target recognition models with transfer learning from simulated data. IEEE Geoscience and Remote Sensing Letters, 14(9): 1484-1488 [DOI:10.1109/lgrs.2017.2717486]
Mao H Z, Han S, Pool J, Li W S, Liu X Y, Wang Y, and Dally W J. 2017. Exploring the regularity of sparse structure in convolutional neural networks[EB/OL].[2020-02-04]. https://arxiv.org/pdf/1705.08922.pdf
Marmanis D, Datcu M, Esch T, Stilla U. 2016. Deep learning earth observation classification using ImageNet pretrained networks. IEEE Geoscience and Remote Sensing Letters, 13(1): 105-109 [DOI:10.1109/lgrs.2015.2499239]
Pan S J, Yang Q. 2010. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10): 1345-1359 [DOI:10.1109/tkde.2009.191]
Parikh D, Polikar R. 2007. An ensemble-based incremental learning approach to data fusion. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 37(2): 437-450 [DOI:10.1109/TSMCB.2006.883873]
Rao M B, Tang P, Zhang Z. 2019. Spatial-spectral relation network for hyperspectral image classification with limited training samples. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(12): 5086-5100 [DOI:10.1109/jstars.2019.2957047]
Rastegari M, Ordonez V, Redmon J and Farhadi A. 2016. XNOR-Net: imageNet classification using binary convolutional neural networks//Proceedings of the 14th European Conference on Computer Vision. Cham: Springer: 525-542[DOI:10.1007/978-3-319-46493-0_32]
Rebuffi S A, Kolesnikov A, Sperl G and Lampert C H. 2017. ICaRL: incremental classifier and representation learning//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 2001-2010[DOI:10.1109/CVPR.2017.587]
Romero A, Ballas N, Kahou S E, Chassang A, Gatta C and Bengio Y. 2015. FitNets:hints for thin deep nets[EB/OL].[2020-02-04].https://arxiv.org/pdf/1412.6550.pdf
Rostami M, Kolouri S, Eaton E, Kim K. 2019. Deep transfer learning for few-shot SAR image classification. Remote Sensing, 11(11): #1374 [DOI:10.3390/rs11111374]
Rueda F M, Grzeszick R and Fink G A. 2017. Neuron pruning for compressing deep networks using maxout architectures//Proceedings of the 39th German Conference on Pattern Recognition. Cham: Springer: 177-188[DOI:10.1007/978-3-319-66709-6_15]
Rusu A A, Rabinowitz N C, Desjardins G, Soyer H, Kirkpatrick J, Kavukcuoglu K, Pascanu R and Hadsell R. 2016. Progressive neural networks[EB/OL].[2020-02-04]. https://arxiv.org/pdf/1606.04671.pdf
Sandler M, Howard A, Zhu M L, Zhmoginov A and Chen L C. 2018. MobileNetV2: inverted residuals and linear bottlenecks//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 4510-4520[DOI:10.1109/CVPR.2018.00474]
Shen Z Q, He Z K and Xue X Y. 2019. Meal: multi-model ensemble via adversarial learning//Proceedings of 2019 AAAI Conference on Artificial Intelligence. Honolulu, Hawaii: AAAI: 4886-4893[DOI:10.1609/aaai.v33i01.33014886]
Simonyan K and Zisserman A. 2015. Very deep convolutional networks for large-scale image recognition[EB/OL].[2020-02-04].https://arxiv.org/pdf/1409.1556.pdf
Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 1-9[DOI:10.1109/CVPR.2015.7298594]
Tan M X, Chen B, Pang R M, Vasudevan V, Sandler M, Howard A and Le Q V. 2018. MnasNet: platform-aware neural architecture search for mobile[EB/OL].[2020-02-04].https://arxiv.org/pdf/1807.11626.pdf
Tang H J, Li Y S, Han X, Huang Q H, Xie W X. 2020. A spatial-spectral prototypical network for hyperspectral remote sensing image. IEEE Geoscience and Remote Sensing Letters, 17(1): 167-171 [DOI:10.1109/lgrs.2019.2916083]
Tasar O, Tarabalka Y and Alliez P. 2019a. Continual learning for dense labeling of satellite images//IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama: IEEE: 4943-4946[DOI:10.1109/IGARSS.2019.8898615]
Tasar O, Tarabalka Y, Alliez P. 2019b. Incremental learning for semantic segmentation of large-scale remote sensing data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(9): 3524-3537 [DOI:10.1109/JSTARS.2019.2925416]
Valada A, Mohan R, Burgard W. 2020. Self-supervised model adaptation for multimodal semantic segmentation. International Journal of Computer Vision, 128(5): 1239-1285 [DOI:10.1007/s11263-019-01188-y]
Vilalta R, Drissi Y. 2002. A perspective view and survey of meta-learning. Artificial Intelligence Review, 18(2): 77-95 [DOI:10.1023/A:1019956318069]
Wang P J, Sun X, Diao W H, Fu K. 2020a. FMSSD:feature-merged single-shot detection for multiscale objects in large-scale remote sensing imagery. IEEE Transactions on Geoscience and Remote Sensing, 58(5): 3377-3390 [DOI:10.1109/TGRS.2019.2954328]
Wang S S, Wang M, Wang G Y. 2019a. Deep neural network pruning based two-stage remote sensing image object detection. Journal of Northeastern University (Natural Science), 40(2): 174-179 (王生生, 王萌, 王光耀. 2019a. 基于深度神经网络剪枝的两阶段遥感图像目标检测. 东北大学学报(自然科学版), 40(2): 174-179) [DOI:10.12068/j.issn.1005-3026.2019.02.005]
Wang Y H, Chen C, Ding M, Li J Y. 2019b. Real-time dense semantic labeling with dual-path framework for high-resolution remote sensing image. Remote Sensing, 11(24): #3020 [DOI:10.3390/rs11243020]
Wang Y L, Gu J, Zhao L J, Zhang Y, Wang H Q. 2020b. Target detection based on simulated image domain migration. IEEE Access, 8: 79724-79733 [DOI:10.1109/access.2020.2989458]
Wang Z C, Du L, Mao J S, Liu B, Yang D W. 2019c. SAR target detection based on SSD with data augmentation and transfer learning. IEEE Geoscience and Remote Sensing Letters, 16(1): 150-154 [DOI:10.1109/lgrs.2018.2867242]
Xiang Y, Fu Y, Ji P and Huang H. 2019. Incremental learning using conditional adversarial networks//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE: 6619-6628[DOI:10.1109/ICCV.2019.00672]
Xu S H, Mu X D, Zhang X M, Chai D. 2017. Unsupervised remote sensing domain adaptation method with adversarial network and auxiliary task. Acta Geodaetica et Cartographica Sinica, 46(12): 1969-1977 (许夙晖, 慕晓冬, 张雄美, 柴栋. 2017. 结合对抗网络与辅助任务的遥感影像无监督域适应方法. 测绘学报, 46(12): 1969-1977) [DOI:10.11947/j.AGCS.2017.20170291]
Yan Y M, Tan Z C, Su N. 2019. A data augmentation strategy based on simulated samples for ship detection in rgb remote sensing images. ISPRS International Journal of Geo-Information, 8(6): #276 [DOI:10.3390/ijgi8060276]
Yan Z Y, Yan M L, Sun H, Fu K, Hong J, Sun J, Zhang Y, Sun X. 2018. Cloud and cloud shadow detection using multilevel feature fused segmentation network. IEEE Geoscience and Remote Sensing Letters, 15(10): 1600-1604 [DOI:10.1109/LGRS.2018.2846802]
Yang X, Nan X T, Song B. 2020. D2N4:a discriminative deep nearest neighbor neural network for few-shot space target recognition. IEEE Transactions on Geoscience and Remote Sensing, 58(5): 3667-3676 [DOI:10.1109/tgrs.2019.2959838]
Yu X R, Wu X M, Luo C B, Ren P. 2017. Deep learning in remote sensing scene classification:a data augmentation enhanced convolutional neural network framework. GIScience and Remote Sensing, 54(5): 741-758 [DOI:10.1080/15481603.2017.1323377]
Zagoruyko S and Komodakis N. 2016. Paying more attention to attention: improving the performance of convolutional neural networks via attention transfer[EB/OL].[2020-02-04].https://arxiv.org/pdf/1612.03928.pdf
Zhai M, Liu H P, Sun F C. 2019. Lifelong learning for scene recognition in remote sensing images. IEEE Geoscience and Remote Sensing Letters, 16(9): 1472-1476 [DOI:10.1109/lgrs.2019.2897652]
Zhan Y, Hu D, Wang Y T, Yu X C. 2018. Semisupervised hyperspectral image classification based on generative adversarial networks. IEEE Geoscience and Remote Sensing Letters, 15(2): 212-216 [DOI:10.1109/lgrs.2017.2780890]
Zhang J, Chen L, Wang C, Zhuo L, Tian Q, Liang X. 2017. Road recognition from remote sensing imagery using incremental learning. IEEE Transactions on Intelligent Transportation Systems, 18(11): 2993-3005 [DOI:10.1109/TITS.2017.2665658]
Zhang T F, Sun X, Zhang Y, Yan M L, Wang Y L, Wang Z R and Fu K. 2019a. A training-free, one-shot detection framework for geospatial objects in remote sensing images//IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama: IEEE: 1414-1417[DOI:10.1109/igarss.2019.8898679]
Zhang T W, Zhang X L, Shi J, Wei S J. 2019b. Depthwise separable convolution neural network for high-speed SAR ship detection. Remote Sensing, 11(21): #2483 [DOI:10.3390/rs11212483]
Zhang X Y, Zhou X Y, Lin M X and Sun J. 2018a. ShuffleNet: an extremely efficient convolutional neural network for mobile devices//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 6848-6856[DOI:10.1109/cvpr.2018.00716]
Zhang Y H, Sun H, Zuo J W, Wang H Q, Xu G L, Sun X. 2018b. Aircraft type recognition in remote sensing images based on feature learning with conditional generative adversarial networks. Remote Sensing, 10(7): #1123 [DOI:10.3390/rs10071123]
Zhou X, Prasad S. 2018. Deep feature alignment neural networks for domain adaptation of hyperspectral data. IEEE Transactions on Geoscience and Remote Sensing, 56(10): 5863-5872 [DOI:10.1109/tgrs.2018.2827308]
Zhou Z, Chen X, Li E, Zeng L K, Luo K, Zhang J S. 2019. Edge intelligence:paving the last mile of artificial intelligence with edge computing. Proceedings of the IEEE, 107(8): 1738-1762 [DOI:10.1109/JPROC.2019.2918951]
Zhu C, Han S and Mao H. 2017a. Trained ternary quantization[EB/OL].[2020-02-04]. https://arxiv.org/pdf/1612.01064.pdf
Zhu J Y, Park T, Isola P and Efros A A. 2017b. Unpaired image-to-image translation using cycle-consistent adversarial networks//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 2242-2251[DOI:10.1109/iccv.2017.244]
Zhu L, Chen Y S, Ghamisi P, Benediktsson J A. 2018. Generative adversarial networks for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 56(9): 5046-5063 [DOI:10.1109/tgrs.2018.2805286]
Zoph B, Vasudevan V, Shlens J and Le Q V. 2018. Learning transferable architectures for scalable image recognition//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 8697-8710[DOI:10.1109/cvpr.2018.00907]