Print

发布时间: 2022-06-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.220161
2022 | Volume 27 | Number 6




    视觉理解与计算成像    




  <<上一篇 




  下一篇>> 





智能遥感:AI赋能遥感技术
expand article info 孙显1,2,3,4, 孟瑜1,3,4, 刁文辉1,2,3,4, 黄丽佳1,2,3,4, 张新1,3,4, 骆剑承1,3,4, 高连如1,3,4, 王佩瑾1,2, 闫志远1,2, 郜丽静1, 董文1, 冯瑛超1,2,3,4, 李霁豪1,2,3,4, 付琨1,2,3,4
1. 中国科学院空天信息创新研究院, 北京 100094;
2. 中国科学院网络信息体系技术重点实验室, 北京 100190;
3. 中国科学院大学, 北京 100101;
4. 中国科学院大学电子电气与通信工程学院, 北京 100190

摘要

随着人工智能的发展和落地应用,以地理空间大数据为基础,利用人工智能技术对遥感数据智能分析与解译成为未来发展趋势。本文以遥感数据转化过程中对观测对象的整体观测、分析解译与规律挖掘为主线,通过综合国内外文献和相关报道,梳理了该领域在遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘以及遥感开源数据集和共享平台等方面的研究现状和进展。首先,针对遥感数据精准处理任务,从光学、合成孔径雷达等遥感数据成像质量提升和低质图像重建两个方面对精细化处理研究进展进行了回顾,并从遥感图像的局部特征匹配和区域特征匹配两个方面对定量化提升研究进展进行了回顾。其次,针对遥感数据时空处理与分析任务,从遥感影像时间序列修复和多源遥感时空融合两个方面对其研究进展进行了回顾。再次,针对遥感目标要素分类识别任务,从典型地物要素提取和多要素并行提取两个方面对其研究进展进行了回顾。最后,针对遥感数据关联挖掘任务,从数据组织关联、专业知识图谱构建两个方面对其研究进展进行了回顾。除此之外,面向大智能分析技术发展需求,本文还对遥感开源数据集和共享平台方面的研究进展进行了回顾。在此基础上,对遥感数据智能分析与解译的研究情况进行梳理、总结, 给出了该领域的未来发展趋势与展望。

关键词

遥感大数据; 数据处理; 时空处理与分析; 目标要素分类识别; 数据关联挖掘; 开源数据集; 共享平台

The review of AI-based intelligent remote sensing capabilities
expand article info Sun Xian1,2,3,4, Meng Yu1,3,4, Diao Wenhui1,2,3,4, Huang Lijia1,2,3,4, Zhang Xin1,3,4, Luo Jiancheng1,3,4, Gao Lianru1,3,4, Wang Peijin1,2, Yan Zhiyuan1,2, Gao Lijing1, Dong Wen1, Feng Yingchao1,2,3,4, Li Jihao1,2,3,4, Fu Kun1,2,3,4
1. Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100094, China;
2. Key Laboratory of Network Information System Technology (NIST), Chinese Academy of Sciences, Beijing 100190, China;
3. University of Chinese Academy of Sciences, Beijing 100101, China;
4. School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing 100190, China
Supported by: National Natural Science Foundation of China (61725105, 62171436)

Abstract

With the development and application of artificial intelligence, intelligent analysis and interpretation of big remotely sensed data using artificial intelligence technology has become a future development trend. By synthesizing domestic and foreign literature and related reports, it sorts out the fields of remote sensing data precision processing, remote sensing data spatio-temporal processing and analysis, remote sensing object classification and identification, remote sensing data association mining, remote sensing open source datasets and sharing platforms. Firstly, for the task of precise processing of remote sensing data, the purpose is to image process and calibrate the spectral reflection or radar scattering data obtained by the sensor, and restore them to image products accurately related to some information dimensions of ground objects. This paper reviews the research progress of refined processing from two aspects: the improvement of imaging quality of remote sensing data such as optics and SAR(synthetic aperture radar) and the reconstruction of low-quality images. The research progress of quantitative improvement is analyzed from two aspects: local feature matching and regional feature matching of remote sensing images. The exploration of existing technologies verifies the feasibility of high-precision remote sensing data processing through artificial intelligence technology. Secondly, for the task of spatio-temporal processing and analysis of remote sensing data, through the comprehensive analysis of multi temporal images, compared with single temporal remote sensing images, it can further show the dynamic changes of the earth's surface and reveal the evolution law of ground objects. For remote sensing applications of multi temporal images, such as monitoring of forest degradation, crop growth, urban expansion and wetland loss, the lack of data caused by clouds and their shadows will prolong the time interval of image acquisition, cause the problem of irregular time interval, and increase the difficulty of subsequent time series processing and analysis. This paper reviews its research progress from two aspects: remote sensing image time series restoration and multi-source remote sensing temporal and spatial fusion. Thirdly, for the task of remote sensing object classification and recognition, most of the existing processing and analysis methods do not make full use of the powerful autonomous learning ability of computers, rely on limited information acquisition and calculation methods, and are difficult to meet the performance requirements such as accuracy and false alarm rate. This paper reviews the research progress of typical feature element extraction and multi element parallel extraction. The existing technology explores how to combine artificial intelligence methods on the basis of traditional artificial mathematical analysis methods to quantitatively describe and analyze target models and mechanisms in remote sensing data to improve target interpretation accuracy. Finally, for the task of remote sensing data association mining, the research progress is reviewed from two aspects: data organization association and professional knowledge graph construction. It shows that there are still some problems in the field of remote sensing data, such as scattered application, difficult to form a knowledge graph and realize knowledge accumulation, updating and optimization. Based on massive multi-source heterogeneous remote sensing data, realizing the rapid association, organization and analysis of multi-dimensional information in time and space is an important direction in the future. In addition, facing the development needs of big intelligence analysis technology, this paper also reviews the research progress of remote sensing open source data set and sharing platform. On this basis, the research situation of intelligent analysis and interpretation of remote sensing data is combed and summarized, and the future development trend and prospect of this field are given.

Key words

remote sensing big data; data processing; spatio-temporal processing and analysis; target element classification and identification; data association mining; open source datasets; sharing platform

0 引言

近几年来,国内外人工智能的发展和落地应用如火如荼,促成这种现象的原因可以归纳为两个关键词,即“大数据”与“高算力”。在地理空间数据分析与应用领域,这种变化也正在发生着,比如在国家高分辨率对地观测重大科技专项(简称“高分专项”)等国家重大任务的推动下,可获取的地理空间数据越来越多,另外,以“云+端”架构为代表的高性能计算框架也在不断发展,促进了算力的提升。在此背景下,以地理空间大数据为基础,利用人工智能技术挖掘其深层信息、赋予其更多的应用模式,将成为未来地理空间数据分析应用领域发展的长期主题。

发展遥感数据智能分析技术的目的是将长期积累的遥感数据转化为对观测对象的整体观测、分析和解译,获取丰富准确的属性信息,挖掘目标区域的演化规律,主要包括遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别和遥感数据关联挖掘等。此外,面向大智能分析技术发展需求,遥感开源数据集和共享平台方面也取得了显著进展(陈述彭和郭华东,2000宫辉力等,2005)。

1) 遥感数据精准处理方面。遥感数据精准处理的目的是对传感器获取的光谱反射或雷达散射数据进行成像处理和定标校正,恢复为与地物观测对象某些信息维度精确关联的图像产品。传统方法需要根据卫星、传感器、传输环境和地形地表等先验模型,以及外场定标试验获取定标参数,建立精确的成像模型,将观测数据映射为图像产品。随着传感器新技术的发展和分辨率等性能的提升,先验模型的建立越来越困难,外场定标的难度和消耗也越来越大,并且成像处理和定标校正获取的模型和参数与传感器的耦合,只能以一星一议的方式实现,无法多星一体化实现。如何在传统方法的基础上,设计从观测数据处理到精准图像解译的深度学习网络结构,构建面向不同应用的图像优化指标体系,以大量历史数据和标注结果作为输入,实现网络结构对传感器物理模型和参数的精确重构和逼近,形成基于人工智能技术的多星一体化遥感图像精准处理能力。

2) 遥感数据时空处理与分析方面。多时相影像相比单一时相的遥感影像,能够进一步展示地表的动态变化和揭示地物的演化规律。然而,一方面受限于遥感自身的时间分辨率与空间分辨率之间的不可兼得;另一方面受气象、地形等成像条件的影响,光学传感器获取的遥感影像往往被云层及其阴影覆盖(特别是在多云多雨地区,如我国西南地区),而难以获取真实的地面信息。这样的数据缺失,严重限制了遥感影像的应用;特别是对于多时相影像的遥感应用(如森林退化、作物生长、城市扩张和湿地流失等监测),云层及其阴影所导致的数据缺失将延长影像获取的时间间隔、造成时序间隔不规则的问题,加大后续时间序列处理与分析的难度。因此,进行遥感影像的时间与空间维度的处理与分析对提高遥感影像数据的可用性、时间序列分析水平和遥感应用的深度广度具有重要意义。

3) 遥感目标要素分类识别方面。遥感数据中一般包含大量噪声,大多数现有的处理分析方法并未充分利用计算机强大的自主学习能力,依赖的信息获取和计算手段较为有限,很难满足准确率、虚警率等性能要求。如何在传统的基于人工数学分析的方法基础上,结合人工智能方法,定量描述并分析遥感数据中目标模型失真和背景噪声干扰对于解译精度的影响机理,是遥感智能分析面临的另一项关键科学问题。通过该问题的分析与发展,有望实现构建一个基于深度学习的多源遥感数据自动化分析框架,在统一框架下有机融合模型、算法和知识,提升遥感数据中目标要素提取和识别的智能化水平。

4) 遥感数据关联挖掘方面。随着遥感大数据时代的到来,可以更方便地获取高分辨率和高时间采集频率的遥感数据,对于目标信息的需求,也由目标静态解译信息,拓展到全维度的综合认知与预测分析。为了满足上述需求,基于海量多源异构遥感数据,实现时间、空间等多维度的信息快速关联组织与分析,是未来遥感解译技术发展的重要方向。

5) 遥感开源数据集和共享平台方面。大多数现有数据集仍然存在数据规模较小、缺乏遥感特性的问题,并且现有深度学习平台难以有效支撑遥感特性及应用,领域内数据集算法模型的准确性、实用性和智能化程度也待进一步提高。如何结合遥感数据特性,建设更具遥感特色的开源数据集和共享平台,是遥感智能生态建设的一项重要研究内容。

本文主要围绕上述5个方面的研究,论述遥感智能分析技术的发展现状、前沿动态、热点问题和未来趋势。

1 国际研究现状

1.1 遥感数据精准处理

利用智能手段开展数据预处理的相关工作中,国外研究人员已将智能技术用于遥感数据(光学、合成孔径雷达(synthetic aperture radar, SAR)和光谱)配准、校正等的方向。

1.1.1 光学/SAR精细化处理

遥感图像为遥感应用分析提供了数据基础,可广泛应用于农林监测、城市规划和军事侦察等领域,遥感数据质量是决定其应用性能的关键。评价遥感数据质量的指标包括图像时间/空间分辨率、图像幅宽、空间特征、光谱特征和辐射几何精度等。高质量遥感影像具有高分辨率、高信噪比等特点。提升遥感影像质量的方法可大致分为两类,一是改进传统成像算法聚焦得到高质量图像;二是将已有的低质量的图像通过去噪去云以及超分辨率重建等技术得到高分辨率高质量图像。

与传统的合成孔径雷达(SAR)成像算法比较,基于深度学习的SAR成像算法可以简化成像过程。Rittenbach和Walters(2020)提出RDAnet神经网络,从原始雷达回波数据训练聚焦得到SAR图像,网络经过训练可以匹配距离多普勒算法的性能,算法将SAR成像问题处理为监督学习问题,RDAnet是第1个基于深度学习的SAR成像算法。Gao等人(2019)提出了一种基于深度网络的线谱估计方法,并将其应用于3维SAR成像,大大加快了成像过程。Pu(2021)提出了一种深度SAR成像算法,减少了SAR的采样量,并且提出了一种基于深度学习的SAR运动补偿方法,可以有效地消除运动误差的影响。

仅依赖遥感卫星载荷能力推动图像分辨率提升,使得高分辨率图像成本大幅提高,给遥感图像大规模应用力带来困难。以超分辨、图像重构等为代表的图像级和信号级处理方法为遥感图像分辨率和质量提升提供了另一种可行的技术途径。Wei等人(2021)提出了基于MC-ADM (multicomponent alternating direction method)和基于PSRI-Net (parametric super-resolution imaging network)的两种参数化超分辨率SAR图像重建方法,根据预先设计的损耗,深度网络通过端到端训练来学习,可应用于得到高质量SAR超分辨率图像的参数估计。Luo等人(2019)提出了一种基于卷积神经网络(convolutional neural network, CNN)的SAR图像超分辨率重建的方法,针对浮点图像数据采用深度学习对SAR图像进行重建,可以更好地重建SAR图像。针对非生成对抗网络在光学遥感图像超分辨重建以及噪声去除中出现的信息损失和对比度降低的问题,冯旭斌(2020)提出了利用生成对抗网络(generative adversarial network, GAN)对小波变换域光学遥感图像进行超分辨重建以及噪声去除的方法。熊鹰飞(2021)提出了一种适应于遥感图像超分辨的改进超分辨率生成对抗网络(super-resolution GAN, SRGAN),增强了模型在跨区域和传感器的迁移能力。柏宇阳等人(2021)提出了一种改进的密集连接网络遥感图像超分辨重建算法。Dong等人(2020)提出了一种改进的反投影网络实现遥感图像的超分辨率重建算法。Tao(2020)提出了一种以DPSRResNet (deep plug-and-play residual network)作为其超级解析器的DPSR框架的遥感图像超分辨重建算法。Yang等人(2020)提出了一种多尺度深度残差网络(multi-scale deep residual network, MDRN)用于从遥感图像中去除云。王梦瑶等人(2021)构建了SAR辅助下光学图像去云数据库, 建立了基于条件生成对抗网络的SAR辅助下的光学遥感图像去云模型, 实现了SAR辅助下光学图像薄云、雾和厚云等覆盖下地物信息的有效复原与重建。

目前,人工智能在遥感数据处理和图像质量提升方面的应用主要得益于机器学习技术的引入。基于GAN网络的方法试图利用生成器克服原始高分辨率遥感图像难以获取的问题,另一些无监督的学习方法则通过学习图像质量退化前后关系试图获取原始的高分辨率遥感图像。由于迁移学习可以从其他域样本中获得先验信息,并且在目标域中进一步优化,借鉴迁移学习和零样本学习的思路可以尝试解决遥感图像质量提升的问题。由于作用距离远,遥感图像分辨率和清晰度相对于自然图像仍有一定的差距,这导致遥感图像细节丢失相对较为严重。

为了从遥感图像中获取更为丰富的信息,需要对遥感图像空间特征进行提取(注意力机制、局部—全局联合特征提取等),需要对遥感图像目视效果进行可视化增强(边缘增强、小波变换等)。此外,面向图像细节特征解译的需求,还需要对遥感图像中的弱小目标和细微结构进行检测、提取和增强(弱小目标检测等),提升遥感图像中细节缺失造成的信息损失。

1.1.2 光学/SAR定量化提升

可见光、SAR和高光谱等遥感图像的定量化提升主要体现在几何、辐射、光谱和极化等几个方面,通过寻找稳定点来消除成像过程中产生的畸变,改善图像质量,使数据产品能够定量化反映地物的真实信息,以达到定量化提升的效果。在国际主流研究中,神经网络技术主要应用在提升图像匹配精度方面,并以此带动几何定位精度定量化提升。得益于机器学习方法的引进,遥感图像匹配技术获得了系统性发展,匹配精度获得了显著进步。典型的两种方法为局部特征点匹配方法和区域匹配方法。与全局特征相比,局部特征点与遥感图像获取的大场景松耦合,对大场景的仿射变化、辐射/亮度变化和噪声水平不敏感。目前,基于特征点匹配的遥感图像质量提升技术取得了一系列研究成果。典型的特征点匹配包括关键点检测和描述子提取两个部分。深度学习应用于局部特征点匹配可以分成3个阶段,形成了3类代表性方法。

第1类方法重点关注和解决关键点检测问题,即如何检测得到特征点的方向、位置以及尺度信息。关键点检测中响应图的构建是重点,关键点检测的数量和准确性依赖于特征准确、信息丰富的响应图。Savinov等人(2017)提出了无监督学习的神经网络训练方法,该方法首先将遥感图像目标像素点映射为实值响应图,进而排列得到响应值序列,响应序列的顶部/底部像素点即可以视为关键点。Ma等人(2019b)采用由粗到细的策略,先用一个卷积神经网络计算近似空间关系,然后在基于局部特征的匹配方法中引入考虑空间关系的匹配策略,同时保证了精度和鲁棒性。

第2类方法重点关注和解决描述子提取问题,即用一组特征向量表示描述子,描述子代表了特征点的信息,可以通过端到端训练获得描述子。描述子训练是获得高精度匹配结果的关键。Simo-Serra等人(2015)提出了Deep-Desc特征点描述子提取方法,该方法中神经网络采用了Siamese结构(Chopra等,2005),构造了一种128维的描述子,应用于具有一定差异性的图像对匹配问题,通过比较描述子欧氏距离对图像间描述子的相似性进行衡量。

第3类方法关注于联合训练关键点检测模块和描述子提取模块。关键点检测和描述子提取两个模块的协同工作和联合训练是该方法重点解决的难点。Yi等人(2016)提出了基于LIFT (learned invariant feature transform)网络的联合训练,是最早解决关键点检测和描述子提取的联合训练的网络之一。

LIFT网络的输入是SIFT (scale-invariant feature transform)特征点(Lowe,2004)所在图像块,LIFT网络的关键点检测效果也与SIFT算法类似,鲁棒性较好。Ono等人(2018)提出的LF-Net (local features network),采用Siamese结构训练整个网络,通过深层特征提取网络产生特征图。Shen等人(2019)以LF-Net为基础,提出了基于感受野的RF-Net(receptive fields network)匹配网络,该网络实现关键点检测时保留了遥感图像低层特征、部分保留了遥感图像高层特征,在描述子提取中采用了与Hard-Net(Mishchuk等,2017)一致的网络结构。

与局部特征点相比,区域特征对整体性表征更加完整,对区域形变、区域变化等的稳定性更好。传统区域特征匹配技术的代表为模板匹配方法。深度学习应用于区域特征匹配形成了两类代表性方法。

第1类方法的核心思想是用分类技术解决匹配问题。Han等人(2015)利用MatchNet提取图像区域特征,将3个全连接层得到特征的相似性作为输出,对输出采用概率归一化处理(Softmax)进行分类匹配。Zagoruyko和Komodakis(2015)重点解决了对光照变化、观测角度具有很好适应性的区域特征提取问题,提出了基于DeepCompare网络的区域特征提取方法,该方法的匹配性能对于不同时间空间获取的遥感图像具有极佳的稳定性。

第2类方法的核心思想是构建合适的描述子解决区域特征匹配问题。Tian等人(2017)提出了一种L2-Net网络的区域匹配方法,该网络生成了128维的描述子,在迭代次数较少的约束下,利用递进采样策略,对百万量级的训练样本进行遍历学习,并通过额外引入监督提高学习效率,该网络泛化能力较好。

可见,深度学习网络的引入在特征提取、关键点检测和描述子提取等多方面优化了遥感图像匹配能力。考虑到深度学习网络的持续研究,网络结构、训练方式的更新和进步有望进一步提升遥感图像匹配精度,基于深度学习的遥感图像匹配算法仍然具有相当的研究价值和应用前景。

除了几何质量定量化提升外,还有少数研究学者开展了利用神经网络技术在辐射、光谱和极化定量化提升方面的研究工作。杨进涛等人(2019)提出了一种基于海量SAR数据进行地物散射稳定特性的分析与挖掘,并成功地在普通地物中找到一种统计意义下稳定的散射特征量用做定标参考,从而为SAR系统的常态化辐射定标奠定初步的技术基础。Jiang等人(2018)考虑到极化观测过程中会受到多种误差的影响,造成极化测量失真,影响数据的极化应用性能,提出一种利用普遍分布的地物进行串扰和幅相不平衡的定量评价方法,该方法不受时间和空间限制,能够实现大量数据极化校正性能的实时、便捷评估,对极化数据质量进行长期监测。与几何定量化提升不同,神经网络技术在这些领域还没有大量的、深入的应用,为后续进一步进行系统性、规模化研究提供了指导方向。

1.2 遥感数据时空处理与分析

近年来,陆续开展了多源遥感时间和空间协同处理与分析方面的研究工作,力求实现多源数据间互补协同、融合重建,提高遥感时空分析的能力。

1.2.1 遥感影像时间序列修复

研究人员构建了大量的时间序列遥感影像修复和重建的方法。根据修复所用参考数据的不同,这些方法大致可以分为3类:基于影像本身的修补方法(self-complementation-based)、基于参考影像的修补方法(reference-complementation-based)和基于多时相影像的修补方法(multi-temporal-complementation-based)。基于影像本身的修复方法利用同一影像上无云/影覆盖区域的数据来修补被云/影覆盖区域的缺失数据;假设影像中数据缺失区域与剩余区域具有相似或相同的统计与几何纹理结构,通过传播局部或非局部无云区域的几何结构来重建云/影区域的缺失数据。依据空间插值与误差传播理论,缺失像素插值(missing pixel interpolation)、影像修补(image inpainting)和模型拟合(model fitting)等多种方法广泛应用于云影区域的数据重建。虽然能够重建出貌似真实的影像区域,但这些方法对云/影覆盖下地物的类型非常敏感,其修补数据也不适用于进一步的数据分析;并且由于不确定性和误差随着传播而积累,这些方法很难修复大区域或异质缺失数据。为了克服基于影像本身修补方法的瓶颈,Chen等人(2017a)提出了通过模拟参考影像与云/影覆盖影像之间映射与转换关系的基于参考影像修补方法;这类方法依赖于不同光谱数据之间的强相关性,利用多光谱或高光谱影像中对云不敏感的光谱波段来重建被云/影覆盖区域其他波段的缺失数据。比如利用MODIS (moderate resolution imaging spectroradiometer)数据的第7波段来修复第6波段的数据缺失、利用Landsat近红外波段来估算水面区域的可见光波段、利用MODIS数据预测Landsat影像的缺失数据和利用不受云雨干扰的合成空间雷达数据来重建被云影覆盖的光学数据等。尽管参考影像能够提供云影覆盖区域的缺失信息,但这类方法仍然受到光谱一致性、空间分辨率和成像时间相关性等限制,而难以重建出高质量的用于模拟地表变化的时间序列数据。前两种方法受限于其对重建影像没有渐进变化的假设,这种平稳性假设将成为土地覆盖变化和作物生长监测等时间序列应用中的明显弱点。遥感卫星以固定的重复周期来观测地表,同一区域又不可能总是被云影覆盖,因此很容易获得同一区域的多时相影像。这些同一区域的多时相影像(有云/影覆盖的和无云/影覆盖的)提供了利用多时相影像修复云/影覆盖区域缺失影像的可能(Chen等,2011)。基于多时相影像的修补方法包括两个主要步骤:查找有云/影覆盖区域和无云/影覆盖区域相似的像元(pixel)或区域(patch)以及利用相似的像元(区域)预测云/影覆盖区域的缺失数据。在查找相似像元中,Roy等人(2008)深入研究并集成空间、光谱和时相等信息来度量有云/影覆盖区域和无云/影覆盖区域像元的相似性。在重建云/影覆盖像元中,Gao和Gu(2017)提出和发展了诸如多时相直接替换、基于泊松方程的复制和时空加权插值等方法;同时也吸纳用于修复传感器条带修复的方法,如近邻相似像元插值(neighborhood similar pixel interpolator,NSPI)(Zhu等,2012)和加权线性回归(weighted linear regression,WLR)等。

近年来,深度学习方法也运用于云影覆盖影像的修复和重建;Grohnfeldt等人(2018)利用生成对抗网络(GAN)来融合合成孔径雷达数据和光学影像生成无云影像;Malek等人(2018)利用自动编码网络(autoencoder neural network)来构建有云影覆盖区域和无云影覆盖区域影像的映射函数;Zhang等人(2018a)利用深度卷积网络(deep convolutional neural network)集成光谱、空间和时相信息来修复缺失数据。

虽然现有研究取得了不错的重建效果,但仍存在一些局限性:1)相对于光谱和空间相似性,多时相影像中的时间趋势能更详细地反映地表覆盖变化,而以往方法(尤其是传统方法)中的简单线性回归或光谱、空间度量很难捕捉复杂的非线性时间趋势;2)现有的利用深度学习的重建方法多集中运用空间卷积网络CNN获取光谱和空间纹理信息(且需要大量的训练样本),少有研究使用循环神经网络(recurrent neural network, RNN)学习跨影像的时间趋势;3)由于云/影总在不确定的影像区域和不确定的时间上出现,像元级的时间序列难以保证多时相影像的时间间隔相等与时相对齐,加大了现有方法进行时间序列重建的难度。

1.2.2 多源遥感时空融合

遥感图像融合研究可大致分为两个阶段。第1阶段主要集中于全色增强算法研究,即通过融合来自同一传感器的全色波段和多光谱波段进而生成高分辨率的多光谱图像。这类算法研究较多,已形成较为成熟的系列算法。第2阶段则是多源多分辨的时空融合算法研究,即通过融合高空间分辨率遥感数据的空间分辨率特征和高时间分辨率遥感数据的时间分辨率特征,进而生成兼具高时间和高空间分辨率的遥感数据。这类研究从最近十几年才发展起来,仍处于快速发展阶段,研究成果相对较少,但是对遥感数据的应用具有重要意义。

时空融合算法研究最早出现在2006年美国农业部Gao等人(2006)的研究中。其在Landsat ETM+和MODIS数据地表反射率的融合中提出一种时空自适应反射率融合模型(spatial and temporal adaptive reflectance fusion model,STARFM),可融合生成具有和Landsat ETM+数据一样空间分辨率的逐日(和MODIS数据时间分辨率一样)地表反射率数据。此后,系列基于STARFM或其他理论框架的融合算法相继被提出。当前的时空融合算法根据其融合原理可大致分为3种:基于解混、基于滤波和基于学习的方法。基于解混的方法,通过光谱替换的方式生成融合图像;基于滤波的方法,待预测像元值通过对其一定邻域内光谱相似像元的加权求和获得;而基于学习的方法(Huang和Song,2012Song和Huang,2012),首先通过学习待融合传感器图像之间的映射关系,然后将先验图像的信息融入融合模型最终生成融合图像。

基于学习的时空融合研究起初多在MODIS和Landsat这两类遥感图像上。如针对这两类数据的融合,Song和Huang(2012)提出基于稀疏表示的时空反射融合模型。该模型在已知两对MODIS和Landsat图像对差分域中学习它们的映射关系,形成字典对信息。而因为两者图像的空间分辨率存在较大差异,作者设计了两层融合框架,使得基于稀疏表示的方法大大提高了融合精度,但字典对中存在扰动的问题一直不可忽视。Wu等人(2015)通过引入误差边界正则化的方法到字段对学习中解决了扰动问题。近年来,因深度卷积神经网络在各类图像领域表现出良好性能,Song等人(2018)提出基于卷积神经网络的遥感图像时空融合算法(spatiotemporal satellite image fusion using deep convolutional neural networks,STFDCNN)。STFDCNN分两阶段进行学习,首先学习降采样Landsat图像(low spatial resolution,LSR)与MODIS图像之间的非线性映射关系;其次学习LSR Landsat图像与原始Landsat图像之间的超分辨率映射关系。通过这两阶段学习模型实现对遥感图像中丰富细节信息的利用。尽管STFDCNN模型在时空融合性能上大幅度超过其他融合算法,但因其神经网络层数较少(仅有3个隐藏层),如此浅层的卷积神经网络对存在较大空间尺度差异的不同卫星传感器数据(MODIS-Landsat)间的非线性映射关系的学习仍是有难度的。因此,当前如何处理两类传感器数据(MODIS-Landsat)之间的空间差异变化,以及如何确定深度卷积网络的最优层数和卷积核数目仍旧是卷积神经网络时空融合算法研究中亟待解决的问题。此外,Kim等人(2016)在超分辨重建研究中,通过利用残差网络结构得以训练一个深度的卷积神经网络模型,这对后续遥感图像融合研究具有一定启发。

1.3 遥感目标要素分类识别

经典遥感要素分类与识别方法一般为“单输入单输出”的模型架构,面向不同目标要素、不同模态数据或不同分类识别任务时,通常设计不同的专用网络模型。而实际面临的应用场景中,常会有不同模态的数据供使用,并给出多种类型的决策结果,例如,人类的感知系统会结合听、说、看等多种输入,并给出目标的位置、属性等多种信息。而传统的模型架构难以实现这种“多输入多输出”的能力,主要问题在于: 1)传统模型对新场景、新任务的适应能力不足;2)模型对各类数据的特征提取过程相对独立,难以实现不同数据的特征共享从而实现性能增益;3)在多输入多输出情况下,传统模型的简单叠加会导致计算和空间复杂度的显著上升,限制其实用能力。

为了解决上述问题,当前的主流发展方向是多要素目标信息并行提取,通过在网络模型中探索多模态数据、多任务多要素特征的共享学习,在降低模型复杂度的同时提升其泛化能力。

1.3.1 典型遥感目标要素提取

传统的遥感目标要素提取方法面向不同目标要素时,通常设计不同的专用的方法流程。这种流程设计主要解决两类问题,一是针对遥感数据本身的特征/特性分析,为构建适合数据特征/特性的模型提供依据;二是适合遥感数据特点的专用网络模型构建,即以通用的网络模型为基础,构建符合遥感数据特点的模型,改进通用模型在遥感数据中的应用能力。

遥感数据的获取过程中存在诸多与自然场景图像不同的影响因素,如电磁波散射特性、大气辐射特性和目标反射特性等,因此对于数据的上述特性的分析和表达是构建有效模型的基础。Kusk等人(2016)Malmgren-Hansen等人(2017)通过对SAR成像时地形、回波噪声等要素进行建模,实现基于3D CAD (computer-aided design)对不同类型地物要素的SAR图像仿真。Yan等人(2019)通过对舰船等目标进行3维模型构建,从而生成仿真的目标点云数据。Ma等人(2019a)提出了一种包含生成和判别结构的网络模型,通过对抗学习实现样本表观真实性的增强。Zhan等人(2018)Zhu等人(2018)提出了一种针对高光谱影像分类的生成对抗网络模型。Zhang等人(2018b)设计出一种基于条件模型的生成对抗网络,用于遥感图像中飞机目标的精细仿真。Yan等人(2019)则基于点云数据在3维空间上进行船舶模型构建,并利用正射投影变换将模型从模型空间投影至海岸遥感图像上进行仿真数据生成。为了进一步提升仿真对象和遥感背景间的适配性,Wang等人(2020b)则进一步提出利用CycleGAN对仿真的飞机目标和背景进行自适应调整,设计了一种用于目标检测任务的建模仿真数据生成框架。在地物要素分类任务上,Kong等人(2020)则利用CityEngine仿真平台的批量建模特性,首次探索在广域范围内进行城市级别的场景建模,并发布了一套用于建筑物分割的遥感仿真数据集Synthinel-1。

面向遥感数据特点的专用网络模型设计方面,主要结合遥感图像中目标旋转、多尺度和目标分布特性等特点,针对性地设计网络结构来提升专用模型性能。Zhou和Prasad(2018)设计了一种源域到目标域数据共现特征聚焦结构,提升高光谱图像的语义分割效果。Luo和Ma(2018)针对高光谱图像语义分割中存在的类内特征分布差异,提出了一种均值差异最大化约束模型。Rao等人(2019)设计了一种自适应距离度量模型,提升高光谱图像地物要素的分类精度。Kampffmeyer等人(2016)针对地物要素数量、空间分布差异大的问题,提出了一种结合区域分组与像素分组的模型训练策略,用于国土资源监测任务。Liu等人(2017)针对遥感目标尺度差异大的特点,提出基于沙漏网络的多尺度特征增强模型,提升光学遥感图像的分类精度。Marcos等人(2018)提出了基于旋转卷积构建的多源数据提取网络,通过编码图像的旋转不变性特征在多个数据集取得了先进的结果。Peng等人(2020)基于注意机制和密集连接网络有效融合DSM (digital surface model)数据和光谱图像并获得了更好的分割效果。Hua等人(2021)提出了特征和空间关系调节网络,利用稀疏注释,基于无监督的学习信号来补充监督任务,显著提升了语义分割的性能。

随着遥感图像分辨率的提升、网络深度的增加和参数的堆叠带来性能的提升,与之相伴的是庞大的模型、巨量的参数和缓慢的算法效率。考虑到星上遥感数据实时处理对计算资源、存储资源的限制,一些工作尝试在保留算法高性能前提下,减少模型参数,提高算法运算速度。Valada等人(2020)利用分组卷积的设计思想提出了一种高效的带孔空间金字塔池化结构,用于高分辨遥感图像地物要素提取。Valada等人(2020)方法能够减少87.87%的参数量,减少89.88%每秒浮点运算次数(floating-point operations per second, FLOPS)。Zhang等人(2019b)基于深度可分卷积设计了一种面向合成孔径雷达图像的船舶检测算法的特征提取网络,大大提升了检测速度,是轻量化前的网络检测速度的2.7倍。Cao等人(2019)利用深度可分卷积设计了一种用于提取数字表面模型数据的结构,该网络结构无需预训练模型仍可以快速收敛,将网络训练时间降低50%以上。Wang等人(2019b)提出一种轻量级网络MFNet(multi-fiber network),实现对高分辨率航拍数据的地物要素分类任务的高效推理,相比于轻量级网络ResNet-18,提出的网络在分类精度提升的同时,将参数量减少了40%,推理速度提高了27%。Ma等人(2020)针对灾后损毁评估任务,以ShuffleNet v2模型为基础,设计了一种轻量化建筑物提取模型,相比传统模型,在精度提升5.24%的同时,速度提高5.21帧/s。

上述方法结合遥感目标要素特点,通过提出专用网络结构或特征提取方法,提升传统模型针对遥感数据的应用能力。然而,对于不同类型数据、不同特征/特性,仍缺乏统一的网络结构进行表征,因此多要素信息多任务并行网络和模型仍需进一步研究。

1.3.2 多要素信息并行提取

多要素信息并行提取方法的研究,主要集中于探索如何在一个统一模型中实现多类遥感地物要素目标的类别、位置等属性信息的高精度获取。如前所述,针对这种典型的“多输入多输出”场景,现有方法重点针对多模态输入数据的特征表示和多任务输出特征的共享融合两方面问题开展研究。

特征共享研究方面,根据模型共享参数实现方式的区别,现有方法可大致分为硬参数共享(hard-parameter sharing)和软参数共享(soft-parameter sharing)两种。

硬参数共享方法利用同一个模型实现在输入和输出端的多任务分支模型特征共享融合。Liebel等人(2020)面向城市建设状况分析任务,将多个任务共享同一编码器,并分别解码输出,实现同时输出建筑物位置和深度信息。Papadomanolaki等人(2019)将地物要素重建模型融合到分类模型中,并约束分类模型训练,来提升分类效果。Khalel等人(2019)则在同一个网络模型中同时嵌入图像锐化与地物要素分类两类任务的模型。La Rosa等人(2020)设计了一种面向农业生产状况监控的多任务全卷积回归网络。

软参数共享方法直接将针对不同任务的多个独立网络通过参数加权连接,实现多类任务的共享输出。Volpi和Tuia(2018)将条件随机场拟合结果与图像同时作为数据,构建类内相似度和边界值预测的两个分支模型,改善地物要素分类结果。Zhang等人(2019a)提出了面向极化SAR多通道数据的地物要素分类方法,利用独立的特征提取网络对幅值和相位信息分别建模,利用分类器进行联合约束训练,来提升精度。Shi等人(2021)针对高光谱图像的多类要素分类任务,利用多任务集成学习实现通道选择,获取最优通道组合。

针对多模态数据的联合特征表示,如图像纹理特征、3维高程特征和目标要素矢量拓扑特征等,能有效提升各类任务的性能。Chen等人(2019)针对洪灾区域检测任务,提出融合多时相的多模态图像的模型,来提升其检测精度。Fernandez-Beltran等人(2018)将SAR图像和多光谱图像作为输入,进行无监督的地物要素分类。Benson等人(2017)在森林冠层3维高度估计任务中,提出利用光谱特性数据的方法,能有效改善传统3维估计方法的精度。

1.4 遥感数据关联挖掘

1.4.1 数据组织关联

随着遥感大数据时代的到来,对海量多源异构遥感数据的挖掘与关联分析变得至关重要。通过将多源遥感影像建立关联,进而从时间、空间等维度进行数据隐含特征的挖掘与分析应用,可以有效提升遥感大数据的价值。

2012年,国际对地观测组织(Group on Earth Observation, GEO)提出了一套数据共享框架体系。其在全球范围内建立一个对地观测资源的集成平台,该平台广泛应用于农业、气候、能源、健康、水资源和天气等多个领域(白玉琪和狄黎平,2013)。此外,美国联邦地理数据委员会(Federal Geographic Data Committee, FGDC)创建了美国国际空间数据基础设施(National Spatial Data Infrastructure, NSDI),设计了一种地理空间互操作的参考框架,实现了位置参考信息和更宽泛的信息集之间的无缝整合。

1.4.2 专业知识图谱构建

针对如何从认知的角度实现各类数据的有效关联与分析,部分学者从地理空间认知的角度出发,通过构建地理知识图谱理解实现多源信息的语义理解。目前,基于开放街道地图(OpenStreetMap,OSM)(Haklay和Weber,2008)的系列图谱以及基于YAGO2 (yet another great ontology 2)(Hoffart等,2013)的系列图谱等地理知识图谱得到广泛使用。人们利用OSM数据和资源描述框架(resource description framework,RDF)数据模型转换方法,构建了LinkedGeo-Data(Auer等,2009),实现了网络数据的空间信息自动标注。部分学者提出一种新的OSM2KG(Tempelmeier和Demidova,2021)链路发现方法,在OSM节点和知识图谱中构建等价地理信息实体之间建立身份链路。此外,还有部分学者提出了CrowdGeoKG(crowdsourced geo-knowledge graph)(Chen等,2017b)方法,该方法首先提取OSM中不同的地理信息实体,再通过Wikidata中的人文地理信息来补充信息。YAGO2基于Wikipedia、GeoNames和WordNet为信息源进行构建,包含约980万个实体,其中实体、事实和事件都锚定在时间和空间中。一些学者利用几何图形(如直线、多边形等)实现地理空间信息的扩展表示(Karalis等,2019),该地理知识图谱以官方的行政区划信息和OSM数据集为数据源。部分学者提出了基于形式化的地理知识表示框架GeoKG(geographic knowledge graph),解决了离散知识表示方法难以表示地理状态、演变的问题(Wang等,2019a)。

此外,为实现图谱关系优化和关系分配,Yuan等人(2020)在实体识别、关系嵌入等步骤基础上,提出了一种面向生物医学领域的,基于非结构化特定上下文的知识图谱构造方法。Zhao等人(2020a)提出了一种文档主题信息自动提取模型,能够自动识别文档标题、状态、会议和组织等文档主题信息。此外,部分学者(Piplai等,2020)通过相似实体融合,提出了一种针对行动报告的信息抽取方法,用于构建网络安全知识图谱。Dessì等人(2021)结合监督学习和无监督学习,提取研究出版物中的实体和关系,并以三元组的形式集成到知识图谱中。

1.5 遥感开源数据集和共享平台

1.5.1 遥感领域开源数据集

目前,国际上的遥感解译样本数据主要是针对不同的解译任务而构建的,主要包括场景分类数据集、遥感目标检测数据集、地物要素提取数据集和变化检测数据集等几类,涵盖了光学、SAR等传感器数据。

场景分类指的是根据遥感图像的场景内容,对图像进行分类,将其标注为某个特定的场景类别。国际上,常见的开源数据集有美国加州大学发布的UC Merced Land Use数据集(Yang和Newsam,2010),该数据集包含21类土地利用的图像数据集;有美国路易斯安那州立大学发布的SAT-4和SAT-6数据集(Basu等,2015),涵盖来自美国的330 000个场景图像;还包括来自德国人工智能研究中心的EuroSAT数据集(Helber等,2018),包含来自Sentinel-2卫星的27 000幅遥感图像。

遥感目标检测是指通过检测算法确定图像是否包含一个或者多个预定类别的目标,并提供目标的位置信息。国际上常见的遥感图像目标检测数据集有DLR(Deutsches Zentrum für Luft-und Raumfahrt)-MVDA (multiclass vehicle detection on aerial images)数据集(Liu和Mattyus,2015)、SpaceNet数据集(Van Etten等,2018)和xView数据集(Lam等,2018)等。DLR-MVDA数据集是德国航空航天中心(DLR)遥感技术研究所发布的车辆检测数据集;SpaceNet是由亚马逊等多个国际组织联合发布的一系列目标检测数据集,涵盖道路检测、建筑检测等多个任务。xView是由美国国家地理空间情报局构建的一套多类目标识别检测数据集,它包含来自世界各地复杂场景的图像,图像分辨率为0.3 m,具有60类不同类别的目标。

遥感图像地物要素提取任务是指为遥感图像中的每一个像素分配类别标签,实现像素级的预测。国际摄影测量与遥感协会发布的ISPRS (International Society for Photogrammetry and Remote Sensing)数据集提供了两个机载数据集,该数据集包含Vaihingen和Postdam两个城市6类地物要素标注结果。Vaihingen是一个相对较小的村庄,里面主要是分布着一些独立的、小型的建筑物。而Postdam是一座拥有大型建筑、密集居民区的历史名城。两个城市的数据具有不同的建筑风格,给地物要素分类任务带来了一定的挑战。

变化检测是从不同时期的遥感数据中定量分析和确定地表变化的特征与过程。OSCD (onera satellite change detection)数据集(Daudt等,2018)包含2015年至2018年之间从Sentinel-2卫星拍摄的24对多光谱图像。区域涵盖世界各地(巴西、美国、欧洲、中东和亚洲)。对于每个位置,均提供了Sentinel-2卫星获得的13个波段的多光谱卫星图像的配准对。图像的空间分辨率在10 m,20 m和60 m之间变化。

在SAR图像样本集方面,为了解决“SAR图像目标识别技术”,美国多个研究团队积极参与协作,提出了一个小型MSTAR (moving and stationary target acquisition and recognition)数据集(Ross等,1999),该数据集包含40多类车辆目标,每个车辆有72个不同视角和360度范围内不同方向的样本。德国EADS (European Aeronautic Defence and Space company)建立的DOSAR (Dornier SAR)样本集(Hoffmann和Fischer,2002)包含26幅X波段SAR图像和521幅红外图像。

1.5.2 开源平台、社区和竞赛

开源是一种面向全球的大规模协作工作模式,它以开放共享、合作共赢为宗旨,有效地推进了全球化进程。目前,已有越来越多的国际组织致力于建设开放共享的交流平台/社区,吸引来自全球各地的研究者共享成果。全球知名代码托管平台GitHub上的开发者数量已经达到了7 300万,涵盖了数十种语言、框架和领域,成为世界上最大的代码托管平台。Kaggle是由联合创始人、首席执行官安东尼·高德布卢姆2010年在墨尔本创立的,主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。OCP (open compute project)已经成为全球最大的硬件开源社区之一,制定了数据中心基础设施领域的诸多开放标准。Stack OverFlow作为全球最大的技术问答网站之一,主要面向编程人员,提供一个技术交流的平台。

为促进对地观测领域学术发展和成果转化,国际学术组织也在积极致力于举办各种学术竞赛。IEEE GRSS(Geoscience and Remote Sensing Society)数据融合大赛(data fusion contest)由IEEE GRSS数据融合技术委员会(Data Fusion Technical Committee, DFTC)组织,自2006年以来已举办5届,旨在评价现有方法在利用多源传感器数据解决实际问题方面的能力。DIUx xView挑战赛中给定高分辨率的卫星图像,任务是为图像中的每个对象预测边界框。随着遥感技术的发展,计算机视觉领域的国际顶级会议组织也在积极推动遥感领域的学术进展,国际计算机视觉会议ICCV(IEEE International Conference on Computer Vision)和CVPR(IEEE Conference on Computer Vision and Pattern Recognition)都开设了遥感领域的Workshop,以促进深度学习技术在遥感领域的发展。SpaceNet-7挑战赛聚焦于遥感变化检测技术的应用,竞赛任务要求参赛者使用已建立的多目标跟踪准确性指标跟踪建筑物的建设进度,从而直接评估城市化程度。

2 国内研究进展

2.1 遥感数据精准处理

传统遥感数据精准处理技术需要根据光谱和电磁信号在“天—地”链路中的传播模型,建立地表物理信息与观测数据的关联关系,从而构建逆向模型,利用数据处理技术将观测数据重新映射为地表物理信息。传统方法受到各类误差的影响,图像清晰度、聚焦质量有所退化,辐射、几何等定量化特征精度也有所下降。

高质量遥感影像在气象、灾害以及军事等诸多方面有着广阔的应用前景。实际成像条件下,大气扰动、目标运动、场景变化和成像系统硬件限制等诸多因素,都制约着遥感图像的获取质量。实际图像往往表现出光学模糊、运动散焦、系统噪声和欠采样等图像质量退化,使得分辨率、信噪比等遥感图像关键指标难以得到有效保障。深度学习网络可以实现去云去噪以及超分辨率重建,获得高质量的遥感图像。

王军军等人(2021)提出了一种新的生成对抗网络,该网络通过端到端训练,对光学遥感图像去云,将清晰的光学遥感图像从原始含云图像中恢复出来。郭保(2021)使用目前在计算机视觉领域效果较好的生成对抗网络方法实现了遥感图像去云模型。张意等人(2021)结合注意力机制、残差自编码器结构和感知损失,提出了一种新的基于残差自编码器的遥感图像去噪网络(ARED-VGG),将注意力机制应用于图像去噪,可以进一步使得网络更加专注于图像的重要特征以及细节信息。李盛等人(2021)提出增强少样本学习方法解决模糊核未知时的超分重建问题。张艳等人(2021)针对遥感图像超分辨率重建算法特征利用率低、重建速度慢等问题,提出一种基于多路径特征融合的遥感图像超分辨率重建算法,提高了重建效率。刘明等人(2020)结合生成对抗网络提出了一种新的基于自然感知的端到端单向特征提取的去雾方法。李玉峰等人(2021)提出了一种新的基于深度学习网络的光学遥感图像去雾方法,该方法可以有效去除遥感图像中由于雾霾导致的清晰度下降问题,有效提升了遥感图像在雾霾天气状况下的清晰度。

去云去噪以及超分辨率重建等技术可以有效获得高质量的遥感图像,为遥感应用提供了良好的数据基础。利用机器学习技术进行遥感图像去云去噪和超分辨率重建面临着以下挑战:遥感图像难以配准;低频信号易模糊;模拟退化模型与实际退化模型不符合等。

将深度学习等人工智能技术引入遥感图像质量提升是近几年最为关注的研究热点。我国也一直重视利用人工智能技术开展相关研究工作,与国际研究现状类似,主要研究进展集中在图像匹配方面。郭正胜和李参海(2019)通过寻找最大稳定极值区域(maximally stable extremal regions, MSERs),实现遥感图像关键点检测,并根据关键点进行图像特征截取和匹配。廖明哲等人(2020)融合了两个通道分别生成的感受野递增的浅层特征和表征能力更强的高层特征,得到包含有丰富信息的特征图,用于提高遥感图像的匹配效率。王少杰等人(2021)将高斯差分图像DoG (Difference of Gaussian)与VGGNet (Visual Geometry Group Network)网络组合起来,构成一个新网络,基于新网络提取特征图描述特征点,提取高斯差分图像中的极大值点作为待配准特征点,对两幅图像特征点的匹配相似度进行计算。岳国华和邢晓利(2021)使用仿射变换网络对遥感图像进行空间变换,批量生成训练图像,将特征提取和匹配放在卷积神经网络的端到端架构中,直接预测仿射变换参数;通过采用校正网络对卷积神经网络的结果进行改进,实现遥感图像更加精确的配准。

张洪群等人(2017)提出了基于深度学习的遥感图像半监督检索,提高了检索速度和准确性。苏燕飞(2018)研究了CNN网络中的全连接层特征以及不同聚合大小的卷积层特征,并利用上述特征实现了图像配准。陈恒实(2020)提出了空间变换网络和灰度投影相结合的遥感图像配准方法,利用区域约束移动最小二乘法和卷积神经网络实现了遥感图像精确配准。刘宇雁(2021)提出了一个生成对抗邻域表征网络来替代人工选取图像块表征的策略,并在二通道网络中设计了一个多层融合网络来解决部分冗余点背景相似导致被误认为内点的问题。

将卷积神经网络成功应用于图像配准,使得图像配准技术又开拓了新的思路。但是针对一些复杂图像,比如配准图像有较大的缩放、旋转变换时,很难实现图像间精准配准。此外,当计算图像融合特征时,两个特征的权重是固定的,在一定程度上限制了数据和方法的适用范围。

除了几何定量化提升,辐射、极化定量化提升方面也逐渐渗透了一些神经网络思想,但尚未形成体系研究。刘李等人(2017)基于长期辐射定标场辐射测量数据的积累,通过对定标场实测数据和遥感图像的映射学习,建立出定标场表观反射率模型,预测传感器待成像时刻的定标场表观反射率,得到遥感图像的绝对辐射定标结果。上官松涛(2021)利用结合统计计算和深度神经网络方法,实现了基于星载极化SAR大数据的极化稳定特征提取,据此完成了极化失真定量化估计。杨进涛等人(2019)利用深度神经网络提取建筑物统计特征,据此完成基于建筑物的无场化辐射定标和辐射质量定量化评估。基于神经网络等人工智能方法进行遥感数据定量化提升已经起步,仍需经过大量试验和长期探索系统性形成基于人工智能的遥感数据定量化提升能力。

2.2 遥感数据时空处理与分析

伴随着国家“高分专项”计划的实施与无人机技术的飞速发展,我国已经初步构建了空天地一体化的对地观测网络,生产出多源、多模态、多时空分辨率和多专题的遥感数据。并且随着我国遥感科学与应用研究国际化程度的不断提高,国内的遥感研究几乎已经紧跟国际先进水平,并在某些领域引领研究潮流。在遥感数据时空处理与分析方面,一方面保持着对国际研究进展的紧密跟随与并跑,另一方面保持国家应用的特色。

2.2.1 紧跟或领跑国际研究

在深度学习等智能计算快速发展的背景下,借鉴深度学习在自然图像或医学图像的时空处理与分析算法(如超分辨率重建、视频预测等),遥感数据的时空分析研究能快速迁移并适用。加上我国遥感研究基础较好,往往能快速复制并超越国外研究水平。如Zhang等人(2018a)借助卷积神经网络构建了通用的时间—空间—光谱联合的数据重建框架,用于修复云影遮挡、传感器故障等引起的数据缺失;Zhou等人(2020)利用Sentinel-1微波数据与Landsat数据之间的时序转换关系,提出了用微波数据辅助光学影像重建的时间序列修复方法。

2.2.2 保持中国特色

随着“将论文写在祖国大地上”思想的深入人心,在遥感数据时空处理与分析方面,国内的研究更加关注于国内区域、国产卫星数据和国家实际应用需求。在研究范围上,一方面保持着全球视野,另一方面快速开展国内区域的适用和优化。随着国产卫星数据的不断丰富,数据源也逐步转换到国产的GF-1、GF-2、GF-6、ZY-3等卫星数据。紧跟国家高质量农业发展的思路,面向精准农业应用,开展地块尺度的精细遥感农业应用(Sun等,2019)。

2.3 遥感目标要素分类识别

得益于深度学习强大的特征表达能力,国内研究学者同样开展了典型地物要素提取的相关工作,基于遥感数据的多光谱、高地物复杂度、高类间相似和类内差异性等特点构建专用的方法和策略。杨建宇等人(2019)利用遥感图像的光谱和空间特征信息基于SegNet(Badrinarayanan等,2017)对遥感图像中的农村建筑物覆盖区域进行提取。类似地,考虑到编码器—解码器结构在训练数据较少情况下的有效性和鲁棒性,研究人员(徐昭洪等,2019苏健民等,2019)改进了网络结构,并成功应用到建筑物分割和地物要素分类中。针对编码器结构中特征分辨率降低,有效感受野不足以及语义上下文信息较为薄弱的问题,一些学者针对性地进行了相应的研究工作。廖旋等人(2019)在遥感序列图像和多视角图像地地物要素提取问题中,提出将图像的分割先验与模型深层特征相融合的策略, 解决序列图像前/背景的分割歧义和分割一致性问题。洪亮等人(2020)基于面向对象图像分析方法,引入了局部方差准则,通过对全局分割和局部分割融合处理解决遥感图像的多尺度分割。

遥感任务往往存在较高的关联性,例如,地物要素分类任务与边缘检测任务以及高度估计任务和表面法线估计任务等。不同任务的特征分布和类间差异可以对相似任务提供一定程度上的促进作用,因此,基于多任务集成方法可用来提升遥感目标要素分类识别的性能。多任务集成方法源于多任务学习,针对地物要素的编解码结构,Wang等人(2020a)使用共享编码器从遥感图像中提取特征,然后构建不同的局部独立的解码器结构实现地物要素的分类、边缘提取与深度估计等,此外,边缘提取的结果也用于辅助其他任务的正则化约束。Zhang等人(2017)面向具有多个光谱通道的高光谱图像,通过探索其光谱通道之间的相关关系,并将相邻通道的相似性约束用于不同类任务的模型训练,来提升高光谱图像中目标的检测精度。Li等人(2015)针对图像中超像素的生成和分类,利用多个不同任务的互补特征,提升超像素的分类精度。

考虑到遥感数据通常包含多种数据源信息,多模态数据中丰富的特征在大图幅遥感场景应用范围下的目标要素分类任务中能够带来有价值的信息。因此,研究遥感图像中多种不同模态数据的特征提取同样成为一个重要的研究方向。多模态学习的关键问题是如何对多模态的数据和特征进行有效的联合学习。Mou和Zhu(2018)基于迭代的密集连接编解码卷积神经网络提取多光谱数据和激光雷达数据,实现准确的边界推断和要素分类。Peng等人(2020)提出基于注意机制和密集连接网络有效融合数字表面模型信息和光谱图像并获得了更好的分割效果。Zhao等人(2020b)分别用两个不同的编解码网络提取光学和红外影像的分割预测结果并融合,实现了对最终预测精度的进一步优化。此外,一些方法提出在不改变原有模型的基础上,引入辅助的数据或先验信息作为额外的监督信息,在新的学习阶段与原有学习阶段产生的结果进行融合,以进一步改善模型的性能。例如,孙晨等人(2018)利用卷积神经网络获取多光谱数据的初次分割结果后,引入数字表面模型信息,作为额外的空间信息,以多阶段联合学习的方式进一步细化初次分割的结果,最终得到更加精细化的分割效果。

2.4 遥感数据关联挖掘

2.4.1 数据组织关联

各类遥感数据由于位置、尺度等差异,在各种投影坐标系统和球面格网系统中会存在显著的不同。不同数据集在多样化的空间参考框架下,难以在空间上进行关联,给统一时空框架下各类数据的关联分析带来困难。

针对上述问题,吴立新等人(2013)提出了一种地球系统空间格网(earth system spatial grid, ESSG)的概念,实现多源数据在多空间参考、多尺度等条件下的关联。邓巧华等人(2015)提出了一种基于全球剖分网格GeoSOT的多源遥感数据空间关联方法,该方法同时考虑了遥感数据本身的特性与GeoSOT剖分网格所具有的无缝无叠、多尺度的特性,根据剖分网格将遥感数据块进行统一的划分和组织,从而实现多源遥感数据的结构化关联。

2.4.2 专业知识图谱构建

专业知识图谱通常用于辅助各种复杂的分析应用或决策支持,高精度的知识图谱有利于帮助应用取得更好的效果。面向特定应用领域的专业知识图谱中实体通常属性复杂,其重点在于如何更精确地识别、提取和关联特定领域的实体。

孙晨等人(2018)基于最大熵模型实现对中文命名实体的抽取。传统机器学习算法对中文实体识别存在准确率低、泛化能力差的问题。为此,王子牛等人(2019)将基于转换器的双向编码表征(bidirectional encoder representations from transformers,Bert)和神经网络相结合,基于大规模未标注语料预训练模型提出了一种新的命名实体识别方法。王仁武等人(2016)将深度置信网络运用于中文商务领域,提出了一种自动提取知识实体及其相互关系的方法。在企业领域实体识别中,数据集规模往往较小。杨波和廖怡茗(2021)在实体识别任务前进行了词嵌入预训练,实现了面向企业动态风险构建知识图谱的功能。周炫余等人(2021)提出了一种基于Bert预训练模型的全连接和卷积神经网络,面向教材和百度百科中的初中数学知识数据构建了知识图谱。知识图谱也可以应用于自然灾害应急任务中,杜志强等人(2020)对灾害应急中的事件、应急任务、灾害数据和模型描述方法等核心元素进行了归纳与定义,设计了一种自然灾害应急知识图谱构建方法。

2.5 遥感开源数据集和共享平台

2.5.1 遥感领域开源数据集

随着人工智能技术在遥感领域的深入发展,国内相关的高校和科研机构陆续构建了一批高质量的遥感图像解译数据集。

在场景分类领域,越来越多高分辨率场景分类数据集相继被提出。AID (aerial image dataset)(Xia等,2017)是2017年由武汉大学发布的遥感图像分类数据集。其中包含10 000幅图像,空间分辨率为0.5~8 m,涵盖30类地物要素,每类要素包括220~420幅图像。NWPU-RESISC45 (Northwestern Polytechnical University-Remote Sensing Image Scene Classification 45)(Cheng等,2017)是2017年由西北工业大学发布的遥感场景分类数据集,包含约31 500幅图像,空间分辨率为0.2—30 m,涵盖45类地物要素,每类约700幅图像。

在遥感图像目标检测领域,NWPU VHR-10 (Northwestern Polytechnical University Very High Resolution-10)数据集(Cheng等,2014)于2014年由西北工业大学发布,包含10类常见的地物目标。该数据集共包含800幅高分辨率遥感图像,目标标注方式为水平框标注。西北工业大学发布另一个较大规模的数据集是DIOR (detectIon in optical remote)数据集(Li等,2020),DIOR数据集包含23 463幅图像和192 472个实例,覆盖20个常见目标类别。数据集中图像大小为800×800像素,空间分辨率为0.5—30 m,标注方式依然为水平框标注。武汉大学发布了包含15类目标的DOTA (dataset for object detection in aerial images)数据集(Xia等,2018),包含从Google Earth在内多个平台上采集的图像,图像的尺寸为800—4 000像素不等,标注方式为带方向的旋转框标注方式。高分辨率SAR舰船检测数据集(AIR-SARShip)(孙显等,2019)发布3 000余幅图像,图像分辨率包括1 m和3 m,成像模式包括聚束式和条带式,极化方式为单极化,场景类型包含港口、岛礁和不同等级海况的海面,目标覆盖运输船、油船和渔船等十余类近千艘舰船。以上数据集都是针对通用目标检测提出的数据集,为推进高分辨率遥感图像解译算法由检测定位向精细分类发展,近期,中国科学院空天信息创新研究院牵头,联合厦门大学、德国卡尔斯鲁厄理工学院等国内外高校,发布了面向目标细粒度识别的大规模遥感图像数据集FAIR1M(Sun等,2022),数据集标注的实例数量超过100万,目标实例涵盖了来自全球百余个城市、乡村、机场和港口等场景中各种角度、尺度的典型目标。

在地物要素提取方面,GID (Gaofen image dataset)(Tong等,2020)是一个用于土地利用和土地覆盖分类的数据集,包含来自中国60多个不同城市的150幅高质量图像,覆盖面积超过了5万平方公里。iSAID (instance segmentation in aerial images dataset)数据集(Zamir等,2019)是由武汉大学发布的包含15类地物要素标注的数据集。此外,还有针对于水体、建筑等单类典型目标提出的数据集。

2.5.2 开源平台、社区和竞赛

数据集的发展有效促进了国内学者科研技术的发展,各个方向上都涌现出了大量优秀的算法。为了将这些优秀的算法成果发挥出更大的价值,国内科研院所和机构积极推动开源平台和开放竞赛的建设。

OSGeo (open source geospatial foundation)中国中心是地理空间领域开源的技术、数据和知识共享平台,其链接了多个科研项目网站,同时网站上还集成了大量的在线科学计算工具,包括地理、测绘、电力、物理、化学、环境、大气、农业、机械和建筑等。在科研创新方面,依托武汉人工智能计算中心的算力,武汉大学打造了遥感专用框架LuojiaNet,针对大幅面、多通道遥感影像,在整图分析和数据集极简读取处理等方面实现了技术突破。

在竞赛方面,“天智杯”人工智能挑战赛、“昇腾杯”遥感影像智能处理算法大赛、全国人工智能大赛、高分遥感智能解译大赛等国内研究机构举办的比赛也在如火如荼地开展。其中,由中国科学院空天信息创新研究院联合IEEE GRSS和ISPRS两个国际学术组织举办的高分遥感图像解译大赛(Gaofen Challenge)已经面向国际开放参赛,五年间吸引来自全球20多个国家的3 000余支队伍参加,推动创新人才培养和科研队伍建设,促进了高分领域技术交流合作和应用转化。

3 国内外研究进展比较

3.1 遥感数据精准处理

基于人工智能开展遥感图像精细化处理研究,研究思路大致分为两类,一是改进传统成像算法,基于深度学习的SAR成像算法可以简化成像过程,得到高质量聚焦图像;二是将已有的低分辨率的遥感图像通过基于机器学习的超分辨率重建技术得到高分辨率高信噪比图像。国外已经开展了基于深度学习改进遥感图像成像算法方面的研究工作,国内相关研究工作开展较少,更多研究工作集中在遥感图像超分辨率和高质量重建方面。在超分辨率重建方面,国内和国际上解决思路和研究途径基本一致;在去云去雾去噪方面,国内结合星载光学实际数据开展的工作相对更为丰富。

深度学习等人工智能方法具有很好的特征提取和特征表达能力,基于深度学习网络实现特征提取和特征描述,进而定量化提升遥感图像几何精度已经成为主流研究思路,国内外学者研究思路和进展基本一致。受传统特征检测器启发,基于卷积神经网络的特征提取在全监督、半监督和无监督环境下提取特征点。这种优势在遥感图像配准精度提升方面具有很大的潜力。但是,基于深度学习的方法也面临一些亟待解决的新问题。比如无监督学习中多时相场景存在成像条件差异大等难点(尺度变换、灰度变化、局部畸变和噪声影响等),在有限数据集支撑下很难全面解决上述难点。针对这一问题,国外学者提出了一个以孪生网络为基础的框架,从目前研究进展来看,基于该基础框架有望解决困难条件下遥感图像匹配问题,并在此基础上拓展出更多的成果。

3.2 遥感数据时空处理与分析

受益于深度学习的快速发展与国产遥感对地观测体系的逐步建设,国内的遥感数据时空处理与分析已经紧跟甚至在某些领域超越国际水平。然而,从遥感时空处理与分析的数据源来说,国内的相关研究也表现出独有的特色。1)遥感数据源的质量。受卫星传感器设备成像水平与卫星平台定轨定姿水平的限制,国产卫星数据的几何定位和辐射光谱质量均低于国际水平,这给后续的数据时空处理与分析带来了更大的挑战。2)遥感数据的时相。相对于国际卫星(如Landsat与Sentinel系列),国产卫星往往难以保持相对稳定的重返周期,造成多时相遥感数据时间间隔的混乱;3)遥感时空处理与分析的场景。从农业应用场景来说,面向我国西南山地复杂耕作环境与多云雨天气条件, 我国作物生长监测对时空重建数据要求更高的时空分辨率。这些条件都在一定程度上制约了智能遥感算法在国产遥感数据上的适用,但不可否认的是其也促进了国内遥感时空处理与分析水平的提升。

3.3 遥感目标要素分类识别

随着深度学习的发展,对遥感目标要素分类识别提出了更高的要求。遥感大数据场景下,获取数据的载荷手段更加丰富,但不同类型载荷获取的数据其成像机理、特征分布和表观特性等差异显著,且遥感探测手段覆盖范围广、场景复杂、地物要素类别多样、目标尺度差异大以及表观特征变化复杂,导致不仅不同类别目标的特征差异大,同类目标在不同载荷数据中呈现的特征也差异明显。典型的地物要素提取方法,包括遥感数据和要素特性分析方法和遥感专用模型构建方法,存在着较大的局限性,已经无法满足当前遥感目标要素分类识别的要求。目前,国内外均展开了对多要素信息并行提取方面的相关研究,相比国外研究工作,部分国内相关研究工作开展了基于国产遥感数据的研究,并取得了不错的成果。此外,现有方法或模型的创新思路主要依赖数据、模型简单叠加或融合,难以从根本上解决多要素联合学习的问题,发展基于多目标多任务特征共享的遥感目标要素分类识别方法,已成为国内外研究学者的研究热点。

3.4 遥感数据关联挖掘

国内外研究现状表明,数据关联技术已主要应用在机器理解和大规模异构信息语义集成与互操作等领域方面。领域知识图谱在部分专业方向取得了较为成功的研究成果和应用,但在遥感应用领域,领域知识仍存在着系统化不足、结构化表示困难等问题,同时在深度推理和灵活性方面也存在着一定的阻碍。尽管当前基于遥感数据、全球化专题图的研究效果越来越好,数据仍存在着被零散应用,仅用于特定区域的特定专题,无法构成知识体系,无法实现知识积累、更新和优化等一系列问题。

3.5 遥感开源数据集和共享平台

在开源数据集方面,在深度学习发展初期,国外的遥感开源数据集相对来说发展更快,但基本也是围绕一些较基础的任务,目标类别及传感器类型较单一。随着国内科技的发展,西北工业大学、武汉大学和中国科学院空天信息创新研究院等高校/科研机构也积极致力于开源数据集的建设,在目标类别、任务类型和样本规模等方面持续创新。

在共享平台方面,国内外积极推进科学技术成果的应用转化,致力于建设开放、共享的解译平台,打通人工智能技术在该领域从学术研究、系统研发和成果应用到持续改进的完整应用链路,实现产学研协同推进的良好遥感智能生态环境。此外,国内的研究机构也在积极将国产化技术引入开源平台中,打破国外技术垄断现象。

4 发展趋势与展望

4.1 遥感数据精准处理

随着近几十年遥感卫星的蓬勃发展,遥感数据精确处理技术迎来了高速发展,光学和微波遥感数据成像处理以及定标校正的精度大幅提高,图像产品分辨率提高1个数量级、幅宽提高1—2个数量级、几何定位精度优于10 m、辐射精度优于1 dB(微波)/10%(光学)。然而,基于精确模型和参数测量的方式仍需要耗费大量的人力物力和时间成本,一星一议的处理和定标模式制约了协同应用能力提升。现有技术探索验证了通过人工智能技术实现高精度遥感数据处理的可行性,通过构建与成像误差影响机理相适应的神经网络,通过大量历史数据和标注结果训练学习,正向/逆向逼近地物物理信息和成像数据特征之间的映射关系,并通过结果循环迭代实现网络模型参数与传感器状态的动态一致、实现图像质量的持续提升。

4.2 遥感数据时空处理与分析

随着智能计算与遥感大数据技术的发展,遥感数据时空处理与分析的发展区域主要集中体现在以下几个方面:

1) 多源多模态遥感数据的协同分析。遥感大数据提供了丰富的数据源,这些数据往往具有不同的时间、空间和波谱等优势,如何发挥多源数据的联合优势,是当前遥感时空分析的重点发展方向。

2) 对遥感机理的探究。当前智能计算方法多源于统计学习领域,因此其对遥感辐射传输机理的探究和利用相对较少,这在一定程度上限制了方法性能的提升。因此加强对遥感过程的理解与模拟,将遥感机理融入智能计算过程将提升遥感时空处理与分析的能力。

4.3 遥感目标要素分类识别

现有的研究工作虽然能一定程度上实现在同一模型框架中同时提取或解译多类地物要素,然而其本质上仍主要以提升时间或空间代价,来提升模型对多类要素的泛化能力。在实际应用中面临的多载荷、多要素和多任务联合解译场景中,所面临的问题更加复杂,因此探索新的模型框架和特征表征方式,尤其是针对多任务、多模态一体化联合学习成为未来遥感目标要素分类识别领域的发展趋势。

4.4 遥感数据关联挖掘

机器理解和大规模异构信息语义集成与互操作等应用场景不断证实遥感影像数据挖掘具有广阔的应用前景。但存在的一些问题仍有待进一步研究:1)如何直接从数字图像上建模数据挖掘模型,在空间图形和图像数据上实现一体化的管理及操作势在必行。2)随着新型遥感卫星的增多, 卫星数据也相应持续增多。同时用户在海量的卫星数据中寻找需要的数据会耗取大量的时间。如何基于内容快速查询检索, 从而提供高效的可视化数据挖掘环境显得十分重要。3)遥感数据具有诸多特点,使用单一技术对其进行处理可能存在知识漏缺的风险。因此在对遥感数据分析时,尽可能地融合多种不同空间数据挖掘技术对遥感数据进行分析有利于解决漏缺隐含知识的难题。4)“维数灾难”现象阻碍了高维数据的索引及聚类的发展。对于大规模高维空间而言,应开发自适应无参数的聚类算法,而不是人为确定聚类算法的输入参数。同时通过高效的索引技术来提高空间数据的处理效率也极为重要。

4.5 遥感开源数据集和共享平台

当前,随着计算机视觉领域的蓬勃发展,遥感领域的开源数据集和共享平台也快速发展起来。相比于自然场景,遥感数据具有其独特的属性。多分辨率、多要素、多时相和多传感的特性使得遥感图像智能解译更具有挑战性。因此,在了解空天大数据特点的基础上,构建适合本领域的智能模型、方法和解译系统,是充分发挥空天大数据效益的有效途径。未来要继续依托于这些独特属性,形成更适合遥感领域相关研究的数据集和平台。

致谢 本文由中国图象图形学学会遥感图像专业委员会组织撰写,该专委会更多详情请见链接:http://www.csig.org.cn/detail/2446

参考文献

  • Auer S, Lehmann J and Hellmann S. 2009. LinkedGeoData: adding a spatial dimension to the web of data//Proceedings of the 8th International Semantic Web Conference on the Semantic Web. Chantilly, France: Springer: 731-746 [DOI: 10.1007/978-3-642-04930-9_46]
  • Badrinarayanan V, Kendall A, Cipolla R. 2017. SegNet: a deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495 [DOI:10.1109/TPAMI.2016.2644615]
  • Bai Y Q, Di L P. 2013. Study of data sharing based on common infrastructure for global earth observation system. China Science and Technology Resources Review, (5): 105-110 (白玉琪, 狄黎平. 2013. 基于全球综合对地观测系统通用基础设施的科学数据共享研究. 中国科技资源导刊, (5): 105-110) [DOI:10.3772/j.issn.1674-1544.2013.05.019]
  • Bai Y Y, Zhu F Z, Wu H. 2021. An improved remote sensing images super-resolution method based on densely connected network. Chinese High Technology Letters, 31(10): 1037-1043 (柏宇阳, 朱福珍, 巫红. 2021. 改进的密集连接网络遥感图像超分辨重建. 高技术通讯, 31(10): 1037-1043) [DOI:10.3772/j.issn.1002-0470.2021.10.004]
  • Basu S, Ganguly S, Mukhopadhyay S, Dibiano R, Karki M and Nemani R. 2015. DeepSat: a learning framework for satellite imagery//Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems. Seattle, USA: ACM: #37 [DOI: 10.1145/2820783.2820816]
  • Benson M, Pierce L and Sarabandi K. 2017. Estimating the three dimensional structure of the Harvard forest using a database driven multi-modal remote sensing technique//2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Fort Worth, USA: IEEE: 5814-5817 [DOI: 10.1109/IGARSS.2017.8128330]
  • Cao Z Y, Fu K, Lu X D, Diao W H, Sun H, Yan M L, Yu H F, Sun X. 2019. End-to-end DSM fusion networks for semantic segmentation in high-resolution aerial images. IEEE Geoscience and Remote Sensing Letters, 16(11): 1766-1770 [DOI:10.1109/LGRS.2019.2907009]
  • Chen B, Huang B, Chen L F, Xu B. 2017a. Spatially and temporally weighted regression: a novel method to produce continuous cloud-free Landsat imagery. IEEE Transactions on Geoscience and Remote Sensing, 55(1): 27-37 [DOI:10.1109/TGRS.2016.2580576]
  • Chen H S. 2020. Application Research on Remote Sensing Image Registration based on Convolutional Neural Network. Shanghai: Shanghai Institute of Technology (陈恒实. 2020. 基于卷积神经网络的遥感图像配准在灾害勘测中的应用研究. 上海: 上海应用技术大学[DOI: 10.27801/d.cnki.gshyy.2020.000173])
  • Chen J, Zhu X L, Vogelmann J E, Gao F, Jin S M. 2011. A simple and effective method for filling gaps in Landsat ETM+ SLC-off images. Remote Sensing of Environment, 115(4): 1053-1064 [DOI:10.1016/j.rse.2010.12.010]
  • Chen J Y, Deng S M and Chen H J. 2017b. CrowdGeoKG: crowdsourced geo-knowledge graph//Proceedings of the 2nd China Conference on Knowledge Graph and Semantic Computing. Language, Knowledge, and Intelligence. Chengdu, China: Springer: 165-172 [DOI: 10.1007/978-981-10-7359-5_17]
  • Chen K Q, Fu K, Gao X, Yan M L, Zhang W K, Zhang Y and Sun X. 2019. Effective fusion of multi-modal data with group convolutions for semantic segmentation of aerial imagery//IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama, Japan: IEEE: 3911-3914 [DOI: 10.1109/IGARSS.2019.8899217]
  • Chen S P, Guo H D. 2000. Digital Earth and earth observation. Acta Geographica Sinica, 55(1): 9-14 (陈述彭, 郭华东. 2000. "数字地球"与对地观测. 地理学报, 55(1): 9-14) [DOI:10.3321/j.issn:0375-5444.2000.01.002]
  • Cheng G, Han J W, Lu X Q. 2017. Remote sensing image scene classification: benchmark and state of the art. Proceedings of the IEEE, 105(10): 1865-1883 [DOI:10.1109/JPROC.2017.2675998]
  • Cheng G, Han J W, Zhou P C, Guo L. 2014. Multi-class geospatial object detection and geographic image classification based on collection of part detectors. ISPRS Journal of Photogrammetry and Remote Sensing, 98: 119-132 [DOI:10.1016/j.isprsjprs.2014.10.002]
  • Chopra S, Hadsell R and Lecun Y. 2005. Learning a similarity metric discriminatively, with application to face verification//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). San Diego, USA: IEEE: 539-546 [DOI: 10.1109/CVPR.2005.202]
  • Daudt R C, Le Saux B, Boulch A and Gousseau Y. 2018. Urban change detection for multispectral earth observation using convolutional neural networks//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia, Spain: IEEE: 2115-2118 [DOI: 10.1109/IGARSS.2018.8518015]
  • Deng Q H, Guo S D, Cheng C Q, Pu G L. 2015. A method of spatial association for multi-sources remote sensing data based on global subdivision grid. Science of Surveying and Mapping, 40(5): 13-16 (邓巧华, 郭仕德, 程承旗, 濮国梁. 2015. 一种基于全球剖分网格的多源遥感数据空间关联方法. 测绘科学, 40(5): 13-16) [DOI:10.16251/j.cnki.1009-2307.2015.05.003]
  • Dessì D, Osborne F, Recupero D R, Buscaldi D, Motta E. 2021. Generating knowledge graphs by employing natural language processing and machine learning techniques within the scholarly domain. Future Generation Computer Systems, 116: 253-264 [DOI:10.1016/j.future.2020.10.026]
  • Dong X Y, Xi Z H, Sun X and Yang L N. 2020. Remote sensing image super-resolution via enhanced back-projection networks//IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa, USA: IEEE: 1480-1483 [DOI: 10.1109/IGARSS39084.2020.9323316]
  • Du Z Q, Li Y, Zhang Y T, Tan Y Q, Zhao W H. 2020. Knowledge graph construction method on natural disaster emergency. Geomatics and Information Science of Wuhan University, 45(9): 1344-1355 (杜志强, 李钰, 张叶廷, 谭玉琪, 赵文豪. 2020. 自然灾害应急知识图谱构建方法研究. 武汉大学学报(信息科学版), 45(9): 1344-1355) [DOI:10.13203/j.whugis20200047]
  • Feng X B. 2020. Research on Deep-Learning Based Optical Remote Sensing Image Denoising and Super-Resolution Reconstructing Algorithm. Xi'an: Xi'an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences (冯旭斌. 2020. 基于深度学习的光学遥感图像去噪与超分辨率重建算法研究. 西安: 中国科学院西安光学精密机械研究所[DOI: 10.27605/d.cnki.gkxgs.2020.000015])
  • Fernandez-Beltran R, Haut J M, Paoletti M E, Plaza J, Plaza A, Pla F. 2018. Remote sensing image fusion using hierarchical multimodal probabilistic latent semantic analysis. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(12): 4982-4993 [DOI:10.1109/JSTARS.2018.2881342]
  • Gao F, Masek J, Schwaller M, Hall F. 2006. On the blending of the Landsat and MODIS surface reflectance: predicting daily Landsat surface reflectance. IEEE Transactions on Geoscience and Remote Sensing, 44(8): 2207-2218 [DOI:10.1109/TGRS.2006.872081]
  • Gao G M, Gu Y F. 2017. Multitemporal Landsat missing data recovery based on tempo-spectral angle model. IEEE Transactions on Geoscience and Remote Sensing, 55(7): 3656-3668 [DOI:10.1109/TGRS.2017.2656162]
  • Gao J K, Ye Y, Li S Z, Qin Y L, Gao X Z and Li X. 2019. Fast super-resolution 3D SAR imaging using an unfolded deep network//Proceedings of 2019 IEEE International Conference on Signal, Information and Data Processing (ICSIDP). Chongqing, China: IEEE: 1-5 [DOI: 10.1109/ICSIDP47821.2019.9173392]
  • Gong H L, Zhao W J, Li J. 2005. The technological framework of data mining from the polygenetic remotely sensed data. Journal of Image and Graphics, 10(5): 620-623 (宫辉力, 赵文吉, 李京. 2005. 多源遥感数据挖掘系统技术框架. 中国图象图形学报, 10(5): 620-623) [DOI:10.3969/j.issn.1006-8961.2005.05.014]
  • Grohnfeldt C, Schmitt M and Zhu X X. 2018. A conditional generative adversarial network to fuse Sar and multispectral optical data for cloud removal from sentinel-2 images//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia, Spain: IEEE: 1726-1729 [DOI: 10.1109/IGARSS.2018.8519215]
  • Guo B. 2021. Research on cloud removal method based on sentinel-2 satellite remote sensing image. Geomatics and Spatial Information Technology, 44(10): 150-152 (郭保. 2021. 基于Sentinel-2卫星遥感影像的去云方法研究. 测绘与空间地理信息, 44(10): 150-152) [DOI:10.3969/j.issn.1672-5867.2021.10.039]
  • Guo Z S, Li S H. 2019. Remote sensing image matching method based on depth learning. Geomatics and Spatial Information Technology, 42(1): 138-141, 146 (郭正胜, 李参海. 2019. 基于深度学习的遥感图像匹配方法. 测绘与空间地理信息, 42(1): 138-141, 146) [DOI:10.3969/j.issn.1672-5867.2019.01.038]
  • Haklay M, Weber P. 2008. OpenStreetMap: user-generated street maps. IEEE Pervasive Computing, 7(4): 12-18 [DOI:10.1109/MPRV.2008.80]
  • Han X F, Leung T, Jia Y Q, Sukthankar R and Berg A C. 2015. MatchNet: unifying feature and metric learning for patch-based matching//Proceedings of 2015 IEEE conference on computer vision and pattern recognition. Boston, USA: IEEE: 3279-3286 [DOI: 10.1109/CVPR.2015.7298948]
  • Helber P, Bischke B, Dengel A and Borth D. 2018. Introducing eurosat: a novel dataset and deep learning benchmark for land use and land cover classification//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia, Spain: IEEE: 204-207 [DOI: 10.1109/IGARSS.2018.8519248]
  • Hoffart J, Suchanek F M, Berberich K, Weikum G. 2013. YAGO2: a spatially and temporally enhanced knowledge base from Wikipedia. Artificial Intelligence, 194: 28-61 [DOI:10.1016/j.artint.2012.06.001]
  • Hoffmann K and Fischer P. 2002. DOSAR: a multifrequency polarimetric and interferometric airborne SAR-system//IEEE International Geoscience and Remote Sensing Symposium. Toronto, Canada: IEEE: 1708-1710 [DOI: 10.1109/IGARSS.2002.1026228]
  • Hong L, Chu S S, Peng S Y, Xu Q L. 2020. Multiscale segmentation-optimized algorithm for high-spatial remote sensing imagery considering global and local optimizations. Journal of Remote Sensing, 24(12): 1464-1475 (洪亮, 楚森森, 彭双云, 许泉立. 2020. 顾及全局和局部最优的高分辨率遥感影像多尺度分割优化算法. 遥感学报, 24(12): 1464-1475) [DOI:10.11834/jrs.20208496]
  • Hua Y S, Marcos D, Mou L C, Zhu X X, Tuia D. 2021. Semantic segmentation of remote sensing images with sparse annotations. IEEE Geoscience and Remote Sensing Letters, 19: #8006305 [DOI:10.1109/LGRS.2021.3051053]
  • Huang B, Song H H. 2012. Spatiotemporal reflectance fusion via sparse representation. IEEE Transactions on Geoscience and Remote Sensing, 50(10): 3707-3716 [DOI:10.1109/TGRS.2012.2186638]
  • Jiang S, Qiu X L, Han B, Hu W L. 2018. A quality assessment method based on common distributed targets for GF-3 polarimetric SAR data. Sensors, 18(3): #807 [DOI:10.3390/s18030807]
  • Kampffmeyer M, Salberg A B and Jenssen R. 2016. Semantic segmentation of small objects and modeling of uncertainty in urban remote sensing images using deep convolutional neural networks//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Las Vegas, USA: IEEE: 680-688 [DOI: 10.1109/CVPRW.2016.90]
  • Karalis N, Mandilaras G and Koubarakis M. 2019. Extending the YAGO2 knowledge graph with precise geospatial knowledge//Proceedings of the 18th International Semantic Web Conference on The Semantic Web. Auckland, New Zealand: Springer: 181-197 [DOI: 10.1007/978-3-030-30796-7_12]
  • Khalel A, Tasar O, Charpiat G and Tarabalka Y. 2019. Multi-task deep learning for satellite image pansharpening and segmentation//IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama, Japan: IEEE: 4869-4872 [DOI: 10.1109/IGARSS.2019.8899851]
  • Kim J, Lee J K and Lee K M. 2016. Accurate image super-resolution using very deep convolutional networks//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 1646-1654 [DOI: 10.1109/CVPR.2016.182]
  • Kong F J, Huang B H, Bradbury K and Malof J. 2020. The Synthinel-1 dataset: a collection of high resolution synthetic overhead imagery for building segmentation//Proceedings of 2020 IEEE Winter Conference on Applications of Computer Vision. Snowmass, USA: IEEE: 1803-1812 [DOI: 10.1109/WACV45572.2020.9093339]
  • Kusk A, Abulaitijiang A and Dall J. 2016. Synthetic SAR image generation using sensor, terrain and target models//Proceedings of EUSAR 2016: 11th European Conference on Synthetic Aperture Radar. Hamburg, Germany: VDE: 1-5
  • La Rosa L, Zortea M, Gemignani B H, Oliveira D A B and Feitosa R Q. 2020. FCRN-based multi-task learning for automatic citrus tree detection from UAV images//Proceedings of 2020 IEEE Latin American GRSS and ISPRS Remote Sensing Conference (LAGIRS). Santiago, Chile: IEEE: 403-408 [DOI: 10.1109/LAGIRS48042.2020.9165654]
  • Lam D, Kuzma R, McGee K, Dooley S, Laielli M, Klaric M, Bulatov Y and McCord B. 2018. xView: objects in context in overhead imagery [EB/OL]. [2022-02-15]. https://arxiv.org/pdf/1802.07856.pdf
  • Li J Y, Zhang H Y and Zhang L P. 2015. Efficient superpixel-oriented multi-task joint sparse representation classification for hyperspectral imagery//Proceedings of 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Milan, Italy: IEEE: 2592-2595 [DOI: 10.1109/IGARSS.2015.7326342]
  • Li K, Wan G, Cheng G, Meng L Q, Han J W. 2020. Object detection in optical remote sensing images: a survey and a new benchmark. ISPRS Journal of Photogrammetry and Remote Sensing, 159: 296-307 [DOI:10.1016/j.isprsjprs.2019.11.023]
  • Li S, Pan Z X, Lei B, Ding C B. 2021. Remote sensing images super-resolution reconstruction algorithm based on few-shot learning. Techniques of Automation and Applications, 40(6): 1-5 (李盛, 潘宗序, 雷斌, 丁赤飚. 2021. 基于少样本学习的遥感图像超分辨率重建算法. 自动化技术与应用, 40(6): 1-5) [DOI:10.3969/j.issn.1003-7241.2021.06.001]
  • Li Y F, Ren J B, Huang Y F. 2021. Remote sensing image haze removal algorithm using deep learning. Application Research of Computers, 38(7): 2194-2199 (李玉峰, 任静波, 黄煜峰. 2021. 基于深度学习的遥感图像去雾算法. 计算机应用研究, 38(7): 2194-2199) [DOI:10.19734/j.issn.1001-3695.2020.07.0270]
  • Liao M Z, Wu J, Zhu L. 2020. Remote sensing images matching based on ResNet and RF-Net. Chinese Journal of Liquid Crystals and Displays, 35(9): 972-980 (廖明哲, 吴谨, 朱磊. 2020. 基于ResNet和RF-Net的遥感影像匹配. 液晶与显示, 35(9): 972-980) [DOI:10.37188/YJYXS20203509.0972]
  • Liao X, Miao J, Chu J, Zhang G M. 2019. Multi-image object semantic segmentation by fusing segmentation priors. Journal of Image and Graphics, 24(6): 890-901 (廖旋, 缪君, 储珺, 张桂梅. 2019. 融合分割先验的多图像目标语义分割. 中国图象图形学报, 24(6): 890-901) [DOI:10.11834/jig.180568]
  • Liebel L, Bittner K, Körner M. 2020. A generalized multi-task learning approach to stereo DSM filtering in urban areas. ISPRS Journal of Photogrammetry and Remote Sensing, 166: 213-227 [DOI:10.1016/j.isprsjprs.2020.03.005]
  • Liu K, Mattyus G. 2015. Fast multiclass vehicle detection on aerial images. IEEE Geoscience and Remote Sensing Letters, 12(9): 1938-1942 [DOI:10.1109/LGRS.2015.2439517]
  • Liu L, Gao H L, Pan Z Q, Fu Q Y, Gu X F. 2017. On-orbit radiometric calibration method research based on deep learning theory. Spacecraft Recovery and Remote Sensing, 38(2): 64-71 (刘李, 高海亮, 潘志强, 傅俏燕, 顾行发. 2017. 基于深度学习的在轨辐射定标方法研究. 航天返回与遥感, 38(2): 64-71) [DOI:10.3969/j.issn.1009-8518.2017.02.009]
  • Liu M, Yi W C, Zhao Y J, Dong L Q. 2020. Research on remote sensing image dehazing based on generative adversarial networks. Spacecraft Recovery and Remote Sensing, 41(6): 14-20 (刘明, 易伟超, 赵跃进, 董立泉. 2020. 基于生成对抗网络的遥感图像去雾研究. 航天返回与遥感, 41(6): 14-20) [DOI:10.3969/j.issn.1009-8518.2020.06.002]
  • Liu Y, Nguyen D M, Deligiannis N, Ding W, Munteanu A. 2017. Hourglass-shapenetwork based semantic segmentation for high resolution aerial imagery. Remote Sensing, 9(6): #522 [DOI:10.3390/rs9060522]
  • Liu Y Y. 2021. Deep Learning Based SUAV Low-Altitude Remote-Sensing Image Registration. Kunming: Yunnan Normal University (刘宇雁. 2021. 基于深度学习的小型无人机低空遥感图像配准研究. 昆明: 云南师范大学[DOI: 10.27459/d.cnki.gynfc.2021.001195])
  • Longbotham N, Pacifici F, Glenn T, Zare A, Volpi M, Tuia D, Christophe E, Michel J, Inglada J, Chanussot J, Du Q. 2012. Multi-modal change detection, application to the detection of flooded areas: outcome of the 2009-2010 data fusion contest. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 5(1): 331-342 [DOI:10.1109/JSTARS.2011.2179638]
  • Lowe D G. 2004. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2): 91-110 [DOI:10.1023/B:VISI.0000029664.99615.94]
  • Luo C, Ma L. 2018. Manifold regularized distribution adaptation for classification of remote sensing images. IEEE Access, 6: 4697-4708 [DOI:10.1109/ACCESS.2018.2789932]
  • Luo Z Y, Yu J P, Liu Z H. 2019. The super-resolution reconstruction of SAR image based on the improved FSRCNN. The Journal of Engineering, 2019(19): 5975-5978 [DOI:10.1049/joe.2019.0324]
  • Ma D A, Tang P, Zhao L J. 2019a. SiftingGAN: generating and sifting labeled samples to improve the remote sensing image scene classification baseline in vitro. IEEE Geoscience and Remote Sensing Letters, 16(7): 1046-1050 [DOI:10.1109/LGRS.2018.2890413]
  • Ma H J, Liu Y L, Ren Y H, Yu J X. 2020. Detection of collapsed buildings in post-earthquake remote sensing images based on the improved YOLOv3. Remote Sensing, 12(1): #44 [DOI:10.3390/rs12010044]
  • Ma W P, Zhang J, Wu Y, Jiao L C, Zhu H, Zhao W. 2019b. A novel two-step registration method for remote sensing images based on deep and local features. IEEE Transactions on Geoscience and Remote Sensing, 57(7): 4834-4843 [DOI:10.1109/TGRS.2019.2893310]
  • Malek S, Melgani F, Bazi Y, Alajlan N. 2018. Reconstructing cloud-contaminated multispectral images with contextualized autoencoder neural networks. IEEE Transactions on Geoscience and Remote Sensing, 56(4): 2270-2282 [DOI:10.1109/tgrs.2017.2777886]
  • Malmgren-Hansen D, Kusk A, Dall J, Nielsen A A, Engholm R, Skriver H. 2017. Improving SAR automatic target recognition models with transfer learning from simulated data. IEEE Geoscience and Remote Sensing Letters, 14(9): 1484-1488 [DOI:10.1109/LGRS.2017.2717486]
  • Marcos D, Volpi M, Kellenberger B, Tuia D. 2018. Land cover mapping at very high resolution with rotation equivariant CNNs: towards small yet accurate models. ISPRS Journal of Photogrammetry and Remote Sensing, 145: 96-107 [DOI:10.1016/j.isprsjprs.2018.01.021]
  • Mishchuk A, Mishkin D, Radenovic F and Matas J. 2017. Working hard to know your neighbor's margins: local descriptor learning loss//Advances in Neural Information Processing Systems 30 (NIPS 2017). Long Beach, USA: NIPS: 4826-4837
  • Mou L C and Zhu X X. 2018. RiFCN: recurrent network in fully convolutional network for semantic segmentation of high resolution remote sensing images [EB/OL]. [2022-02-15]. https://arxiv.org/pdf/1805.0209.pdf
  • Ono Y, Trulls E, Fua P and Yi K M. 2018. LF-Net: learning local features from images//Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montreal, Canada: ACM: 6237-6247 [DOI: 10.5555/3327345.3327521]
  • Papadomanolaki M, Karantzalos K and Vakalopoulou M. 2019. A multi-task deep learning framework coupling semantic segmentation and image reconstruction for very high resolution imagery//IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium. Yokohama, Japan: IEEE: 1069-1072 [DOI: 10.1109/IGARSS.2019.8898133]
  • Peng Y, Sun S H, Wang Z, Pan Y N and Li R R. 2020. Robust semantic segmentation by dense fusion network on blurred VHR remote sensing images//Proceedings of the 6th International Conference on Big Data and Information Analytics (BigDIA). Shenzhen, China: IEEE: 142-145 [DOI: 10.1109/BigDIA51454.2020.00031]
  • Piplai A, Mittal S, Joshi A, Finin T, Holt J, Zak R. 2020. Creating cybersecurity knowledge graphs from malware after action reports. IEEE Access, 8: 211691-211703 [DOI:10.1109/ACCESS.2020.3039234]
  • Pu W. 2021. Deep SAR imaging and motion compensation. IEEE Transactions on Image Processing, 30: 2232-2247 [DOI:10.1109/TIP.2021.3051484]
  • Rao M B, Tang P, Zhang Z. 2019. Spatial-spectral relation network for hyperspectral image classification with limited training samples. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(12): 5086-5100 [DOI:10.1109/JSTARS.2019.2957047]
  • Rittenbach A and Walters J P. 2020. RDAnet: a deep learning based approach for synthetic aperture radar image formation [EB/OL]. [2022-02-15]. https://arxiv.org/pdf/2001.08202.pdf
  • Ross T D, Bradley J J, Hudson L J and O'Connor M P. 1999. SAR ATR: so what's the problem? An MSTAR perspective//Proceedings of SPIE 3721, Algorithms for Synthetic Aperture Radar Imagery Ⅵ. Orlando, USA: SPIE: 662-672 [DOI: 10.1117/12.357681]
  • Roy D P, Ju J C, Lewis P, Schaaf C, Gao F, Hansen M, Lindquist E. 2008. Multi-temporal MODIS-Landsat data fusion for relative radiometric normalization, gap filling, and prediction of Landsat data. Remote Sensing of Environment, 112(6): 3112-3130 [DOI:10.1016/j.rse.2008.03.009]
  • Savinov N, Seki A, Ladicky L, Sattler T and Pollefeys M. 2017. Quad-networks: unsupervised learning to rank for interest point detection//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 3929-3937 [DOI: 10.1109/CVPR.2017.418]
  • Shangguan S T. 2021. Research on Stability Characteristics Extraction and System Parameters Estimation of Polarimetric SAR Data Based on Massive Data Facing SAR Calibration. Beijing: University of Chinese Academy of Sciences (上官松涛. 2021. 多极化SAR大数据稳定特性提取与极化误差标校方法研究. 北京: 中国科学院大学)
  • Shen X L, Wang C, Li X, Yu Z L, Li J, Wen C L, Cheng M and He Z J. 2019. RF-Net: an end-to-end image matching network based on receptive field//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 8124-8132 [DOI: 10.1109/CVPR.2019.00832]
  • Shi J, Shao T, Liu X D, Zhang X, Zhang Z P, Lei Y. 2021. Evolutionary multitask ensemble learning model for hyperspectral image classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 936-950 [DOI:10.1109/JSTARS.2020.3037353]
  • Simo-Serra E, Trulls E, Ferraz L, Kokkinos I, Fua P and Moreno-Noguer F. 2015. Discriminative learning of deep convolutional feature point descriptors//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 118-126 [DOI: 10.1109/ICCV.2015.22]
  • Song H H, Huang B. 2012. Spatiotemporal satellite image fusion through one-pair image learning. IEEE Transactions on Geoscience and Remote Sensing, 51(4): 1883-1896 [DOI:10.1109/TGRS.2012.2213095]
  • Song H H, Liu Q S, Wang G J, Hang R L, Huang B. 2018. Spatiotemporal satellite image fusion using deep convolutional neural networks. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(3): 821-829 [DOI:10.1109/JSTARS.2018.2797894]
  • Su J M, Yang L X, Jing W P. 2019. U-Net based semantic segmentation method for high resolution remote sensing image. Computer Engineering and Applications, 55(7): 207-213 (苏健民, 杨岚心, 景维鹏. 2019. 基于U-Net的高分辨率遥感图像语义分割方法. 计算机工程与应用, 55(7): 207-213) [DOI:10.3778/j.issn.1002-8331.1806-0024]
  • Su Y F. 2018. Muti-Source Remote Sensing Image Registration Based on Convolutional Neural Network and SIFT. Nanchang: Nanchang University (苏燕飞. 2018. 基于卷积神经网络和SIFT的多源遥感图像配准研究. 南昌: 南昌大学)
  • Sun C, Fu Y N, Cheng W L, Qian W N. 2018. Chinese named entity relation extraction for enterprise knowledge graph construction. Journal of East China Normal University (Natural Science), (3): 55-66 (孙晨, 付英男, 程文亮, 钱卫宁. 2018. 面向企业知识图谱构建的中文实体关系抽取. 华东师范大学学报(自然科学版), (3): 55-66) [DOI:10.3969/j.issn.1000-5641.2018.03.007]
  • Sun W W, Wang R S. 2018. Fully convolutional networks for semantic segmentation of very high resolution remotely sensed images combined with DSM. IEEE Geoscience and Remote Sensing Letters, 15(3): 474-478 [DOI:10.1109/LGRS.2018.2795531]
  • Sun X, Wang P J, Yan Z Y, Xu F, Wang R P, Diao W H, Chen J, Li J H, Feng Y C, Xu T, Weinmann M, Hinz S, Wang C, Fu K. 2022. FAIR1M: a benchmark dataset for fine-grained object recognition in high-resolution remote sensing imagery. ISPRS Journal of Photogrammetry and Remote Sensing, 184: 116-130 [DOI:10.1016/j.isprsjprs.2021.12.004]
  • Sun X, Wang Z R, Sun Y R, Diao W H, Zhang Y, Fu K. 2019. AIR-SARShip-1.0: high-resolution SAR ship detection dataset. Journal of Radars, 8(6): 852-862 (孙显, 王智睿, 孙元睿, 刁文辉, 张跃, 付琨. 2019. AIR-SARShip-1.0: 高分辨率SAR舰船检测数据集. 雷达学报, 8(6): 852-862) [DOI:10.12000/JR19097]
  • Sun Y W, Luo J C, Wu T J, Zhou Y N, Liu H, Gao L J, Dong W, Liu W, Yang Y P, Hu X D, Wang L Y, Zhou Z F. 2019. Synchronous response analysis of features for remote sensing crop classification based on optical and SAR time-series data. Sensors, 19(19): #4227 [DOI:10.3390/s19194227]
  • Tao H Y. 2020. Super-resolution of remote sensing images based on a deep plug-and-play framework//IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa, USA: IEEE: 625-628 [DOI: 10.1109/IGARSS39084.2020.9324647]
  • Tempelmeier N, Demidova E. 2021. Linking OpenStreetMap with knowledge graphs—link discovery for schema-agnostic volunteered geographic information. Future Generation Computer Systems, 116: 349-364 [DOI:10.1016/j.future.2020.11.003]
  • Tian Y R, Fan B and Wu F C. 2017. L2-Net: deep learning of discriminative patch descriptor in Euclidean space//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 6128-6136 [DOI: 10.1109/CVPR.2017.649]
  • Tong X Y, Xia G S, Lu Q K, Shen H F, Li S Y, You S C, Zhang L P. 2020. Land-cover classification with high-resolution remote sensing images using transferable deep models. Remote Sensing of Environment, 237: #111322 [DOI:10.1016/j.rse.2019.111322]
  • Valada A, Mohan R, Burgard W. 2020. Self-supervised model adaptation for multimodal semantic segmentation. International Journal of Computer Vision, 128(5): 1239-1285 [DOI:10.1007/s11263-019-01188-y]
  • Van Etten A, Lindenbaum D and Bacastow T M. 2018. SpaceNet: a remote sensing dataset and challenge series [EB/OL]. [2022-02-15]. https://arxiv.org/pdf/1807.01232.pdf
  • Volpi M, Tuia D. 2018. Deep multi-task learning for a geographically-regularized semantic segmentation of aerial images. ISPRS Journal of Photogrammetry and Remote Sensing, 144: 48-60 [DOI:10.1016/j.isprsjprs.2018.06.007]
  • Wang J J, Sun Y, Li Y. 2021. Cloud removal method for the remote sensing image based on the GAN. Journal of Xidian University, 48(5): 23-29 (王军军, 孙岳, 李颖. 2021. 一种生成对抗网络的遥感图像去云方法. 西安电子科技大学学报, 48(5): 23-29) [DOI:10.19665/j.issn1001-2400.2021.05.004]
  • Wang M Y, Meng X C, Shao F, Fu R D. 2021. SAR-assisted optical remote sensing image cloud removal method based on deep learning. Acta Optica Sinica, 41(12): #1228002 (王梦瑶, 孟祥超, 邵枫, 符冉迪. 2021. 基于深度学习的SAR辅助下光学遥感图像去云方法. 光学学报, 41(12): #1228002) [DOI:10.3788/AOS202141.1228002]
  • Wang R W, Yuan Y, Yuan X P. 2016. Study on the construction of Chinese knowledge graph based on deep learning and graph database. Library and Information, (1): 110-117 (王仁武, 袁毅, 袁旭萍. 2016. 基于深度学习与图数据库构建中文商业知识图谱的探索研究. 图书与情报, (1): 110-117) [DOI:10.11968/tsyqb.1003-6938.2016017]
  • Wang S, Zhang X Y, Ye P, Du M, Lu Y X, Xue H N. 2019a. Geographic knowledge graph (GeoKG): a formalized geographic knowledge representation. ISPRS International Journal of Geo-Information, 8(4): #184 [DOI:10.3390/ijgi8040184]
  • Wang S J, Wu W B, Xu Q Z. 2021. An accurate registration method for optical remote sensing images based on VGG and DoG. Spacecraft Recovery and Remote Sensing, 42(5): 76-84 (王少杰, 武文波, 徐其志. 2021. VGG与DoG结合的光学遥感影像精确配准方法. 航天返回与遥感, 42(5): 76-84) [DOI:10.3969/j.issn.1009-8518.2021.05.009]
  • Wang Y F, Ding W R, Zhang R Q, Li H G. 2020a. Boundary-aware multitask learning for remote sensing imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 951-963 [DOI:10.1109/JSTARS.2020.3043442]
  • Wang Y H, Chen C, Ding M, Li J Y. 2019b. Real-time dense semantic labeling with dual-Path framework for high-resolution remote sensing image. Remote Sensing, 11(24): #3020 [DOI:10.3390/rs11243020]
  • Wang Y L, Gu J, Zhao L J, Zhang Y, Wang H Q. 2020b. Target detection based on simulated image domain migration. IEEE Access, 8: 79724-79733 [DOI:10.1109/ACCESS.2020.2989458]
  • Wang Z N, Jiang M, Gao J L, Chen Y X. 2019. Chinese named entity recognition method based on BERT. Computer Science, 46(11A): 138-142 (王子牛, 姜猛, 高建瓴, 陈娅先. 2019. 基于BERT的中文命名实体识别方法. 计算机科学, 46(11A): 138-142)
  • Wei Y K, Li Y C, Ding Z G, Wang Y, Zeng T, Long T. 2021. SAR parametric super-resolution image reconstruction methods based on ADMM and deep neural network. IEEE Transactions on Geoscience and Remote Sensing, 59(12): 10197-10212 [DOI:10.1109/TGRS.2021.3052793]
  • Wu B, Huang B, Zhang L P. 2015. An error-bound-regularized sparse coding for spatiotemporal reflectance fusion. IEEE Transactions on Geoscience and Remote Sensing, 53(12): 6791-6803 [DOI:10.1109/TGRS.2015.2448100]
  • Wu L X, Yu J Q, Yang Y Z, Bo H G, Wang H, Xie L, Jia Y J, Li Z F. 2013. ESSG-based global big data spatially correlate and its share service. Journal of Geomatics Science and Technology, 30(4): 409-415, 438 (吴立新, 余接情, 杨宜舟, 薄海光, 王鹤, 谢磊, 贾永基, 李志峰. 2013. 基于地球系统空间格网的全球大数据空间关联与共享服务. 测绘科学技术学报, 30(4): 409-415, 438) [DOI:10.3969/j.issn.1673-6338.2013.04.013]
  • Xia G S, Bai X, Ding J, Zhu Z, Belongie S, Luo J B, Datcu M, Pelillo M and Zhang L P. 2018. DOTA: a large-scale dataset for object detection in aerial images//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 3974-3983 [DOI: 10.1109/CVPR.2018.00418]
  • Xia G S, Hu J W, Hu F, Shi B G, Bai X, Zhong Y F, Zhang L P, Lu X Q. 2017. AID: a benchmark data set for performance evaluation of aerial scene classification. IEEE Transactions on Geoscience and Remote Sensing, 55(7): 3965-3981 [DOI:10.1109/TGRS.2017.2685945]
  • Xiong Y F. 2021. Super-Resolution of Remote Sensing Images Based on Generative Adversarial Network Across Locations and Sensors. Shenzhen: Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences (熊鹰飞. 2021. 基于生成对抗网络的多源跨区域遥感图像超分辨. 深圳: 中国科学院大学(中国科学院深圳先进技术研究院) [DOI: 10.27822/d.cnki.gszxj.2021.000028])
  • Xu Z H, Liu Y, Quan J C, Wu C. 2019. Buildings segmentation of remote sensing images based on VGG16 pre-encoding. Science Technology and Engineering, 19(17): 250-255 (徐昭洪, 刘宇, 全吉成, 吴晨. 2019. 基于VGG16预编码的遥感图像建筑物语义分割. 科学技术与工程, 19(17): 250-255) [DOI:10.3969/j.issn.1671-1815.2019.17.037]
  • Yan Y M, Tan Z C, Su N. 2019. A data augmentation strategy based on simulated samples for ship detection in RGB remote sensing images. ISPRS International Journal of Geo-Information, 8(6): #276 [DOI:10.3390/ijgi8060276]
  • Yang B, Liao Y M. 2021. Research on the construction and application of knowledge graph for enterprise dynamic risk. Modern Information, 41(3): 110-120 (杨波, 廖怡茗. 2021. 面向企业动态风险的知识图谱构建与应用研究. 现代情报, 41(3): 110-120) [DOI:10.3969/j.issn.1008-0821.2021.03.011]
  • Yang J T. 2018. Research on Analysis Method of Stability Characteristics Based on Massive SAR Data Facing Routine Radiometric Calibration. Beijing: University of Chinese Academy of Sciences (杨进涛. 2018. 面向常态化辐射定标的海量SAR数据稳定特性分析方法研究. 北京: 中国科学院大学)
  • Yang J T, Qiu X L, Ding C B, Lei B, Lu X J. 2019. Analyzing and extracting stable feature of target backscattering for C-band SAR. Journal of University of Chinese Academy of Sciences, 36(1): 115-124 (杨进涛, 仇晓兰, 丁赤飚, 雷斌, 卢晓军. 2019. C波段SAR地物散射稳定特性分析与提取方法. 中国科学院大学学报, 36(1): 115-124) [DOI:10.7523/j.issn.2095-6134.2019.01.016]
  • Yang J Y, Zhou Z X, Du Z R, Xu Q Q, Yin H, Liu R. 2019. Rural construction land extraction from high spatial resolution remote sensing image based on SegNet semantic segmentation model. Transactions of the Chinese Society of Agricultural Engineering, 35(5): 251-258 (杨建宇, 周振旭, 杜贞容, 许全全, 尹航, 刘瑞. 2019. 基于SegNet语义模型的高分辨率遥感影像农村建设用地提取. 农业工程学报, 35(5): 251-258) [DOI:10.11975/j.issn.1002-6819.2019.05.031]
  • Yang Q Q, Wang G X, Zhao Y X, Zhang X Y, Dong G S and Ren P. 2020. Multi-scale deep residual learning for cloud removal//IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa, USA: IEEE: 4967-4970 [DOI: 10.1109/IGARSS39084.2020.9323261]
  • Yang Y and Newsam S. 2010. Bag-of-visual-words and spatial extensions for land-use classification//Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. San Jose, USA: ACM: 270-279 [DOI: 10.1145/1869790.1869829]
  • Yi K M, Trulls E, Lepetit V and Fua P. 2016. Lift: learned invariant feature transform//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer: 467-483 [DOI: 10.1007/978-3-319-46466-4_28]
  • Yuan J B, Jin Z W, Guo H, Jin H X, Zhang X C, Smith T, Luo J B. 2020. Constructing biomedical domain-specific knowledge graph with minimum supervision. Knowledge and Information Systems, 62(1): 317-336 [DOI:10.1007/s10115-019-01351-4]
  • Yue G H, Xing X L. 2021. Research on the registration method of remote sensing image based on the combination of convolution neural network and correction network. Computer Applications and Software, 38(11): 185-190 (岳国华, 邢晓利. 2021. 基于卷积神经网络和校正网络相结合的遥感图像配准方法研究. 计算机应用与软件, 38(11): 185-190) [DOI:10.3969/j.issn.1000-386x.2021.11.029]
  • Zagoruyko S and Komodakis N. 2015. Learning to compare image patches via convolutional neural networks//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 4353-4361 [DOI: 10.1109/CVPR.2015.7299064]
  • Zamir S W, Arora A, Gupta A, Khan S, Sun G L, Khan F S, Zhu F, Shao L, Xia G S and Bai X. 2019. iSAID: a large-scale dataset for instance segmentation in aerial images//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach, USA: IEEE: 28-37
  • Zhan Y, Hu D, Wang Y T, Yu X C. 2018. Semisupervised hyperspectral image classification based on generative adversarial networks. IEEE Geoscience and Remote Sensing Letters, 15(2): 212-216 [DOI:10.1109/LGRS.2017.2780890]
  • Zhang H Q, Liu X Y, Yang S, Li Y. 2017. Retrieval of remote sensing images based on semisupervised deep learning. Journal of Remote Sensing, 21(3): 406-414 (张洪群, 刘雪莹, 杨森, 李宇. 2017. 深度学习的半监督遥感图像检索. 遥感学报, 21(3): 406-414) [DOI:10.11834/jrs.20176105]
  • Zhang L M, Dong H W, Zou B. 2019a. Efficiently utilizing complex-valued PolSAR image data via a multi-task deep learning framework. ISPRS Journal of Photogrammetry and Remote Sensing, 157: 59-72 [DOI:10.1016/j.isprsjprs.2019.09.002]
  • Zhang Q, Yuan Q Q, Zeng C, Li X H, Wei Y C. 2018a. Missing data reconstruction in remote sensing image with a unified spatial-temporal-spectral deep convolutional neural network. IEEE Transactions on Geoscience and Remote Sensing, 56(8): 4274-4288 [DOI:10.1109/TGRS.2018.2810208]
  • Zhang T W, Zhang X L, Shi J, Wei S J. 2019b. Depthwise separable convolution neural network for high-speed SAR ship detection. Remote Sensing, 11(21): #2483 [DOI:10.3390/rs11212483]
  • Zhang Y, Lu X M, Liu G R, Liu S D, Sun Y M. 2021. Remote sensing image super-resolution reconstruction algorithm based on multi-path feature fusion. Remote Sensing Information, 36(2): 46-53 (张艳, 卢宣铭, 刘国瑞, 刘树东, 孙叶美. 2021. 多路径特征融合的遥感图像超分辨率重建算法. 遥感信息, 36(2): 46-53) [DOI:10.3969/j.issn.1000-3177.2021.02.007]
  • Zhang Y, Kan Z W, Shao Z M, Zhou J L. 2021. Remote sensing image denoising based on attention mechanism and perceptual loss. Journal of Sichuan University (Natural Science Edition), 58(4): 39-49 (张意, 阚子文, 邵志敏, 周激流. 2021. 基于注意力机制和感知损失的遥感图像去噪. 四川大学学报(自然科学版), 58(4): 39-49) [DOI:10.19907/j.0490-6756.2021.042001]
  • Zhang Y H, Sun H, Zuo J W, Wang H Q, Xu G L, Sun X. 2018b. Aircraft type recognition in remote sensing images based on feature learning with conditional generative adversarial networks. Remote Sensing, 10(7): #1123 [DOI:10.3390/rs10071123]
  • Zhang Y X, Du B, Zhang L P, Liu T L. 2017. Joint sparse representation and multitask learning for hyperspectral target detection. IEEE Transactions on Geoscience and Remote Sensing, 55(2): 894-906 [DOI:10.1109/TGRS.2016.2616649]
  • Zhao H X, Pan Y L, Yang F. 2020a. Research on information extraction of technical documents and construction of domain knowledge graph. IEEE Access, 8: 168087-168098 [DOI:10.1109/ACCESS.2020.3024070]
  • Zhao Z X, Xu S, Zhang C X, Liu J M, Zhang J S and Li P F. 2020b. DIDFuse: deep image decomposition for infrared and visible image fusion//Proceedings of the 29th International Joint Conference on Artificial Intelligence (IJCAI-20). Yokohama, Japan: IJCAI: 970-976 [DOI: 10.24963/ijcai.2020/135]
  • Zhou X, Prasad S. 2018. Deep feature alignment neural networks for domain adaptation of hyperspectral data. IEEE Transactions on Geoscience and Remote Sensing, 56(10): 5863-5872 [DOI:10.1109/TGRS.2018.2827308]
  • Zhou X Y, Tang Z, Tang L R, Li X, Lu X. 2021. Construction of junior high school mathematics knowledge graph based on multi-source heterogeneous data fusion. Journal of Wuhan University (Science Edition), 67(2): 118-126 (周炫余, 唐祯, 唐丽蓉, 李璇, 卢笑. 2021. 基于多源异构数据融合的初中数学知识图谱构建. 武汉大学学报(理学版), 67(2): 118-126) [DOI:10.14188/j.1671-8836.2020.0273]
  • Zhou Y N, Yang X Z, Feng L, Wu W, Wu T J, Luo J C, Zhou X C, Zhang X. 2020. Superpixel-based time-series reconstruction for optical images incorporating SAR data using autoencoder networks. GIScience and Remote Sensing, 57(8): 1005-1025 [DOI:10.1080/15481603.2020.1841459]
  • Zhu L, Chen Y S, Ghamisi P, Benediktsson J A. 2018. Generative adversarial networks for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 56(9): 5046-5063 [DOI:10.1109/TGRS.2018.2805286]
  • Zhu X L, Gao F, Liu D S, Chen J. 2012. A modified neighborhood similar pixel interpolator approach for removing thick clouds in Landsat images. IEEE Geoscience and Remote Sensing Letters, 9(3): 521-525 [DOI:10.1109/LGRS.2011.2173290]