多模态遥感图像配准方法研究综述

朱柏; 叶沅鑫

doi:10.11834/jig.230737

多源遥感数据融合与智能解译 | 浏览量 : 0 下载量: 6069 CSCD: 3

PDF
导出
分享
收藏
专辑

多模态遥感图像配准方法研究综述
Multimodal remote sensing image registration： a survey
2024年29卷第8期页码：2137-2161
收稿：2023-10-17，

修回：2024-03-19，

纸质出版：2024-08-16
DOI： 10.11834/jig.230737
稿件说明：

移动端阅览

朱柏，叶沅鑫. 2024. 多模态遥感图像配准方法研究综述. 中国图象图形学报， 29(08):2137-2161 DOI： 10.11834/jig.230737.

Zhu Bai， Ye Yuanxin. 2024. Multimodal remote sensing image registration： a survey. Journal of Image and Graphics， 29(08):2137-2161 DOI： 10.11834/jig.230737.

摘要

随着对地观测技术的不断发展，从星载、机载和地面平台上众多的一体化立体观测设施被发射，这些传感器设备可以动态提供不同空间、时间和光谱分辨率的多模态遥感图像，只有充分利用各类多模态遥感图像才能有效地为自然资源管理、防灾减灾和环境监测等不同应用提供更可靠和全面的对地观测结果。但是由于不同传感器之间的成像机理不同，多模态图像之间呈现显著的辐射差异、几何差异、时相差异和视角差异等，给多模态遥感图像高精度的配准带来了巨大的挑战。为推进多模态遥感图像配准研究技术的发展，本文对当前主流的多模态遥感图像配准方法系统性地进行了梳理、分析、介绍和总结。首先梳理了单模态到多模态遥感图像配准的研究发展演化过程；然后分别分析了基于区域、基于特征和基于深度学习方法中代表性算法的核心思想，并给出已开源代码的链接；同时分享了现有公开的多模态遥感图像配准数据集，介绍了数据集的详细内容和特点；最后给出了现阶段多模态遥感图像高精度配准研究中所存在的一些问题和严峻挑战，并对未来研究的发展趋势进行了前瞻性的展望，旨在推动多模态遥感图像配准领域实现更加深入的突破和创新。

Abstract

The advent of new infrastructure construction and the era of intelligent photogrammetry have facilitated the rapid development of global aerospace and aviation remote sensing technology. Numerous multi-sensors integrating stereoscopic observation facilities have been launched from spaceborne， airborne， and terrestrial platforms， and the types of sensors have also developed from traditional single-mode sensors （e.g.， optical sensors） to a new generation of multimodal sensors （e.g.， multispectral， hyperspectral， light detection and ranging（LiDAR）， and synthetic aperture radar（SAR） sensors）. These advanced sensor devices can dynamically provide multimodal remote sensing images with different spatial， temporal， and spectral resolutions. They can obtain more reliable， comprehensive， and accurate observation results than single-modal sensors through joint processing of spaceborne， airborne， and terrestrial multimodal data. Therefore， investigating multimodal remote sensing image registration has great scientific significance. Multi-level and multi-perspective Earth observation can be effectively achieved only by fully integrating and utilizing various multimodal remote sensing images. In order to promote the development of multimodal remote sensing image registration research technology， we systematically sort out， analyze， introduce， and summarize the current mainstream registration methods for multimodal remote sensing images. We first sort out the research development and evolution process from single-modal to multimodal remote sensing image registration. We then analyze the core ideas of representative algorithms among area-based， feature-based， and deep-learning-based pipelines， while the contribution of the author team in the field of multimodal remote sensing image registration is introduced. Area-based registration （template matching） pipeline mainly includes two types： information theory-based and structural feature-based registration methods. The structural feature-based method consists of sparse structural features and dense structural features. From the perspective of the robustness and efficiency of comprehensive registration， dense-structure-feature-based methods have obvious effectiveness and advantages in handling significant nonlinear radiation differences between multimodal remote sensing images and can meet many current application needs. By contrast， area-based registration pipeline generally relies on geo-referencing of remote sensing images to predict the rough range of template matching. Feature-based registration methods can be refined into three categories： feature registration based on gradient optimization， local self-similarity （LSS）， and phase consistency. The feature registration of gradient optimization usually designs consistent gradients for specific multimodal images. The generalization of this type of method based on gradient optimization is generally poor， and it has difficulty maintaining the same performance on other types of multimodal images. The feature registration of LSS also has limitations， given that the relatively low discriminative power of LSS descriptors may result in the inability to maintain robust matching performance in the presence of complex nonlinear radiation differences. The feature registration of phase consistency has high computational complexity， and the registration process is generally time consuming. Feature-based registration pipeline utilizes the local spatial relationship between adjacent pixels to construct a high-dimensional information feature vector for each feature point. Compared with template matching methods， they usually face a heavy computational burden， and inevitable serious outliers are prone to occur in matching， especially in multimodal registration situations where scale， rotation， and radiation differences exist simultaneously. In general， the registration robustness of feature-based methods is not as stable as that of area-based methods. The deep-learning-based pipeline can be divided into modular and end-to-end registration methods. The most common strategy for modular registration methods is to embed deep networks into feature-based or region-based methods. This approach takes advantage of the complete data-driven and high-dimensional deep feature extraction capability of deep learning to generate more robust features or more effective descriptors or similarity measures， which improves the robustness of image registration. Modular registration methods can be subdivided into three categories： learning-based template matching， learning-based feature matching， and style transfer-based modal unification. Modular registration methods are easy to train and have strong flexibility， but it has difficulty avoiding the error accumulation problem that easily occurs in multi-stage tasks and may fall into local optimality. The end-to-end registration methods directly estimate the geometric transformation parameters or deformation field to achieve image registration by directly constructing an end-to-end neural network structure. The training objectives of the end-to-end network are consistent and can obtain the global optimal solution. However， some problems arise， such as high training difficulty and poor interpretability. Moreover， no complete and comprehensive database containing all types of multimodal remote sensing image pairs is available to date， and the lack of training and testing data greatly limits the development of deep learning-based registration methods. Furthermore， we share existing public registration datasets of multimodal remote sensing images， as well as supplement by a small number of registration datasets in the field of computer vision. Finally， the existing problems and challenges in the current research on high-precision registration of multimodal remote sensing images are analyzed. A forward-looking outlook on the development trend of future research is given， which aims to promote further breakthroughs and innovations in the field of multimodal remote sensing image registration.

关键词

Keywords

references

Bay H ， Ess A ， Tuytelaars T and Van Gool L . 2008 . Speeded-up robust features （SURF） . Computer Vision and Image Understanding ， 110 （ 3 ）： 346 - 359 ［ DOI： 10.1016/j.cviu.2007.09.014 http://dx.doi.org/10.1016/j.cviu.2007.09.014 ］

Brown L G . 1992 . A survey of image registration techniques . ACM Computing Surveys ， 24 （ 4 ）： 325 - 376 ［ DOI： 10.1145/146370.146374 http://dx.doi.org/10.1145/146370.146374 ］

Cao S Y ， Yu B N ， Luo L ， Zhang R M ， Chen S J ， Li C G and Shen H L . 2023 . PCNet： a structure similarity enhancement method for multispectral and multimodal image registration . Information Fusion ， 94 ： 200 - 214 ［ DOI： 10.1016/j.inffus.2023.02.004 http://dx.doi.org/10.1016/j.inffus.2023.02.004 ］

Chen H M ， Arora M K and Varshney P K . 2003 . Mutual information-based image registration for remote sensing data . International Journal of Remote Sensing ， 24 （ 18 ）： 3701 - 3706 ［ DOI： 10.1080/0143116031000117047 http://dx.doi.org/10.1080/0143116031000117047 ］

Chen H M and Varshney P K . 2000 . A pyramid approach for multimodality image registration based on mutual information // Proceedings of the 3rd International Conference on Information Fusion . Paris， France ： IEEE： MOD 3 / 9 -MOD 315 ［DOI： 10.1109/IFIC.2000.862613］

Chen R Z ， Wang L ， Li D R ， Chen L and Fu W J . 2019 . A survey on the fusion of the navigation and the remote sensing techniques . Acta Geodaetica et Cartographica Sinica ， 48 （ 12 ）： 1507 - 1522

陈锐志，王磊，李德仁，陈亮，付文举 . 2019 . 导航与遥感技术融合综述 . 测绘学报， 48 （ 12 ）： 1507 - 1522 ［ DOI： 10.11947/j.AGCS.2019.20190446 http://dx.doi.org/10.11947/j.AGCS.2019.20190446 ］

Chen S W ， Xia H ， Yang X G and Li X F . 2022 . SAR and optical image registration algorithm based on style transfer invariable features . Systems Engineering and Electronics ， 44 （ 5 ）： 1536 - 1542

陈世伟，夏海，杨小冈，李小锋 . 2022 . 基于风格迁移不变特征的SAR与光学图像配准算法 . 系统工程与电子技术， 44 （ 5 ）： 1536 - 1542 ［ DOI： 10.12305/j.issn.1001-506X.2022.05.14 http://dx.doi.org/10.12305/j.issn.1001-506X.2022.05.14 ］

Chen T ， Guo J F ， Han X Z ， Xie X L and Xi J X . 2022 . Visible and infrared image matching method based on generative adversarial model . Journal of Zhejiang University （Engineering Science）， 56 （ 1 ）： 63 - 74

陈彤，郭剑锋，韩心中，谢学立，席建祥 . 2022 . 基于生成对抗模型的可见光-红外图像匹配方法 . 浙江大学学报（工学版）， 56 （ 1 ）： 63 - 74 ［ DOI： 10.3785/j.issn.1008-973X.2022.01.007 http://dx.doi.org/10.3785/j.issn.1008-973X.2022.01.007 ］

Cole-Rhodes A A ， Johnson K L ， LeMoigne J and Zavorin I . 2003 . Multiresolution registration of remote sensing imagery by optimization of mutual information using a stochastic gradient . IEEE Transactions on Image Processing ， 12 （ 12 ）： 1495 - 1511 ［ DOI： 10.1109/TIP.2003.819237 http://dx.doi.org/10.1109/TIP.2003.819237 ］

Cui S ， Ma A L ， Zhang L P ， Xu M Z and Zhong Y F . 2022 . MAP-Net： SAR and optical image matching via image-based convolutional network with attention mechanism and spatial pyramid aggregated pooling . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 1000513 ［ DOI： 10.1109/TGRS.2021.3066432 http://dx.doi.org/10.1109/TGRS.2021.3066432 ］

de Vos B D ， Berendsen F F ， Viergever M A ， Sokooti H ， Staring M and Išgum I . 2019 . A deep learning framework for unsupervised affine and deformable image registration . Medical Image Analysis ， 52 ： 128 - 143 ［ DOI： 10.1016/j.media.2018.11.010 http://dx.doi.org/10.1016/j.media.2018.11.010 ］

Dellinger F ， Delon J ， Gousseau Y ， Michel J and Tupin F . 2015 . SAR-SIFT： a SIFT-like algorithm for SAR images . IEEE Transactions on Geoscience and Remote Sensing ， 53 （ 1 ）： 453 - 466 ［ DOI： 10.1109/TGRS.2014.2323552 http://dx.doi.org/10.1109/TGRS.2014.2323552 ］

Dong Y Y ， Jiao W L ， Long T F ， Liu L F ， He G J ， Gong C J and Guo Y T . 2019 . Local deep descriptor for remote sensing image feature matching . Remote Sensing ， 11 （ 4 ）： # 430 ［ DOI： 10.3390/rs11040430 http://dx.doi.org/10.3390/rs11040430 ］

Fan J W ， Ye Y X ， Li J ， Liu G C and Li Y L . 2022 . A novel multiscale adaptive binning phase congruency feature for SAR and optical image registration . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 5235216 ［ DOI： 10.1109/TGRS.2022.3206804 http://dx.doi.org/10.1109/TGRS.2022.3206804 ］

Fan J W ， Yuan X Y ， Li B W ， Qi C D ， Li Y L and Lu T . 2023 . Multimodal image registration based on local self similarity structural features . Journal of Xinyang Normal University （Natural Science Edition）， 36 （ 2 ）： 295 - 299

樊建伟，袁喜悦，李博文，祁传达，李艳灵，路通 . 2023 . 基于局部自相似结构特征的多模态影像匹配 . 信阳师范学院学报（自然科学版）， 36 （ 2 ）： 295 - 299 ［ DOI： 10.3969/j.issn.1003-0972.2023.02.022 http://dx.doi.org/10.3969/j.issn.1003-0972.2023.02.022 ］

Fan Z L ， Zhang L ， Liu Y X ， Wang Q D and Zlatanova S . 2021 . Exploiting high geopositioning accuracy of SAR data to obtain accurate geometric orientation of optical satellite images . Remote Sensing ， 13 （ 17 ）： # 3535 ［ DOI： 10.3390/rs13173535 http://dx.doi.org/10.3390/rs13173535 ］

Feng R T ， Du Q Y ， Luo H ， Shen H F ， Li X H and Liu B . 2021 . A registration algorithm based on optical flow modification for multi-temporal remote sensing images covering the complex-terrain region . National Remote Sensing Bulletin ， 25 （ 2 ）： 630 - 640

冯蕊涛，杜清运，罗恒，沈焕锋，李星华，刘波 . 2021 . 基于光流校正的复杂地形区多时相遥感影像配准 . 遥感学报， 25 （ 2 ）： 630 - 640 ［ DOI： 10.11834/jrs.20209280 http://dx.doi.org/10.11834/jrs.20209280 ］

Fu Z T ， Qin Q Q ， Luo B ， Sun H and Wu C . 2018 . HOMPC： a local feature descriptor based on the combination of magnitude and phase congruency information for multi-sensor remote sensing images . Remote Sensing ， 10 （ 8 ）： # 1234 ［ DOI： 10.3390/rs10081234 http://dx.doi.org/10.3390/rs10081234 ］

Gong J Y and Ji S P . 2018 . Photogrammetry and deep learning . Acta Geodaetica et Cartographica Sinica ， 47 （ 6 ）： 693 - 704

龚健雅，季顺平 . 2018 . 摄影测量与深度学习 . 测绘学报， 47 （ 6 ）： 693 - 704 ［ DOI： 10.11947/.AGCS.2018.20170640 http://dx.doi.org/10.11947/.AGCS.2018.20170640 ］

Harris C and Stephens M . 1988 . A combined corner and edge detector // Proceedings of the 4th Alvey Vision Conference . Manchester， UK ： Alvey Vision Club

He M M ， Guo Q ， Li A ， Chen J ， Chen B and Feng X X . 2018 . Automatic fast feature-level image registration for high resolution remote sensing images . Journal of Remote Sensing ， 22 （ 2 ）： 277 - 292

何梦梦，郭擎，李安，陈俊，陈勃，冯旭祥 . 2018 . 特征级高分辨率遥感图像快速自动配准 . 遥感学报， 22 （ 2 ）： 277 - 292 ［ DOI： 10.11834/jrs.20186420 http://dx.doi.org/10.11834/jrs.20186420 ］

Hong Y M ， Leng C C ， Zhang X Y ， Peng J Y ， Jiao L C and Basu A . 2022 . Max-index based local self-similarity descriptor for robust multi-modal image registration . IEEE Geoscience and Remote Sensing Letters ， 19 ： # 4505805 ［ DOI： 10.1109/LGRS.2022.3156622 http://dx.doi.org/10.1109/LGRS.2022.3156622 ］

Huang L ， Zhu B ， You J Q ， Liao Y F and Ge X M . 2023 . Registration of aerial images and LiDAR data via dense structural features . Remote Sensing Information ， 38 （ 1 ）： 56 - 62

黄磊，朱柏，游晋卿，廖永福，葛旭明 . 2023 . 利用稠密结构特征的航空影像与LiDAR数据配准 . 遥感信息， 38 （ 1 ）： 56 - 62 ［ DOI： 10.20091/j.cnki.1000-3177.2023.01.008 http://dx.doi.org/10.20091/j.cnki.1000-3177.2023.01.008 ］

Huang M Y ， Xu Y ， Qian L X ， Shi W L ， Zhang Y Q ， Bao W ， Wang N ， Liu X J and Xiang X S . 2021 . The QXS-SAROPT dataset for deep learning in SAR-optical data fusion ［EB/OL］. ［ 2023-10-17 ］. https://arxiv.org/pdf/2103.08259.pdf https://arxiv.org/pdf/2103.08259.pdf

Hughes L H ， Marcos D ， Lobry S ， Tuia D and Schmitt M . 2020 . A deep learning framework for matching of SAR and optical imagery . ISPRS Journal of Photogrammetry and Remote Sensing ， 169 ： 166 - 179 ［ DOI： 10.1016/j.isprsjprs.2020.09.012 http://dx.doi.org/10.1016/j.isprsjprs.2020.09.012 ］

Hughes L H ， Schmitt M ， Mou L C ， Wang Y Y and Zhu X X . 2018 . Identifying corresponding patches in SAR and optical images with a pseudo-Siamese CNN . IEEE Geoscience and Remote Sensing Letters ， 15 （ 5 ）： 784 - 788 ［ DOI： 10.1109/LGRS.2018.2799232 http://dx.doi.org/10.1109/LGRS.2018.2799232 ］

Inglada J . 2002 . Similarity measures for multisensor remote sensing images // IEEE International Geoscience and Remote Sensing Symposium . Toronto， Canada ： IEEE： 104 - 106 ［ DOI： 10.1109/IGARSS.2002.1024955 http://dx.doi.org/10.1109/IGARSS.2002.1024955 ］

Jiang X Y ， Ma J Y ， Xiao G B ， Shao Z F and Guo X J . 2021 . A review of multimodal image matching： methods and applications . Information Fusion ， 73 ： 22 - 71 ［ DOI： 10.1016/j.inffus.2021.02.012 http://dx.doi.org/10.1016/j.inffus.2021.02.012 ］

Jiang Y H ， Zhang G ， Chen P ， Li D R ， Tang X M and Huang W C . 2015 . Systematic error compensation based on a rational function model for Ziyuan1-02C . IEEE Transactions on Geoscience and Remote Sensing ， 53 （ 7 ）： 3985 - 3995 ［ DOI： 10.1109/TGRS.2015.2388700 http://dx.doi.org/10.1109/TGRS.2015.2388700 ］

Kulkarni S C and Rege P P . 2020 . Pixel level fusion techniques for SAR and optical images： a review . Information Fusion ， 59 ： 13 - 29 ［ DOI： 10.1016/j.inffus.2020.01.003 http://dx.doi.org/10.1016/j.inffus.2020.01.003 ］

Lan C Z ， Lu W J ， Yu J M and Xu Q . 2021 . Deep learning algorithm for feature matching of cross modality remote sensing images . Acta Geodaetica et Cartographica Sinica ， 50 （ 2 ）： 189 - 202

蓝朝桢，卢万杰，于君明，徐青 . 2021 . 异源遥感影像特征匹配的深度学习算法 . 测绘学报， 50 （ 2 ）： 189 - 202 ［ DOI： 10.11947/j.AGCS.2021.20200048 http://dx.doi.org/10.11947/j.AGCS.2021.20200048 ］

Li D R ， Zhang G ， Jiang Y H ， Shen X and Liu W L . 2022 . Opportunities and challenges of geo-spatial information science from the perspective of big data . Big Data Research ， 8 （ 2 ）： 3 - 14

李德仁，张过，蒋永华，沈欣，刘伟玲 . 2022 . 论大数据视角下的地球空间信息学的机遇与挑战 . 大数据， 8 （ 2 ）： 3 - 14 ［ DOI： 10.11959/j.issn.2096-0271.2022012 http://dx.doi.org/10.11959/j.issn.2096-0271.2022012 ］

Li J Y ， Hu Q W and Ai M Y . 2020 . RIFT： multi-modal image matching based on radiation-variation insensitive feature transform . IEEE Transactions on Image Processing ， 29 ： 3296 - 3310 ［ DOI： 10.1109/TIP.2019.2959244 http://dx.doi.org/10.1109/TIP.2019.2959244 ］

Li L Z ， Han L ， Ding M T and Cao H Y . 2023 . Multimodal image fusion framework for end-to-end remote sensing image registration . IEEE Transactions on Geoscience and Remote Sensing ， 61 ： # 5607214 ［ DOI： 10.1109/TGRS.2023.3247642 http://dx.doi.org/10.1109/TGRS.2023.3247642 ］

Li L Z ， Han L ， Ding M T ， Cao H Y and Hu H J . 2021 . A deep learning semantic template matching framework for remote sensing image registration . ISPRS Journal of Photogrammetry and Remote Sensing ， 181 ： 205 - 217 ［ DOI： 10.1016/j.isprsjprs.2021.09.012 http://dx.doi.org/10.1016/j.isprsjprs.2021.09.012 ］

Li L Z ， Han L ， Ding M T ， Liu Z H and Cao H Y . 2022a . Remote sensing image registration based on deep learning regression model . IEEE Geoscience and Remote Sensing Letters ， 19 ： # 8002905 ［ DOI： 10.1109/LGRS.2020.3032439 http://dx.doi.org/10.1109/LGRS.2020.3032439 ］

Li L Z ， Han L and Ye Y X . 2022b . Self-supervised keypoint detection and cross-fusion matching networks for multimodal remote sensing image registration . Remote Sensing ， 14 （ 15 ）： # 3599 ［ DOI： 10.3390/rs14153599 http://dx.doi.org/10.3390/rs14153599 ］

Li P ， Jiang G ， Ma Q L ， Xue W F and Yang W H . 2021 . A hybrid model combining tensor and mutual information for multi-modal image registration . Acta Geodaetica et Cartographica Sinica ， 50 （ 7 ）： 916 - 929

李培，姜刚，马千里，薛万峰，杨伟华 . 2021 . 结合张量与互信息的混合模型多模态图像配准方法 . 测绘学报， 50 （ 7 ）： 916 - 929 ［ DOI： 10.11947/j.AGCS.2021.20200492 http://dx.doi.org/10.11947/j.AGCS.2021.20200492 ］

Li Q ， Qu G Z and Li Z L . 2013 . Matching between SAR images and optical images based on HOG descriptor // Proceedings of 2013 IET International Radar Conference . Xi’an， China ： IET： 1 - 4 ［ DOI： 10.1049/cp.2013.0405 http://dx.doi.org/10.1049/cp.2013.0405 ］

Li X M ， Zheng L and Hu Z Y . 2006 . SIFT based automatic registration of remotely-sensed imagery . Journal of Remote Sensing ， 10 （ 6 ）： 885 - 892

李晓明，郑链，胡占义 . 2006 . 基于SIFT特征的遥感影像自动配准 . 遥感学报， 10 （ 6 ）： 885 - 892

Li Y ， Wang L Z ， Liu X L ， Chu Q N and Yang X H . 2022c . A review of spatiotemporal super-resolution mapping for remote sensing data fusion . IEEE Journal on Miniaturization for Air and Space Systems ， 3 （ 1 ）： 9 - 18 ［ DOI： 10.1109/JMASS.2021.3091837 http://dx.doi.org/10.1109/JMASS.2021.3091837 ］

Li Y H ， Liu Y D ， Su X P ， Luo X M and Yao L . 2022 . Review of infrared and visible image registration . Infrared Technology ， 44 （ 7 ）： 641 - 651

李云红，刘宇栋，苏雪平，罗雪敏，姚兰 . 2022 . 红外与可见光图像配准技术研究综述 . 红外技术， 44 （ 7 ）： 641 - 651

Liang C B ， Dong Y Y ， Zhao C J and Sun Z G . 2023 . A coarse-to-fine feature match network using Transformers for remote sensing image registration . Remote Sensing ， 15 （ 13 ）： # 3243 ［ DOI： 10.3390/rs15133243 http://dx.doi.org/10.3390/rs15133243 ］

Lin Z K ， Liu W ， Niu C Y ， Gao G and Lu W J . 2023 . Synthetic aperture radar image change detection based on difference image construction of log-hyperbolic cosine ratio and multi-region feature convolution extreme learning machine . Acta Optica Sinica ， 43 （ 12 ）： #1228001

林志康，刘伟，牛朝阳，高贵，卢万杰 . 2023 . 基于对数双曲余弦比差异图构造与多区域特征卷积极限学习机的合成孔径雷达图像变化检测 . 光学学报， 43 （ 12 ）： # 1228001 ［ DOI： 10.3788/AOS221491 http://dx.doi.org/10.3788/AOS221491 ］

Liu Y ， Qi H and Peng S Y . 2023 . Optical and SAR images matching based on phase structure convolutional features . IEEE Geoscience and Remote Sensing Letters ， 20 ： # 6007805 ［ DOI： 10.1109/LGRS.2023.3298687 http://dx.doi.org/10.1109/LGRS.2023.3298687 ］

Lowe D G . 2004 . Distinctive image features from scale-invariant keypoints . International Journal of Computer Vision ， 60 （ 2 ）： 91 - 110 ［ DOI： 10.1023/B：VISI.0000029664.99615.94 http://dx.doi.org/10.1023/B：VISI.0000029664.99615.94 ］

Lu H P and Gao L . 2009 . Improved algorithm for multi-source remote sensing images based on cross correlation . Aerospace Control ， 27 （ 2 ）： 18 - 21 ， 25

陆和平，高磊 . 2009 . 基于互相关的多源遥感图像匹配的改进算法 . 航天控制， 27 （ 2 ）： 18- 21 ， 25 ［ DOI： 10.16804/j.cnki.issn1006-3242.2009.02.004 http://dx.doi.org/10.16804/j.cnki.issn1006-3242.2009.02.004 ］

Ma J Y ， Jiang X Y ， Fan A X ， Jiang J J and Yan J C . 2021 . Image matching from handcrafted to deep features： a survey . International Journal of Computer Vision ， 129 （ 1 ）： 23 - 79 ［ DOI： 10.1007/s11263-020-01359-2 http://dx.doi.org/10.1007/s11263-020-01359-2 ］

Ma W P ， Wen Z L ， Wu Y ， Jiao L C ， Gong M G ， Zheng Y F and Liu L . 2017 . Remote sensing image registration with modified SIFT and enhanced feature matching . IEEE Geoscience and Remote Sensing Letters ， 14 （ 1 ）： 3 - 7 ［ DOI： 10.1109/LGRS.2016.2600858 http://dx.doi.org/10.1109/LGRS.2016.2600858 ］

Ma W P ， Zhang J ， Wu Y ， Jiao L C ， Zhu H and Zhao W . 2019 . A novel two-step registration method for remote sensing images based on deep and local features . IEEE Transactions on Geoscience and Remote Sensing ， 57 （ 7 ）： 4834 - 4843 ［ DOI： 10.1109/TGRS.2019.2893310 http://dx.doi.org/10.1109/TGRS.2019.2893310 ］

Merkle N ， Auer S ， Müller R and Reinartz P . 2018 . Exploring the potential of conditional adversarial networks for optical and SAR image matching . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 11 （ 6 ）： 1811 - 1820 ［ DOI： 10.1109/JSTARS.2018.2803212 http://dx.doi.org/10.1109/JSTARS.2018.2803212 ］

Merkle N ， Luo W J ， Auer S ， Müller R and Urtasun R . 2017 . Exploiting deep matching and SAR data for the geo-localization accuracy improvement of optical satellite images . Remote Sensing ， 9 （ 6 ）： # 586 ［ DOI： 10.3390/rs9060586 http://dx.doi.org/10.3390/rs9060586 ］

Mikolajczyk K and Schmid C . 2005 . A performance evaluation of local descriptors . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 27 （ 10 ）： 1615 - 1630 ［ DOI： 10.1109/TPAMI.2005.188 http://dx.doi.org/10.1109/TPAMI.2005.188 ］

Moravec H P . 1980 . Obstacle Avoidance and Navigation in the Real World by a Seeing Robot Rover . Stanford， USA ： Stanford University

Nan K ， Qi H and Ye Y X . 2019 . A template matching method of multimodal remote sensing images based on deep convolutional feature representation . Acta Geodaetica et Cartographica Sinica ， 48 （ 6 ）： 727 - 736

南轲，齐华，叶沅鑫 . 2019 . 深度卷积特征表达的多模态遥感影像模板匹配方法 . 测绘学报， 48 （ 6 ）： 727- 736 ［ DOI： 10.11947/j.AGCS.2019.20180432 http://dx.doi.org/10.11947/j.AGCS.2019.20180432 ］

Parmehr E G ， Fraser C S ， Zhang C S and Leach J . 2014 . Automatic registration of optical imagery with 3D LiDAR data using statistical similarity . ISPRS Journal of Photogrammetry and Remote Sensing ， 88 ： 28 - 40 ［ DOI： 10.1016/j.isprsjprs.2013.11.015 http://dx.doi.org/10.1016/j.isprsjprs.2013.11.015 ］

Quan D ， Wang S ， Gu Y ， Lei R Q ， Yang B W ， Wei S W ， Hou B and Jiao L C . 2022 . Deep feature correlation learning for multi-modal remote sensing image registration . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 4708216 ［ DOI： 10.1109/TGRS.2022.3187015 http://dx.doi.org/10.1109/TGRS.2022.3187015 ］

Quan D ， Wei H Y ， Wang S ， Gu Y ， Hou B and Jiao L C . 2023 . A novel coarse-to-fine deep learning registration framework for multimodal remote sensing images . IEEE Transactions on Geoscience and Remote Sensing ， 61 ： # 5108316 ［ DOI： 10.1109/TGRS.2023.3306042 http://dx.doi.org/10.1109/TGRS.2023.3306042 ］

Reddy B S and Chatterji B N . 1996 . An FFT-based technique for translation， rotation， and scale-invariant image registration . IEEE Transactions on Image Processing ， 5 （ 8 ）： 1266 - 1271 ［ DOI： 10.1109/83.506761 http://dx.doi.org/10.1109/83.506761 ］

Rosten E ， Porter R and Drummond T . 2010 . Faster and better： a machine learning approach to corner detection . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 32 （ 1 ）： 105 - 119 ［ DOI： 10.1109/TPAMI.2008.275 http://dx.doi.org/10.1109/TPAMI.2008.275 ］

Schmitt M ， Hughes L H and Zhu X X . 2018 . The SEN1-2 dataset for deep learning in SAR-optical data fusion . ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， IV-1 ： 141 - 146 ［ DOI： 10.5194/isprs-annals-IV-1-141-2018 http://dx.doi.org/10.5194/isprs-annals-IV-1-141-2018 ］

Sedaghat A and Ebadi H . 2015a . Remote sensing image matching based on adaptive binning SIFT descriptor . IEEE Transactions on Geoscience and Remote Sensing ， 53 （ 10 ）： 5283 - 5293 ［ DOI： 10.1109/TGRS.2015.2420659 http://dx.doi.org/10.1109/TGRS.2015.2420659 ］

Sedaghat A and Ebadi H . 2015b . Distinctive order based self-similarity descriptor for multi-sensor remote sensing image matching . ISPRS Journal of Photogrammetry and Remote Sensing ， 108 ： 62 - 71 ［ DOI： 10.1016/j.isprsjprs.2015.06.003 http://dx.doi.org/10.1016/j.isprsjprs.2015.06.003 ］

Sedaghat A and Mohammadi N . 2019 . Illumination-robust remote sensing image matching based on oriented self-similarity . ISPRS Journal of Photogrammetry and Remote Sensing ， 153 ： 21 - 35 ［ DOI： 10.1016/j.isprsjprs.2019.04.018 http://dx.doi.org/10.1016/j.isprsjprs.2019.04.018 ］

Sedaghat A ， Mokhtarzade M and Ebadi H . 2011 . Uniform robust scale-invariant feature matching for optical remote sensing images . IEEE Transactions on Geoscience and Remote Sensing ， 49 （ 11 ）： 4516 - 4527 ［ DOI： 10.1109/TGRS.2011.2144607 http://dx.doi.org/10.1109/TGRS.2011.2144607 ］

Shao Z F ， Cheng T ， Li D R ， Wu C Z and Guo S . 2023 . Development and applications of aerial-ground collaborative mobile intelligent service platform . Geomatics and Information Science of Wuhan University ， 48 （ 5 ）： 749 - 755

邵振峰，程涛，李德仁，吴长枝，郭晟 . 2023 . 空地协同移动智能服务平台研发及典型应用 . 武汉大学学报（信息科学版）， 48 （ 5 ）： 749 - 755 ［ DOI： 10.13203/j.whugis20220520 http://dx.doi.org/10.13203/j.whugis20220520 ］

Shen X ， Liu B and Li Q Q . 2017 . Correcting bias in the rational polynomial coefficients of satellite imagery using thin-plate smoothing splines . ISPRS Journal of Photogrammetry and Remote Sensing ， 125 ： 125 - 131 ［ DOI： 10.1016/j.isprsjprs.2017.01.007 http://dx.doi.org/10.1016/j.isprsjprs.2017.01.007 ］

Shi Z H ， Wu C W ， Li C J ， You Z Z ， Wang Q and Ma C C . 2023 . Object detection techniques based on deep learning for aerial remote sensing images： a survey . Journal of Image and Graphics ， 28 （ 9 ）： 2616 - 2643

石争浩，仵晨伟，李成建，尤珍臻，王泉，马城城 . 2023 . 航空遥感图像深度学习目标检测技术研究进展 . 中国图象图形学报， 28 （ 9 ）： 2616 - 2643 ［ DOI： 10.11834/jig.221085 http://dx.doi.org/10.11834/jig.221085 ］

Song Z L ， Zhang J Q ， Xiong L and He H . 2021 . Multimodal image registration algorithm using style transfer and feature points . Remote Sensing Information ， 36 （ 1 ）： 1 - 6

宋智礼，张家齐，熊亮，何鹄 . 2021 . 利用风格迁移和特征点的多模态图像配准算法 . 遥感信息， 36 （ 1 ）： 1 - 6 ［ DOI： 10.3969/j.issn.1000-3177.2021.01.001 http://dx.doi.org/10.3969/j.issn.1000-3177.2021.01.001 ］

Su H J . 2022 . Dimensionality reduction for hyperspectral remote sensing： advances， challenges， and prospects . National Remote Sensing Bulletin ， 26 （ 8 ）： 1504 - 1529

苏红军 . 2022 . 高光谱遥感影像降维：进展、挑战与展望 . 遥感学报， 26 （ 8 ）： 1504 - 1529 ［ DOI： 10.11834/jrs.20210354 http://dx.doi.org/10.11834/jrs.20210354 ］

Sui H G ， Liu C ， Gan Z ， Jiang Z J and Xu C . 2022 . Overview of multi-modal remote sensing image matching methods . Acta Geodaetica et Cartographica Sinica ， 51 （ 9 ）： 1848 - 1861

眭海刚，刘畅，干哲，江政杰，徐川 . 2022 . 多模态遥感图像匹配方法综述 . 测绘学报， 51 （ 9 ）： 1848 - 1861 ［ DOI： 10.11947/j.AGCS.2022.20220126 http://dx.doi.org/10.11947/j.AGCS.2022.20220126 ］

Sun W W ， Yang G ， Chen C ， Chang M H ， Huang K ， Meng X Z and Liu L Y . 2020 . Development status and literature analysis of China’s earth observation remote sensing satellites . Journal of Remote Sensing ， 24 （ 5 ）： 479 - 510

孙伟伟，杨刚，陈超，常明会，黄可，孟祥珍，刘良云 . 2020 . 中国地球观测遥感卫星发展现状及文献分析 . 遥感学报， 24 （ 5 ）： 479 - 510 ［ DOI： 10.11834/jrs.20209464 http://dx.doi.org/10.11834/jrs.20209464 ］

Suri S and Reinartz P . 2010 . Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas . IEEE Transactions on Geoscience and Remote Sensing ， 48 （ 2 ）： 939 - 949 ［ DOI： 10.1109/TGRS.2009.2034842 http://dx.doi.org/10.1109/TGRS.2009.2034842 ］

Tang L F ， Zhang H ， Xu H and Ma J Y . 2023 . Deep learning-based image fusion： a survey . Journal of Image and Graphics ， 28 （ 1 ）： 3 - 36

唐霖峰，张浩，徐涵，马佳义 . 2023 . 基于深度学习的图像融合方法综述 . 中国图象图形学报， 28 （ 1 ）： 3 - 36 ［ DOI： 10.11834/jig.220422 http://dx.doi.org/10.11834/jig.220422 ］

Tang L F ， Xiang X Y ， Zhang H ， Gong M Q and Ma J Y . 2023 . DIVFusion： darkness-free infrared and visible image fusion . Information Fusion ， 91 ： 477 - 493 ［ DOI： 10.1016/j.inffus.2022.10.034 http://dx.doi.org/10.1016/j.inffus.2022.10.034 ］

Tola E ， Lepetit V and Fua P . 2010 . Daisy： an efficient dense descriptor applied to wide-baseline stereo . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 32 （ 5 ）： 815 - 830 ［ DOI： 10.1109/TPAMI.2009.77 http://dx.doi.org/10.1109/TPAMI.2009.77 ］

Tong X H ， Ye Z ， Xu Y S ， Liu S J ， Li L Y ， Xie H and Li T P . 2015 . A novel subpixel phase correlation method using singular value decomposition and unified random sample consensus . IEEE Transactions on Geoscience and Remote Sensing ， 53 （ 8 ）： 4143 - 4156 ［ DOI： 10.1109/TGRS.2015.2391999 http://dx.doi.org/10.1109/TGRS.2015.2391999 ］

Wang L ， Xu X ， Yu Y ， Yang R ， Gui R ， Xu Z Z and Pu F L . 2019 . SAR-to-optical image translation using supervised cycle-consistent adversarial networks . IEEE Access ， 7 ： 129136 - 129149 ［ DOI： 10.1109/ACCESS.2019.2939649 http://dx.doi.org/10.1109/ACCESS.2019.2939649 ］

Wang S ， Quan D ， Liang X F ， Ning M D ， Guo Y H and Jiao L C . 2018 . A deep learning framework for remote sensing image registration . ISPRS Journal of Photogrammetry and Remote Sensing ， 145 ： 148 - 164 ［ DOI： 10.1016/j.isprsjprs.2017.12.012 http://dx.doi.org/10.1016/j.isprsjprs.2017.12.012 ］

Wang Y Y and Zhu X X . 2018 . The sarptical dataset for joint analysis of SAR and optical image in dense urban area // IGARSS 2018 IEEE International Geoscience and Remote Sensing Symposium . Valencia， Spain ： IEEE： 6840 - 6843 ［ DOI： 10.1109/IGARSS.2018.8518298 http://dx.doi.org/10.1109/IGARSS.2018.8518298 ］

Wells III W M ， Viola P ， Atsumi H ， Nakajima S and Kikinis R . 1996 . Multi-modal volume registration by maximization of mutual information . Medical Image Analysis ， 1 （ 1 ）： 35 - 51 ［ DOI： 10.1016/S1361-8415（01）80004-9 http://dx.doi.org/10.1016/S1361-8415（01）80004-9 ］

Wu J ， Rao Y ， Hu Y J ， Cheng M M and Peng Z Y . 2016 . Automatic registration of single aerial image with LiDAR data based on “pin-hole” imaging simulation and iterative computation . Journal of Remote Sensing ， 20 （ 1 ）： 80 - 93

吴军，饶云，胡彦君，程门门，彭智勇 . 2016 . “针孔”模拟成像下的单航空影像与LiDAR点云配准 . 遥感学报， 20 （ 1 ）： 80 - 93 ［ DOI： 10.11834/jrs.20165070 http://dx.doi.org/10.11834/jrs.20165070 ］

Xiang D L ， Xu Y H ， Cheng J D ， Hu C B and Sun X K . 2022 . An algorithm based on a feature interaction-based keypoint detector and Sim-CSPNet for SAR image registration . Journal of Radars ， 11 （ 6 ）： 1081 - 1097

项德良，徐益豪，程建达，胡粲彬，孙晓坤 . 2022 . 一种基于特征交汇关键点检测和Sim-CSPNet的SAR图像配准算法 . 雷达学报， 11 （ 6 ）： 1081 - 1097 ［ DOI： 10.12000/JR22110 http://dx.doi.org/10.12000/JR22110 ］

Xiang Y M ， Jiao N G ， Wang F and You H J . 2022 . A robust two-stage registration algorithm for large optical and SAR images . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 5218615 ［ DOI： 10.1109/TGRS.2021.3133863 http://dx.doi.org/10.1109/TGRS.2021.3133863 ］

Xiang Y M ， Tao R S ， Wan L ， Wang F and You H J . 2020a . OS-PC： combining feature representation and 3-D phase correlation for subpixel optical and SAR image registration . IEEE Transactions on Geoscience and Remote Sensing ， 58 （ 9 ）： 6451 - 6466 ［ DOI： 10.1109/TGRS.2020.2976865 http://dx.doi.org/10.1109/TGRS.2020.2976865 ］

Xiang Y M ， Tao R S ， Wang F ， You H J and Han B . 2020b . Automatic registration of optical and SAR images via improved phase congruency model . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 13 ： 5847 - 5861 ［ DOI： 10.1109/JSTARS.2020.3026162 http://dx.doi.org/10.1109/JSTARS.2020.3026162 ］

Xiang Y M ， Wang F and You H J . 2018 . OS-SIFT： a robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas . IEEE Transactions on Geoscience and Remote Sensing ， 56 （ 6 ）： 3078 - 3090 ［ DOI： 10.1109/TGRS.2018.2790483 http://dx.doi.org/10.1109/TGRS.2018.2790483 ］

Xiang Y M ， Wang X Q ， Wang F ， You H J ， Qiu X L and Fu K . 2023 . A global-to-local algorithm for high-resolution optical and SAR image registration . IEEE Transactions on Geoscience and Remote Sensing ， 61 ： # 5215320 ［ DOI： 10.1109/TGRS.2023.3309855 http://dx.doi.org/10.1109/TGRS.2023.3309855 ］

Xiong X ， Jin G W ， Xu Q and Zhang H M . 2021 . Self-similarity features for multimodal remote sensing image matching . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 14 ： 12440 - 12454 ［ DOI： 10.1109/JSTARS.2021.3131489 http://dx.doi.org/10.1109/JSTARS.2021.3131489 ］

Xiong X ， Jin G W ， Xu Q ， Zhang H M ， Wang L M and Wu K . 2022 . Robust registration algorithm for optical and SAR images based on adjacent self-similarity feature . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 3197357 ［ DOI： 10.1109/TGRS.2022.3197357 http://dx.doi.org/10.1109/TGRS.2022.3197357 ］

Xiong X ， Xu Q ， Jin G W ， Zhang H M and Gao X . 2020 . Rank-based local self-similarity descriptor for optical-to-SAR image matching . IEEE Geoscience and Remote Sensing Letters ， 17 （ 10 ）： 1742 - 1746 ［ DOI： 10.1109/LGRS.2019.2955153 http://dx.doi.org/10.1109/LGRS.2019.2955153 ］

Xu W Y ， Yuan X H ， Hu Q W and Li J Y . 2023 . SAR-optical feature matching： a large-scale patch dataset and a deep local descriptor . International Journal of Applied Earth Observation and Geoinformation ， 122 ： # 103433 ［ DOI： 10.1016/j.jag.2023.103433 http://dx.doi.org/10.1016/j.jag.2023.103433 ］

Xu X C ， Li X ， Liu X P ， Shen H F and Shi Q . 2016 . Multimodal registration of remotely sensed images based on Jeffrey’s divergence . ISPRS Journal of Photogrammetry and Remote Sensing ， 122 ： 97 - 115 ［ DOI： 10.1016/j.isprsjprs.2016.10.005 http://dx.doi.org/10.1016/j.isprsjprs.2016.10.005 ］

Yang B C ， Wang P ， Li X Y ， Li L L and Cao X F . 2022 . Infrared and visible light image registration based on modal conversion and robust features . Laser and Optoelectronics Progress ， 59 （ 4 ）： #0410013

杨冰超，王鹏，李晓艳，李亮亮，曹小芳 . 2022 . 基于模态转换结合鲁棒特征的红外图像和可见光图像配准 . 激光与光电子学进展， 59 （ 4 ）： # 0410013 ［ DOI： 10.3788/LOP202259.0410013 http://dx.doi.org/10.3788/LOP202259.0410013 ］

Yao H G ， Wang C ， Yu J ， Bai X J and Li Y . 2020 . Recognition of small-target ships in complex satellite images . Journal of Remote Sensing ， 24 （ 2 ）： 116 - 125

姚红革，王诚，喻钧，白小军，李蔚 . 2020 . 复杂卫星图像中的小目标船舶识别 . 遥感学报， 24 （ 2 ）： 116 - 125 ［ DOI： 10.11834/jrs.20208238 http://dx.doi.org/10.11834/jrs.20208238 ］

Yao Y X ， Zhang Y J ， Wan Y ， Liu X Y and Guo H Y . 2021 . Heterologous images matching considering anisotropic weighted moment and absolute phase orientation . Geomatics and Information Science of Wuhan University ， 46 （ 11 ）： 1727 - 1736

姚永祥，张永军，万一，刘欣怡，郭浩宇 . 2021 . 顾及各向异性加权力矩与绝对相位方向的异源影像匹配 . 武汉大学学报（信息科学版）， 46 （ 11 ）： 1727 - 1736 ［ DOI： 10.13203/j.whugis20200702 http://dx.doi.org/10.13203/j.whugis20200702 ］

Yao Y X ， Zhang Y J ， Wan Y ， Liu X Y ， Yan X H and Li J Y . 2022 . Multi-modal remote sensing image matching considering Co-occurrence filter . IEEE Transactions on Image Processing ， 31 ： 2584 - 2597 ［ DOI： 10.1109/TIP.2022.3157450 http://dx.doi.org/10.1109/TIP.2022.3157450 ］

Ye F M ， Su Y F ， Xiao H ， Zhao X Q and Min W D . 2018b . Remote sensing image registration using convolutional neural network features . IEEE Geoscience and Remote Sensing Letters ， 15 （ 2 ）： 232 - 236 ［ DOI： 10.1109/LGRS.2017.2781741 http://dx.doi.org/10.1109/LGRS.2017.2781741 ］

Ye Y X ， Bruzzone L ， Shan J ， Bovolo F and Zhu Q . 2019 . Fast and robust matching for multimodal remote sensing image registration . IEEE Transactions on Geoscience and Remote Sensing ， 57 （ 11 ）： 9059 - 9070 ［ DOI： 10.1109/TGRS.2019.2924684 http://dx.doi.org/10.1109/TGRS.2019.2924684 ］

Ye Y X ， Shan J ， Peng J W ， Xiong J X and Li W . 2014 . Automated multispectral remote sensing image registration using local self-similarity . Acta Geodaetica et Cartographica Sinica ， 43 （ 3 ）： 268 - 275

叶沅鑫，单杰，彭剑威，熊金鑫，李维 . 2014 . 利用局部自相似进行多光谱遥感图像自动配准 . 测绘学报， 43 （ 3 ）： 268 - 275 ［ DOI： 10.13485/j.cnki.11-2089.2014.0039 http://dx.doi.org/10.13485/j.cnki.11-2089.2014.0039 ］

Ye Y X ， Shan J ， Bruzzone L and Shen L . 2017b . Robust registration of multimodal remote sensing images based on structural similarity . IEEE Transactions on Geoscience and Remote Sensing ， 55 （ 5 ）： 2941 - 2958 ［ DOI： 10.1109/TGRS.2017.2656380 http://dx.doi.org/10.1109/TGRS.2017.2656380 ］

Ye Y X ， Shan J ， Hao S Y ， Bruzzone L and Qin Y . 2018a . A local phase based invariant feature for remote sensing image matching . ISPRS Journal of Photogrammetry and Remote Sensing ， 142 ： 205 - 221 ［ DOI： 10.1016/j.isprsjprs.2018.06.010 http://dx.doi.org/10.1016/j.isprsjprs.2018.06.010 ］

Ye Y X ， Shen L ， Hao M ， Wang J C and Xu Z . 2017a . Robust optical-to-SAR image matching based on shape properties . IEEE Geoscience and Remote Sensing Letters ， 14 （ 4 ）： 564 - 568 ［ DOI： 10.1109/LGRS.2017.2660067 http://dx.doi.org/10.1109/LGRS.2017.2660067 ］

Ye Y X ， Tan X ， Sun M M and Wang M M . 2021 . High-resolution remote sensing image classification based on improved DeepLabV3 network . Bulletin of Surveying and Mapping ，（ 4 ）： 40 - 44

叶沅鑫，谭鑫，孙苗苗，王蒙蒙 . 2021 . 基于增强DeepLabV3网络的高分辨率遥感影像分类 . 测绘通报，（ 4 ）： 40 - 44 ［ DOI： 10.13474/j.cnki.11-2246.2021.0108 http://dx.doi.org/10.13474/j.cnki.11-2246.2021.0108 ］

Ye Y X ， Tang T F ， Zhu B ， Yang C ， Li B and Hao S Y . 2022b . A multiscale framework with unsupervised learning for remote sensing image registration . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 5622215 ［ DOI： 10.1109/TGRS.2022.3167644 http://dx.doi.org/10.1109/TGRS.2022.3167644 ］

Ye Y X ， Zhu B ， Tang T F ， Yang C ， Xu Q Z and Zhang G . 2022a . A robust multimodal remote sensing image registration method and system using steerable filters with first-and second-order gradients . ISPRS Journal of Photogrammetry and Remote Sensing ， 188 ： 331 - 350 ［ DOI： 10.1016/j.isprsjprs.2022.04.011 http://dx.doi.org/10.1016/j.isprsjprs.2022.04.011 ］

Yu L ， Zhang D R and Holden E J . 2008 . A fast and fully automatic registration approach based on point features for multi-source remote-sensing images . Computers and Geosciences ， 34 （ 7 ）： 838 - 848 ［ DOI： 10.1016/j.cageo.2007.10.005 http://dx.doi.org/10.1016/j.cageo.2007.10.005 ］

Yu X C ， Lyu Z H ， Hu D ， Zhang L B and Xu J D . 2014 . Optical remote sensing image registration based on SG-SIFT . Journal of Beijing University of Posts and Telecommunications ， 37 （ 6 ）： 17 - 22

余先川，吕中华，胡丹，张立保，徐金东 . 2014 . 基于SG-SIFT的光学遥感影像配准 . 北京邮电大学学报， 37 （ 6 ）： 17 - 22 ［ DOI： 10.13190/j.jbupt.2014.06.004 http://dx.doi.org/10.13190/j.jbupt.2014.06.004 ］

Zhang H ， Lei L ， Ni W P ， Tang T ， Wu J Z ， Xiang D L and Kuang G Y . 2022c . Optical and SAR image matching using pixelwise deep dense features . IEEE Geoscience and Remote Sensing Letters ， 19 ： # 6000705 ［ DOI： 10.1109/LGRS.2020.3039473 http://dx.doi.org/10.1109/LGRS.2020.3039473 ］

Zhang H ， Lei L ， Ni W P ， Tang T ， Wu J Z ， Xiang D L and Kuang G Y . 2022a . Explore better network framework for high-resolution optical and SAR image matching . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 4704418 ［ DOI： 10.1109/TGRS.2021.3126939 http://dx.doi.org/10.1109/TGRS.2021.3126939 ］

Zhang H ， Ni W P ， Yan W D ， Xiang D L ， Wu J Z ， Yang X L and Bian H . 2019a . Registration of multimodal remote sensing image based on deep fully convolutional neural network . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 12 （ 8 ）： 3028 - 3042 ［ DOI： 10.1109/JSTARS.2019.2916560 http://dx.doi.org/10.1109/JSTARS.2019.2916560 ］

Zhang J ， Ma W P ， Wu Y and Jiao L C . 2019b . Multimodal remote sensing image registration based on image transfer and local features . IEEE Geoscience and Remote Sensing Letters ， 16 （ 8 ）： 1210 - 1214 ［ DOI： 10.1109/LGRS.2019.2896341 http://dx.doi.org/10.1109/LGRS.2019.2896341 ］

Zhang Y J ， Zhang Z X and Gong J Y . 2021 . Generalized photogrammetry of spaceborne， airborne and terrestrial multi source remote sensing datasets . Acta Geodaetica et Cartographica Sinica ， 50 （ 1 ）： 1 - 11

张永军，张祖勋，龚健雅 . 2021 . 天空地多源遥感数据的广义摄影测量学 . 测绘学报， 50 （ 1 ）： 1 - 11 ［ DOI： 10.11947/j.AGCS.2021.20200245 http://dx.doi.org/10.11947/j.AGCS.2021.20200245 ］

Zhang Y X ， Liu Y X ， Zhang H M and Ma G R . 2022b . Multimodal remote sensing image matching combining learning features and delaunay triangulation . IEEE Transactions on Geoscience and Remote Sensing ， 60 ： # 5635517 ［ DOI： 10.1109/TGRS.2022.3229366 http://dx.doi.org/10.1109/TGRS.2022.3229366 ］

Zhao J W ， Yang D F ， Li Y F ， Xiao P and Yang J L . 2022 . Intelligent matching method for heterogeneous remote sensing images based on style transfer . IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 15 ： 6723 - 6731 ［ DOI： 10.1109/JSTARS.2022.3197748 http://dx.doi.org/10.1109/JSTARS.2022.3197748 ］

Zheng Z D ， Wei Y C and Yang Y . 2020 . University-1652： a multi-view multi-source benchmark for drone-based geo-localization // Proceedings of the 28th ACM International Conference on Multimedia . Seattle， USA ： ACM： 1395 - 1403 ［ DOI： 10.1145/3394171.3413896 http://dx.doi.org/10.1145/3394171.3413896 ］

Zhou L ， Ye Y X ， Tang T F ， Nan K and Qin Y . 2022 . Robust matching for SAR and optical images using multiscale convolutional gradient features . IEEE Geoscience and Remote Sensing Letters ， 19 ： # 4017605 ［ DOI： 10.1109/LGRS.2021.3105567 http://dx.doi.org/10.1109/LGRS.2021.3105567 ］

Zhu B ， Yang C ， Dai J K ， Fan J W ， Qin Y and Ye Y X . 2023 . R 2 FD 2 ： fast and robust matching of multimodal remote sensing i mages via repeatable feature detector and rotation-invariant feature descriptor . IEEE Transactions on Geoscience and Remote Sensing ， 61 ： # 5606115 ［ DOI： 10.1109/TGRS.2023.3264610 http://dx.doi.org/10.1109/TGRS.2023.3264610 ］

Zhu B ， Ye Y X ， Zhou L ， Li Z L and Yin G F . 2021 . Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features . ISPRS Journal of Photogrammetry and Remote Sensing ， 181 ： 129 - 147 ［ DOI： 10.1016/j.isprsjprs.2021.09.010 http://dx.doi.org/10.1016/j.isprsjprs.2021.09.010 ］