Print

发布时间: 2020-05-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190620
2020 | Volume 25 | Number 5




    学者观点    




  <<上一篇 




  下一篇>> 




多源空—谱遥感图像融合方法进展与挑战
expand article info 肖亮1, 刘鹏飞2, 李恒1
1. 南京理工大学计算机科学与工程学院, 南京 210094;
2. 南京邮电大学计算机学院, 南京 210023
收稿日期: 2019-11-27; 修回日期: 2019-12-24; 预印本日期: 2019-12-31
基金项目: 国家自然科学基金项目(61871226, 61571230, 61802202);江苏省重点研发项目(BE2018727);江苏省自然科学基金项目(BK20170905)
第一作者简介: 肖亮, 1976年生, 男, 教授, 主要研究方向为计算机视觉、机器学习和遥感图像处理。E-mail:xiaoliang@mail.njust.edu.cn;
刘鹏飞, 男, 讲师, 主要研究方向为遥感图像处理。E-mail:liupengfei@njupt.edu.cn;
李恒, 男, 博士研究生, 主要研究方向为遥感图像处理。E-mail:liheng@njust.edu.cn.
中图法分类号: TP751
文献标识码: A

摘要

多源空—谱遥感图像融合方法作为两路不完全观测多通道数据的计算重构反问题，其挑战在于补充信息不足、模糊和噪声等引起的病态性，现有方法在互补特征保持的分辨率增强方面仍有很大的改进空间。为了推动遥感图像融合技术的发展，本文系统概述目前融合建模的代表性方法，包括成分替代、多分辨率分析、变量回归、贝叶斯、变分和模型与数据混合驱动等方法体系及其存在问题。从贝叶斯融合建模的角度，分析了互补特征保真和图像先验在优化融合中的关键作用和建模机理，并综述了目前若干图像先验建模的新趋势，包括：分数阶正则化、非局部正则化、结构化稀疏表示、矩阵低秩至张量低秩表示、解析先验与深度先验的复合等。本文对各领域面临的主要挑战和可能的研究方向进行了概述和讨论，指出解析模型和数据混合驱动将是图像融合的重要发展方向，并需要结合成像退化机理、数据紧致表示和高效计算等问题，突破现有模型优化融合的技术瓶颈，进一步发展更优良的光谱信息保真和更低算法复杂度的融合方法。同时，为了解决大数据问题，有必要在Hadoop和SPARK等大数据平台上进行高性能计算，以更有利于多源数据融合算法的加速实现。

关键词

图像融合; 全色锐化; 反问题; 正则化; 模型优化; 数据驱动; 深度学习

Progress and challenges in the fusion of multisource spatial-spectral remote sensing images
expand article info Xiao Liang1, Liu Pengfei2, Li Heng1
1. School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing 210094, China;
2. School of Computer Science, Nanjing University of Posts and Telecommunications, Nanjing 210023, China
Supported by: National Natural Science Foundation of China (61871226, 61571230, 61802202);Jiangsu Key Developing Project (BE2018727); Natural Science Foundation of Jiangsu Province, China (BK20170905)

Abstract

With the rapid development of earth observation technology, remote sensing opens up the possibility of multiplatform, multisensor, and multiangle observation, and the acquisition ability of multimodal datasets in a joint manner has been considerably improved. Extensive attention has been given to multisource data fusion because such technology can be used to improve the performance of processing approaches with respect to available applications. In this study, we focus on reviewing state-of-the-art multisource remote image fusion. Three typical problems, namely, pansharpening, hypersharpening, and the fusion of hyperspectral ands multispectral images, have been comprehensively investigated. A mathematical modeling view of many important contributions specifically dedicated to the three topics is provided.First, the major challenge and complex imaging relationship between available multisource spatial-spectral remote sensing images are discussed. As an inverse problem of recovering the latent high-resolution image from two branches of incomplete observed multichannel data, the challenge lies in the ill-posed condition caused by insufficient supplementary information, optical blur, and noise. Therefore, the existing data fusion method still has considerable room for resolution enhancing with complementary information preserving capacity. Second, a comprehensive survey is conducted for the representative mathematical modeling paradigms, including the component substitution scheme, multiresolution analysis framework, Bayesian model, variational model, and data- and model-driven optimization methods, and their existing problems. From the point of view of Bayesian fusion modeling, this study analyzes the key role and modeling mechanism of complementary features, preserving data fidelity and image prior terms in the optimization model. Then, this work summarizes the new trends in image priori modeling, including fractional-order regularization, nonlocal regularization, structured sparse representation, matrix low rank, tensor representation, and compound regularization with analytical and deep priors. Lastly, the major challenges and possible research direction in each area are outlined and discussed. The hybrid analytical model and data-driven framework will be important research directions. Breaking through the technical bottleneck of existing model optimization-based fusion methods with the imaging degradation model, data compact representation, and efficient computation, and developing fusion methods with improved spectral-preserving performance and reduced computational complexity are necessary. To cope with the big data problem, high-performance computing on big data platforms, such as Hadoop and SPARK, will obtain promising applications for multisource data-accelerated-based fusion.

Key words

image fusion; pansharpening; inverse problem; regularization; model optimization; data driven; deep learning

0 引言

随着对地观测技术的快速发展，对地遥感已经进入多平台、多传感器、多角度观测发展阶段，高空间分辨率、高光谱分辨率的遥感数据获取能力进一步提升。然而，由于光学遥感系统受光学衍射极限、调制传递函数、信噪比等成像指标限制，同时获取兼具高空间及高光谱属性的星载遥感影像十分困难。全色和多光谱相机能提供高空间分辨率图像、但光谱分辨率低且波段少。而高光谱相机能获取蕴含丰富的立方体“图谱合一”数据，在可见光—近红外、短波红外甚至中红外和热红外波段范围内可具有纳米(nm)级光谱分辨率，具有多达上百个高光谱分辨率的连续、窄波段的光谱波段图像，广泛应用于军事侦察、环境监测、地质勘探和深空探测领域(李德仁等，2012；Bioucas-Dias等，2013；Tong等，2014; Zhang和Shen, 2016)。然而，由于载荷平台颤振，成像光学系统调制传递函数引起的模糊降质、系统噪声、大气辐射和云层覆盖效应等，导致高光谱图像辐射信息质量下降、空间分辨率低、混合像元严重，成为高光谱图像分析、理解和模式识别应用中的突出问题。因此，有必要发展高性能的后处理方法，充分融合不同传感器光谱数据在空间维、光谱维的信息，实现互补特征融合，提升图像的空间和光谱分辨率。

目前，多源空—谱数据融合通常包含多光谱(multispectral, MS)与全色(panchromatic, PAN)图像融合—Pansharpening问题(简称MS+PAN融合)(Zhang等，2016)、高光谱(hyperspectral, HS)与全色图像融合—Hypersharpening问题(简称HS+PAN融合)(Vivone等，2015)以及高光谱与多光谱图像融合(简称HS+MS融合)(Loncan等，2015)。虽然多光谱图像融合已经取得很大进展，但是依然存在诸多挑战：

1) 空—谱遥感图像融合在数学上可以看做不完全互补观测多通道数据的融合计算重建反问题。由于融合过程补充信息不足和数学问题的欠定性，如何克服模糊降质、坏像素和条带噪声等病态性，是一个挑战；

2) 空—谱遥感图像融合的关键是需要增强和保持光谱高分辨率，然而将MS或HS图像的高分辨率空间几何细节注入的同时，容易引起光谱失真。如何最大可能地融合空间几何特征并保持图像的精细光谱信息，达到优化平衡是一个挑战；

3) 与传统多光谱图像相比，高光谱图像具有高维光谱通道、数据量大等特点，迫切需要针对空—谱遥感图像海量数据的特点，发展高效快速的融合处理方法。

本文概述了目前融合建模的代表性方法体系及其存在问题。从贝叶斯融合建模的角度，分析了互补特征保真和图像先验在优化融合中的关键作用和建模机理，并综述了目前若干图像先验建模的新趋势，指出亟待突破的若干技术瓶颈。

1 建模方法进展

早期研究者们关注MS+PAN的融合问题，即利用高空间分辨率的全色图像来提高多光谱图像的空间分辨率，大量方法已经应用于IKONOS, GeoEye, OrbView, Landsat, SPOT, QuickBird, WorldView, 以及Pléiades等全色和多光谱数据。传统的MS+PAN融合体系包括：基于投影变换的成分替代方法，如亮度—色调—饱和度变换(intensity-hue-saturation, IHS)方法、广义IHS(generalized IHS, GIHS)方法、自适应IHS(adaptive IHS, AIHS)方法及其变种、主成分分析(principal component analysis, PCA)方法、Gram-Schmidt(GS)方法、自适应GS(GS adaptive, GSA)方法及其变种、多分辨率分析(multiresolution analysis, MRA)方法及其变种(如：小波融合及变种)。新型融合方法包括变分融合、基于表示学习的方法(含稀疏融合、低秩融合和张量融合)等。Vivone等人(2015)基于广义成分替代格式给出了19种MS+PAN融合算法的综合性能评测。HS+PAN融合是推广的Pansharpening方法，典型方法见综述(Loncan等，2015)。HS+MS融合是MS+PAN和HS+PAN等的推广，涉及多源多通道互补光谱数据融合，成为高光谱图像定量化精细遥感的前瞻性问题，其核心问题是尽可能融合高分辨率MS图像结构细节提升HS空间分辨率的同时尽可能减小光谱失真。Yokoya等人(2017)回顾了HS+MS融合的基本方法和综合评测，但基本沿用推广Pansharpening体系。本文将从新的视角，综述几类代表性建模方法体系。

1.1 成分替代的细节注入框架

令$\boldsymbol{M}_{\mathrm{L}}=\left\{\boldsymbol{M}_{\mathrm{L}, 1}, \boldsymbol{M}_{\mathrm{L}, 2}, \cdots, \boldsymbol{M}_{\mathrm{L}, N}\right\}$表示观测的低分辨率多光谱图像(low resolution MS, LRMS)，其中，$\boldsymbol{M}_{\mathrm{L}, i}=\left[M_{\mathrm{L}, i}(m, n)\right]_{s_{1} H \times s_{2} W} \in {\bf R}^{s_{1} H \times s_{2} W}$表示第$i$个波段的图像，$s_{1}<1, s_{2}<1$分别表示空间维水平和垂直方向的下采样率; $\boldsymbol{M}=\left\{\boldsymbol{M}_{1}, \boldsymbol{M}_{2}, \cdots, \boldsymbol{M}_{N}\right\}$表示插值至PAN图像大小的LRMS图像, $\boldsymbol{M}_{i}=[M_{i}(m, n)]_{H \times W} \in {\bf R}^{H \times W}$。$\boldsymbol{P} \in {\bf R}^{H \times W}$表示PAN图像。$\boldsymbol{U}=\left\{\hat{\boldsymbol{u}}_{1}, \hat{\boldsymbol{u}}_{2}, \cdots, \hat{\boldsymbol{u}}_{N}\right\}$表示融合的高分辨率多光谱图像(high resolution MS, HRMS)，其中$\hat{\boldsymbol{u}}_{i}=[\hat{u}_{i}(m, n)]_{H \times W} \in {\bf R}^{H \times W}$表示第$i$个波段的图像，图像大小为$H×W$。

成分替代方法往往可以归结为一种广义的细节注入格式

$\hat{\boldsymbol{u}}_{k}=\boldsymbol{M}_{k}+g_{k}(\boldsymbol{P}-\boldsymbol{I}), \quad 1 \leqslant k \leqslant N$ (1)

式中，$\boldsymbol{g}=\left[g_{1}, g_{2}, \cdots, g_{N}\right]^{\mathrm{T}}$表示各波段细节注入增益向量；令$\boldsymbol{\delta}=\boldsymbol{P}-\boldsymbol{I}$，则该部分本质上是空间细节残差图像。其中，$\boldsymbol{I}$表示平均亮度图像$\boldsymbol{I}=\sum\limits_{k} w_{k} \boldsymbol{M}_{k}$，而$\boldsymbol{w}=\left[w_{1}, w_{2}, \cdots, w_{N}\right]^{\mathrm{T}}$表示非负的权重向量。该权重向量的确定，各种算法有所不同，有的方法根据MS图像和PAN图像光谱覆盖范围的相对光谱响应计算得到。有的方法根据数学原理确定(例如PCA，GSA及其变种等)平均亮度图像。因此，不同的细节注入增益向量和平均亮度图像定义，将对应不同的方法。广泛使用的GS方法中$\boldsymbol{I}=\frac{1}{N} \sum\limits_{i=1}^{N} \boldsymbol{M}_{i}$，而细节注入形式为

$\hat{\boldsymbol{u}}_{k}=\boldsymbol{M}_{k}+\frac{{cov}\left(\boldsymbol{M}_{k}, \boldsymbol{I}\right)}{{var}(\boldsymbol{I})}(\boldsymbol{P}-\boldsymbol{I}), \quad 1 \leqslant k \leqslant N$ (2)

式中，$cov(·, ·)$和$var(·)$表示协方差和方差。在PCA方法中，$ \boldsymbol{I} $为第一主成分$\boldsymbol{P C}_{1}$，注入细节为PAN图像和第一主成分的残差，而增益正比于各波段与第一主成分的相关系数，对应关系为

$\hat{\boldsymbol{u}}_{k}=\boldsymbol{M}_{k}+\frac{{cov}\left(\boldsymbol{M}_{k}, \boldsymbol{P} \boldsymbol{C}_{1}\right)}{{var}\left(\boldsymbol{P} \boldsymbol{C}_{1}\right)}\left(\boldsymbol{P}-\boldsymbol{P} \boldsymbol{C}_{1}\right), \quad 1 \leqslant k \leqslant N$ (3)

Brovey变换(Brovey transform, BT)融合中，采取比值增益形式为

$\hat{\boldsymbol{u}}_{k}=\boldsymbol{M}_{k}+\frac{\boldsymbol{M}_{k}}{\boldsymbol{I}}(\boldsymbol{P}-\boldsymbol{I}), \quad 1 \leqslant k \leqslant N$ (4)

一般而言，成分替代方法计算格式简单，复杂度较低，但光谱失真现象比较严重。研究者关注较少，但对于后续改进建模等依然有许多借鉴之处。

1.2 多分辨率分析方法的细节注入框架

多分辨率分析方法的概念引入，产生了系列图像融合方法，同时也构成MS+PAN和HS+PAN等融合问题的一个代表性体系(Alparone等，2016；Aiazzi等，2006)。MRA方法往往采取采样离散小波变换(discrete wavelet transform, DWT)、非抽取(过采样)小波变换(undicimated or oversampled DWT, UDWT)、基于非抽取的多孔小波(à-trous wavelet，ATW)、拉普拉斯金字塔(Laplacian pyramids, LP)和广义LP(generalized LP, GLP)。MRA方法一般采取高通细节注入方法，可以看做一个信号到另一个信号的空间频率谱置换问题，Aiazzi等人(2006)在MRA框架下给出了MRA的等效滤波器组匹配传感器调制传递函数(modulation transfer function, MTF)的合理性解释。令$\boldsymbol{P}_{\mathrm{L}}$为全色图像的低通滤波版本，则MRA方法也可归结为等效的细节注入形式，即

$\hat{\boldsymbol{u}}_{k}=\boldsymbol{M}_{k}+g_{k}\left(\boldsymbol{P}-\boldsymbol{P}_{\mathrm{L}}\right), \quad 1 \leqslant k \leqslant N$ (5)

Tu等人(2001)提出的广义IHS框架, 较早地将小波融合方法等效为上述框架，不同之处是如何计算$\boldsymbol{P}_{\mathrm{L}}$以及各波段细节注入增益向量$\boldsymbol{g}=[g_{1}, g_{2}, \cdots, g_{N}]^{\mathrm{T}}$，涉及两个关键要素：

1) 低通滤波图像$\boldsymbol{P}_{\mathrm{L}}$的计算。通过级联分解方案来获得$\boldsymbol{P}_{\mathrm{L}}$，重复应用分析算子来构造信息逐渐减少的2-D信号序列。MRA是一种多尺度空间频率分解，可以不断增加采样步长构造金字塔分解结构。分解的类型构成了各种MRA方法的第一个显著特征。可以利用MRA从基于简单的低通滤波的单级分解到更复杂的多尺度分解来实现。

2) 增益向量$\boldsymbol{g}=[g_{1}, g_{2}, \cdots, g_{N}]^{\mathrm{T}}$的计算。MRA体系各种方法中关于$\boldsymbol{g}$的计算思路有所不同。在高频调制方法(high-pass modulation, HPM)(Schowengerdt，2007)中，采取比例调制形式，简单记作$g_{k}=\frac{\boldsymbol{M}_{k}}{\boldsymbol{P}_{\mathrm{L}}}, \quad 1 \leqslant k \leqslant N$，即各个空间位置$\boldsymbol{M}_{k}$像素值与对应位置$\boldsymbol{P}_{\mathrm{L}}$的像素值之比。

一般而言，DWT、UDWT、ATW和GLP等融合方法都属于MRA方法的范畴。但是由于DWT算法的采样方法导致频谱混叠以及不具备平移不变性，在空—谱融合方法中往往希望采取冗余性分解，冗余结构会带来极大的好处，这不仅带来平移不变性，同时还能避免混叠或振铃现象，从而有利于融合空—谱互补信息。因此，MRA融合方法中经常采取非抽取或冗余小波变换(非严格子采样分解)。Nunez等人(1999)提出冗余小波分解的MRA融合方法，后续基于à-trous小波融合方法(ATW)被认为是图像融合中非常有效的MRA方法(González-Audícana等，2005)。此外，对于注入细节增益参数$\left\{g_{k}\right\}$，可以综合考虑$\boldsymbol{P}_{\mathrm{L}}$和$\boldsymbol{M}_{k}$的全局内容特性和局部上下文信息进一步优化融合图像的质量(Aiazzi等，2009)，也可以综合图像融合的一些质量指标优化注入细节增益参数。总之，MRA方法往往可以归结成一种广义的细节注入框架，而这种框架符合著名遥感数据融合专家Wald所提出的“通过空间结构注入增强分辨率”的理念，但关键在于构造等效滤波器组、尺度选择和优化细节注入参数。

1.3 多变量参数回归建模

上述各类经典方法，无论是采取IHS变换、PCA变换和GS变换，其细节注入的基本形式基本相同，且可以纳入式(1)所述的融合框架。在该框架下，关键是如何定义平均亮度图像$\boldsymbol{I}=\sum\limits_{k} w_{k} \boldsymbol{M}_{k}$。一般而言，合成的平均亮度图像取决于其与低通滤波全色图像的光谱匹配性，通常假设多光谱成像的光谱响应区间覆盖全色成像的光谱响应区间。因此，一种最简单的优化方法是根据多光谱图像与全色图像的相对光谱响应贡献度计算式(1)中的权值。

在多变量参数回归方法中，常见方法是针对成分替代或者MRA方法中的各波段细节注入增益向量$\boldsymbol{g}=[g_{1}, g_{2}, \cdots, g_{N}]^{\mathrm{T}}$和非负的谱响应权重向量$\boldsymbol{w}=\left[w_{1}, w_{2}, \cdots, w_{N}\right]^{\mathrm{T}}$看做待估计的自由变量，这样建立多变量回归模型，进而估计最优的参数向量，可采取形式(Vivone等，2015；Garzelli等，2008)为

$ \min\limits_{\boldsymbol{w}}\left\|\boldsymbol{P}-\sum\limits_{k} w_{k} \boldsymbol{M}_{k}\right\|_{\mathrm{F}}^{2} \quad \text { s.t. } \quad \boldsymbol{w} \geqslant {\bf 0}或其他约束 $ (6)

另一种参数回归估计是在退化尺度上建立谱响应权重估计的多变量回归方法。基本思想是假设全色图像$\boldsymbol{P}$经过MTF低通滤波后得到图像$\boldsymbol{P}_{\mathrm{L}}$，进而通过下采样至低分辨多光谱图像的尺度，则$\boldsymbol{P}_{\mathrm{L}}$和$\left\{\boldsymbol{M}_{\mathrm{L}, 1}, \boldsymbol{M}_{\mathrm{L}, 2}, \cdots, \boldsymbol{M}_{\mathrm{L}, N}\right\}$之间存在关系，即

$\boldsymbol{P}_{\mathrm{L}} \downarrow r=\sum\limits_{k} w_{k} \boldsymbol{M}_{\mathrm{L}, k}+\boldsymbol{n}$ (7)

式中，$↓r$表示以因子为$r$的下采样，$\boldsymbol{n}$为建模误差；则未知权重系数向量$\boldsymbol{w}=\left[w_{1}, w_{2}, \cdots, w_{N}\right]^{\mathrm{T}}$可以通过最小二乘估计求得，即

$\hat{\boldsymbol{w}}=\underset{\boldsymbol{w}=\left[w_{1}, w_{2}, \cdots, w_{N}\right]^{\mathrm{T}}}{\arg \min }\left\|\boldsymbol{P}_{\mathrm{L}} \downarrow r-\sum\limits_{k} w_{k} \boldsymbol{M}_{\mathrm{L}, k}\right\|_{\mathrm{F}}^{2}$ (8)

代表性多变量回归方法包括Garzelli等人(2008)提出的一种光谱响应权重参数和细节注入增益的最小均方误差(minimum mean square error, MMSE)优化估计模型，由此导出波段相关的细节注入方法(band-dependent spatial-detail, BDSD)，以及Choi等人(2011)提出的部分更换自适应成分替代方法(partial replacement adaptive component substitution, PRACS)。这些方法虽然可以自动确定细节注入参数，但是其缺点是参数估计的假设物理意义不足，并没有充分考虑图像形成过程，可能导致较大的光谱失真。

1.4 贝叶斯建模

空—谱遥感图像融合本质可以建模为数学反问题，一些文献在图像复原框架下进行建模和算法设计，而一些文献将其看做多幅图像的超分辨问题，原因是低空间分辨率的多光谱图像(或者高光谱图像)，借助高空间分辨率全色图像，试图计算重建高空间分辨率的多光谱图像(或者高光谱图像)。由于观测图像在空—谱信息上的不完整性，是数学上的欠定反问题。从统计的观点来看，在贝叶斯推断体系下，可以建模为最大后验问题进行求解。建立贝叶斯推断模型，需要解决两个关键问题：其一是数据似然模型；其二是潜在高空间分辨率的先验模型。以MS+PAN或HS+PAN的融合问题，简要概述文献(Wei等，2015b)中贝叶斯融合的机理。在建立贝叶斯模型之前，根据光谱图像的退化机理，建立观测模型假设：

1)观测低分辨率光谱图像$\boldsymbol{M}_{\mathrm{L}}$与高分辨率光谱图像$\boldsymbol{ U}$的退化关系，即

$\boldsymbol{M}_{\mathrm{L}}=S(B(\boldsymbol{U}))+\boldsymbol{N}$ (9)

式中，$B(·)$表示空间模糊退化算子。如果空间模糊为平移不变，对应为各通道图像与其点扩散函数(point spread function, PSF)的卷积；$S(·)$表示下采样算子；$\boldsymbol{N}$表示光谱图像噪声，假设各波段的噪声是独立的，且各通道噪声服从多变量高斯分布。

2) 全色图像$\boldsymbol{P}$与高分辨率光谱图像$\boldsymbol{U}$的退化关系为

$\boldsymbol{P}=R(\boldsymbol{U})+\boldsymbol{Z}$ (10)

式中，$R(·)$表示与全色传感器的光谱响应函数相关的退化算子。连续情况下，表现为光谱维数据与光谱响应函数在光谱波段内的积分。离散情况下，体现为光谱响应波段的加权组合，其权重需要通过光谱响应函数进行计算。$\boldsymbol{Z}$表示全色图像与光谱图像退化关系中的建模误差噪声，一般假设为多变量高斯分布。

基于上述退化关系(或者观测模型)，可以建立最大后验概率模型(maximum a posteriori, MAP)，即

$ \begin{array}{c} \hat{\boldsymbol{U}}={\rm arg}~ \max\limits_{\boldsymbol{U}} p\left(\boldsymbol{U} | \boldsymbol{M}_{L}, \boldsymbol{P}\right)= \\ {\rm arg} ~\max\limits_{\boldsymbol{U}} p\left(\boldsymbol{M}_{L} | \boldsymbol{U}\right) p(\boldsymbol{P} | \boldsymbol{U}) p(\boldsymbol{U}) \end{array} $ (11)

接着，对数据似然$p(\boldsymbol{M} | \boldsymbol{U}), p(\boldsymbol{P} | \boldsymbol{U})$和数据先验$p(\boldsymbol{U})$分别进行模型假设，数据似然依赖于观测退化过程的建模，而数据先验取决于对数据的认知和理解。由式(9)(10)的假设，可得

$ \begin{array}{c} p\left(\boldsymbol{M}_{\mathrm{L}} | \boldsymbol{U}\right) \propto \\ \exp \left\{-\frac{1}{2} \sum\limits_{i=1}^{N}\left\|\boldsymbol{\varLambda}_{N_{i}-\frac{1}{2}}\left(\boldsymbol{M}_{\mathrm{L}, i}-S\left(B\left(\boldsymbol{u}_{i}\right)\right)\right)\right\|_{\mathrm{F}}^{2}\right\} \end{array} $ (12)

式中，$\boldsymbol{u}_i$表示$\boldsymbol{U}$中第$\boldsymbol{i}$个波段图像。而

$p(\boldsymbol{P} | \boldsymbol{U}) \propto \exp \left\{-\frac{1}{2} \sum\limits_{i=1}^{N}\left\|\boldsymbol{\varLambda}_{\bar{Z}\frac{1}{2}}(\boldsymbol{P}-R(\boldsymbol{U}))\right\|_{\mathrm{F}}^{2}\right\} $ (13)

式中，$\boldsymbol{\varLambda}_{N_{i}}$表示第$i$个波段的噪声的协方差矩阵；而$\boldsymbol{\varLambda}_{Z}$表示全色图像与光谱图像退化关系中建模误差噪声的协方差矩阵；$\|\boldsymbol{X}\|_{\mathrm{F}}=\sqrt{\operatorname{tr}\left(\boldsymbol{X} \boldsymbol{X}^{\mathrm{T}}\right)}$为矩阵$\boldsymbol{X}$的Frobenius范数。而对于数据先验$p(\boldsymbol{U})$，采用Gibbs概率形式描述为

$p(\boldsymbol{U}) \propto \exp \left\{-\frac{1}{T} \varPhi(\boldsymbol{U})\right\}$ (14)

式中，$\varPhi$表示势函数。将式(12)，式(13)和式(14)中的概率模型代入MAP框架式(11)，通过最小化负对数MAP方式得到最优化模型为

$ \begin{array}{l} \hat{\boldsymbol{U}}={\rm arg}~ \min\limits_{\boldsymbol{U}}-\log p\left(\boldsymbol{M}_{\mathrm{L}} | \boldsymbol{U}\right) p(\boldsymbol{P} | \boldsymbol{U}) p(\boldsymbol{U})= \\ {\rm arg}~\min\limits_{\boldsymbol{U}}\left\{\begin{array}{l} \sum\limits_{i=1}^{N}\left\|\boldsymbol{\varLambda}_{N_{i}-\frac{1}{2}}\left(\boldsymbol{M}_{\mathrm{L}, i}-S\left(B\left(\boldsymbol{u}_{i}\right)\right)\right)\right\|_{\mathrm{F}}^{2}+ \\ \sum\limits_{i=1}^{N}\left\|\boldsymbol{\varLambda}_{\bar{Z}\frac{1}{2}}(\boldsymbol{P}-R(\boldsymbol{U}))\right\|_{\mathrm{F}}^{2}+\lambda \varPhi(\boldsymbol{U}) \end{array}\right\} \end{array} $ (15)

目前贝叶斯融合方法中，基本框架与上述建模思路一致。显然，贝叶斯融合方法需要更为合理的数据似然假设、潜在光谱图像先验的假设以及其他数据约束(如非负性、局部和非局部相似性等)。Wang等人(2019)在贝叶斯融合框架下，引入3种不同的假设，认为式(9)和式(10)在多阶微分梯度域建立数据约束关系更为合理，而式(14)可以利用局部邻域的多阶马尔可夫性进行建模，从而建立了一种新型的贝叶斯融合方法。贝叶斯融合方法依赖于数据和先验的建模，引入超参数假设建立分层贝叶斯或者变分贝叶斯融合模型可能是进一步发展的方向。然而实际过程贝叶斯假设很难做到精准建模，或者模型复杂导致计算不可达，因此基于数据驱动相结合的方法，例如深度先验的结合，应该是值得关注的方向。

1.5 变分正则化建模

变分融合方法是基于图像正则化的模型优化方法。一种途径是按照贝叶斯融合的框架，在最小化负对数MAP框架下转化为最优化模型。另一种途径不从贝叶斯推断出发，而是直接建立最优化模型。这类方法可以不必满足特定的概率分布形式，而是结合各类物理和数学约束条件，其形式为

$ \begin{array}{c} \hat{\boldsymbol{U}}={\rm arg} \min\limits_{\boldsymbol{U}} {Data}\left(\boldsymbol{M}_{L}, \boldsymbol{U}\right)+ \\ {Data}(\boldsymbol{P}, \boldsymbol{U})+\lambda \varPhi(\boldsymbol{U}) \end{array} $ (16)

式中，前两项为数据依赖项(或者保真项)，体现潜在待恢复高分辨光谱图像与辅助源数据之间的依赖关系。而$\varPhi(\boldsymbol{U})$是潜在高分辨光谱图像的先验项，在反问题理论中$\varPhi(\boldsymbol{U})$通常也称为正则化项。模型优化融合体系基本沿用上述形式，其与贝叶斯融合体系相互印证和解释。例如Ballester等人(2006)提出了P+XS方法，该变分融合模型基于3点假设：

1) 全色图像约束。全色图像可由高空间分辨率多光谱图像的每个波段线性组合生成，$\boldsymbol{P}=\sum\limits_{i=1}^{N} \alpha_{i} \boldsymbol{u}_{i}$。

2) 光谱信息约束假设。假设低分辨率多光谱图像是高分辨率多光谱图像经过低通滤波和下采样退化得到，即$\boldsymbol{M}_{L, i}=\downarrow\left(k_{i} \otimes \boldsymbol{u}_{i}\right), i=1, \cdots, N, \otimes$表示卷积运算。

3) 空间信息约束假设。为了将全色图像的空间几何结构融合到高分辨率多光谱图像中，假设高分辨率多光谱图像的空间几何结构信息包含在全色图像的水平线中，并约束高分辨率多光谱图像各个波段中水平线的法线方向要与全色图像中的保持一致，即$\frac{\nabla \boldsymbol{u}_{i}}{\left\|\nabla \boldsymbol{u}_{i}\right\|_{2}}=\frac{\nabla \boldsymbol{P}}{\|\nabla \boldsymbol{P}\|_{2}}, i=1, \cdots, N$。

上述假设中，前两个假设可以转化为两个数据保真项${Data}(\boldsymbol{P}, \boldsymbol{U})=\left\|\boldsymbol{P}-\sum\limits_{i=1}^{N} \alpha_{i} \boldsymbol{u}_{i}\right\|_{\mathrm{F}}^{2}$和$Data (\boldsymbol{M}_{\mathrm{L}}, \boldsymbol{U})=\sum\limits_{i=1}^{N}\left\|\boldsymbol{M}_{\mathrm{L}, i}-\downarrow\left(k_{i} \otimes \boldsymbol{u}_{i}\right)\right\|_{\mathrm{F}}^{2}$，而第3个假设可构造正则化项$\varPhi(\boldsymbol{U})={\varPhi}\left(\left\{\nabla \boldsymbol{u}_{i}\right\}_{i=1}^{N}, \nabla \boldsymbol{P}\right)$，即建立各波段图像与全色图像在梯度或水平线约束下的正则化项。目前，研究思路从数据保真(或者误差建模)和图像先验正则化两方面出发，创新或改进变分融合模型。从数据保真项出发，研究发现针对高光谱图像融合，全色图像由波段线性组合表示的约束不是一个很好的保真约束，容易引起光谱失真，而更倾向于单独使用光谱信息约束或者小波多尺度分解下的保真形式。而对于图像正则化项，研究者在非局部和分数阶等新型正则化框架下提出了不同的融合方法。一般而言，图像的梯度场、几何曲率、分数阶导数等几何测度信息，以及形态成分的正则性约束都可以综合利用，构造更为合理的图像融合正则化方法。

1.6 模型与数据驱动混合建模

对于高光谱图像形成复杂退化过程，简单的数据似然(与噪声相关)建模和图像先验的解析性建模通常不足以建立完整的机理模型；而少量样本也不足以建立高精度的数据驱动模型。依据混合驱动的方式，融合优化模型的构建，可以结合统计学习甚至深度学习等方法，通过以下几种途径进行构建：

1) 按照统计建模方法构建优化模型。在贝叶斯融合框架下，数据似然项和图像先验项都将从服从特定统计分布假设而导出，而概率分布的超参数可以通过数据驱动的形式进行学习得到。

2) 数据驱动误差建模与人工解析先验正则化模型的复合。在此框架下，侧重于对数据保真项的建模，其原理是对融合误差的建模；而正则化项$\varPhi(\boldsymbol{U})$既可以用Gibbs随机场等形式导出，也可以采取在图像处理中广泛使用的正则化项，如全变差(total variation)及其推广形式；或者利用稀疏正则化项，如字典表示下的合成先验和分析先验等。

3) 数据似然保真项与深度学习先验模型的复合。在此框架下，并不一定具有显式的先验形式，而采取超参数或者深度网络表达模型等。例如深层神经网络框架下，可以按照退化过程构造大量的训练样本对$\left\{\boldsymbol{X}_{\mathrm{L}}^{i}, \boldsymbol{Y}_{\mathrm{H}}^{i}\right\}_{i=1}^{K}$，基于深度学习网络的生成模型$\boldsymbol{Y}_{\mathrm{H}}^{i}=f\left(\boldsymbol{X}_{\mathrm{L}}^{i}, \boldsymbol{\varTheta}\right), \boldsymbol{\varTheta}$为网络参数集合，则可以通过最小化损失函数，如$\min\limits_{\varTheta} \sum\limits_{i=1}^{K}\left\|\boldsymbol{Y}_{\mathrm{H}}^{i}-f\left(\boldsymbol{X}_{\mathrm{L}}^{i}, \boldsymbol{\varTheta}\right)\right\|_{\mathrm{F}}^{2}$，求得深度网络表达模型。

综上，图像先验建模和学习对于融合问题至关重要。

2 图像先验建模研究趋势与展望

2.1 整数阶向分数阶、局部向非局部先验发展

图像先验正则化是解决融合反问题病态性的有效途径，从而导致一类变分融合方法。早期代表性研究多针对MS+PAN融合问题。后续变分融合方法主要基于P+XS方法进行改进，如小波变分融合方法(Möller等，2012)、梯度保真变分融合方法等(Fang等，2013)。从先验建模来看，包括采取动态全变差(dynamical total variation, DTV)、非局部全变差(non local total variation, NLTV)(Duran等，2014)以及Hessian正则化(Liu等，2016)和分数阶正则化(Liu等，2018)的MS+PAN融合方法。这些研究表明高阶甚至分数阶正则化先验有助于提升融合过程的细节注入和减少光谱失真。然而，与多光谱图像融合相比，光谱保真对高光谱图像融合问题更为重要。Katkovnik等人(2010)从“局部点态”、“非局部点态”、“局部多点”和“非局部多点”等4个方面系统总结和评述了不同的图像先验模型。下一步研究将充分挖掘高光谱图像的立方体数据特性，并利用其空—谱联合通道相关性以及非局部上下文相关性，建立更为合适的多通道图像非局部先验模型。

2.2 由标准稀疏至结构化稀疏发展

随着高维信号冗余与稀疏表示理论的兴起，研究者充分意识到需利用高维数据分布的拓扑几何与稀疏结构来学习数据的有效表示，并发展出一大类稀疏融合方法，其关键是字典学习和稀疏性度量；前者需要提高学习字典的“紧致性”和“类属鉴别性”，后者需要增强稀疏性度量的结构性。Wei等人(2015)利用在线字典学习框架下高光谱图像的稀疏先验和支撑集，将HS+MS融合归结为稀疏正则化反问题求解。Zhu等人(2016)提出联合稀疏性的融合方法；同时稀疏正则化融合框架可结合光谱解混(Nezhad等，2016)和非负矩阵分解以提高光谱保真能力(Karoui等，2017)。随着稀疏表示理论逐步深入，研究者意识到$\ell_{p}$类(如:$\ell_{0}, \ell_{1}$)范数对信号的局部和全部的“结构性”描述不足，结构化稀疏学习方法应运而生，群稀疏(group sparsity)和图稀疏(graph sparsity)等结构化稀疏性度量(Huang等，2009)可提高信号表达能力, 而空—谱联合稀疏可提高HS+MS融合性能(He等，2014)。如非负结构化稀疏表示的高光谱图像超分辨方法(Dong等，2016)，本质上可自然推广到HS+MS融合问题。因此，在融合建模中，如何建立高光谱图像的空—谱联合结构化稀疏性度量，是稀疏融合建模方法的关键核心问题。

2.3 由矩阵低秩至张量低秩发展

低秩表示理论已成为高维数据机器学习和计算机视觉等领域的崭新理论。本质上认为高维数据存在于低维子空间，数据低秩性是向量稀疏性在高阶情形(如矩阵结构、张量结构)下的推广，更能体现数据的结构化稀疏性。其基本假设为误差数据是稀疏的、干净数据是低秩的，有效解决了数据缺失、噪声等不够稳健问题。由于秩函数的非凸和不连续性，秩极小问题是NP(non-deterministic polynomial)难问题，学者提出了秩函数的凸逼近方法，由此导出基于核范数的低秩表示和信号鲁棒恢复理论。

低秩假设对于高光谱图像而言具有较好的物理意义。高光谱图像中的像元可看做一组端元(纯净像元)的线性组合，而同类物质像元在空间维的聚集性很好地体现了数据的局部流形性。高光谱图像具有很高的光谱相关性，近似位于多个低维流形(Dian等, 2019)。研究者通过经典PCA对高光谱图像降维，表示主分量具有低秩结构、而残差是稀疏性；大量实测数据统计表明高光谱数据具有空—谱冗余、相关性高、低秩属性明显。目前，低秩表示理论在高光谱图像融合中得到了初步应用。代表性研究是将空—谱图像融合建模为多源互补数据的高光谱图像超分辨问题，利用分层二分树将图像进行空间划分，假设空间邻域可张成局部低维子空间/流形，进而提出局部低秩正则化的融合方法(Veganzones等，2016)。

张良培等人(2016)提出了基于低秩矩阵恢复的高光谱图像复原方法(Zhang等，2016)。焦李成教授团队较早提出基于矩阵低秩和局部群组光谱流形嵌入的HS+MS融合方法(Zhang等，2017a)，该方法假设退化观测HS图像可以描述为包含低秩属性的潜在高光谱图像和稀疏性残差分量；之后又提出空—谱图正则化低秩张量分解的融合方法(Zhang等，2018)，充分利用Tucker分解各模因子矩阵的“核范数和”度量潜在高光谱图像的低秩性，结果表明可以很好保持空—谱特征，而图正则化方法可以实现保持低维流形结构。

以上研究主要采用矩阵核范数的低秩表示或者张量分解后因子矩阵“核范数和”作为凸逼近秩函数，结合其他正则化方法实现融合过程空—谱相关特征保持。当前研究进展表明，对于非凸逼近可以更精确地逼近秩函数，代表性非凸逼近包括：截断核函数、封顶核范数、Schatten p-范数等(Lu等，2014；Xie等，2016)以及其他新型逼近方法。例如，李树涛团队提出了一种新的基于非局部低秩正则化的快速迭代算法(Xie等，2019)，该方法包括两个阶段：第1阶段，将行列式的对数与张量迹范数相结合，提出了基于低秩正则化的张量补全模型。该模型可以更有效地逼近张量秩；第2阶段，将非局部空间谱相似性融合到低秩张量补全模型中，得到较好融合结果。另外，针对HS+MS融合问题，Dian和Li(2019)提出张量多秩先验的子空间正则化方法, 提出了一种新的基于低张量队列(tensor-train)秩的学习模型，研究表明四阶张量施加张量队列秩可以有效地学习空间、谱和非局部模之间的相关性(Dian等，2019)。

综上，秩函数的非凸逼近或者奇异值向量更高阶稀疏性度量诱导的结构化低秩度量在融合建模应用，尚有大量工作可做。

2.4 解析先验向深度先验发展

目前，深层学习模型在计算机视觉和人工智能领域得到广泛应用。与人工先验相比，深度学习在图像反问题(去噪、去模糊、超分辨等)重建的应用逐步引起广泛关注(Hwan等，2017；Zhang等，2017b)，主要包括两类方法：其一是基于数据驱动深度学习重建算子(或深度去噪先验、超分辨映射、邻近算子(proximal operator)等)；其二是深度先验与解析先验的复合。

1) 利用深度模型学习反问题重建算子是研究思路之一。例如，Zhang等人(2017a)在半二次分裂框架(half quadratic splitting, HQS)下引入辅助变量，分析去噪迭代步的任务属性，提出一个基于卷积神经网络(convolutional neural network, CNN)深度去噪先验替代去噪迭代步骤，本质上可以看做深度学习一个去噪作用的邻近算子。

深度学习应用于图像超分辨率，直接方法是学习一个分辨率提升的非线性映射。代表性工作如超分辨率CNN(super-resolution CNN, SRCNN)(Dong等，2016)，通过一个全卷积网络预测非线性低分辨率(low resolution, LR)到高分辨率(high resolution, HR)之间的非线性映射，该方法显著超越以往非深层模型方法。然而，SRCNN并没有考虑任何自相似性。为此，深层联合超分辨率(deep joint super resolution, DJSR)(Wang等，2015)方法联合使用了外部样本以及自身样本的信息。受迭代收缩阈值算法启发，级联稀疏编码网络(cascaded sparse coding network, CSCN)通过端到端的训练模式充分利用图像的本质稀疏性(Gregor和LeCun，2010)。Shi等人(2016)观察到以往方法在CNN训练之前就通过双三次插值方式提升LR图像的分辨率会增加网络的计算复杂度的问题，提出一种高效亚像素卷积神经网络(efficient sub-pixel convolutional neural network, ESPCN)，通过网络学习从LR到HR的变换增加分辨率，从而减少网络的计算和存储复杂度。

对于一大类图像处理线性反问题，很多变分正则化模型在数学上可归结为邻近算子分裂求解。研究发现可利用深度网络模型学习性能增强的邻近算子(Meinhardt等，2017)。Rick等人(2017)利用去噪神经网络学习性能增强的正则化项邻近算子；Borgerding等人(2017)基于正则化模型的交替方向乘子(alternating direction method of multipliers，ADMM)求解框架，通过生成对抗网络学习性能增强的邻近算子；Adler和Öktem(2018)采用深度模型学习主—对偶重建算子。Xie等人(2019)提出了一种基于模型的深度学习方法，综合考虑低分辨率图像的观测模型和高分辨HS图像沿光谱模式的低秩特性，利用邻近梯度法设计了求解该模型的迭代算法，然后，通过将迭代算法进行网络化展开，构造了一个称为MS/HS融合的深度网络，通过训练数据学习邻近算子和模型参数。

2) 深度先验与解析正则化方法的复合是另外一条技术路线。方法主要包括：基于深度网络预测图像作为潜在图像的先验正则项(Wang等，2015)、利用生成对抗网络学习后验分布以及变分自编码方法等(Yang等，2018)。受上述方法的启发，研究者将深度学习方法应用于遥感图像融合。早期的Pansharpening方法采取基于高—低分辨率全色图像对(或图像块对)训练一个深度网络，学习一个超分辨映射(Huang等，2015)；基于高频特征细节注入格式建立的最小平方误差(minimum square error, MSE)代价函数训练深度残差网络，形成端到端的非线性映射(Yang等，2017)。张良培教授团队分别采取深度残差网络提升融合性能(Wei等，2017)，随后又提出多尺度CNN的Pansharpening方法(Yuan等，2018)；其系统全面综述了遥感数据深度学习现状(Zhu等，2017；Zhang等，2016)。对于HS+MS融合问题，深度学习的方法并不多见，代表性方法为Palsson等人(2017)提出的3维CNN方法以及李树涛教授团队提出将CNN残差网络先验学习结合进入融合优化模型，并给出了一个三阶段方法(Dian等，2018)。李红等人(2016)在训练深度网络时加入了结构风险最小化的损失函数，提出了一种基于深度支撑值学习网络的融合方法，应用于MS+PAN融合取得很好性能。Qu等人(2018)第一次尝试使用两个无监督编码器—解码器解决HS+MS融合问题，通过稀疏的Dirichlet分布刻画HS和MS的两个物理约束，并建立表示之间的角度差准则，通过最小化角度差减少频谱失真。

尽管这些模型取得了非常好的结果，但深度融合方法刚刚起步，许多问题亟待解决：

1) 非常深的模型往往需要学习大量参数，需要更大的存储空间。

2) 目前的深度融合方法大多是逐通道进行的，没有充分利用高光谱图像的空—谱相关性和局部低维流形结构。

上述问题启发学者研究张量化深度融合方法。据现有文献，该方面代表性工作有张量深度堆叠网络(tensor deep staking network)及其核化版本(Hutchinson等，2013)、张量因式分解神经网络(tensor-factorized neural networks)(Chien和Bao，2018)等。相比传统深度学习方法，这些方法已经表明张量分析与深度神经网络的结合，可显著提升深度学习的高阶结构表达能力、降低参数规模，减少计算与内存资源，增强跨域迁移学习能力。然而张量化深度表示学习模型的建立、深度网络架构、轻量化和优化计算等尚存在很大提升空间。如何结合张量低秩和深度递归网络，解决梯度消失/爆炸问题，增强空—谱互补特征的融合等方面需要进一步研究。

3 结语

作为不完全互补观测多通道图像的融合计算重建反问题，建立兼顾“紧致性”和“结构性”的高效图像表示和先验模型至关重要。其核心思想是充分挖掘观测图像的互补性以及各自数据的空—谱退化机理，利用高效表示的图像表示先验，将融合问题建模为联合优化问题，实现空—谱特征保持的高分辨图像重建。目前国际上高维信号稀疏恢复、低秩矩阵补全、低秩张量补全到最新发展的深度学习恢复理论，为空—谱图像融合提供新的契机，但尚有如下关键问题值得关注：

1) 更贴合成像观测过程的建模。对成像系统的物理过程建立更加符合实际情况的观测模型是解决空—谱遥感图像融合相关问题的核心，更精确、更贴合地反映成像过程非常有利于提升图像融合增强算法性能。目前的算法大多引入过于简化的假设，从提高算法的实用性和鲁棒性角度，至少应该考虑：(1)噪声系统特性(例如是乘性还是加性)和统计分布特性(高斯还是重尾分布)；(2)相机的光学系统特性，特别是调制传递函数(modulation transfer function, MTF)；(3)相机颤抖等运动特性；(4)辐射传输过程的退化效应，例如大气湍流效应等。

2) 更简洁和高效的图像先验或表示。高光谱图像作为“图谱合一”数据，空—谱相关性强，存在空间模糊降质、噪声和数据缺失等退化情况，采取向量稀疏性度量虽能获得很好的信号重建和表达能力，但仍然将破坏图像矩阵结构或高阶张量形式的结构化信息。如何建立针对潜在高光谱图像空—谱相关性，构造合适的张量低秩先验度量以及非凸张量低秩优化仍然是重要问题之一。需要充分挖掘高光谱图像立方体数据特性，并利用其空—谱联合通道相关性以及非局部上下文相关性，提高算法对噪声和数据缺失的鲁棒性和空间模糊点扩散函数的非盲估计性能，并增强融合过程的“鲁棒超分辨重建性”和“高光谱保真性”(Xu等，2019；2020)。

3) 更优良的解析模型与深度学习混合建模。结构化表示解析先验正则化受限于形式，难以对数据之间高阶相关性、长程依赖关系以及高度非线性建模；而深度先验学习方法可弥补人工解析先验不足。传统2维卷积的深层学习模型对于高光谱等多通道图像尚存在紧致性和表达能力不足；多模态数据融合应用时，深度网络对不同模态数据共享特征和互补性特征的表达能力需要提高，同时需要提高数据缺失、噪声和样本不足时的跨域迁移学习能力。

4) 更高效的计算能力。模型复杂度和时效性是制约提升融合算法实用性的一对矛盾。为了提高融合质量和实际图像的盲处理能力，依赖于高复杂度的数学模型；而实际工程问题又需要算法的高时效性。一方面，寻求高效并行的数值优化方法吸引了大批计算领域研究者的广泛关注，并发展了如算子分裂、Bregman迭代等图像处理算法；然而，寻求更高效的数值优化方法是一个长期不懈的过程。另一方面，利用先进的计算体系结构，如基于多核CPU、图形编程单元(graphics processing unit，GPU)，或者基于多核CPU+GPU的异构平台、分布式集群、大数据SPARK高性能平台和云计算架构等，设计高效并行的大数据处理算法(Sun等，2019)，都是值得进一步研究的方向。

5) 算法开源与融合算法的严格性能评测。国际上，对于常见算法，已经集成研发了一个空—谱图像融合的开源算法软件包，取名为“TOOLBOX_pansharpeningtool”，涵盖了成分替代、MRA和多变量回归等方法。该软件算法包目前为V1.3版本，开发编程语言为MATLAB，并提供了2006年国际数据融合比赛中采用的Pléiades Toulouse多光谱图像数据集和一些遥感图像融合样例的融合结果(https://www.digitalglobe.com/product-samples)。该软件由Vivone等人(2015)研发和发布，综合性能基准测试见原文献。更多的后续方法期待进一步算法开源和可复原研究，并在统一的数据集上进行严格的综合性能测试。

参考文献

  • Adler J, Öktem O. 2018. Learned primal-dual reconstruction. IEEE Transactions on Medical Imaging, 37(6): 1322-1332 [DOI:10.1109/TMI.2018.2799231]
  • Aiazzi B, Alparone L, Baronti S, Garzelli A, Selva M. 2006. MTF-tailored multiscale fusion of high-resolution MS and pan imagery. Photogrammetric Engineering and Remote Sensing, 72(5): 591-596 [DOI:10.14358/pers.72.5.591]
  • Aiazzi B, Baronti S, Lotti F, Selva M. 2009. A comparison between global and context-adaptive pansharpening of multispectral images. IEEE Geoscience and Remote Sensing Letters, 6(2): 302-306 [DOI:10.1109/LGRS.2008.2012003]
  • Alparone L, Baronti S, Aiazzi B, Garzelli A. 2016. Spatial methods for multispectral pansharpening:multiresolution analysis demystified. IEEE Transactions on Geoscience and Remote Sensing, 54(5): 2563-2576 [DOI:10.1109/TGRS.2015.2503045]
  • Ballester C, Caselles V, Igual L, Verdera J, Rougé B. 2006. A variational model for P+XS image fusion. International Journal of Computer Vision, 69(1): 43-58 [DOI:10.1007/s11263-006-6852-x]
  • Bioucas-Dias J M, Plaza A, Camps-Valls G, Scheunders P, Nasrabadi N, Chanussot J. 2013. Hyperspectral remote sensing data analysis and future challenges. IEEE Geoscience and Remote Sensing Magazine, 1(2): 6-36 [DOI:10.1109/MGRS.2013.2244672]
  • Borgerding M, Schniter P, Rangan S. 2017. AMP-inspired deep networks for sparse linear inverse problems. IEEE Transactions on Signal Processing, 65(16): 4293-4308 [DOI:10.1109/TSP.2017.2708040]
  • Chien J T, Bao Y T. 2018. Tensor-factorized neural networks. IEEE Transactions on Neural Networks and Learning Systems, 29(5): 1998-2011 [DOI:10.1109/TNNLS.2017.2690379]
  • Choi J, Yu K, Kim Y. 2011. A new adaptive component-substitution-based satellite image fusion by using partial replacement. IEEE Transactions on Geoscience and Remote Sensing, 49(1): 295-309 [DOI:10.1109/TGRS.2010.2051674]
  • Dian R W, Li S T. 2019. Hyperspectral image super-resolution via subspace-based low tensor multi-rank regularization. IEEE Transactions on Image Processing, 28(10): 5135-5146 [DOI:10.1109/TIP.2019.2916734]
  • Dian R W, Li S T, Guo A J, Fang L Y. 2018. Deep hyperspectral image sharpening. IEEE Transactions on Neural Networks and Learning Systems, 29(11): 5345-5355 [DOI:10.1109/TNNLS.2018.2798162]
  • Dian R W, Li S T, Fang L Y. 2019. Learning a low tensor-train rank representation for hyperspectral image super-resolution. IEEE Transactions on Neural Networks and Learning Systems, 30(9): 2672-2683 [DOI:10.1109/TNNLS.2018.2885616]
  • Dong C, Loy C C, He K M, Tang X O. 2016. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(2): 295-307 [DOI:10.1109/TPAMI.2015.2439281]
  • Dong W S, Fu F Z, Shi G M, Gao X, Wu J J, Li G Y, Li X. 2016. Hyperspectral image super-resolution via non-negative structured sparse representation. IEEE Transactions on Image Processing, 25(5): 2337-2352 [DOI:10.1109/TIP.2016.2542360]
  • Duran J, Buades A, Coll B, Sbert C. 2014. A nonlocal variational model for pansharpening image fusion. SIAM Journal on Imaging Sciences, 7(2): 761-796 [DOI:10.1137/130928625]
  • Fang F M, Li F, Shen C M, Zhang G X. 2013. A variational approach for pan-sharpening. IEEE Transactions on Image Processing, 22(7): 2822-2834 [DOI:10.1109/TIP.2013.2258355]
  • Garzelli A, Nencini F, Capobianco L. 2008. Optimal MMSE pan sharpening of very high resolution multispectral images. IEEE Transactions on Geoscience and Remote Sensing, 46(1): 228-236 [DOI:10.1109/TGRS.2007.907604]
  • González-Audícana M, Otazu X, Fors O, Seco A. 2005. Comparison between Mallat's and the 'Trous' discrete wavelet transform based algorithms for the fusion of multispectral and panchromatic images. International Journal of Remote Sensing, 26(3): 595-614 [DOI:10.1080/01431160512331314056]
  • Gregor K and LeCun Y. 2010. Learning fast approximations of sparse coding//Proceedings of the 27th International Conference on Machine Learning. Omnipress: ACM: 399-406
  • He X Y, Condat L, Bioucas-Dias J M, Chanussot J, Xia J S. 2014. A new pansharpening method based on spatial and spectral sparsity priors. IEEE Transactions on Image Processing, 23(9): 4160-4174 [DOI:10.1109/TIP.2014.2333661]
  • Huang J Z, Zhang T and Metaxas D. 2009. Learning with structured sparsity//Proceedings of the 26th Annual International Conference on Machine Learning. Montreal, Quebec, Canada: ACM: 417-424[DOI: 10.1145/1553374.1553429]
  • Huang W, Xiao L, Wei Z H, Liu H Y, Tang S Z. 2015. A new pan-sharpening method with deep neural networks. IEEE Geoscience and Remote Sensing Letters, 12(5): 1037-1041 [DOI:10.1109/LGRS.2014.2376034]
  • Hutchinson B, Deng L, Yu D. 2013. Tensor deep stacking networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8): 1944-1957 [DOI:10.1109/tpami.2012.268]
  • Hwan Jin K, McCann M T, Froustey E, Unser M. 2017. Deep convolutional neural network for inverse problems in imaging. IEEE Transactions on Image Processing, 26(9): 4509-4522 [DOI:10.1109/TIP.2017.2713099]
  • Karoui M S, Deville Y, Benhalouche F Z, Boukerch I. 2017. Hypersharpening by joint-criterion nonnegative matrix factorization. IEEE Transactions on Geoscience and Remote Sensing, 55(3): 1660-1670 [DOI:10.1109/TGRS.2016.2628889]
  • Katkovnik V, Foi A, Egiazarian K, Astola J. 2010. From local kernel to nonlocal multiple-model image denoising. International Journal of Computer Vision, 86(1): 1-32 [DOI:10.1007/s11263-009-0272-7]
  • Li D R, Tong Q X, Li R X, Gong J Y, Zhang L P. 2012. Current issues in high-resolution Earth observation technology. Science China Earth Sciences, 42(6): 805-813 (李德仁, 童庆禧, 李荣兴, 龚健雅, 张良培. 2012. 高分辨率对地观测的若干前沿科学问题. 中国科学:地球科学, 42(6): 805-813) [DOI:10.1007/s11430-012-4445-9]
  • Li H, Liu F, Yang S Y, Zhang K. 2016. Remote sensing image fusion based on deep support value learning networks. Chinese Journal of Computers, 39(8): 1583-1596 (李红, 刘芳, 杨淑媛, 张凯. 2016. 基于深度支撑值学习网络的遥感图像融合. 计算机学报, 39(8): 1583-1596) [DOI:10.11897/SP.J.1016.2016.01583]
  • Liu P F, Xiao L, Li T. 2018. A variational pan-sharpening method based on spatial fractional-order geometry and spectral-spatial low-rank priors. IEEE Transactions on Geoscience and Remote Sensing, 56(3): 1799-1802 [DOI:10.1109/TGRS.2017.2768386]
  • Liu P F, Xiao L, Zhang J, Naz B. 2016. Spatial-hessian-feature-guided variational model for pan-sharpening. IEEE Transactions on Geoscience and Remote Sensing, 54(4): 2235-2253 [DOI:10.1109/TGRS.2015.2497966]
  • Loncan L, de Almeida L B, Bioucas-Dias J M, Briottet X, Chanussot J, Dobigeon N, Fabre S, Liao W Z, Licciardi G A, Simões M, Tourneret J Y, Veganzones M A, Vivone G, Wei Q, Yokoya N. 2015. Hyperspectral pansharpening:a review. IEEE Geoscience and Remote Sensing Magazine, 3(3): 27-46 [DOI:10.1109/MGRS.2015.2440094]
  • Lu C Y, Tang J H, Yan S C and Lin Z C. 2014. Generalized nonconvex nonsmooth low-rank minimization//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE: 4130-4137[DOI: 10.1109/CVPR.2014.526]
  • Meinhardt T, Moeller M, Hazirbas C and Cremers D. 2017. Learning proximal operators: using denoising networks for regularizing inverse imaging problems//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 1799-1808[DOI: 10.1109/ICCV.2017.198]
  • Möller M, Wittman T, Bertozzi A L, Burger M. 2012. A variational approach for sharpening high dimensional images. SIAM Journal on Imaging Sciences, 5(1): 150-178 [DOI:10.1137/100810356]
  • Nezhad Z H, Karami A, Heylen R, Scheunders P. 2016. Fusion of hyperspectral and multispectral images using spectral unmixing and sparse coding. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 9(6): 2377-2389 [DOI:10.1109/JSTARS.2016.2528339]
  • Nunez J, Otazu X, Fors O, Prades A, Pala V, Arbiol R. 1999. Multiresolution-based image fusion with additive wavelet decomposition. IEEE Transactions on Geoscience and Remote Sensing, 37(3): 1204-1211 [DOI:10.1109/36.763274]
  • Palsson F, Sveinsson J R, Ulfarsson M O. 2017. Multispectral and hyperspectral image fusion using a 3-D-convolutional neural network. IEEE Geoscience and Remote Sensing Letters, 14(5): 639-643 [DOI:10.1109/lgrs.2017.2668299]
  • Qu Y, Qi H R and Kwan C. 2018. Unsupervised sparse dirichlet-net for hyperspectral image super-resolution//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 2511-2520[DOI: 10.1109/CVPR.2018.00266]
  • Rick Chang J H, Li C L, Póczos B, Kumar B V K V and Sankaranarayanan A C. 2017. One network to solve them all——solving linear inverse problems using deep projection models//Proceedings of IEEE International Conference on Computer Vision. Venice: IEEE: 5889-5898[DOI: 10.1109/ICCV.2017.627]
  • Schowengerdt R A. 2007. Remote Sensing. Models and Methods for Image Processing. 3rd ed. The Netherlands: Elsevier
  • Shi W Z, Caballero J, Huszár F, Totz J, Aitken A P, Bishop R, Rueckert D and Wang Z H. 2016. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 1874-1883[DOI: 10.1109/CVPR.2016.207]
  • Sun J, Zhang Y, Wu Z B, Zhu Y Q, Yin X L, Ding Z Z, Wei Z H, Plaza J, Plaza A. 2019. An efficient and scalable framework for processing remotely sensed big data in cloud computing environments. IEEE Transactions on Geoscience and Remote Sensing, 57(7): 4294-4308 [DOI:10.1109/TGRS.2018.2890513]
  • Tong Q X, Xue Y Q, Zhang L F. 2014. Progress in hyperspectral remote sensing science and technology in china over the past three decades. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 7(1): 70-91 [DOI:10.1109/jstars.2013.2267204]
  • Tu T M, Su S C, Shyu H C, Huang P S. 2001. A new look at IHS-like image fusion methods. Information Fusion, 2(3): 177-186 [DOI:10.1016/s1566-2535(01)00036-7]
  • Veganzones M A, Simões M, Licciardi G, Yokoya N, Bioucas-Dias J M, Chanussot J. 2016. Hyperspectral super-resolution of locally low rank images from complementary multisource data. IEEE Transactions on Image Processing, 25(1): 274-288 [DOI:10.1109/TIP.2015.2496263]
  • Vivone G, Alparone L, Chanussot J, Mura M D, Garzelli A, Licciardi G A, Restaino R, Wald L. 2015. A critical comparison among pansharpening algorithms. IEEE Transactions on Geoscience and Remote Sensing, 53(5): 2565-2586 [DOI:10.1109/TGRS.2014.2361734]
  • Wang T T, Fang F, Li F, Zhang G X. 2019. High-quality Bayesian pansharpening. IEEE Transactions on Image Processing, 28(1): 227-239 [DOI:10.1109/TIP.2018.2866954]
  • Wang Z W, Liu D, Yang J C and Huang T S. 2015. Deep networks for image super-resolution with sparse prior//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE: 370-378[DOI: 10.1109/ICCV.2015.50]
  • Wang Z Y, Yang Y Z, Wang Z W, Chang S Y, Han W, Yang J C and Huang T. 2015. Self-tuned deep super resolution//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Boston: IEEE: 1-8[DOI: 10.1109/CVPRW.2015.7301266]
  • Wei Q, Bioucas-Dias J, Dobigeon N, Tourneret J Y. 2015a. Hyperspectral and multispectral image fusion based on a sparse representation. IEEE Transactions on Geoscience and Remote Sensing, 53(7): 3658-3668 [DOI:10.1109/TGRS.2014.2381272]
  • Wei Q, Dobigeon N, Tourneret J Y. 2015b. Bayesian fusion of multi-band images. IEEE Journal of Selected Topics in Signal Processing, 9(6): 1117-1127 [DOI:10.1109/JSTSP.2015.2407855]
  • Wei Y C, Yuan Q Q, Shen H F, Zhang L P. 2017. Boosting the accuracy of multispectral image pansharpening by learning a deep residual network. IEEE Geoscience and Remote Sensing Letters, 14(10): 1795-1799 [DOI:10.1109/LGRS.2017.2736020]
  • Xie Q, Zhou M H, Zhao Q, Meng D Y, Zuo W M and Xu Z B. 2019. Multispectral and hyperspectral image fusion by MS/HS fusion net//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE: 1585-1594[DOI: 10.1109/CVPR.2019.00168]
  • Xie T, Li S T, Fang L Y, Liu L C. 2019. Tensor completion via nonlocal low-rank regularization. IEEE Transactions on Cybernetics, 49(6): 2344-2354 [DOI:10.1109/TCYB.2018.2825598]
  • Xie Y, Qu Y Y, Tao D C, Wu W W, Zhang W S. 2016. Hyperspectral image restoration via iteratively regularized weighted schatten p-norm minimization. IEEE Transactions on Geoscience and Remote Sensing, 54(8): 4642-4659 [DOI:10.1109/TGRS.2016.2547879]
  • Xu Y, Wu Z B, Chanussot J, Wei Z H. 2019. Nonlocal patch tensor sparse representation for hyperspectral image super-resolution. IEEE Transactions on Image Processing, 28(6): 3034-3047 [DOI:10.1109/TIP.2019.2893530]
  • Xu Y, Wu Z B, Chanussot J, Comon P, Wei Z H. 2020. Nonlocal coupled tensor CP decomposition for hyperspectral and multispectral image fusion. IEEE Transactions on Geoscience and Remote Sensing, 58(1): 348-362 [DOI:10.1109/TGRS.2019.2936486]
  • Yang G, Yu S M, Dong H, Slabaugh G, Dragotti P L, Ye X J, Liu F D, Arridge S, Keegan J, Guo Y K, Firmin D. 2018. DAGAN:deep de-aliasing generative adversarial networks for fast compressed sensing MRI reconstruction. IEEE Transactions on Medical Imaging, 37(6): 1310-1321 [DOI:10.1109/TMI.2017.2785879]
  • Yang J F, Fu X Y, Hu Y W, Ding X H and Paisley J. 2017. PanNet: a deep network architecture for pan-sharpening//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 1753-1761[DOI: 10.1109/ICCV.2017.193]
  • Yokoya N, Grohnfeldt C, Chanussot J. 2017. Hyperspectral and multispectral data fusion:a comparative review of the recent literature. IEEE Geoscience and Remote Sensing Magazine, 5(2): 29-56 [DOI:10.1109/MGRS.2016.2637824]
  • Yuan Q Q, Wei Y C, Meng X C, Shen H F, Zhang L P. 2018. A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(3): 978-989 [DOI:10.1109/JSTARS.2018.2794888]
  • Zhang K, Wang M, Yang S Y. 2017a. Multispectral and hyperspectral image fusion based on group spectral embedding and low-rank factorization. IEEE Transactions on Geoscience and Remote Sensing, 55(3): 1363-1371 [DOI:10.1109/tgrs.2016.2623626]
  • Zhang K, Wang M, Yang S Y, Jiao L C. 2018. Spatial-spectral-graph-regularized low-rank tensor decomposition for multispectral and hyperspectral image fusion. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(4): 1030-1040 [DOI:10.1109/JSTARS.2017.2785411]
  • Zhang K, Zuo W M, Gu S H and Zhang L. 2017b. Learning deep CNN denoiser prior for image restoration//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 2808-2817[DOI: 10.1109/CVPR.2017.300]
  • Zhang L P, Shen H F. 2016. Progress and future of remote sensing data fusion. Journal of Remote Sensing, 20(5): 1050-1061 (张良培, 沈焕锋. 2016. 遥感数据融合的进展与前瞻. 遥感学报, 20(5): 1050-1061) [DOI:10.11834/jrs.20166243]
  • Zhang L P, Zhang L F, Du D. 2016. Deep learning for remote sensing data:a technical tutorial on the state of the art. IEEE Geoscience and Remote Sensing Magazine, 4(2): 22-40 [DOI:10.1109/MGRS.2016.2540798]
  • Zhu X X, Grohnfeldt C, Bamler R. 2016. Exploiting joint sparsity for pansharpening:the J-SparseFI algorithm. IEEE Transactions on Geoscience and Remote Sensing, 54(5): 2664-2681 [DOI:10.1109/TGRS.2015.2504261]
  • Zhu X X, Tuia D, Mou L C, Xia G S, Zhang L P, Xu F. 2017. Deep learning in remote sensing:a comprehensive review and list of resources. IEEE Geoscience and Remote Sensing Magazine, 5(4): 8-36 [DOI:10.1109/MGRS.2017.2762307]