|
|
|
发布时间: 2016-08-25 |
遥感图像处理 |
|
|
|
张晓1, 薛月菊2, 涂淑琴2,3, 胡月明1, 宁晓锋4 |
收稿日期: 2016-09-02; 修回日期: 2016-05-23
基金项目: 国家科技支撑计划基金项目(2013BAJ13B06)
第一作者简介: 张晓(1992-), 女，华南农业大学地图学与地理信息系统专业硕士研究生，主要从事遥感图像处理方面的研究。E-mail：zhangxiaogis@163.com
中图法分类号: TP751
文献标识码: A
文章编号: 1006-8961(2016)08-1106-13
|
摘要
目的 稀疏表示在遥感图像融合上取得引人注目的良好效果，但由于经典稀疏表示没有考虑图像块与块之间的相似性, 导致求解出的稀疏系数不够准确及字典学习的计算复杂度高。为提高稀疏表示遥感图像融合算法的效果和快速性，提出一种基于结构组稀疏表示的遥感图像融合方法。 方法 首先，将相似图像块组成结构组，再通过组稀疏表示算法分别计算亮度分量和全色图像的自适应组字典和组稀疏系数；然后，根据绝对值最大规则进行全色图像稀疏系数的部分替换得到新的稀疏系数，利用全色图像的组字典和新的稀疏系数重构出高空间分辨率亮度图像；最后，应用通用分量替换(GCOS)框架计算融合后的高分辨率多光谱图像。 结果 针对3组不同类型遥感图像的全色图像和多光谱图像分别进行了退化和未退化遥感融合实验，实验结果表明：在退化融合实验中，本文方法的相关系数、均方根误差、相对全局融合误差、通用图像质量评价指标和光谱角等评价指标比传统的融合算法更优越，其中相对全局融合误差分别是2.326 1、1.888 5和1.816 8均远低于传统融合算法；在未退化融合实验中，除了在绿色植物融合效果上略差于AWLP(additive wavelet luminance proportional)方法外，其他融合结果仍占有优势。与经典稀疏表示方法相比，由于字典学习的优越性，计算复杂度上要远低于经典稀疏表示的遥感图像融合算法。 结论 本文算法更能保持图像的光谱特性和空间信息，适用于不同类型遥感图像的全色图像和多光谱图像融合。
关键词
遥感图像融合; 自适应字典; 结构组稀疏; 稀疏表示; 通用分量替换框架
Zhang Xiao1, Xue Yueju2, Tu Shuqin2,3, Hu Yueming1, Ning Xiaofeng4 Abstract
Objective Remote sensing image fusion based on sparse representation has achieved dramatic results. However, classical sparse representation faces two problems. First, the computational complexity of dictionary training is extremely high. Second, the classical sparse representation does not consider the similarity between image patches, which causes performance degradation in solving sparse coefficients. A new structural group sparse representation (SGSR), which has been successfully applied to image restoration and super-resolution image reconstruction, can effectively solve the two problems. To improve the accuracy and speed of sparse representation of remote sensing image fusion, this study presents a method of remote sensing image fusion based on SGSR. Method Considering that the spectral range of panchromatic image does not exactly override all the bands of a multispectral image, a luminance component derived from the adaptive weight coefficient of each band image is initially defined to reduce the spectral distortion. Then, the Euclidean distance between the gray scales of image patches is calculated. The most similar structure patches are selected to constitute the structural groups for luminance component image and panchromatic image, and these structural groups are regarded as the basic unit of dictionary learning and sparse representation. The adaptive dictionary learning method by singular value decomposition obtains the adaptive dictionary for every structural group. Furthermore, group sparse coefficient of the luminance component image and panchromatic image are calculated via group sparse representation algorithm. Finally, using the absolute maximum fusion rule, new sparse coefficients can be obtained by part of panchromatic image sparse coefficient substitution, and the high spatial resolution intensity image is reconstructed using the panchromatic image group dictionary and the new sparse coefficients. The high-resolution multispectral image is obtained via the general component substitution framework. Result SGSR is evaluated by the degraded and nondegraded image fusion experiments on Gaofeng-1, Quickbird, and Worldview images. In the degraded remote sensing image fusion experiment, five quantitative evaluation indices (CC, RMSE, ERGAS, UIQI, and SAM) are used to compare SGSR with the traditional methods (GIHS, PCA, and HPF), AWLP, and classical sparse representation (SR) method. Results show that five quantitative indices of SGSR are better compared with the other methods. In the nondegraded remote sensing image fusion experiment, psnr, grad, entropy, Dλ, Ds, and QNR are used to compare these image fusion methods. SGSR generally obtained better results, except that spectral information preservation performance of SGSR in the green plant region is slightly worse than those of AWLP. By comparing the speed of training dictionary, SGSR is approximately 10 times faster than SR. Conclusion SGSR can improve spatial resolution and preserve spectral information in a remote sensing image and has better performance than the traditional methods, AWLP, and SR. Moreover, by comparing SGSR with SR, SGSR significantly reduces the computational complexity. Therefore, SGSR is suitable for multispectral image and panchromatic image fusion of all types of remote sensing images and may be applied in this field.
Key words
remote sensing image fusion; adaptive dictionary group; structural group representation; sparse representation; general component substitution
0 引言
在许多遥感应用中，如土地利用分类变化检测，地图更新和灾难预警监测要求使用高光谱和高空间分辨率的遥感图像。由于辐射能量的限制，遥感传感器所获得图像的空间分辨率和光谱分辨率之间是相互矛盾的。多光谱图像(MS)光谱信息丰富，但空间分辨率较低，高空间分辨率的全色图像(PAN)可以准确地获得目标的细节信息，但其光谱信息量没有多光谱图像丰富。通过融合得到MS图像和PAN图像所提供的光谱和空间信息，融合后的图像既具有高空间分辨率，又尽可能保留原来MS图像的光谱信息，这样可以更好地进行遥感图像的分类、特征提取及变化检测等。
目前主要的遥感图像融合方法主要分为两种，一种是分量替换的方法[1]，另一种是多尺度分析的方法[2]。传统的分量替换方法就是把PAN图像等价于MS图像经过分量变化后的某个分量，如IHS(intensity, hue, saturation)变换、PCA(principal component analysis)变换等融合方法，这两种方法简单易行，能够很好增强遥感图像的空间分辨率，但容易产生光谱畸变[2]。Tu等人[3]提出一种推广的IHS (GIHS)融合算法，在普通的IHS分量计算中加入近红外波段以减小光谱失真。这种方法能有效地保留图像的光谱特性，但由于在融合过程中没有考虑每个波段的特性，融合效果不稳定。多尺度分析的方法是通过某种算法来模拟多光谱图像缺失的空间细节信息，比如小波变化融合方法[4]和拉普拉斯金字塔方法[5]。虽然随分解层数的增加，小波变换融合方法和拉普拉斯金字塔方法抽取的空间细节会增加，但融合后可能会出现光谱失真情况。
近年来，研究者开始利用稀疏表示进行遥感图像的融合，2010年，Hu等人最先将稀疏表示应用于遥感图像的融合，大大提高了图像融合的质量[6]，但只是进行了红、绿、蓝3个波段的融合。尹雯等人[7]根据MS和PAN图像具有不同分辨率的特点，分别建立高低分辨率字典，从而获取更准确的稀疏系数，有效提高融合后的光谱性能，且空间信息更加丰富。而经典稀疏表示其字典训练和稀疏求解的过程较为复杂，存在时间复杂度高的缺陷。随着稀疏理论的发展，组稀疏理论也开始用于图像超分辨率和图像去噪中，李祥灿[8]利用组稀疏研究了自然图像超分辨率算法，Zhang[9]通过组稀疏研究了一系列图像修复和图像去噪的问题，这些研究表明组稀疏表示比经典的稀疏表示计算速度更快，且图像重构、去噪效果更加理想。
本文首次将结构组稀疏理论应用到了遥感图像融合的研究中，提出了一种基于结构组稀疏表示的遥感图像融合方法。首先将结构组作为字典和稀疏求解的基本单位，在组内采用SVD(sigular value decomposition)方法学习组稀疏系数，然后利用Dou等人[10]提出的通用分量替换(GCOS)融合框架，得到遥感图像融合结果。实验结果表明，本文融合算法得到的融合后图像能够有效保留MS和PAN图像中的光谱特征和空间细节信息，在计算复杂度上又远优于经典稀疏表示方法。
1 稀疏表示理论
超完备图像稀疏表示是用字典代替传统信号表示模型中的正交基函数系统。稀疏表示利用字典的冗余性可以有效地捕捉图像的各种结构特征，从而实现图像的有效表示。当信号具有稀疏性或可压缩性时，通过采集少量的信号投影值就可实现信号的准确或近似重构。
设信号y∈Rm, 矩阵D∈{d1, d2, d3, …, dn}∈Rm×n(m < n)，信号y由D中的原子通过线性组合得到，即
| $\boldsymbol{y}=\boldsymbol{D}\boldsymbol{\alpha} $ | (1) |
式中, α=[α1, α2, α3, …, αn]T∈Rn就是稀疏系数向量，图像的稀疏表示理论认为在合适的字典D下图像y总存在稀疏的表示形式，即系数y中只有少量的非零元素。
信号在实际处理中带有一定的噪声，信号不能被准确重构，因此问题转化为在一定误差下的0范数逼近，其模型表示为
| $\arg \mathop {\min }\limits_\alpha {\left\| \alpha \right\|_0}\; \;\; \;{\text{s}}.t.\; \;\left\| {\boldsymbol{y}-\boldsymbol{D}\boldsymbol{\alpha} } \right\|_2^2{\text{ < }}\varepsilon $ | (2) |
式中，
上述稀疏表示最优化问题是一个NP-hard难题，必须采用特殊的求解算法来求解上述稀疏表示问题。目前通常采用将上述NP问题中l0范数转换为l1范数的稀疏求解方法，包括匹配追踪(MP)[11]、正交匹配追踪(OMP)[12]等贪婪算法和基追踪法(BP)[13]等最优化算法。
2 基于结构组稀疏表示的遥感图像融合算法
提出的基于结构组稀疏表示的遥感图像融合方法(SGSR)主要分成3部分：1)亮度分量I；2)基于图像结构组的稀疏表示；3)通用分量替换框架融合。SGSR算法框架如图 1所示。
2.1 亮度分量
当PAN图像的光谱范围不是恰好完全覆盖MS图像的所有波段时，需要定义亮度分量以减少光谱失真的现象。利用Aizaai等人[14]提出的自适应权值系数进行亮度分量计算，由MS每个波段图像进行加权平均得到。首先将PAN图像向下重采样至MS图像大小。根据最小二值法求解得第j波段的权重系数δj和偏置常数θ，即
| ${\boldsymbol{X}_{{\text{PAN}}}}=\sum\limits_{j=1}^4 {{\boldsymbol{M}_{MS.j}}{\delta _j} + \theta } $ | (3) |
MMS, j是MS图像的第j个波段，j=1, 2, …, 4。XPAN是经过下采样至原始MS图像一样大小的PAN图像，δj为权重系数，θ是偏置常数。根据线性关系模拟得到亮度分量I，即
| $\boldsymbol{I}=\sum\limits_1^j {{\delta _j}{\boldsymbol{M}_{MS, j}} + \theta } $ | (4) |
2.2 基于图像结构组的稀疏表示
一般稀疏表示模型通常是把图像先分块，然后把这些块按列向量排列成一个很大的矩阵，利用训练好的字典进行稀疏求解，这样就会面临两个问题：1)是字典训练的过程需要很高的计算复杂度；2)基于块的稀疏表示模型中每个单元都是块，每个块在字典学习和稀疏编码的过程中都是独立的，在本质上忽视了相似块之间的联系，导致求解出的稀疏系数不够准确。针对这种情况，Zhang等人[9]建立了基于结构组的稀疏模型，这个模型采用自适应的结构组字典来代替传统的基于整幅图像块的学习字典，显著降低字典学习的时间复杂度，本文创新地利用该模型进行遥感图像的融合。
2.2.1 图像结构组的构造
图 2为自适应图像结构组的构造图。如图 2表示，左边黑色方框表示原始图像，用n×n的窗口将原始图像划分为S个图像块XK，K=1, 2, …, S。窗口之间是相互重叠的。蓝色方框表示选取窗口，大小为M×M，选择一个初始块XK，在选取窗口中利用图像块的灰度值计算出欧氏距离，选择c个跟XK最相似的图像块，如图 2中虚线的矩形表示。虚线越粗表示跟初始块XK越相似。每个图像块按列向量排列，然后将c个图像块用矩阵形式排列成XGK, XGK={XK1XK2，…，XKc}。这样所求出来的结构组既不用在所有图像块中寻找，提高计算效率，又保证每个组都体现了图像的自相似性。
2.2.2 组稀疏表示模型
组稀疏模型从基于块的稀疏表示模型中扩展开来。组稀疏模型假设每个组能够被一个自适应学习的组字典中的几个原子进行精确表示。设每一个结构组XGK对应的组字典为DGK，在DGK下的稀疏表示过程中求一个稀疏向量αGK=[αGK1, αGK2, …, αGKn]使得XGK≈
| $\boldsymbol{x}={\boldsymbol{D}_G}{\boldsymbol{\alpha} _G}$ | (5) |
式中，DG表示DGK的合并，αG表示αGK的合并。下面给出字典学习方法和稀疏求解的算法。
直观的组字典学习方法为
| $\mathop {\arg \; min}\limits_{{D_G} \cdot \left\{ {{\alpha _G}} \right\}} \left({\sum\limits_{k=1}^n {\left\| {{x_G}-{\boldsymbol{D}_G}{\boldsymbol{\alpha} _G}} \right\|_2^2} + \lambda \cdot \sum\limits_{k=1}^n {{{\left\| {{\boldsymbol{\alpha} _G}} \right\|}_p}} } \right)$ | (6) |
λ为平衡重构误差与稀疏项，p为0或1，n为组的个数。通过交替优化DG和αG来分别求解。这种方法求出的字典DG是整幅图像的字典，导致计算复杂度高，同时没有针对每一个结构组进行字典学习。因此采用自适应字典学习方法进行字典学习。首先对每个结构组XGK进行奇异值分解，即
| ${\boldsymbol{X}_{{G_K}}}={\boldsymbol{U}_{{G_K}}}\sum\limits_{{G_K}} {\boldsymbol{V}_{{G_K}}^T} $ | (7) |
那么定义字典DGK中每个原子为
| ${\boldsymbol{D}_{{G_{Ki}}}}={\boldsymbol{u}_{{G_{Ki}}}}\boldsymbol{v}_{{G_{Ki}}}^T, i=1, 2, \cdots, n$ | (8) |
uGKi、vGKi表示UGK、VGK的列向量。这样就得到每个结构组的自适应字典，并且只用进行一次SVD分解, 大大提高了计算效率。而且字典中任意原子相互正交，更利于稳定准确地进行稀疏编码求解。
稀疏求解算法利用分裂Bregman迭代(SBI)算法框架去直接求解下式表示的非凸的l0范数优化问题，而不用去求解其最优的凸近似，也就是l1范数优化问题。这种算法更加高效而且图像重建效果更好。
| ${\boldsymbol{\alpha} _G}=\mathop {\arg \; \;\min }\limits_{{\alpha _G}} \left({\frac{1}{2}\left\| {{\boldsymbol{D}_G} \circ {\boldsymbol{\alpha} _G}-\boldsymbol{x}} \right\|_2^2 + \lambda \cdot {{\left\| {{\boldsymbol{\alpha} _G}} \right\|}_0}} \right)$ | (9) |
具体算法参见文献[9]。
通过上述字典学习方法和稀疏求解方法，可以分别得到I分量和PAN的组字典和稀疏系数，对两幅图像的稀疏系数进行比较，替换PAN图像的部分稀疏系数得到一个新的稀疏系数作为高分辨率亮度分量的稀疏系数。再利用求得的自适应组字典，就可以重构出高分辨率的亮度分量图像。
2.3 GCOS通用分量替换融合框架
在分量替换法的基础上, 建立通用分量替换模型GCOS[10]。基本思想是将融合后的图像看做低分辨率多光谱数据加上经过调制的空间细节信息，即
| $\boldsymbol{M}_{MS, j}^h=\boldsymbol{M}_{MS, j}^l + {\varphi _j}\boldsymbol{w}$ | (10) |
式中，h表示高分辨率，l表示低分辨率，w=Ih-Il，Il为低分辨率亮度分量，Ih为高分辨率亮度分量，w为注入MS图像中的细节信息，φj为对应MS图像每个波段的权重。
2.4 融合算法实现
基于结构组稀疏表示的遥感图像融合算法如下：
1)将自定义亮度分量I重采样至PAN图像大小。首先将两个图像按8×8的窗口大小划分成图像块，窗口之间相互重叠，重叠长度为7。结构组的选取窗口大小设置为32×32，结构组大小为64×60。
2)利用自适应字典学习算法和组稀疏求解算法得到的I分量和PAN图像的组字典和组疏系数分别为DGi, αGi和DGp, αGp。为了提高融合后图像分辨率的同时又减少光谱畸变，对所求出的PAN图像的稀疏系数进行部分替换。根据绝对值最大的融合规则得到高分辨率亮度分量的稀疏系数
| ${\boldsymbol{\alpha} _{Gip}}=\left\{ \begin{gathered} {\boldsymbol{\alpha} _{Gi}}\; \;\left| {{\boldsymbol{\alpha} _{Gi}}} \right| \geqslant \left| {{\boldsymbol{\alpha} _{Gp}}} \right| \hfill \\ {\boldsymbol{\alpha} _{Gp}}\; \;\left| {{\boldsymbol{\alpha} _{Gi}}} \right|{\text{ < }}\left| {{\boldsymbol{\alpha} _{Gp}}} \right| \hfill \\ \end{gathered} \right.$ | (11) |
式中，i表示第i个结构组。
3)PAN图像包含更多的空间信息，为了增强遥感图像融合后的空间细节信息，利用PAN图像的字典作为最后图像重构的字典。图像的重构公式为
| $\boldsymbol{y}={\boldsymbol{D}_{Gp}} \times {\boldsymbol{\alpha} _{Gip}}$ | (12) |
y即为所要求的高分辨率的亮度图像Ih。
4)遥感图像融合过程。每个波段的波段权重为[14]
| ${\varphi _j}=\frac{{\operatorname{cov} \left({\boldsymbol{I}, {\boldsymbol{M}_{MS, j}}} \right)}}{{\operatorname{var} \left(\boldsymbol{I} \right)}}$ | (13) |
利用通用分量替换式(10)求出高空间分辨率的MS图像。
2.5 时间复杂度比较
基于结构组的字典学习算法稀疏重构精度高，与经典稀疏表示相比，其计算复杂度很低。经典稀疏表示中，对于单个的图像组块，OMP算法的时间复杂度为O(T3)，其中T是稀疏系数α的维数．将大小为N×N的PAN图像分成相互重叠的图像块，总的OMP算法时间复杂度为O(NT3)，GIHS变换和反变换的时间复杂度为O(N2)。因此经典稀疏表示方法总的时间复杂度为O(O(NT3)+O(N2))。本文方法的中，SBI时间复杂度为O(Blog2(B)), B为结构组数目。因此整个SGSR算法复杂度为O(O(Blog2(B))+O(N2))。因为B的数目远小于N，所以本文方法的时间复杂度小于经典稀疏表示方法。
3 实验结果及分析
用3组不同类型遥感图像的PAN图像和MS图像(包含红、绿、蓝、近红外4个波段)进行遥感图像融合实验。图 3为2014年12月23日东莞市某地区高分一号遥感图像，包括分辨率2 m的PAN图像(图 3(a))和分辨率8 m的MS图像(图 3(b))。图 4为2015年4月1号深圳市某地区Quickbird遥感图像，包括分辨率0.6 m的PAN图像(图 4(a))和分辨率2.4 m的MS图像(图 4(b))。图 5为意大利某地区Worldview遥感图像，包括分辨率0.5 m的PAN图像(图 5(a))和分辨率2 m的MS图像(图 5(b))。3组实验中的PAN图像大小为1 024×1 024像素，MS图像大小为256×256像素。为了便于对实验结果进行准确的评价，分别对3组遥感图像的PAN图像和MS图像均进行四倍下采样，也就说空间分辨率下降四倍，则下降后的全色图像分辨率与原始多光谱分辨率一样，原始多光谱图像就可以做为评价的参考图像。
为了比较算法的性能，与GIHS方法[3]、PCA[15]方法、HPF(高通滤波)[16]、AWLP方法[17]、一般稀疏表示方法(SR)[7]进行比较，分别进行退化遥感图像融合实验和未退化遥感图像融合实验。
3.1 退化遥感图像融合实验
退化遥感图像融合实验中3组实验中的PAN图像大小为1 024×1 024像素，MS图像大小为256×256像素。为了便于对实验结果进行准确评价，分别对3组遥感图像的PAN图像和MS图像均进行4倍下采样，也就说空间分辨率下降4倍，则下降后的全色图像分辨率与原始多光谱分辨率一样，原始多光谱图像就可以做为评价的参考图像。所采用的评价指标包括：
1) 相关系数(CC)[18]，衡量融合后每个波段图像和对应参考图像多光谱每个波段之间的相关程度。相关系数值越大，表示光谱信息保持越好。
2) 均方根误差(RMSE)[18]，反映融合后每个波段图像与参考图像每个波段之间的光谱差异程度。RMSE值越小表示光谱差异程度越小。
3) 相对全局融合误差(ERGAS)[18]，反映融合后所有波段跟原始参考图像整体的光谱扭曲程度。ERGAS越小，融合后图像整体的光谱差异度同原始参考图像之间的差别就越小。
4) 通用图像质量评价指标(UIQI)[19]，用于比较融合前后相同波段间的差异，其值越大，光谱失真越小。
5) 光谱角(SAM)[20]，表示融合后图像和参考图像矢量间的夹角。夹角越小，两个图像接近程度越高。
从主观视觉效果来看，图 3(d)PCA融合结果色调偏暗，饱和度低。图 3(e)HPF方法融合结果色调偏亮，饱和度过高，存在着严重的光谱失真现象。图 3(g)AWLP方法融合颜色整体跟参考图像保持一致，但是在细节地物的空间信息上表现的不好。图 4(f)GIHS方法中蓝色厂棚的颜色已经失真成白色。图 4(g)AWLP方法得到融合后的图像颜色与标准参考图像最相近，但是左下角植物的细节信息不够清晰。图 4(h)和(i)SR和SGSR方法融合结果更加自然清晰，颜色饱和度更高。图 5(g)可以看到AWLP方法得到的融合图像空间信息保持的较好，但色调整体偏暗。图 5(h)(i)采用SR和SGSR融合算法的实验结果跟参考图像的颜色信息和空间信息较为一致，但在绿色草地区域的颜色表现上不如AWLP方法。SGSR方法比SR方法空间细节更加清晰。
表 1列出了高分一号数据融合结果的客观评价指标。可以看到PCA方法的相关系数CC最低，表示跟参考图像的相关程度最低。AWLP在相关系数上有良好的表现。在由于SR和SGSR方法都显著提高了融合后图像的相关系数CC和UIQI，但是SGSR方法的指标更加理想。
表 1
高分一号实验数据融合结果客观评价指标
Table 1
Objective evaluation index of the fusion results on the Gaofen-1 image experimental data
| 评价指标 | PCA | HPF | GIHS | AWLP | SR | SGSR | |
| CC | R | 0.695 7 | 0.754 9 | 0.846 2 | 0.895 1 | 0.896 6 | 0.901 9 |
| G | 0.681 8 | 0.768 0 | 0.816 1 | 0.906 9 | 0.869 5 | 0.876 8 | |
| B | 0.716 5 | 0.746 7 | 0.793 9 | 0.916 2 | 0.826 7 | 0.871 2 | |
| N | 0.923 8 | 0.796 5 | 0.924 7 | 0.886 3 | 0.933 7 | 0.935 3 | |
| RMSE | R | 14.548 3 | 15.385 0 | 14.548 3 | 17.724 1 | 14.369 6 | 14.345 4 |
| G | 14.514 4 | 15.621 3 | 14.514 4 | 19.728 8 | 14.3363 | 14.326 7 | |
| B | 14.421 8 | 15.460 1 | 14.421 8 | 20.348 8 | 14.283 1 | 14.345 4 | |
| N | 14.998 3 | 15.748 7 | 14.998 3 | 20.758 9 | 14.835 9 | 14.847 6 | |
| UIQI | R | 0.414 9 | 0.451 7 | 0.533 4 | 0.565 5 | 0.601 0 | 0.603 8 |
| G | 0.411 9 | 0.478 1 | 0.516 9 | 0.614 4 | 0.597 6 | 0.600 9 | |
| B | 0.416 1 | 0.428 8 | 0.463 7 | 0.544 3 | 0.551 1 | 0.553 9 | |
| N | 0.477 3 | 0.425 4 | 0.770 0 | 0.673 1 | 0.785 0 | 0.788 3 | |
| ERGAS | 2.521 0 | 2.956 3 | 2.737 1 | 3.677 9 | 2.355 3 | 2.326 1 | |
| SAM | 0.370 7 | 0.320 3 | 0.281 4 | 0.238 1 | 0.228 4 | 0.223 0 | |
| 注：加粗为最优结果。 | |||||||
表 2表示Quickbird遥感数据的客观评价指标，可以看到SGSR方法除了在近红外波段的部分评价指标略低于其他方法，在其余波段都有良好的表现。尽管AWLP在植被区域的视觉效果上好于其他的方法，但由于该方法在RMSE指标上数值较高，所以导致其方法的ERGAS指标也比较高。另外SGSR的SAM值最低，说明空间细节更加丰富。
表 2
Quickbird实验数据融合结果客观评价指标
Table 2
Objective evaluation index of the fusion results on Quickbird experimental data
| 评价指标 | PCA | HPF | GIHS | AWLP | SR | SGSR | |
| CC | R | 0.784 8 | 0.804 7 | 0.893 5 | 0.918 8 | 0.928 4 | 0.932 5 |
| G | 0.779 2 | 0.837 0 | 0.883 0 | 0.916 5 | 0.926 1 | 0.933 7 | |
| B | 0.786 0 | 0.802 3 | 0.851 3 | 0.912 1 | 0.914 5 | 0.928 0 | |
| N | 0.881 9 | 0.812 2 | 0.908 8 | 0.842 0 | 0.912 5 | 0.909 8 | |
| RMSE | R | 14.488 2 | 15.398 2 | 14.286 8 | 20.555 9 | 13.380 0 | 13.261 6 |
| G | 14.522 6 | 15.492 1 | 14.358 6 | 20.887 8 | 13.557 2 | 13.459 1 | |
| B | 14.535 7 | 15.232 9 | 14.149 4 | 24.349 8 | 13.390 8 | 13.312 3 | |
| N | 11.135 1 | 15.585 0 | 14.208 3 | 27.552 8 | 13.561 2 | 13.696 8 | |
| UIQI | R | 0.463 1 | 0.517 6 | 0.598 6 | 0.599 7 | 0.636 5 | 0.642 9 |
| G | 0.447 6 | 0.518 7 | 0.562 5 | 0.618 3 | 0.618 6 | 0.630 8 | |
| B | 0.438 8 | 0.493 9 | 0.536 3 | 0.620 0 | 0.603 3 | 0.617 5 | |
| N | 0.472 5 | 0.402 9 | 0.725 5 | 0.658 0 | 0.737 1 | 0.736 2 | |
| ERGAS | 2.406 1 | 2.718 7 | 2.235 2 | 4.926 0 | 2.014 3 | 1.888 5 | |
| SAM | 0.335 6 | 0.335 6 | 0.264 8 | 0.251 6 | 0.218 7 | 0.212 1 | |
| 注：加粗为最优结果。 | |||||||
表 3为Worldview遥感数据的客观评价指标, 可以看出在Worldview数据中每种算法的相关系数CC结果都比较好，PCA方法仅在相关系数CC结果中前两个波段占优。在UIQI上结果都比较低，说明融合后图像都有一定的光谱失真现象。但是SR与SGSR每个指标都比较均衡，SGSR方法仍在绝大部分指标中占优，说明本文算法融合结果最好，在最大程度保持光谱特性的同时，同时增强了空间分辨率。
表 3
Worldview实验数据融合结果客观评价指标
Table 3
Objective evaluation index of the fusion results on Worldview experimental data
| 评价指标 | PCA | HPF | GIHS | AWLP | SR | SGSR | |
| CC | R | 0.942 3 | 0.887 7 | 0.939 7 | 0.891 0 | 0.932 2 | 0.941 5 |
| G | 0.962 4 | 0.889 1 | 0.936 2 | 0.894 7 | 0.929 8 | 0.940 0 | |
| B | 0.933 4 | 0.876 3 | 0.922 7 | 0.896 8 | 0.924 8 | 0.934 1 | |
| N | 0.870 0 | 0.886 0 | 0.927 4 | 0.898 7 | 0.935 6 | 0.941 3 | |
| RMSE | R | 14.308 3 | 14.972 2 | 12.090 0 | 27.465 1 | 11.677 7 | 10.966 0 |
| G | 14.358 3 | 15.139 1 | 12.174 9 | 27.823 1 | 11.970 2 | 11.276 4 | |
| B | 14.330 6 | 15.389 6 | 12.146 6 | 28.737 4 | 12.023 8 | 11.351 1 | |
| N | 13.959 0 | 15.008 0 | 12.308 8 | 29.401 4 | 11.687 7 | 10.880 0 | |
| UIQI | R | 0.474 4 | 0.483 9 | 0.511 4 | 0.535 1 | 0.552 5 | 0.559 5 |
| G | 0.475 3 | 0.495 8 | 0.519 6 | 0.533 3 | 0.566 8 | 0.574 0 | |
| B | 0.489 6 | 0.501 6 | 0.519 7 | 0.519 8 | 0.575 2 | 0.581 7 | |
| N | 0.325 1 | 0.440 1 | 0.529 2 | 0.547 1 | 0.577 7 | 0.583 3 | |
| ERGAS | 2.596 1 | 2.954 7 | 2.126 7 | 4.494 0 | 1.829 4 | 1.816 8 | |
| SAM | 0.492 1 | 0.340 6 | 0.246 6 | 0.301 9 | 0.267 0 | 0.254 6 | |
| 注：加粗为最优结果。 | |||||||
3.2 未退化遥感图像融合实验
采用分辨率较高、影像质量较好的Quickbird实验数据进行了一组不退化实验，图 6为2015年4月1号深圳市某地区Quickbird遥感图像，包括分辨率0.6 m的PAN图像(图 6(a))和分辨率2.4 m的MS图像(图 6(b))。如其中MS图像的大小为64×64像素，PAN图像的大小为256×256像素。所采用的评价指标如下：
1) 峰值信噪比(PSNR)[21]，psnr值越大，图像越清晰，融合的效果越好。
2) 平均梯度(GRAD)[22]，反映了图像的清晰程度，同时还反映出图像中微小细节反差和纹理变换特征；平均梯度越大，图像层次越多，也越清晰。
3) 信息熵(ENTROPY)[22]，表示图像中包含信息的丰富程度，其值越大表明包含的信息越丰富。
4) 光谱失真指数(Dλ)[23]，表示融合图像和原始多光谱图像的光谱差异度，Dλ值越小越好。
5) 空间失真指数(Ds)[23]，表示融合后图像和全色图像的差异度，Ds值越小越好。
6) 光谱空间联合指数(QNR)[23]，表示整体融合后图像的图像质量。具体融合结果及定量评价指标如图 6和表 4所示。
表 4
未退化Quickbird实验数据融合结果客观评价指标
Table 4
Objective evaluation index of the fusion results on non-degraded Quickbird experimental data
| 评价指标 | PCA | HPF | GIHS | AWLP | SR | SGSR | |
| PSNR | R | 25.085 8 | 24.075 9 | 24.479 5 | 32.620 5 | 25.789 6 | 25.941 7 |
| G | 25.122 5 | 24.103 3 | 24.509 4 | 32.827 0 | 25.827 3 | 25.980 8 | |
| B | 25.151 3 | 24.201 8 | 24.518 8 | 33.694 2 | 25.830 6 | 25.984 2 | |
| N | 25.856 8 | 24.108 3 | 24.171 7 | 25.831 7 | 25.864 2 | 25.939 1 | |
| GRAD | R | 6.558 9 | 7.500 5 | 7.665 3 | 6.783 1 | 7.986 8 | 8.435 2 |
| G | 6.301 5 | 7.694 1 | 7.701 0 | 6.492 7 | 7.823 6 | 8.545 2 | |
| B | 6.198 0 | 7.916 1 | 7.614 2 | 5.824 7 | 7.937 4 | 8.464 2 | |
| N | 5.195 8 | 8.431 2 | 9.249 5 | 7.970 6 | 9.172 6 | 9.270 0 | |
| ENTROPY | R | 6.648 1 | 6.719 7 | 7.344 1 | 7.377 5 | 7.318 3 | 7.459 4 |
| G | 6.605 3 | 6.976 8 | 7.470 8 | 7.303 9 | 7.471 3 | 7.468 8 | |
| B | 6.749 6 | 7.372 4 | 7.432 4 | 7.262 1 | 7.534 4 | 7.639 4 | |
| N | 7.461 1 | 5.759 1 | 7.308 8 | 7.520 1 | 7.551 6 | 7.609 9 | |
| Dλ | 0.050 1 | 0.049 6 | 0.042 2 | 0.046 9 | 0.043 1 | 0.033 7 | |
| Ds | 0.036 9 | 0.086 1 | 0.047 4 | 0.006 6 | 0.021 7 | 0.020 9 | |
| QNR | 0.914 8 | 0.868 6 | 0.912 4 | 0.946 8 | 0.936 1 | 0.946 1 | |
| 注：加粗为最优结果。 | |||||||
在未退化实验结果中，从目视效果上看，在植被覆盖区域，AWLP方法比SGSR方法光谱信息保持得好，但在道路房屋等建筑物区域SGSR方法光谱信息保持效果优于AWLP方法信息的；而且，两种稀疏表示算法在空间信息上表现较好，道路建筑物纹理比AWLP方法清晰；SGSR方法比SR方法光谱信息保持效果和空间信息上均表现得更好，如图 6(g)(h)所示。
从定量指标评价表 4中可以看出，AWLP融合方法前3个波段在PSNR中表现良好，但SRSR融合方法各个波段在GRAD和ENTROPY效果最好。AWLP方法的QNR值为0.946 8稍稍略高于SRSR方法的0.946 1，整体融合后图像的图像质量非常接近。
从上面的融合结果可以看出两种稀疏表示方法的融合效果总体上好于其他经典方法，但是SR算法的问题是需要先学习一个自适应字典后才能计算图像的稀疏系数，并且字典的学习需要不断地迭代优化，而组字典只需要一次SVD分解即可。大大减少了计算复杂度。表 5为进行4组仿真实验时，SR和SGSR训练字典所需要的时间。所进行测试的计算机主频为Interl(R) Core 3.40 GB，matlab版本为R2012b，内存为8 GB。
表 5
SR与SGSR字典学习时间
Table 5
The time of SR and SGSR dictionary learning
| /s | ||||
| Gaofen-1 | Quickbird | Worldview | non-degradedQuickbird | |
| SR | 136.663 1 | 148.356 1 | 170.078 4 | 150.648 3 |
| SGSR | 15.170 5 | 14.643 5 | 12.781 0 | 15.073 2 |
| 注: SR进行字典学习循环50次。 | ||||
从表 5可以观察到，在Worldview遥感图像融合过程中SGSR的字典学习时间最快，约为SR的13倍。其中，对Worldview遥感图像进行融合时采用SR方法进行字典学习循环50次，需要的时间为170 s，而采用SGSR方法进行字典学习的时间仅需要12.8 s。在4组实验过程中，高分一号遥感数据采用SGSR的字典学习时间最慢，为15 s，但仅为SR字典学习时间的九分之一。通过4组实验字典学习时间的比较，SGSR字典学习方法在时间复杂度上远低于SR方法。
4 结论
提出了一种基于组稀疏表示的遥感图像融合方法，通过对亮度分量和PAN图像分别进行字典学习和稀疏求解，对求解后两个稀疏系数根据绝对值最大的规则进行比较，得到一个新的稀疏系数。利用PAN图像的组字典和新的稀疏系数重构出一幅高分辨率的亮度分量。最后根据通用分量替换框架得到每个波段的融合图像。进行3组不同类型的遥感图像仿真实验后，结果证明组稀疏表示方法在某些植被的融合效果上的表现略差于AWLP方法，但是比许多经典融合方法更能保持图像的光谱特性和空间信息，融合后图像色彩自然。由于字典学习算法的优越性，在时间计算复杂度上也远远低于经典的稀疏表示方法。
参考文献
-
[1] Shettigara V K. A generalized component substitution technique for spatial enhancement of multispectral images using a higher resolution data set[J].Photogrammetric Engineering & Remote Sensing,1992,58(5): 561–567.
-
[2] Sun J B, Liu J L, Li J. Multi-source remote sensing image datafusion[J].Journal of Remote Sensing,1998,2(1): 47–50. [ 孙家抦, 刘继琳, 李军. 多源遥感影像融合[J].遥感学报,1998,2(1): 47–50.]
-
[3] Tu T M, Huang P S, Hung C L, et al. A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4): 309–312. [DOI:10.1109/LGRS.2004.834804]
-
[4] Wang H H, Peng J X, Wu W. Remote sensing image fusion using wavelet packet transform[J].Journal of Image and Graphics,2002,7(9): 932–937. [ 王海晖, 彭嘉雄, 吴巍. 基于小波包变换的遥感图象融合[J].中国图象图形学报,2002,7(9): 932–937.] [DOI:10.11834/jig.200209297]
-
[5] Aiazzi B, Alparone L, Baronti S, et al. Generalised Laplacian pyramid-based fusion of MS+P image data with spectral distortion minimisation[J].ISPRS International Archives of Photogrammetry and Remote Sensing,2002,34(Part 3B): B-3–B-6.
-
[6] Hu J, Li S, Yang B. Remote sensing image fusion based on IHS transform and sparse representation[C]//Proceedings of Chinese Conference on Pattern Recognition. Chongqing, China: IEEE, 2010: 1-4. [DOI: 10.1109/CCPR.2010.5659224]
-
[7] Yin W, Li Y X, Zhou Z M, et al. Remote sensing image fusion based on sparserepresentation[J].Acta Optica Sinica,2013,33(4): #0428003. [ 尹雯, 李元祥, 周则明, 等. 基于稀疏表示的遥感图像融合方法[J].光学学报,2013,33(4): #0428003.] [DOI:10.3788/aos201333.0428003]
-
[8] Li X C. Research on super resolution algorithm of natural image based on group sparserepresentation[D]. Nanjing: Nanjing University of Science and Technology, 2014. [李祥灿.基于组稀疏表示的自然图像超分辨率算法研究[D].南京:南京理工大学, 2014.]
-
[9] Zhang J, Zhao D, Gao W. Group-based sparse representation for image restoration[J].IEEE Transactions on Image Processing,2014,23(8): 3336–3351. [DOI:10.1109/TIP.2014.2323127]
-
[10] Dou W, Chen Y H, Li X B, et al. A general framework for component substitution image fusion: an implementation using the fast image fusion method[J].Computer & Geosciences,2007,33(3): 219–228. [DOI:10.1016/j.cageo.2006.06.008]
-
[11] Mallat S G, Zhang Z F. Matching pursuits with time-frequency dictionaries[J].IEEE Transactions on Signal Processing,1993,41(12): 3397–3415. [DOI:10.1109/78.258082]
-
[12] PatiY C, Rezaiifar R, Krishnaprasad P S. Orthogonal matching pursuit: recursive function approximation with applications to wavelet decomposition[C]//Proceedings of Conference Record of the 27th Asilomar Conference on Signals, Systems and Computers. Pacific Grove, CA: IEEE, 1993, 1: 40-44. [DOI: 10.1109/ACSSC.1993.342465]
-
[13] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuit[J].SIAM Review,2001,43(1): 1129–159. [DOI:10.1137/S003614450037906X]
-
[14] Aiazzi B, Baronti S, Selva M. Improving component substitution pansharpening through multivariate regression of MS +Pan data[J].IEEE Transactions on Geoscience and Remote Sensing,2007,45(10): 3230–3239. [DOI:10.1109/TGRS.2007.901007]
-
[15] Chen H, Yu N H, Liu Z K, et al. A new data fusion algorithm for improving remote sensing imagesresolution[J].Journal of Software,2001,12(10): 1534–1539. [ 陈豪, 俞能海, 刘政凯, 等. 面向提高图像分辨率的遥感数据融合新算法[J].软件学报,2001,12(10): 1534–1539.]
-
[16] Dou W, Chen Y H. Image fusion method of high-pass modulation includinginterbandcorrelations[J].Journal of Infrared and Millimeter Waves,2010,29(2): 140–144. [ 窦闻, 陈云浩. 计入波段间相关性的高通调制图像融合方法[J].红外与毫米波学报,2010,29(2): 140–144.] [DOI:10.3724/SP.J.1010.2010.00140]
-
[17] Otazu X, Gonzalez-Audicana M, Fors O, et al. Introduction of sensor spectral response into image fusion methods[J].IEEE Transactions on Geoscience and Remote Sensing,2015,43(10): 2376–2385. [DOI:10.1109/TGRS.2005.856106]
-
[18] Gonzalez-Audicana M, Saleta J L, Catalan R G, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,2004,42(6): 1291–1299. [DOI:10.1109/TGRS.2004.825593]
-
[19] Alparone L, Baronti S, Garzelli A, et al. A global quality measurement of pan-sharpened multispectral imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4): 313–317. [DOI:10.1109/LGRS.2004.836784]
-
[20] Khan MM, Alparone L, Chanussot J. Pansharpening quality assessment using the modulation transfer functions of instruments[J].IEEE Transactions on Geoscience and Remote Sensing,2009,47(11): 3880–3891. [DOI:10.1109/TGRS.2009.2029094]
-
[21] Wang Z, BovikA C, SheikhH R, et al. Image quality assessment: from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4): 600–612. [DOI:10.1109/TIP.2003.819861]
-
[22] Jing Z L, Xiao G, Li Z H. Image Fusion: Theory and Applications[M]. Beijing: High Education Press, 2007 : 1-262. [ 敬忠良, 肖刚, 李振华. 图像融合-理论与应用[M]. 北京: 高等教育出版社, 2007: 1-262.]
-
[23] Alparone L, Aiazzi B, Baronti S, et al. Multispectral and panchromatic data fusion assessment without reference[J].Photogrammetric Engineering & Remote Sensing,2008,74(2): 193–200. [DOI:10.14358/PERS.74.2.193]
