|
发布时间: 2020-03-16 |
CACIS 2019会议专栏 |
|
|
收稿日期: 2019-06-12; 修回日期: 2019-09-08; 预印本日期: 2019-09-15
基金项目: 国家自然科学基金项目(61872327);中央高校基金科研业务费专项资金项目(JD2017JGPY0011, JZ2017HGBZ0930);2019年度高校优秀青年人才项目(gxyq2019068)
第一作者简介:
方帅, 1978年生, 女, 教授, 主要研究方向为计算机视觉、图像复原。E-mail:fangshuai@163.com;
曹风云, 男, 讲师, 主要研究方向为数字图像处理与模式识别。E-mail:caofengyun@hfnu.edu.cn.
中图法分类号: TP751.1
文献标识码: A
文章编号: 1006-8961(2020)03-0579-14
|
摘要
目的 时空融合是解决当前传感器无法兼顾遥感图像的空间分辨率和时间分辨率的有效方法。在只有一对精细-粗略图像作为先验的条件下,当前的时空融合算法在预测地物变化时并不能取得令人满意的结果。针对这个问题,本文提出一种基于线性模型的遥感图像时空融合算法。方法 使用线性关系表示图像间的时间模型,并假设时间模型与传感器无关。通过分析图像时间变化的客观规律,对模型进行全局和局部约束。此外引入一种多时相的相似像素搜寻策略,更灵活地选取相似像素,消除了传统算法存在的模块效应。结果 在两个数据集上与STARFM(spatial and temporal adaptive reflectance fusion model)算法和FSDAF(flexible spatiotemporal data fusion)算法进行比较,实验结果表明,在主要发生物候变化的第1个数据集,本文方法的相关系数CC(correlation coefficient)分别提升了0.25%和0.28%,峰值信噪比PSNR(peak signal-to-noise ratio)分别提升了0.153 1 dB和1.379 dB,均方根误差RMSE(root mean squared error)分别降低了0.05%和0.69%,结构相似性SSIM(structural similarity)分别提升了0.79%和2.3%。在发生剧烈地物变化的第2个数据集,本文方法的相关系数分别提升了6.64%和3.26%,峰值信噪比分别提升了2.086 0 dB和2.510 7 dB,均方根误差分别降低了1.45%和2.08%,结构相似性分别提升了11.76%和11.2%。结论 本文方法根据时间变化的特点,对时间模型进行优化,同时采用更加灵活的相似像素搜寻策略,收到了很好的效果,提升了融合结果的准确性。
关键词
遥感图像; 时空融合; 线性模型; 权重函数; 参数估计
Abstract
Objective Fine resolution images with high acquisition frequency play a key role in earth surface observation. However, due to technical and budget limitations, current satellite sensors have a tradeoff between spatial and temporal resolutions. No single sensor can simultaneously achieve a fine spatial resolution and a frequent revisit cycle although a large number of remote sensing instruments with different spatial and temporal characteristics have been launched. For example, Landsat sensors have fine spatial resolutions (15~60 m) but long revisit frequencies (16 days). By contrast, a moderate resolution imaging spectro-radiometer (MODIS) instrument has a frequent revisit cycle (1 day) but a coarse spatial resolution (250~1 000 m). In addition, optical satellite images are frequently contaminated by clouds, cloud shadows, and other atmospheric conditions. These factors limit applications that require data with both high spatial resolution and high temporal resolution. Spatio-temporal satellite image fusion is an effective way to solve this problem. Many spatio-temporal fusion methods have been proposed recently. Existing spatio-temporal data fusion methods are mainly divided into the following three categories:weight function-based methods, unmixing-based methods, and dictionary learning-based methods. All of these methods require at least one pair of observed coarse- and fine-resolution images for training and a coarse-resolution image at prediction date as input data. The output of spatio-temporal fusion methods is a synthetic fine-resolution image at prediction date. All spatio-temporal fusion methods use spatial information from the input fine-resolution images and temporal information from the coarse-resolution images. Unfortunately, existing spatio-temporal fusion methods cannot achieve satisfactory results in accurately predicting land-cover type change with only one pair of fine-coarse prior images. Thus, spatio-temporal satellite image-fusion method based on linear model is proposed to improve the prediction capacity and accuracy, especially for complex changed landscapes. Method The temporal model is assumed to be independent of sensors, and a linear relationship is used to represent the temporal model between images acquired on different dates. Therefore, the spatio-temporal fusion is transformed into estimating parameters of the temporal model. To accurately capture earth surface change during the period between the input and prediction dates, we carefully analyzed the reasons for the temporal change, and then the temporal change was divided into two types:phonological and land cover type. The former is mainly caused by differences in atmospheric condition, solar angle at different dates, and is global and flat. The latter is mainly caused by the change on the surface, and is local and abrupt. Therefore, parameters of the model from global and local perspectives were estimated. To accurately estimate the parameters, we need to search for similar pixels in the local window to ensure that the pixels used for parameter estimation satisfies spectral consistency. Moreover, considering that the land-cover type may change during the period, we find that the spatial distribution of similar pixels may change at different dates. Therefore, a multi-temporal search strategy is introduced to flexibly select appropriate neighboring pixels. Only pixels that have similar spectral information to the target pixel at both base date and prediction date are considered to be similar pixels, which eliminate the block effect of traditional algorithms. After searching similar pixels and solving the temporal model, the input fine resolution image was combined with the temporal model to predict fine image at target date. The aforementioned strategies make our method achieve good prediction results even if the earth surface changed drastically. Result We compared our model with two popular spatio-temporal fusion models:spatial and temporal adaptive reflectance fusion model (STARFM) and flexible spatiotemporal data fusion (FSDAF) method on two datasets. The experiment results show that our model outperforms all other methods in both datasets. In the first experiment, the dataset constitutes primarily phenological change. Therefore, all three methods achieve satisfactory results and our method achieves the best result. Quantitative comparisons show that our method achieves high correlation coefficient (CC), peak signal-to-noise ratio (PSNR), structural similarity (SSIM), and lower root mean square error (RMSE). Compared with STARFM and FSDAF, our method increases CC by 0.25% and 0.28%, PSNR by 0.153 1 dB and 1.379 dB, SSIM by 0.79% and 2.3%, and decreases RMSE by 0.05% and 0.69%. In the second experiment, the dataset has undergone dramatic land-cover type change. Therefore, both STARFM and FSDAF have block effects at different levels visually. In quantitative assessment, compared with STARFM and FSDAF, our method increases CC by 6.64% and 3.26%, PSNR by 2.086 dB and 2.510 7 dB, SSIM by 11.76% and 11.2%, and decreases RMSE by 1.45% and 2.08%. Conclusion In this study, a spatio-temporal satellite image-fusion method based on linear model is proposed. This method uses a linear model to represent the temporal change. By analyzing the characteristics of the temporal change, the temporal model is constrained from local and global perspectives, and the solved model can represent the temporal change accurately. In addition, the method uses a multi-temporal similar pixel search strategy to search for similar pixels more flexibly, thereby eliminating the block effect of previous methods, fully utilizing spectral information in neighboring similar pixels, and improving the accuracy of prediction results. The experimental results show that in terms of visual comparison, compared with two popular spatiotemporal fusion methods, the proposed method can predict land-cover type change more accurately, and our findings are close to the true image. In the quantitative evaluation, our method improves CC, PSNR, RMSE, SSIM, and other indicators to varying degrees in each band.
Key words
remote sensing; spatio-temporal fusion; linear model; weight function-based method; parameter estimation
0 引言
卫星图像同时具有高空间分辨率和高时间分辨率,是研究地表动态的重要数据,在监测土地变化、灾害检测和估算农作物生长态势等方面具有广泛应用(He等,1999)。然而,由于技术限制等原因,目前没有传感器可以同时具有高精度的空间分辨率和频繁的重访周期,限制了那些同时需要高空间分辨率和高时间分辨率数据的应用(Luo等,2000)。例如,Landsat ETM+(landsat enhanced thematic mapper plus)传感器具有精细的空间分辨率(15~60 m),但重访频率较长(16 d);相比之下,中分辨率成像光谱仪MODIS(moderate resolution imaging spectroradiometer)传感器的重访频率仅为1 d,但空间分辨率比较粗略(250~1 000 m)。为了获取同时具有高空间分辨率和高时间分辨率的数据,将在时间和空间分辨率上互补的多个传感器卫星图像进行融合。以两个传感器为例,其中传感器Ⅰ(如MODIS和Sentinel-3)具有高的重访频率但是空间分辨率很低,传感器Ⅱ(如Landsat ETM+和Sentinel-2)具有高的空间分辨率但重访频率较低。时空融合的目的是输出具有传感器Ⅰ的时间频率和传感器Ⅱ的空间分辨率的合成图像(Zhu等,2018)。
近年来,时空融合经历了快速发展,在该领域已经诞生了多种方法来融合不同类型的遥感图像。现有的时空数据融合方法主要分为以下3类:基于加权函数的方法(Chen等,2018;Cheng等,2017;Gao等,2006;Wang和Huang,2017;Wang等,2015;Wang等,2017;Zhao等,2018;Zhu等,2010)、基于解混的方法(Amorós-López等,2013;Gevaert和García-Haro,2015;Zhukov等,1999;Zurita-Milla等,2008)和基于字典的学习方法(Huang和Song,2012;Song和Huang,2013)。此外,还有基于贝叶斯的方法,基于神经网络的方法(Song等,2018)等。
在基于加权函数的方法中,Gao等人(2006)提出一种遥感图像时空自适应反射率融合模型STARFM(spatial and temporal adaptive reflectance fusion model),假设在相同的时间段内,高空间分辨率低时间分辨率图像(以下称为精细图像)的变化与低空间分辨率高时间分辨率图像(以下称为粗略图像)的变化是一致且可比较的,从而可以将从粗略像素导出的时间变化直接添加到精细图像中的像素上以获得预测。基于STARFM模型,Hilker等人(2009)提出了自适应时空融合变化检测方法STAARCH(spatial temporal adaptive algorithm for mapping reflectance change),能够精确检测土地覆盖类型的变化,但需要多组精细—粗略空间分辨率图像作为输入。Zhu等人(2010)提出了一种增强型的时空自适应反射率融合模型ESTARFM(enhanced spatial and temporal adaptive reflectance fusion model),认为精细图像间的时间变化与粗略图像间的时间变化存在线性关系,并用线性回归的方法来拟合这种关系,与原始的STARFM模型相比,该方法在异质区域取得了更好的效果。
基于解混的方法中,Zhukov等人(1999)提出的多传感器多分辨率技术MMT(multisensor multiresolution technique)是最早的用解混来获得高时间分辨率和空间分辨率图像的方法,主要通过4个步骤预测精细分辨率图像:1)对输入精细图像进行分类以定义粗略图像的端元;2)计算每个粗略像素的端元丰度;3)在移动窗口内解混预测时间的粗略像素;4)将解混的反射率分配给精细像素。近年来,许多研究者对MMT进行改进,Zurita-Milla等人(2008)在线性分离过程中引入约束,以确保求解的反射率值为正且在适当的范围内。Wu等人(2012)通过加权线性混合方法计算反射率变化,并将估计的变化加到基准日期的精细分辨率图像上以得到融合结果。Amorós-López等人(2013)修改代价函数以避免不切实际的光谱估计同时减少解混误差。Gevaert和García-Haro (2015)直接对粗略像素的变化进行解混,以估计端元的变化。Zhu等人(2016)将解混技术与权重函数相结合,提出一种灵活的时空数据融合算法FSDAF(flexible spatiotemporal data fusion),在地物发生剧烈变化时仍能取得良好的预测效果。
在基于字典的学习方法中,Huang和Song(2012)最先将自然图像超分辨率的字典学习技术引入时空数据融合,提出了基于稀疏表达的时空反射率融合模型SPSTFM(sparse-representation-based spatio temporal reflectance fusion model),使用不同观测时间得到的图像间的差分图像块来训练字典,通过稀疏表达建立精细分辨率图像和粗略分辨率图像之间的对应关系,并使用稀疏编码技术重建精细分辨率图像。在SPSTFM之后,Song和Huang(2013)开发了另一种基于单对图像学习的融合方法,仅使用一对精细—粗略图像来训练字典,在输入的精细和粗略分辨率图像对上训练耦合字典,然后通过稀疏编码技术在目标日期重建精细分辨率图像。由于MODIS图像和Landsat图像之间巨大的分辨率差异,该方法使用了双层架构,即首先预测精细分辨率和粗略分辨率之间的中等分辨率图像,然后基于中等分辨率图像预测精细分辨率图像。
在目前的时空融合领域,基于权重函数的融合框架是最主流的方法,该类方法沿用了STARFM算法中的框架。但是在只有一对精细—粗略图像作为先验的条件下,只能通过不同观测时间粗略图像间的差分图像来表达图像的时间变化。然而由于粗略图像的低分辨率,这种方法存在严重的模块效应,并不能准确表达地物的时间变化。因此在地物发生剧烈变化时,难以取得令人满意的结果。针对这种情况,本文提出一种新的遥感图像时空融合方法,主要有以下特点:1)使用线性关系表示遥感图像之间的时间模型,根据时间变化的特性,从局部和全局两个方面对模型进行约束,使得求解的模型能够更准确地表示图像间的时间变化。2)提出一种多时相的相似像素搜寻策略,在搜寻相似像素时更加灵活,能够克服以往的时空融合算法在搜寻相似像素时存在的模块效应,从而提高预测结果的准确性。
1 方法介绍
1.1 算法理论基础
在时空数据融合中,不同时间观测到的图像之间的关系称为时间模型。本文假设时间模型与传感器无关,且可以用线性模型来表示,即
$ C_{2}(x, y, B)=a(x, y, B) \times C_{1}(x, y, B)+b(x, y, B) $ | (1) |
式中,
忽略大气校正和成像角度的差异,
$ F_{2}(x, y, B)=a(x, y, B) \times F_{1}(x, y, B)+b(x, y, B) $ | (2) |
式中,
就本文的时空融合问题而言,已知观测的粗略图像
1.2 时间变化的分析
依据1.1节对时间模型的分析,将时空融合问题转化为估计模型参数,分析模型参数
同一场景不同时刻拍摄的图像发生变化可能有以下两种原因:1)由于拍摄时的大气状态、拍摄角度等条件的差异导致的改变,这种改变可以认为是全局一致的,且变化相对比较平缓;2)由于地物目标发生变化导致的改变,这种改变是局部性的,且改变相对比较剧烈。
基于以上两个原因,模型参数
对于模型参数
2 方法实现
图 1展示了本文方法的流程图。大体来说,本文方法主要分为3个部分:搜寻相似像素,参数估计,精细图像重建。
2.1 搜寻相似像素
1.2节中的分析是基于局部一致性前提下进行的,然而在异质区域进行参数估计时,并不能完全满足局部一致性,尤其随着局部块增大,违背局部一致性的可能性加大。为了准确地进行参数估计,需要在局部区域内搜寻相似像素,确保用来做参数估计的数据满足局部一致性假设。另外,考虑到
基于以上分析,提出一种多时相的相似像素搜寻策略,只有在基础时间和预测时间都与中心像素有着相似光谱信息的像素,才会被认为是中心像素的相似像素。由于
$ \boldsymbol{F M}_{2}=\boldsymbol{M}_{2}+\frac{\boldsymbol{M}_{2}}{\boldsymbol{M}_{1}}\left(\boldsymbol{F}_{1}-\boldsymbol{M}_{1}\right) $ | (3) |
式中,
图 2展示了寻找相似像素的流程。图 2(a)(b)分别是在
2.2 参数估计
在完成相似像素的搜寻后,在局部区域内使用不同时间对应的相似像素进行参数估计。
基于之前对于时间变化的分析,对参数
$ \min \sum\limits_{i}\left[a \times C_{1}\left(x_{i}, y_{i}\right)+b-\bar{r}\right]^{2} $ | (4) |
式中,
根据之前的分析,希望
$ \min |b|^{2} $ | (5) |
综上所述,通过优化代价函数
$ \begin{array}{c} \min \frac{1}{2} \sum\limits_{i}\left[a \times C_{1}\left(x_{i}, y_{i}\right)+b-C_{2}\left(x_{i}, y_{i}\right)\right]^{2}+ \\ \frac{\gamma}{2 N} \sum\limits_{i}\left[a \times C_{1}\left(x_{i}, y_{i}\right)+b-\bar{r}\right]^{2}+\frac{\beta}{2}|b|^{2} \end{array} $ | (6) |
来估计时间模型参数。式(6)中,
$ \begin{array}{c} \min \sum\limits_{i}\left(a^{*}\left(x_{i}, y_{i}\right)-a\left(x_{i}, y_{i}\right)\right)^{2}+ \\ \lambda \cdot c\left(\partial_{x} a^{*}, \partial_{y} a^{*}\right)+\delta \cdot \sum\limits_{i}\left(\left(\partial_{x} a^{*}\left(x_{i}, y_{i}\right)-\right.\right. \\ \left.\left.h\left(x_{i}, y_{i}\right)\right)^{2}+\left(\partial_{y} a^{*}\left(x_{i}, y_{i}\right)-v\left(x_{i}, y_{i}\right)\right)^{2}\right) \end{array} $ | (7) |
式中,
2.3 精细图像重建
相似像素具有近似的光谱特性和时间变化,引入相似像素的光谱信息,可以让预测模型具有更好的鲁棒性。因此引入权重函数修改式(2),重建预测日期的精细图像,具体为
$ \begin{array}{c} F_{2}\left(x_{w / 2}, y_{w / 2}, B\right)= \\ \sum\limits_{i} W_{i} \times\left(a\left(x_{i}, y_{i}, B\right) * F_{1}\left(x_{i}, y_{i}, B\right)+b\left(x_{i}, y_{i}, B\right)\right) \end{array} $ | (8) |
式中,
1) 相似像素与中心像素的位置距离,可以使用像素的几何坐标来计算它们之间的几何距离,具体为
$ {dis}\left(x_{i}, y_{i}\right)=\sqrt{\left(x_{w / 2}-x_{i}\right)^{2}+\left(y_{w / 2}-y_{i}\right)^{2}} $ | (9) |
为了避免几何距离差异过大降低算法的鲁棒性,将几何距离转化为相对几何距离,具体为
$ D\left(x_{i}, y_{i}\right)=1+{dis}\left(x_{i}, y_{i}\right) / R $ | (10) |
式中,
2)
$ S_{t_{1}}\left(x_{i}, y_{i}, B\right)=\left|F_{1}\left(x_{w / 2}, y_{w / 2}, B\right)-F_{1}\left(x_{i}, y_{i}, B\right)\right| $ | (11) |
由此可以判断第
3)
$ \begin{array}{c} S_{t_{2}}\left(x_{i}, y_{i}, B\right)= \\ \left|F M_{2}\left(x_{w / 2}, y_{w / 2}, B\right)-F M_{2}\left(x_{i}, y_{i}, B\right)\right| \end{array} $ | (12) |
由此可以判断第
通过以上3个因素,可以在空间几何距离以及两个时间点的光谱相似性上做出有效约束,使得相似性更高的像素得到更高的权重。综合3个因子,可以计算相似像素的权重,即
$ \begin{array}{c} Q\left(x_{i}, y_{i}, B\right)=\\ \exp \left(-\frac{D\left(x_{i}, y_{i}\right)+S_{t_{1}}\left(x_{i}, y_{i}, B\right)+S_{t_{2}}\left(x_{i}, y_{i}, B\right)}{h^{2}}\right) \end{array} $ | (13) |
式中,
$ W\left(x_{i}, y_{i}, B\right)=\frac{Q\left(x_{i}, y_{i}, B\right)}{\sum\limits_{i=1} Q\left(x_{i}, y_{i}, B\right)} $ | (14) |
3 实验结果与分析
3.1 实验数据与实验参数
本文提到的参数,可以根据处理图像的特性做出调整。在实验中,为了将权重函数约束在一个合理区间内,设置衰减因子
为了避免引入大气校正和图像配准带来的误差,本文中的粗略图像是由精细图像聚合而成的, 该方法在时空融合研究中得到广泛应用(Gevaert和García-Haro,2015;Zhu等,2016;Wang和Atkinson,2018)。为方便计算,实验中的所有图像均映射为精细图像的大小,即这些图像都具有相同的空间分辨率和覆盖范围。
为了展示本文算法的特性,选取4个场景在不同日期的精细—粗略图像对进行实验。
前两组实验使用Landsat ETM+卫星图像和以此聚合而成的类MODIS图像,精细图像空间分辨率为30 m,粗略图像空间分辨率为480 m,聚合尺度系数为16。场景1是2001年5月24日和2001年7月11日在54°N、104°W地区获取的
后两组实验使用Sentinel-2卫星图像和以此聚合而成的类Sentinel-3图像。与前两组实验所用卫星图像相比,后两组实验所用图像的空间分辨率差异更大,Sentinel-2图像空间分辨率为10 m,类Sentinel-3图像空间分辨率为300 m,聚合尺度系数为30。场景3为2019年4月17日和2019年6月11日在安徽庐江获取的
3.2 实验结果分析
选取STARFM(spatial and temporal adaptive reflectance fusion model)算法(Gao等,2006)和FSDAF(flexible spatiotemporal data fusion)算法(Zhu等,2016)与本文算法进行对比实验,比较相关系数CC(correlation coefficient)、峰值信噪比PSNR(peak signal-to-noise ratio)、均方根误差RMSE(root mean squared error)、结构相似性SSIM(structural similarity)、相对全局误差ERGAS(erreur relative globale adimensionnelle de synthèse)和光谱角映射SAM(spectral angle mapper)等6个评价指标。从实验结果来看,本文在物候和土地覆盖类型变化时都能取得良好效果。
场景1主要发生了物候变化,没有剧烈的土地覆盖类型变化,STARFM、FSDAF和本文算法均能取得良好的预测效果,图 7和表 1分别展示了各种算法的视觉比较和量化指标,图 7第2行是第1行红色框内的内容。可以看出,本文算法取得了更好的视觉效果,与STARFM和FSDAF算法相比,本文算法具有更好的评价指标。
表 1
场景1时空融合算法量化比较
Table 1
Quantitative comparison of spatio-temporal fusion methods in scene 1
方法 | 波段 | CC | PSNR/dB | RMSE | SSIM | ERGAS | SAM |
1 | 0.871 0 | 32.661 3 | 0.023 3 | 0.833 9 | |||
STARFM | 2 | 0.816 6 | 30.134 2 | 0.031 2 | 0.791 6 | 0.168 8 | 3.109 4 |
3 | 0.918 6 | 27.852 8 | 0.040 5 | 0.832 7 | |||
平均 | 0.868 7 | 30.216 1 | 0.031 7 | 0.819 4 | |||
1 | 0.875 9 | 32.769 2 | 0.023 0 | 0.825 7 | |||
FSDAF | 2 | 0.812 9 | 29.296 6 | 0.034 3 | 0.763 7 | 0.188 1 | 0.038 1 |
3 | 0.916 5 | 24.904 7 | 0.056 9 | 0.823 4 | |||
平均 | 0.868 4 | 28.990 2 | 0.038 1 | 0.804 3 | |||
1 | 0.871 9 | 32.749 3 | 0.023 1 | 0.839 6 | |||
本文 | 2 | 0.822 9 | 30.496 8 | 0.029 9 | 0.807 2 | 0.163 4 | 2.942 7 |
3 | 0.918 9 | 27.861 5 | 0.040 5 | 0.835 1 | |||
平均 | 0.871 2 | 30.369 2 | 0.031 2 | 0.827 3 | |||
注:加粗字体表示最优结果。 |
场景2的地物在两个日期之间发生了剧烈的土地覆盖类型变化,图 8展示了3种算法在土地覆盖类型发生剧烈变化时的预测效果,第2行是第1行红色框内的内容。从图 8可以看出,STARFM与FSDAF算法在土地覆盖类型发生变化时都没有取得良好的预测效果。由于STARFM算法将从粗略像素导出的时间变化直接添加到精细图像中,因此在预测结果中出现了明显的模块效应。FSDAF算法虽然引入了
表 2
场景2时空融合算法量化比较
Table 2
Quantitative comparison of spatio-temporal fusion methods in scene 2
方法 | 波段 | CC | PSNR/dB | RMSE | SSIM | ERGAS | SAM |
1 | 0.844 4 | 24.947 8 | 0.056 6 | 0.617 8 | |||
STARFM | 2 | 0.869 6 | 24.354 2 | 0.060 6 | 0.625 7 | 0.21 | 4.760 3 |
3 | 0.791 8 | 21.342 6 | 0.085 7 | 0.536 6 | |||
平均 | 0.835 3 | 23.548 2 | 0.067 6 | 0.593 7 | |||
1 | 0.884 0 | 26.221 6 | 0.055 9 | 0.640 8 | |||
FSDAF | 2 | 0.900 4 | 23.565 6 | 0.066 4 | 0.638 4 | 0.225 8 | 4.616 5 |
3 | 0.822 8 | 19.583 2 | 0.099 5 | 0.518 7 | |||
平均 | 0.869 1 | 23.123 5 | 0.073 9 | 0.599 3 | |||
1 | 0.902 7 | 26.952 6 | 0.044 9 | 0.714 2 | |||
本文 | 2 | 0.919 2 | 26.437 6 | 0.047 7 | 0.728 6 | 0.165 3 | 4.206 4 |
3 | 0.883 2 | 23.512 5 | 0.066 7 | 0.691 2 | |||
平均 | 0.901 7 | 25.634 2 | 0.053 1 | 0.711 3 | |||
注:加粗字体表示最优结果。 |
场景3和场景4由于粗略图像和精细图像之间的巨大空间分辨率差异,且两个场景都存在一定程度的土地覆盖类型变化,因此与前两组实验相比,更难得到良好的预测结果。图 9和图 10分别展示了场景3和场景4的视觉比较,第2行是第1行中黄色方框的内容。从结果来看,3种算法均与观测到的真实图像存在较大差异,STARFM算法出现了明显的模块效应,FSDAF算法在预测土地覆盖类型变化时出现了明显误差,相比之下,本文方法更接近真实图像。表 3和表 4是各算法在场景3和场景4预测结果的量化指标。可以看出,与前两组实验相比,后两组实验各个算法在各项指标上均出现了大幅下滑,这是由于更加巨大的空间分辨率差异造成的。不过,与STARFM和FSDAF算法相比,本文方法在大部分指标上均有不同程度的提升。
表 3
场景3时空融合算法量化比较
Table 3
Quantitative comparison of spatio-temporal fusion methods in scene 3
方法 | 波段 | CC | PSNR/dB | RMSE | SSIM | ERGAS | SAM |
1 | 0.624 8 | 14.359 3 | 0.191 4 | 0.321 0 | |||
STARFM | 2 | 0.615 4 | 14.387 5 | 0.190 8 | 0.289 6 | 0.389 5 | 9.149 |
3 | 0.651 4 | 15.543 4 | 0.167 | 0.297 6 | |||
平均 | 0.630 5 | 14.763 4 | 0.183 1 | 0.302 7 | |||
1 | 0.645 8 | 15.215 3 | 0.173 5 | 0.303 7 | |||
FSDAF | 2 | 0.643 4 | 14.952 8 | 0.178 8 | 0.284 3 | 0.358 | 8.788 4 |
3 | 0.685 0 | 16.397 | 0.151 4 | 0.290 4 | |||
平均 | 0.658 1 | 15.521 7 | 0.167 9 | 0.292 8 | |||
1 | 0.724 6 | 15.941 8 | 0.159 6 | 0.422 1 | |||
本文 | 2 | 0.716 2 | 15.738 3 | 0.163 3 | 0.401 5 | 0.330 4 | 8.293 4 |
3 | 0.739 0 | 16.876 4 | 0.143 3 | 0.399 5 | |||
平均 | 0.726 6 | 16.185 5 | 0.155 4 | 0.407 7 | |||
注:加粗字体表示最优结果。 |
表 4
场景4时空融合算法量化比较
Table 4
Quantitative comparison of spatio-temporal fusion methods in scene 4
方法 | 波段 | CC | PSNR/dB | RMSE | SSIM | ERGAS | SAM |
1 | 0.447 0 | 15.244 5 | 0.172 9 | 0.228 0 | |||
STARFM | 2 | 0.471 3 | 18.959 4 | 0.112 7 | 0.311 0 | 0.451 6 | 9.344 |
3 | 0.512 4 | 21.308 8 | 0.086 | 0.402 9 | |||
平均 | 0.476 9 | 18.504 2 | 0.123 9 | 0.314 | |||
1 | 0.487 8 | 17.113 4 | 0.139 4 | 0.258 3 | |||
FSDAF | 2 | 0.488 4 | 19.014 4 | 0.112 | 0.345 | 0.435 5 | 8.433 7 |
3 | 0.516 3 | 21.753 8 | 0.081 7 | 0.453 4 | |||
平均 | 0.497 5 | 19.293 9 | 0.111 | 0.352 2 | |||
1 | 0.576 1 | 17.842 | 0.128 2 | 0.374 5 | |||
本文 | 2 | 0.523 5 | 20.788 7 | 0.091 3 | 0.389 6 | 0.408 3 | 8.584 4 |
3 | 0.537 1 | 22.962 | 0.071 1 | 0.45 | |||
平均 | 0.545 6 | 20.530 9 | 0.096 87 | 0.404 7 | |||
注:加粗字体表示最优结果。 |
4 结论
本文提出一种基于线性模型的遥感图像时空融合算法。通过使用线性模型来表示不同观测时间之间图像的变化,并根据时间变化的特性,从局部和全局两方面对时间模型进行约束,求解出的模型能够准确表示图像之间的时间变化。此外,本文算法使用一种多时相的相似像素搜寻策略,能够更灵活地搜寻相似像素,消除以往算法在搜寻相似像素时存在的模块效应,充分利用相邻相似像素中的光谱信息,提升了预测结果的准确度。从实验结果来看,与传统时空融合算法相比,在视觉比较方面,本文算法能够更准确预测地物发生的变化,预测结果更接近真实图像;在定量评价方面,本文方法在各波段的相关系数、峰值信噪比、均方根误差、结构相似性等指标上均有不同程度的提高。
然而,本文算法仍然存在局限性。为了引入多时相图像的光谱信息,需要对多个时相的图像分别做分类处理,虽然提高了融合的准确性和鲁棒性,但增加了计算的复杂性,降低了算法效率。此外,对
参考文献
-
Amorós-López J, Gómez-Chova L, Alonso L, Guanter L, Zurita-Milla R, Moreno J, Camps-Valls G. 2013. Multi-temporal fusion of Landsat/TM and ENVISAT/MERIS for crop monitoring. International Journal of Applied Earth Observation and Geo-information, 23: 132-141 [DOI:10.1016/j.jag.2012.12.004]
-
Chen B, Chen L F, Huang B, Michishita R, Xu B. 2018. Dynamic monitoring of the Poyang lake wetland by integrating Landsat and MODIS observations. ISPRS Journal of Photogrammetry and Remote Sensing, 139: 75-87 [DOI:10.1016/j.isprsjprs.2018.02.021]
-
Cheng Q, Liu H Q, Shen H F, Wu P H, Zhang L P. 2017. A spatial and temporal nonlocal filter-based data fusion method. IEEE Transactions on Geoscience and Remote Sensing, 55(8): 4476-4488 [DOI:10.1109/TGRS.2017.2692802]
-
Gao F, Masek J, Schwaller M, Hall F. 2006. On the blending of the Landsat and MODIS surface reflectance:predicting daily Landsat surface reflectance. IEEE Transactions on Geoscience and Remote Sensing, 44(8): 2207-2218 [DOI:10.1109/tgrs.2006.872081]
-
Gevaert C M, García-Haro F J. 2015. A comparison of STARFM and an unmixing-based algorithm for Landsat and MODIS data fusion. Remote Sensing of Environment, 156: 34-44 [DOI:10.1016/j.rse.2014.09.012]
-
He G J, Li K L, Hu D Y, Cong B L, Zhang W H. 1999. Information fusion of multisensory satellite remote sensing data:theory, methodology and experiment. Journal of Image and Graphics, 4(9): 744-750 (何国金, 李克鲁, 胡德永, 从柏林, 张雯华. 1999. 多卫星遥感数据的信息融合:理论, 方法和实践. 中国图象图形学报, 4(9): 744-750) [DOI:10.11834/jig.199909177]
-
Hilker T, Wulder M A, Coops N C, Linke J, McDermid G, Masek J G, Gao F, White J C. 2009. A new data fusion model for high spatial- and temporal-resolution mapping of forest disturbance based on Landsat and MODIS. Remote Sensing of Environment, 113(8): 1613-1627 [DOI:10.1016/j.rse.2009.03.007]
-
Huang B, Song H H. 2012. Spatiotemporal reflectance fusion via sparse representation. IEEE Transactions on Geoscience and Remote Sensing, 50(10): 3707-3716 [DOI:10.1109/TGRS.2012.2186638]
-
Luo J C, Zhou C H, Yang Y. 2000. Radial basis function map theory based remote sensing image classification modal. Journal of Image and Graphics, 5(2): 94-99 (骆剑承, 周成虎, 杨艳. 2000. 基于径向基函数(RBF)映射理论的遥感影像分类模型研究. 中国图象图形学报, 5(2): 94-99) [DOI:10.11834/jig.20000202]
-
Song H H, Huang B. 2013. Spatiotemporal satellite image fusion through one-pair image learning. IEEE Transactions on Geoscience and Remote Sensing, 51(4): 1883-1896 [DOI:10.1109/TGRS.2012.2213095]
-
Song H H, Liu Q S, Wang G J, Huang R L, Huang B. 2018. Spatiotemporal satellite image fusion using deep convolutional neural networks. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(3): 821-829 [DOI:10.1109/JSTARS.2018.2797894]
-
Wang J, Huang B. 2017. A rigorously-weighted spatiotemporal fusion model with uncertainty analysis. Remote Sensing, 9(10): 990-1010 [DOI:10.3390/rs9100990]
-
Wang Q M, Atkinson P M. 2018. Spatio-temporal fusion for daily sentinel-2 images. Remote Sensing of Environment, 204: 31-42 [DOI:10.1016/j.rse.2017.10.046]
-
Wang Q M, Shi W Z, Atkinson P M, Zhao Y L. 2015. Downscaling MODIS images with area-to-point regression Kriging. Remote Sensing of Environment, 166: 191-204 [DOI:10.1016/j.rse.2015.06.003]
-
Wang Q M, Zhang Y H, Onojeghuo A O, Zhu X L, Atkinson P M. 2017. Enhancing spatio-temporal fusion of MODIS and Landsat data by incorporating 250 m MODIS data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10(9): 4116-4123 [DOI:10.1109/jstars.2017.2701643]
-
Wu M Q, Niu Z, Wang C Y, Wu C Y, Wang L. 2012. Use of MODIS and Landsat time series data to generate high-resolution temporal synthetic Landsat data using a spatial and temporal reflectance fusion model. Journal of Applied Remote Sensing, 6(1): 063507-1 [DOI:10.1117/1.JRS.6.063507]
-
Xu L, Lu C W, Xu Y, Jia J Y. 2011. Image smoothing via l0 gradient minimization. ACM Transactions on Graphics, 30(6): 1-12 [DOI:10.1145/2070781.2024208]
-
Zhao Y Q, Huang B, Song H H. 2018. A robust adaptive spatial and temporal image fusion model for complex land surface changes. Remote Sensing of Environment, 208: 42-62 [DOI:10.1016/j.rse.2018.02.009]
-
Zhu X L, Cai F Y, Tian J Q, Williams T K A. 2018. Spatiotemporal fusion of multisource remote sensing data:literature survey, taxonomy, principles, applications, and future directions. Remote Sensing, 10(4): 527-549 [DOI:10.3390/rs10040527]
-
Zhu X L, Chen J, Gao F, Chen X H, Masek J G. 2010. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions. Remote Sensing of Environment, 114(11): 2610-2623 [DOI:10.1016/j.rse.2010.05.032]
-
Zhu X L, Helmer E H, Gao F, Liu D S, Chen J, Lefsky M A. 2016. A flexible spatiotemporal method for fusing satellite images with different resolutions. Remote Sensing of Environment, 172: 165-177 [DOI:10.1016/j.rse.2015.11.016]
-
Zhukov B, Oertel D, Lanzl F, Reinhäckel G. 1999. Unmixing-based multisensor multire solution image fusion. IEEE Transactions on Geoscience and Remote Sensing, 37(3): 1212-1226 [DOI:10.1109/36.763276]
-
Zurita-Milla R, Clevers J G P W, Schaepman M E. 2008. Unmixing-based Landsat TM and MERIS FR data fusion. IEEE Geoscience and Remote Sensing Letters, 5(3): 453-457 [DOI:10.1109/lgrs.2008.919685]