Print

发布时间: 2020-04-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190406
2020 | Volume 25 | Number 4




    遥感图像处理    




  <<上一篇 




  下一篇>> 





卷积神经网络提取风云影像土壤湿度
expand article info 韩颖娟1,2,3, 周顺武1, 王文文4, 张学艺2, 张承明3,4,5, 栗佩琪4
1. 南京信息工程大学, 南京 210044;
2. 中国气象局旱区特色农业气象灾害监测预警与风险管理重点实验室, 银川 750002;
3. 中国气象局干旱气候变化与减灾重点开放实验室, 兰州 730020;
4. 山东农业大学信息科学与工程学院, 泰安 271000;
5. 山东省数字农业工程技术研究中心, 泰安 271000

摘要

目的 时空分辨率较高的土壤湿度数据对于生产实践和科学研究具有重要意义。以国产的风云气象卫星为数据源,利用卷积神经网络自主学习输入变量间深层关联的优势,获取高质量土壤湿度数据,为科学研究和生产实践服务。方法 首先构建了一个土壤湿度提取卷积神经网络(soil moisture convolutional neural network,SMCNN),SMCNN由温度子网络和土壤湿度子网络构成,每个子网络均包含特征提取器和编码器。特征提取器用于为每个像素生成一个特征向量,其中温度子网络的特征提取器由11个卷积层组成,湿度子网络的特征提取器由9个卷积层组成,卷积层均使用1×1的卷积核。编码器用于将提取到的特征拟合为目标变量。两个子网络均使用平均方差作为损失函数。使用随机梯度下降算法对模型进行训练,最后利用训练好的模型提取区域土壤湿度数据。结果 选择宁夏回族自治区为实验区,利用获取的2016-2019年风云3D影像和相应地面站点数据作为实验数据,选择线性回归模型、BP(back propagation)神经网络模型作为对比模型开展数据实验,选择均方根误差作为评价指标。实验结果表明,SMCNN的均方根误差为0.006 7,优于对比模型,SMCNN模型在从风云影像中提取土壤湿度方面具有优势。结论 本文利用卷积神经网络分别构建用于反演地表温度和土壤湿度的子网络,再组成一个完整的土壤湿度反演网络结构,从风云3D数据中获取数值精度、时空分辨率均较高的土壤湿度数据,满足了科学研究和生产实践对大范围高精度土壤湿度数据的需求。

关键词

深度学习; 卷积神经网络; 风云3D; 数据拟合; 土壤湿度; 宁夏回族自治区

Extracting soil moisture from Fengyun satellite images using a convolutional neural network
expand article info Han Yingjuan1,2,3, Zhou Shunwu1, Wang Wenwen4, Zhang Xueyi2, Zhang Chengming3,4,5, Li Peiqi4
1. Nanjing University of Information Science and Technology, Nanjing 210044, China;
2. Key Laboratory for Meteorological Disaster Monitoring and Early Warning and Risk Management of Characteristic Agriculture in Arid Regions, CMA, Yinchuan 750002, China;
3. Key Open Laboratory of Arid Climate Change and Disaster Reduction of CMA, Lanzhou 730020, China;
4. College of Information Science and Engineering, Shandong Agricultural University, Tai'an 271000, China;
5. Shandong Technology and Engineering Center for Digital Agriculture, Tai'an 271000, China
Supported by: Natural Science Foundation of Shandong Province, China (ZR2017MD018)

Abstract

Objective Obtaining soil moisture data with high temporal and spatial resolution is important for agricultural management and scientific research. The goal of this study is to use the Fengyun meteorological satellite as the data source, and utilize the advantage of convolutional neural network (CNN) that can independently learn the deep correlation between input variables to obtain high-quality soil moisture data. Fengyun 3 meteorological satellite is China's second-generation meteorological satellite. The goal of Fengyun 3 is to acquire all-weather, multi-spectral and 3D observations of global atmospheric and geophysical elements, providing satellite observation data to medium-term numerical weather prediction; monitoring ecological environment and large-scale natural disasters; providing satellite meteorological information for global environmental change, global climate change research, and others. The medium-resolution spectral imager Ⅱ (MERSI-Ⅱ) is one of the main loads of Fengyun 3D (FY-3D) and is equipped with 25 channels, including 16 visible-near-infrared channels, 3 short-wave infrared channels, and 6 medium-long infrared channels. Among the 25 channels, 6 channels with 250 m ground resolution and 19 channels with 1 000 m ground resolution are obtained. The research used FY-3D to obtain high-precision soil moisture data and constructed a soil moisture monitoring technology system that can greatly reduce the dependence on foreign data, operating cost of large-scale monitoring systems, and improve system stability, safety, and monitoring timeliness. Improving the ability of meteorological services and level of domestic satellite applications is important. To obtain high spatial and temporal resolution soil moisture data using Fengyun satellite imagery, this study proposes a method of extracting soil moisture data using convolutional neural network(CNN). Method CNN is a new machine learning technology that was newly developed in recent years and has attracted research attention because of its powerful autonomous learning ability. This technology has achieved great success in image classification, image segmentation, and other fields. This study constructed a soil moisture convolutional neural network (SMCNN) to achieve the goal of obtaining large-scale high-precision soil moisture monitoring using FY-3D remote sensing image. The SMCNN model includes seven parts, namely, input, temperature subnetwork, normalized difference vegetation index (NDVI) extraction module, enhanced vegetation index (EVI) extraction module, surface albedo extraction module, soil moisture subnetwork, and output. The temperature and soil moisture subnetworks contain a feature extractor and an encoder. The feature extractor is used to generate a feature vector for each pixel, where the feature extractor of the temperature subnetwork has 11 convolutional layers, and the feature extractor of the humidity subnetwork consists of 9 convolutional layers, and the convolutional layer uses a 1×1 type convolution kernel. The encoder is used to fit the extracted features to the target variable. Both subnetworks use the average variance as a loss function. In the model training stage, the preprocessed FY-3D image and corresponding observation point data are used as inputs, and in the model test phase, only the preprocessed FY-3D image is used as the input. The temperature subnetwork is used to obtain the ground temperature from the FY-3D image, the NDVI extraction module is used to extract the NDVI from the FY-3D image, the EVI extraction module is used to extract the EVI from the FY-3D image, and the surface albedo extraction module is used to obtain surface albedo. The extraction results of the aforementioned four parts are used as input to the soil moisture subnetwork. The soil moisture subnetwork uses the extracted ground temperature, NDVI, EVI, and ground albedo to retrieve soil moisture. The output of the model is the pixel-by-pixel soil moisture value. The model is trained using a stochastic gradient descent algorithm, and finally the trained model is used to extract regional soil moisture data. Result Ningxia was selected as the experimental area. The FY-3D used in this study is all from the satellite ground receiving station of Ningxia Meteorological Bureau, including 161 images in 2018 and 92 images in 2019, with a total of 253. After the images were stitched together, a total of 92 images covering the entire territory of Ningxia were formed. The ground observation data used in this study came from the automatic weather station deployed by the Ningxia Meteorological Bureau. The time range was from January 1, 2016 to June 30, 2019. A total of 36 ground temperature stations and 37 soil moisture stations were observed. To verify the validity and rationality of this proposed method, we selected the linear regression and back propagation(BP) neural network models as the contrast models to conduct the data experiment. The mean square error was selected as the evaluation index. The comparison experimental results show that the RMSE of the SMCNN model is 0.006 7, which is higher than the comparison model. The experimental results show that the SMCNN model has advantages in extracting soil moisture from wind cloud images. Conclusion The SMCNN model proposed in this paper fully utilizes deep learning technology to learn independently and improves the accuracy of obtaining soil moisture. The main contributions of this study are as follows:1) Based on the analysis of the characteristics of FY-3D data, a step-by-step inversion strategy is established for the inversion of soil moisture requirements, and each step inversion uses a more relevant variable. The proposed strategy is an important reference for inverting other variables. 2) CNNs are used to construct network structures for inversion of surface temperature and soil moisture, and organized into a complete soil moisture inversion network structure. This structure enables direct access to soil moisture data from FY-3D data. 3) The feature value extracted by the 1×1 type convolution kernel used can be regarded as a spectral index and has a physical meaning. The main disadvantage of this study is that in the late stage of crop growth, the effect of vegetation index becomes invalid due to the saturation problem, which influences the inversion effect. This study aims to find other suitable supplementary parameters to introduce into the model to solve the effect of vegetation index saturation.

Key words

deep learning; convolutional neural network; Fengyun 3D remote sensing; data fitting; soil moisture; Ningxia Hui Autonomous Region

0 引言

土壤湿度是水与能量交换过程的重要参数,在陆地表面蒸散、碳循环等过程中具有重要作用,其中地表土壤湿度对农作物生长变化、土壤退化以及植被覆盖变化等有着重要影响(余凡和赵英时,2011)。因此,如何获取大范围的、时空分辨率精细的、数值精度较高的土壤湿度信息,一直是研究者和工程技术人员面临的挑战性问题(余凡等,2012)。

烘干法、重量水分法、伽马射线衰减法、中子仪法、土壤湿度计法等传统方法能够获取较高精度的土壤湿度数据(杨涛等,2010),但通过这些方法每次只能得到一个点的数据。使用传统方法往往需要耗费较大的人力、物力和时间,致使观测点通常非常稀疏,数据获取的时间间隔较大。由于每个点的空间代表性有限,所得到的数据集很难表现出土壤湿度在空间上的变异特征。随着传感器技术和物联网技术的发展,研究者尝试将其应用于土壤湿度的获取(张健等,2018张永磊等,2017),这种方式虽然能够获取较高时间分辨率的土壤湿度数据,以及与土壤湿度密切相关的地表温度等相关数据,但由于观测点密度仍然比较稀疏,所获取的数据集依然很难表现出土壤湿度的空间变异性,另外,由于传感器存在失效、性能退化等原因,长期使用的传感器所获取的数据精度有可能降低。在获取大范围的土壤湿度数据集的研究中,传统观测方法和传感器方法主要作为其他方法的“真值”数据使用。

研究者根据物质守恒定律,尝试建立了水分平衡方程,试图通过对方程求解获取土壤湿度数据。影响较大的水分平衡方程主要有:热惯量模型(Price, 1977, 1985England等,1992), 土壤—植被—大气转换模型法(卫三平等,2008), 植物蒸散法(Idso等,1981)等。理想实验条件下,这种方法能够快速、准确地为研究者和工程技术人员提供任一时间范围的,高精度土壤湿度数据。但这些模型往往需要大量其他类型数据的支持,在实际应用中很难满足,导致应用范围有限。

遥感技术能够快速获取地表信息,具有监测范围广、速度快、成本低等优点,为获取大范围土壤湿度信息提供了技术基础。遥感影像并不能直接提供土壤湿度信息,需要通过分析遥感图像中包含的地表的电磁波信息,建立波段信息与土壤水分的关系,才能够获取到较大范围的土壤湿度数据(杨涛等,2010刘欢等,2012)。光学遥感、多/高光谱遥感、微波遥感在反演土壤湿度方面各有优势,需要根据研究区域的地表特点选择适合的遥感数据源(毛克彪等,2007)。

由于遥感图像提供的波段信息与土壤水分间存在非常复杂的非线性关系,利用遥感图像反演土壤湿度的关键是如何更好地对其进行逼近(王俊霞等,2019)。针对不同遥感数据的特点,研究者提出或发展了一系列反演方法。

在光学和热红外反演方面,有光谱法(刘培君等,1997孙建英等,2007)、植被指数法、热惯量法(Price等,1977, 1985England等,1992)、植物蒸散法(Idso等,1981)、温度植被干旱指数(Sandholt等,2002石玉等,2015)、水分亏缺指数(齐述华等,2005)等。在植被指数法方面,目前已经提出了40余种植被指数(晏红波和周国清,2017),包括归一化植被指数法(许丽娜等,2011),距平植被指数法(陈维英等,1994)、条件植被指数法(Kogan,1990)和垂直植被指数法(杨涛等,2010Ghulam等,2007)等。其中,光谱法通过直接建立土壤波段信息与土壤水分信息间的关系来获取土壤湿度,但由于可见光—近红外波段穿透云层和植被冠层的能力有限,主要适用于裸土区域;植被指数法适用于植被覆盖区域,但由于水分对植被的作用具有滞后性,单纯使用该方法精度较差;热惯量法是从土壤本身的热特性出发反演土壤水分,要求获取纯土壤单元的温度信息,主要适用于裸土地表类型。植物蒸散法计算土壤湿度需要测量大量参数,其中植被最小冠层阻力的确定异常困难,而且在计算过程中很多参数需要假定,因此,该模型反演土壤湿度的精度并不高,应用范围也受到极大的限制。温度植被干旱指数和水分亏缺指数均属于统计经验模型,应用于小范围的反演时能获得较高的精度,但直接应用于大区域反演时,由于空间异质性的原因,需要对模型进一步改进。

在多/高光谱反演方法方面,一般通过使用主成分分析法确定与土壤湿度相关性较强的若干个波段,然后再通过线性回归方法(张莉和孙虎,2009)、神经网络方法(陈硕博等,2018)等建立土壤湿度值与光谱信息间的关系。线性回归模拟拟合能力有限,当影像波段信息与土壤湿度信息存在较好的线性关系时比较有效,但由于波段信息与土壤湿度数据间往往存在非常复杂的非线性关系,导致反演结果的精度较低。神经网络能够从训练数据中发现波段数据与土壤湿度间的深层关系,更好地对二者间的相关关系进行描述,大大提高了模型的适用范围和反演结果的精度。

微波具有较强的穿透能力,而且对土壤中的水分含量比较敏感,在监测土壤水分中具有一定的优势。反演土壤水分时,主动微波主要通过后向散射系数进行反演,被动微波主要利用亮度温度进行反演。主动微波遥感的低频波段后向散射系数对土壤水分高度敏感,高频波段后向散射系数对植被敏感,L波段和C波段是反演土壤水分时使用较多的两个波段(余凡和赵英时,2011余凡等,2012)。几何光学模型(geometrical optics model,GOM)(孙凤娟等,2018)、物理光学模型(physical optics model,POM)(李星敏等,2005)和小扰动模型(small perturbation model,SPM)(Fung等,1992)是经典的基于后向散射理论模型。GOM适用于非常粗糙的表面,POM适用于中等粗糙的表面,SPM适用于较为光滑的表面。IEM(integrated equation model)(Wigneron等,2003Dobson和Ulaby,1986)、MIMICS(michigan microwave canopy scattering models)(Ulaby等,1988)也是应用较多的物理模型。利用被动微波反演土壤湿度时,应用较多的方法是最优迭代算法(Njoku和Li,1999Wigneron等,2000)。微波反演土壤水分虽然不受大气和云的影响,物理意义明确,但受地表粗糙度和植被覆盖的影响较大,虽然MIMICS等模型具有一定的削除植被影响的能力,但参数结构复杂,影响了模型的应用。主动微波虽然空间分辨率较高,但时间分辨率低;而被动微波时间分辨率较高,空间覆盖范围广,但空间分辨率过低,在应用时需要根据研究目标进行合理选择。

卷积神经网络是新发展起来的一种新的机器学习技术,因其具有强大的自主学习能力得到重视,目前在图像分类(Krizhevsky等,2017Szegedy等,2015Simonyan和Zisserman,2014He等,2016)、图像分割等领域已经取得了具大的成功(Shelhamer等,2017Badrinarayanan等,2017Ronneberger等,2015Chen等,2018Lin等,2016)。

风云三号D星(FY-3D)气象卫星是我国第二代极轨气象卫星,开展利用FY-3D获取高精度土壤湿度的研究,构建土壤湿度监测技术体系,能够大大减少对国外数据的依赖,降低大范围监测业务系统的运行成本,提高系统的稳定性、安全性与监测时效,对于提高气象服务保障能力,提高国产卫星应用水平具有重要意义。本文以卷积神经网络为基础,构建了土壤湿度反演模型(soil moisture convolutional neural network, SMCNN),实现了利用FY-3D遥感影像进行大范围土壤湿度监测的目标。

1 实验区和数据

1.1 实验区

选择宁夏回族自治区作为研究的实验区。宁夏回族自治区地处黄土高原与内蒙古高原的过渡地带,地理位置在东经104°17′~109°39′,北纬35°14′~39°14′之间,总面积约6.64万km2。宁夏地势南高北低,南部以流水侵蚀的黄土地貌为主,中部和北部以干旱剥蚀、风蚀地貌为主;气候类型为典型的大陆性气候,最南端的六盘山区属半湿润区,卫宁平原以北属干旱区,其他地区为半干旱区。根据宁夏的气候条件、农牧业分布和生态环境状况以及传统的习惯,通常把宁夏由北向南划分为引黄灌区、中部干旱带和南部山区。图 1给出了宁夏回族自治区的地理位置和地面站点的空间分布。宁夏回族自治区的气象、地形地表条件在我国西北地区具有较强的代表性,适宜作为研究实验区。

图 1 研究区地理位置和观测站分布
Fig. 1 Geographical location of the study area and station distribution

1.2 地面观测数据

实验中使用的地面观测数据来自宁夏气象局布设的自动气象站,时间范围为2016年1月1日至2019年6月30日。自动气象站分布如图 1所示,其中地面温度站36个,土壤湿度站37个。

通过自动气象站获取到的数据可能存在失效问题,需要通过预处理将无效数据剔除掉。预处理通过人工检查、筛选的方式完成。图 2给出了一个正常的站点获取的数据和一个失效站点获取的数据。

图 2 正常站点与非正常站点示例
Fig. 2 Example of normal station and unnormal station((a) normal station; (b) unnormal station)

图 2可以看出,处于正常工作状态的观测站点,当降雨达到一定程度后,土壤温度数据呈上升趋势;而当降雨结束一段时间后,土壤湿度呈下降趋势;而处于非正常工作的观测站点,土壤湿度的变化方式基本与降雨无关。因此,根据降雨后土壤湿度数据的变化,可以判断观测站是否处于正常的工作状态,进而可以将非正常工作的站点数据剔除。

1.3 风云3D数据

中分辨率光谱成像仪Ⅱ型(medium resolution spectral imager Ⅱ,MERSI-Ⅱ)是FY-3D的主要载荷之一,共配备25个通道,包括16个可见光—近红外通道、3个短波红外通道和6个中长波红外通道;25个通道中,250 m地面分辨率通道6个,1 000 m地面分辨率通道19个。

本文使用的FY-3D来自宁夏气象局卫星地面接收站,2018年161幅,2019年92幅,共253幅。这些影像拼接后,共形成92幅能够完整覆盖宁夏全境的图像。使用国家卫星气象中心自主开发的图像处理软件对FY-3D数据进行预处理,经过MERSI数据的多通道定标、地理定位、拼接、投影转换等预处理后,得到ENVI(the environment for visualizing images)软件可以直接读取的数据集,数据的空间分辨率为250 m。

2 SMCNN模型

图 3给出了SMCNN的整体结构图。从图 3可以看出,SMCNN模型包括输入、温度子网络、归一化植被指数(normalized difference vegetation index,NDVI)提取、增强型植被指数(enhance vegetation index,EVI)提取、地表反照率提取、土壤湿度子网络和输出7部分组成。在模型训练阶段,使用预处理后的FY-3D图像和对应的观测点数据作为输入,在模型测试阶段,仅使用预处理后的FY-3D图像作为输入。温度子网络用于从FY-3D图像中获取地面温度,NDVI提取模块用于从FY-3D图像中提取NDVI,EVI提取模块用于从FY-3D图像中提取EVI,地表反照率提取模块用于从FY-3D图像中提取地面反照率,上述4个部分的提取结果将作为土壤湿度子网络的输入。土壤湿度子网络利用提取的地面温度、NDVI、EVI和地面反照率反演土壤湿度。模型的输出为逐像素土壤湿度值。

图 3 SMCNN模型结构
Fig. 3 Structure of SMCNN

2.1 温度子网络

温度子网络共包含1个预处理器、1个特征提取器和1个编码器,其中,特征提取器由10个特征提取层组成。

预处理器从输入的FY-3D图像中选择出与温度相关性强的波段,包括1,2,3,4,5,6,7,20,21,24,25共11个波段,作为特征提取器的输入。

每个特征提取层包括1个卷积层,1个BN(batch normalization)层和1个激活层,卷积层包含一组类型为1×1类型的卷积核。每个1×1型卷积核能够表示一个线性拟合运算,如图 4所示。

图 4 卷积核作用示意图
Fig. 4 Schematic diagram of convolution kernel action

图 4左侧表示输入向量,右侧表示输入向量的一种拟合结果。对于第1个特征提取层,特征向量是指像元的波段值序列;对于其他特征提取层,特征向量指像元通过上一个特征提取层产生的特征值序列。w1, w2, …, wn表示卷积核的各分量值,b1, b2, …, bn表示相应的偏移量。w1, w2, …, wnb1, b2, …, bn的具体值需要通过训练确定。

特征提取器所包含的10个特征提取层通过叠加的方式连接起来,为每个像素生成一个特征向量,特征向量表达了像素的波段值间的相关关系。表 1给出了各个卷积层使用的卷积核数量。

表 1 温度子网络各个卷积层使用的卷积核数量
Table 1 Number of convolutional kernels used in each layer of temperature sub network

下载CSV
卷积层编号 卷积核数量
1,2 64
3,4,5 128
6,7,8 256
9,10 128
11 64

编码器层是仅包含1个1×1类型卷积核的卷积层,用于将像素的特征向量拟合为温度值。拟合层的输出是一个与输入图像行列数相同的2维数组。每个值表示对应像素的温度。

2.2 土壤湿度子网络

土壤湿度子网络需要温度、NDVI、EVI和地面反照率作为输入,其中,温度由温度子网络提供,NDVI使用石玉等人(2015)方法从FY-3D图像中提取,EVI使用王正兴等人(2003)方法从FY-3D图像中提取,地面反照率使用毋杰等人(2017)方法从FY-3D图像中提取。

土壤湿度子网络由1个特征提取器和1个编码器组成,每个组成部分与温度子网络的相应部分结构相似。土壤湿度子网络的特征提取器共使用了9个卷积层,每个卷积层使用的卷积核数如表 2所示。

表 2 土壤湿度子网络各个卷积层使用的卷积核数量
Table 2 Number of convolutional kernels used in each layer of soil moisture sub network

下载CSV
卷积层编号 卷积核数量
1,2 64
3,4 128
5,6,7 256
8 128
9 64

2.3 损失函数

SMCNN模型使用平均方差作为损失函数,定义为

$ \mathit{loss} = \frac{1}{{{t_s}}}\sum\limits_{i = 1}^{{t_s}} | p - t{|^2} $ (1)

式中,$t_s$表示样本总数,$p$表示模型计算出的预测值,$t$表示相应的真实值。训练温度子网络时,$t$使用地面观测站获取的温度值;训练土壤湿度子网络时,$t$使用地面观测站获取的土壤湿度值。

2.4 训练模型

SMCNN网络的训练被分为两步,先训练温度子网络,再利用温度子网络输出的温度值,对土壤湿度子网络进行训练。训练两个子网络的步骤相同,具体为

1) 确定训练过程中的超参数,并对待训练的子网络的参数进行初始化;

2) 将选择出的FY-3D图像和相应的地面观测数据作为训练数据输入到待训练的子网络;

3) 使用模型对当前的训练数据进行一次前向计算;

4) 根据式(1),计算损失函数值;

5) 使用随机梯度下降算法,对子网络模型的参数进行更新,完成一次训练过程;

6) 重复步骤3)—5),直到损失函数小于指定的期望值。

3 实验结果与评价

3.1 实验设计

从目前公开的文献来看,在反演土壤湿度时,线性回归模型和BP神经网络模型是研究者使用较多的模型,因此,本文选择了线性回归模型和BP神经网络模型作为对比模型。

使用一台图形工作站开展对比实验,该图形工作站安装了一个容量为12 GB的NVIDIA显卡,实验所用的操作系统为Linux Ubuntu 16.04。

选择87幅拼接后的FY-3D图像及其对应时间的地面站点数据进行对比实验,每幅图像均覆盖全部的地面观测点。从每幅图像覆盖的地面观测数据中,选择29个温度数据和29个土壤湿度数据作为训练数据,其余的7个温度数据和8个土壤湿度数据作为测试数据。表 3给出了对比实验使用的样本情况。

表 3 对比实验中使用的样本数量
Table 3 Number of samples used in the comparison experiment

下载CSV
训练样本数 测试样本数
温度 2 523 609
土壤湿度 2 523 696

3.2 实验结果评价

图 5显示了2018年4月17日、2018年5月1日、2018年5月31日、2018年6月14日共4个时期的实验区土壤湿度反演结果。

图 5 土壤湿度反演结果
Fig. 5 Extracting results of soil moisture((a) SMCNN; (b) linear regression model; (c) BP neural network)

图 5可以看出,尽管3个模型的反演结果都能够在一定程度上反映实验地区土壤湿度的情况,但SMCNN的结果要优于对比模型。在SMCNN模型反演结果中,土壤湿度变化比较平滑,这与土壤湿度的实际变化是一致的;在线性回归模型和BP神经网络模型的反演结果中,均存在相邻位置的土壤湿度变化量较大的情况。

利用测试站点的实测数据和相应的反演结果,制作了精度验证图,图 6给出了3个模型测试结果的精度验证图。

图 6 精度验证
Fig. 6 Accuracy verification of soil moisture((a) SMCNN; (b) linear regression model; (c)BP neural network)

图 6可以看出,SMCNN反演结果中,在绝大多数的验证点,反演得到的土壤湿度数据与实测数据的吻合度较高;而在线性回归模型和BP神经网络的反演结果中,均存在一定数据量的误差较大的验证点。选择${R^2}$和均方根误差(RMSE)作为评价指标对对比实验的结果进行评价,计算公式分别为

$ {R^2} = \frac{{\sum\limits_{i = 1}^n {{{\left({{p_i} - \bar y} \right)}^2}} }}{{\sum\limits_{i = 1}^n {{{\left({{y_i} - \bar y} \right)}^2}} }} $ (2)

$ {R_{{\rm{MSE}}}} = \sqrt {\frac{{\sum\limits_{i = 1}^n {{{\left({{p_i} - \bar y} \right)}^2}} }}{n}} $ (3)

式中,${p_i}$表示模型输出的土壤湿度值,$\bar y$表示土壤湿度平均值,${y_i}$表示地面观测点获取的土壤湿度值,即“真值”。

${R^2}$越接近1,说明模型对于样本数据的拟合度越高,${\mathit{R}_{{\rm{MSE}}}}$越小,表示模型的精度越高。表 4给出了各个模型的精度评价表。

表 4 对比模型精度评价表
Table 4 Accuracy evaluation of the three comparison models

下载CSV
模型 ${R^2}$ ${\mathit{R}_{{\rm{MSE}}}}$
SMCNN 0.893 0.006 7
线性回归模型 0.311 0.134
BP神经网络模型 0.615 0.011

表 4中可以看出,SMCNN的${R^2}$最高,达到了0.893,而${\mathit{R}_{{\rm{MSE}}}}$仅为0.006 7,均优于对比模型。

4 讨论

线性回归模型、BP神经网络模型和卷积神经网络模型都属于机器学习的范畴。从对比实验结果来看,尽管3种模型的反演精度和模型有一定的差异,但都能对土壤湿度进行反演,而且所建立的模型在相同的区域具有较强的稳定性,体现了机器学习的优势。造成3种模型反演精度差异的主要原因在于模型的学习能力有差别,本文将从以下方面进行分析。

4.1 反演策略的合理性分析

在FY-3D卫星搭载的MERSI探测器共有25个通道,包括16个可见光—近红外通道、3个短波红外通道和6个中长波红外通道,其中,通道1-7,20,21,24,25主要用于观测陆地表面信息,这些通道与地表温度直接相关,而与土壤湿度是间接相关。针对FY-3D数据的具体情况,采用了分步反演的策略,首先通过通道1-7,20,21,24,25反演出地表温度,再利用与土壤湿度直接相关的地表温度、NDVI、EVI和地面反照率的数据进行土壤湿度的反演,这种反演策略的优势在于能够保证输入数据与输出数据的相关性,保证机器学习算法挖掘出的输入数据间的深层联系具有实际的关联意义,从而保证了反演能够成功。从对比实验的结果看,3个对比实验都能取得成功,说明了该策略的合理性。

4.2 模型性能对比分析

温度子网络中,特征提取器使用的卷积核全部为1×1型卷积核,因此,经过训练后得到的第1层卷积的64个卷积核,可以看做64种光谱指数;从第2层到最后一层,可以看做挖掘光谱指数间的关联。土壤湿度子网络的物理意义,在于寻求与土壤湿度紧密相关的地表温度、NDVI、EVI和地面反照率间的关联关系。

SMCNN模型能够通过深层卷积的方式,挖掘出输入变量间存在的内在的、具有较强物理意义的关联关系,并使用数值运算的方式,把这种关联关系表达出来。虽然网络的层数、卷积核数量等设置仍具有一定的主观性,但所挖掘出的数据间的联系较为稳定,模型能够对多期FY-3D数据影像进行成功反演可以证明这一点。

从对比实验结果来看,SMCNN模型的精度最高,BP神经网络次之,线性回归模型最差。主要原因包括:

1) 无论是土壤湿度,还是地表温度,都与输入数据间存在着非常复杂的关联关系,而不是简单的线性关系,因此,虽然线性回归模型具有一定的自我学习能力,但仍不足于表达输入数据间的复杂关联;相比而言,BP神经网络具有一定的表达非线性组合的能力,但与卷积神经网络所具有的强大的非线性表达能力仍有较大的差距。

2) 在3种模型中,线性回归模型结构最为简单,参数量最少,能够挖掘出的关联信息也最少;SMCNN模型的结构完整,参数较多,而这些参数是通过反复训练优化得到的,因而能够挖掘出最多的关联信息。

4.3 输入数据组织的对比分析

SMCNN模型直接使用FY-3D图像作为输入,不需要经过转换,有利于算法的运行和数据组织;而线性回归模型和BP神经网络,需要将每个像素的通道数据转化为向量方式才能进行处理,增加了预处理的工作量。

5 结论

针对从国产风云卫星影像获取质量较高的土壤湿度数据的实际需要,以卷积神经网络为基础构建了一种土壤湿度反演方法,达到了获取数值精度、时空分辨率均较高的土壤湿度数据的目标,满足了科学研究和生产实践对大范围高精度土壤湿度数据的需求。通过本文方法能够大大减少对国外数据的依赖,降低大范围监测业务系统的运行成本,提高系统的稳定性、安全性与监测时效,对于提高气象服务保障能力,提高国产卫星应用水平具有重要意义。

本文主要贡献为:1)利用卷积神经网络分别构建用于反演地表温度和土壤湿度的子网络,然后再利用两个子网络组织成一个完整的土壤湿度反演网络结构,从而直接从FY-3D数据中获取土壤湿度数据; 2)使用1×1型卷积核直接从输入数据中提取输入变量间关联关系,具有一定的物理意义; 3)采用了一种分步反演策略,每一步反演时,选择使用具有相关性较强的输入变量与目标变量,从而保证了反演成功,这一策略对于反演其他目标变量同样具有参考意义。

主要不足在于,在作物生长后期,由于植被指数可能会有饱和问题,会导致植被指数的作用失效,从而影响反演效果。下一步的研究中,将寻找其他更为合适的补充参数引入到模型中,解决植被指数饱和带来的影响。

参考文献

  • Badrinarayanan V, Kendall A, Cipolla R. 2017. SegNet:a deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495 [DOI:10.1109/TPAMI.2016.2644615]
  • Chen L C, Papandreou G, Kokkinos I, Murphy K, Yuille A L. 2018. DeepLab:semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(4): 834-848 [DOI:10.1109/TPAMI.2017.2699184]
  • Chen S B, Chen J Y, Zhang Z T, Bian J, Wang Y F, Shi S L. 2018. Retrieving soil water content of winter wheat during heading period by multi-spectral remote sensing of Unmanned Aerial Vehicle (UAV). Water Saving Irrigation, (5): 39-43 (陈硕博, 陈俊英, 张智韬, 边江, 王禹枫, 石树兰. 2018. 无人机多光谱遥感反演抽穗期冬小麦土壤含水率研究. 节水灌溉, (5): 39-43) [DOI:10.3969/j.issn.1007-4929.2018.05.009]
  • Chen W Y, Xiao Q G, Sheng Y W. 1994. Application of the anomaly vegetation index to monitoring heavy drought in 1992. Remote Sensing of Environment China, 9(2): 106-112 (陈维英, 肖乾广, 盛永伟. 1994. 距平植被指数在1992年特大干旱监测中的应用. 环境遥感, 9(2): 106-112)
  • Dobson M C, Ulaby F T. 1986. Active microwave soil moisture research. IEEE Transactions on Geoscience and Remote Sensing, GE-24, (1): 23-36 [DOI:10.1109/TGRS.1986.289585]
  • England A W, Galantowicz J F, Schretter M S. 1992. The radiobrightness thermal inertia measure of soil moisture. IEEE Transactions on Geoscience and Remote Sensing, 30(1): 132-139 [DOI:10.1109/36.124223]
  • Fung A K, Li Z, Chen K S. 1992. Backscattering from a randomly rough dielectric surface. IEEE Transactions on Geoscience and Remote Sensing, 30(2): 356-369 [DOI:10.1109/36.134085]
  • Ghulam A, Qin Q M, Zhan Z M. 2007. Designing of the perpendicular drought index. Environmental Geology, 52(6): 1045-1052 [DOI:10.1007/s00254-006-0544-2]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778[DOI:10.1109/CVPR.2016.90]
  • Idso S B, Jackson R D, Pinter P J Jr, Reginato R J, Hatfield J L. 1981. Normalizing the stress-degree-day parameter for environmental variability. Agricultural Meteorology, 24: 45-55 [DOI:10.1016/0002-1571(81)90032-7]
  • Kogan F N. 1990. Remote sensing of weather impacts on vegetation in non-homogeneous areas. International Journal of Remote Sensing, 11(8): 1405-1419 [DOI:10.1080/01431169008955102]
  • Krizhevsky A, Sutskever I, Hinton G E. 2017. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90 [DOI:10.1145/3065386]
  • Li X M, Liu A L, Zhang S Y, Wang Z. 2005. Use of thermal inertia approach in the monitoring of drought by remote wensing. Agricultural Research in the Arid Areas, 23(1): 54-59 (李星敏, 刘安麟, 张树誉, 王钊. 2005. 热惯量法在干旱遥感监测中的应用研究. 干旱地区农业研究, 23(1): 54-59) [DOI:10.3321/j.issn:1000-7601.2005.01.010]
  • Lin G S, Milan A, Shen C H and Reid I. 2016. RefineNet: multi-path refinement networks for high-resolution semantic segmentation.[EB/OL].[2019-07-12].https://arxiv.org/pdf/1611.06612.pdf
  • Liu H, Liu R G, Liu S Y. 2012. Review of drought monitoring by remote sensing. Journal of Geo-Information Science, 14(2): 232-239 (刘欢, 刘荣高, 刘世阳. 2012. 干旱遥感监测方法及其应用发展. 地球信息科学学报, 14(2): 232-239) [DOI:10.3724/SP.J.1047.2012.00232]
  • Liu P J, Zhang L, Kurban A, Chang P, Li L X, Pularti, Zhao B K. 1997. A method for monitoring soil water contents using satellite remote sensing. Journal of Remote Sensing, 1(2): 135-138 (刘培君, 张琳, 艾里西尔·库尔班, 常萍, 李良序, 镨拉提, 赵兵科. 1997. 卫星遥感估测土壤水分的一种方法. 遥感学报, 1(2): 135-138) [DOI:10.11834/jrs.19970210]
  • Mao K B, Tang H J, Zhou Q B, Chen Y Q. 2007. A survey of soil moisture retrieval by passive microwave remote sensing. Remote Sensing Technology and Application, 22(3): 466-470 (毛克彪, 唐华俊, 周清波, 陈佑启. 2007. 被动微波遥感土壤水分反演研究综述. 遥感技术与应用, 22(3): 466-470) [DOI:10.3969/j.issn.1004-0323.2007.03.028]
  • Njoku E G, Li L. 1999. Retrieval of land surface parameters using passive microwave measurements at 6-18 GHz. IEEE Transactions on Geoscience and Remote Sensing, 37(1): 79-93 [DOI:10.1109/36.739125]
  • Price J C. 1977. Thermal inertia mapping:a new view of the Earth. Journal of Geophysical Research, 82(18): 2582-2590 [DOI:10.1029/jc082i018p02582]
  • Price J C. 1985. On the analysis of thermal infrared imagery:the limited utility of apparent thermal inertia. Remote Sensing of Environment, 18(1): 59-73 [DOI:10.1016/0034-4257(85)90038-0]
  • Qi S H, Zhang Y P, Niu Z, Wang C Y, Zheng L. 2005. Application of water deficit index in drought monitoring in China with remote sensing. Acta Pedologica Sinica, 42(3): 367-372 (齐述华, 张源沛, 牛铮, 王长耀, 郑林. 2005. 水分亏缺指数在全国干旱遥感监测中的应用研究. 土壤学报, 42(3): 367-372) [DOI:10.11766/trxb200406070303]
  • Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer: 234-241[DOI:10.1007/978-3-319-24574-4_28]
  • Sandholt I, Rasmussen K, Andersen J. 2002. A simple interpretation of the surface temperature/vegetation index space for assessment of surface moisture status. Remote Sensing of Environment, 79(2/3): 213-224 [DOI:10.1016/s0034-4257(01)00274-7]
  • Shelhamer E, Long J, Darrell T. 2017. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(4): 640-651 [DOI:10.1109/TPAMI.2016.2572683]
  • Shi Y, Gong H R, Zhang X, Li C. 2015. Soil moisture retrieval with temperature-vegetation dryness index of FY-3/MERSI data. Science of Surveying and Mapping, 40(11): 63-66, 84 (石玉, 宫恒瑞, 张旭, 李聪. 2015. 风云三号温度植被指数反演土壤湿度研究. 测绘科学, 40(11): 63-66, 84) [DOI:10.16251/j.cnki.1009-2307.2015.11.013]
  • Simonyan K and Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition[EB/OL].[2019-07-12].https://arxiv.org/pdf/1409.1556.pdf
  • Sun F J, Ju W M, Fang M H, Fan W L. 2018. Retrieval of forest above ground biomass using 4-scale geometrical optical model and remote sensing data. Remote Sensing Technology and Application, 33(6): 1046-1055 (孙凤娟, 居为民, 方美红, 范渭亮. 2018. 基于四尺度几何光学模型的森林地上生物量遥感估算. 遥感技术与应用, 33(6): 1046-1055) [DOI:10.11873/j.issn.1004-0323.2018.6.1046]
  • Sun J Y, Li M Z, Tang N, Zheng L H. 2007. Spectral characteristics and their correlation with soil parameters of black soil in Northeast China. Spectroscopy and Spectral Analysis, 27(8): 1502-1505 (孙建英, 李民赞, 唐宁, 郑立华. 2007. 东北黑土的光谱特性及其与土壤参数的相关性分析. 光谱学与光谱分析, 27(8): 1502-1505)
  • Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions[EB/OL].[2019-07-12].https://arxiv./pdf/1409.4842.pdf
  • Ulaby F T, McDonald K, Sarabandi K and Dobson M C. 1988. Michigan microwave canopy scattering models (MIMICS)//Proceedings of the Moving Toward the 21st Century International Geoscience and Remote Sensing Symposium. Edinburgh: IEEE: 1009-1009[DOI:10.1109/IGARSS.1988.570506]
  • Wang J X, Pan Y Z, Zhu X F, Sun Z L. 2019. A review of researches on inversion of eigenvariance of soil water. Acta Pedologica Sinica, 56(1): 23-35 (王俊霞, 潘耀忠, 朱秀芳, 孙章丽. 2019. 土壤水分反演特征变量研究综述. 土壤学报, 56(1): 23-35) [DOI:10.11766/trxb201803090579]
  • Wang Z X, Liu C, Huete A. 2003. From AVHRR-NDVI to MODIS-EVI:Advances in vegetation index research. Ac-ta Ecolog ica Sinica, 23(5): 979-987 (王正兴, 刘闯, Alfredo H. 2003. 植被指数研究进展:从AVHRR-NDVI到MODIS-EVI. 生态学报, 23(5): 979-987) [DOI:10.3321/j.issn:1000-0933.2003.05.020]
  • Wei S P, Wang L, Wu F Q. 2008. Research and application of SVAT models. Science of Soil and Water Conservation, 6(2): 113-120 (卫三平, 王力, 吴发启. 2008. SVAT模型的研究与应用. 中国水土保持科学, 6(2): 113-120) [DOI:10.16843/j.sswc.2008.02.020]
  • Wigneron J P, Calvet J C, Pellarin T, van de Griend A A, Berger M, Ferrazzoli P. 2003. Retrieving near-surface soil moisture from microwave radiometric observations:current status and future plans. Remote Sensing of Environment, 85(4): 489-506 [DOI:10.1016/s0034-4257(03)00051-8]
  • Wigneron J P, Waldteufel P, Chanzy A, Calvet J C, Kerr Y. 2000. Two-dimensional microwave interferometer retrieval capabilities over land surfaces (SMOS Mission). Remote Sensing of Environment, 73(3): 270-282 [DOI:10.1016/s0034-4257(00)00103-6]
  • Wu J, Zhang H, Liu P F. 2017. Inversion algorithms of medium high-resolution surface albedo. Journal of Tianjin Normal University(Natural Science Edition, 37(2): 45-49 (毋杰, 张虎, 刘朋飞. 2017. 中高分辨率地表反照率反演算法. 天津师范大学学报(自然科学版), 37(2): 45-49) [DOI:10.3969/j.issn.1671-1114.2017.02.010]
  • Xu L N, Niu R Q, Shang X Z. 2011. Estimating soil moisture in Three Gorges area based on temperature vegetation dryness index. Computer Engineering and Applications, 47(25): 235-238, 244 (许丽娜, 牛瑞卿, 尚秀枝. 2011. 利用温度植被干旱指数反演三峡库区土壤水分. 计算机工程与应用, 47(25): 235-238, 244) [DOI:10.3778/j.issn.1002-8331.2011.25.062]
  • Yan H B, Zhou G Q. 2017. Surface soil moisture retrieval from optical remote sensing:current status and perspectives. Journal of Subtropical Resources and Environment, 12(2): 82-89, 95 (晏红波, 周国清. 2017. 地表土壤湿度光学遥感反演方法研究进展. 亚热带资源与环境学报, 12(2): 82-89, 95) [DOI:10.19687/j.cnki.1673-7105.2017.02.011]
  • Yang T, Gong H L, Li X J, Zhao W J, Meng D. 2010. Progress of soil moisture monitoring by remote sensing. Acta Ecologica Sinica, 30(22): 6264-6277 (杨涛, 宫辉力, 李小娟, 赵文吉, 孟丹. 2010. 土壤水分遥感监测研究进展. 生态学报, 30(22): 6264-6277)
  • Yu F, Zhao Y S. 2011. A new semi-empirical model for soil moisture content retrieval by ASAR and TM data in vegetation-covered areas. Science China Earth Sciences, 41(4): 532-540 (余凡, 赵英时. 2011. ASAR和TM数据协同反演植被覆盖地表土壤水分的新方法. 中国科学:地球科学, 41(4): 532-540) [DOI:10.1007/s11430-011-4204-3]
  • Yu F, Zhao Y S, Li H T. 2012. Soil moisture retrieval based on GA-BP neural networks algorithm. Journal of Infrared and Millimeter Waves, 31(3): 283-288 (余凡, 赵英时, 李海涛. 2012. 基于遗传BP神经网络的主被动遥感协同反演土壤水分. 红外与毫米波学报, 31(3): 283-288) [DOI:10.3724/SP.J.1010.2012.00283]
  • Zhang J, Xie S Y, Liu J, Chen C, Zhao L. 2018. Research on the temperature compensation model of the FDR soil moisture sensor. Journal of Agricultural Mechanization Research, 40(4): 177-182, 189 (张健, 谢守勇, 刘军, 陈翀, 赵镭. 2018. FDR土壤湿度传感器的温度补偿模型研究. 农机化研究, 40(4): 177-182, 189) [DOI:10.3969/j.issn.1003-188X.2018.04.034]
  • Zhang L, Sun H. 2009. A research on the relationships between soil moisture and reflectance spectrum in Loess Plateau Area. Chinese Journal of Soil Science, 40(6): 1255-1258 (张莉, 孙虎. 2009. 黄土高原地区土壤含水量与反射光谱关系研究. 土壤通报, 40(6): 1255-1258) [DOI:10.19336/j.cnki.trtb.2009.06.005]
  • Zhang Y L, Yang P, Yang Y X, Zeng W G, Huang Z B, Li Q, Zheng Y C. 2017. Design and research on the soil temperature and humidity data acquisition system of citrus' root zone. Techniques of Automation and Applications, 36(4): 17-20 (张永磊, 杨鹏, 杨彦鑫, 曾文果, 黄兆波, 李琦, 郑永春. 2017. 大田柑橘根区土壤温湿度数据采集系统设计与研究. 自动化技术与应用, 36(4): 17-20) [DOI:10.3969/j.issn.1003-7241.2017.04.004]