发布时间: 2021-08-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210184
2021 | Volume 26 | Number 8

高光谱成像技术新进展

近红外高光谱图像数据预测技术

梅少辉¹, 张博威¹, 马明阳¹, 贾森²

1. 西北工业大学电子信息学院, 西安 710129;

2. 深圳大学计算机与软件学院, 深圳 518060

收稿日期: 2021-03-19; 修回日期: 2021-04-22; 预印本日期: 2021-04-29

基金项目: 国家自然科学基金项目(61671383)；中央高校基本科研业务费专项资金资助

作者简介: 梅少辉, 1984年生, 男, 副教授, 主要研究方向为高光谱遥感图像处理、人工智能与机器学习。E-mail: meish@nwpu.edu.cn
张博威, 男, 硕士研究生, 主要研究方向为光谱超分辨。E-mail: zbw_5413@126.com
马明阳, 男, 博士研究生, 主要研究方向为视频总结。E-mail: mamingyang@mail.nwpu.edu.cn
贾森, 男, 教授, 主要研究方向为人工智能、机器学习和高光谱遥感信息处理。E-mail: senjia@szu.edu.cn
*通信作者: 梅少辉 meish@nwpu.edu.cn

中图法分类号: TP751.1

文献标识码: A

文章编号: 1006-8961(2021)08-1786-10

摘要

目的受到传感器光谱响应范围的影响，可见光区域和近红外区域(400~2 500 nm)的高光谱数据通常使用不同的感光芯片进行成像，现有这一光谱区域典型的高光谱成像系统，如AVIRIS (airborne visible infrared imaging spectrometer)成像光谱仪，通常由多组感光芯片组成，整个成像系统成本和体积通常比较大，严重限制了该谱段高光谱探测技术的发展。为了能够扩展单感光芯片成像系统获得的高光谱图像的光谱范围，本文探索基于卷积神经网络的近红外光谱数据预测技术。方法结合AVIRIS成像光谱仪的光谱配置，设计了基于残差学习的红外谱段图像预测网络，利用计算成像的方式从可见光范围的高光谱图像预测出近红外波段的光谱图像，并在典型的卫星高光谱遥感数据上进行红外光谱预测重构和基于重构的数据分类实验，以验证论文提出的红外光谱数据预测技术的可行性以及有效性。结果本文设计的预测网络在Cuprite数据集上得到的预测近红外图像峰值信噪比为40.145 dB，结构相似度为0.996，光谱角为0.777 rad；在Salinas数据集上得到的预测近红外图像峰值信噪比为39.55 dB，结构相似性为0.997，光谱角为1.78 rad。在分类实验中，相比于只使用可见光图像，利用预测的近红外图像使得支持向量机(support vector machine，SVM)的准确率提升了0.6%，LeNet的准确率提升了1.1%。结论基于AVIRIS传感器获取的两组典型卫星高光谱数据实验表明，本文提出的红外光谱数据预测技术不仅可基于计算成像的方式扩展可见光光谱成像系统的光谱成像范围，对于减小成像系统体积和质量具有重要意义，而且可有效提高可见光区域光谱图像数据在典型应用中的处理性能，对于提高高光谱数据处理精度提供新的技术支撑。

关键词

深度学习; 卷积神经网络(CNN); 高光谱图像; 光谱预测; 高光谱分类

Predicting near-infrared hyperspectral images from visible hyperspectral images

Mei Shaohui¹, Zhang Bowei¹, Ma Mingyang¹, Jia Sen²

1. School of Electronics and Information, Northwestren Polytechnical University, Xi'an 710129, China;

2. College of Computer Science and Software Engineering, Shenzhen University, Shenzhen 518060, China

Supported by: National Natural Science Foundation of China(61671383)

Abstract

Objective Hyperspectral remote sensing method is a major development in remote sensing field. It uses a lot of narrow band electromagnetic bands to obtain spectral data. It covers visible, near infrared, middle infrared, and far infrared bands, and its spectral resolution can reach the nanometer level. Therefore, hyperspectral remote sensing can find more surface features and has been widely used in covering global environment, land use, resource survey, natural disasters, and even interstellar exploration. Compared with RGB and multispectral images, hyperspectral images not only can improve the information richness but also can provide more reasonable and effective analysis and processing for the related tasks. As a result, they have important application value in many fields. However, the cost of spectral detection systems is relatively high, especially the optical detector that is used to acquire high spectral data. At present, most of the spectrometers can support the spectral imaging from 400 nm to 1 000 nm, while few of them support that from 1 000 nm to 2 500 nm. The reason is that the spectrometer is harder to produce and more expensive with the increase in spectra. The bands of hyperspectral images have internal relations. The performance of low-spectrum spectrometer can be improved by fully utilizing the low spectra to predict high spectra. In other words, the low spectrum spectrometer can be used to obtain the high spectra that are near the spectra which are usually obtained by high-spectrum spectrometer. The cost of getting hyperspectral images will be greatly reduced. Therefore, high spectra prediction has promising applications and prospects in improving spectrometer performance. Nowadays, a single sensor can generally take a limited number of spectra. Thus, the commonly used spectrometers contain multiple sensors. If one of these sensors suffers from a sudden situation and cannot work normally in the process of flight aerial photography, then the data we can obtain will be unusable and we will have to have a flight again, which will cause cost increase and resource waste. Similarly, if a spectrometer mounted on a satellite fails to work normally in case of emergency, then it will suffer much greater loss. However, if we can fully utilize the low spectra to predict high spectra, which means using the low-spectrum spectrometer to obtain the hyperspectral image that is near the spectra from real high-spectrum spectrometer, the loss caused by these situations can be compensated in a great extent. Method In recent years, convolutional neural networks (CNNs) have been widely used in various image processing tasks. We propose a hyperspectral image prediction framework based on a CNN as inspired by the great achievements of deep learning in the field of image spatial super resolution. The designed network is based on the residual network, which can fully use multiscale feature maps to obtain better performance and ensure fast convergence. In the CNN, 2D convolution layers use convolution kernels to obtain feature maps, and convolution kernels use relation between space and spectra, which is also helpful to obtain better results. In our network, each of the convolution layers has an activation layer, in which the rectified linear unit function is used. Batch normal layers are used to normalize the feature map, which can improve the feature extracting ability of CNN. Given an input, the proposed network extracts the low-band data features of the hyperspectral image. Then, it uses the extracted features together with the original low-spectra data to predict the high-spectra data for predicting the high spectra with the low spectra. We also design an evaluation system to prove the feasibility and effectiveness of the infrared spectrum prediction. The feasibility is evaluated by three classical image quality evaluation indices (peak signal-to-noise ratio (PSNR), structural similarity (SSIM), and spectral angle (SA)). The feasibility is also evaluated by two classical classification evaluation indices (accuracy and average accuracy) by applying our predicted infrared spectrum to classification tasks. Result Experiments on Cuprite and Salinas datasets are conducted to validate the effectiveness of the proposed method. On Cuprite dataset, we directly measure the quality of the predicted image through PSNR, SSIM, and SA. On Salinas dataset, we mainly use the predicted image data for classification tasks with support vector machine (SVM) and LeNet. All the experiments are implemented using Torch 1.3 platform with Python 3.7. In our experiments on Cuprite dataset, we use the spectra of the first two sensors to predict the spectra of the third sensor. Five hyperspectral images are present in the original data of Cuprite. The first three spectra of Cuprite are spliced into a large image as the training dataset, and the last two spectra are spliced as the test dataset. In this experiment, 30 training epochs are conducted. The PSNR, SSIM, and SA of the predicted images by the trained network on the test set are 40.145 dB, 0.996, and 0.777 rad, respectively, which indicates that the proposed method can predict high spectra from low spectra, which is near the ground truth. The PSNR, SSIM, and SA on the Salinas dataset are 39.55 dB, 0.997, and 1.78 rad, respectively. The accuracy and average accuracy of SVM and LeNet by using the predicted high-spectra data for classification are both improved by approximately 1% compared with the results which use only low-spectra data. Conclusion Although many CNN methods have been proposed to realize spatial super resolution, few of them realize spectral super resolution, which is also important. Therefore, we propose the new application in remote sensing field called spectrum prediction, which uses a CNN to predict high spectra from low spectra. The proposed method can expand the use efficiency of sensor chips and also help deal with spectrometer failure and improve the quality of spectral data.

Key words

deep learning; convolutional neural network(CNN); hyperspectral image; spectrum prediction; hyperspectral classification

0 引言

高光谱遥感影像具有光谱分辨率高及图谱合一等特点，其光谱分辨率可达到纳米级，提供了比常规图像传感器更丰富且更精确的光谱信息，使得本来在宽波段范围内不可探测的物质在高光谱遥感中可以被探测到。与其他技术相比，高光谱遥感所携带的光谱信息提供了区别地物光谱细微差别的能力，使人们可以识别诸如树木的种类、道路的类型和不同湿润度的土壤等地物以及鉴别伪装和诱饵目标等。基于高光谱影像从图像空间、光谱空间和特征空间分别进行或综合进行探测和识别，能够提高目标和背景的区分能力。因此，目前高光谱遥感已广泛应用于全球环境、土地利用、资源调查、自然灾害甚至星际探测等领域(Huang和Zhang，2013；Li等，2013；Li等，2015)。

受光电传感器光谱响应范围的限制，目前单片感光成像芯片的光谱响应范围有限，其所组成的高光谱成像系统的成像光谱范围也通常有限，例如目前可见光和近红外范围内的感光芯片，通常最多可支持400 ~1 000 nm的光谱范围。为了提高高光谱成像系统的光谱范围，目前典型的做法是选用具有多片不同光谱响应范围的感光芯片进行拼接。以国外典型的AVIRIS(airborne visible infrared imaging spectrometer)传感器为例，其光谱波段范围为400~ 2 500 nm，共224个波段。实际上该系统由4个感光传感器组成，各感光传感器参数如表 1所示。

表 1 AVIRIS传感器参数
Table 1 The parameters of AVIRIS sensors

下载CSV

	波段范围/nm	波段数
传感器A	360~670	32
传感器B	660~1 280	64
传感器C	1 260~1 880	64
传感器D	1 880~2 500	64

而同样包含可见光和近红外波段的HYDICE (hyperspectral digital image collection experiment)传感器由3个感光传感器组成，其光谱范围为400~2 500 nm，共210个波段，各感光传感器参数如表 2所示。因此，目前能够覆盖400~2 500 nm波段范围的高光谱成像仪系统体积通常比较大，研制成本非常高，严重制约了高光谱遥感的应用深度和广度。

表 2 HYDICE传感器参数
Table 2 The parameters of HYDICE sensors

下载CSV

	波段范围/nm	波段数
传感器A	400 ~ 1 000	60
传感器B	1 000 ~ 1 900	90
传感器C	1 900 ~ 2 500	60

机器学习技术(Huang等，2017)可以利用现有数据对其关联的未知数据进行预测，尤其是深度学习等智能信号处理技术(Koundinya等，2018)的不断发展，基于大数据的预测技术可以对未知数据进行更加准确的预测(Mei等，2017)。目前市场上400~1 000 nm范围的感光芯片比较成熟，其所组成的高光谱成像仪具有成本低、体积小等特点；而1 000~2 500 nm范围的感光芯片国产化程度低，成本非常高，且进口芯片空间分辨率非常低。如果能够利用400~1 000 nm范围区域的高光谱数据采用计算成像的方式预测出近红外域(1 000~2 500 nm) 高光谱数据，可大幅度降低可见光—近红外域高光谱图像获取成本，简化可见光—近红外域高光谱成像光谱仪系统的复杂度，对于高光谱遥感技术的推广应用具有重要意义。此外，现有的典型可见光—近红外域成像光谱仪在卫星等平台已经获取了大量图像数据，为利用可见光域高光谱数据预测近红外域高光谱数据提供了大数据基础。

针对这些典型的应用背景，本文拟基于卷积神经网络在大数据信息挖掘以及预测方面的优势，探索从可见光域高光谱数据预测近红外域高光谱数据的可能性，并进一步验证这些预测出的数据对于典型图像处理如高光谱图像分类等的影响。

1 近红外高光谱数据预测技术

高光谱数据包含2维空间信息和1维光谱信息，而本文研究的红外光谱数据预测问题需要预测大量近红外波段图像，问题复杂度非常高。深度神经网络通常包含数以万计的权重等参数，具有很大的容量，可以有效解决这一复杂度非常高的机器学习问题(Xu等，2021)。据此，本文通过构建卷积神经网络从可见光域高光谱数据预测近红外域高光谱数据。

1.1 高光谱波段配置

高光谱图像的波段数量、波段范围、每一个波段对应的中心波长以及光谱宽度均与成像光谱仪的配置有关，包括感光芯片性能和光谱镜头设计等，而且可能会随时间推移有所变化。不同的成像光谱仪，即使成像光谱范围相同，其获取的图像参数也不尽相同。

为了能够探索利用可见光区域高光谱数据预测近红外区域高光谱图像的可能性，本文结合典型的AVIRIS传感器的波段配置进行研究。在本文所使用的数据集中，AVIRIS的传感器D存在较多的噪声波段和无效波段，所以使用传感器A、B的数据来预测传感器C的数据。

1.2 面向光谱预测的卷积神经网络设计

卷积神经网络在图像处理方面有着广泛的应用，如医学图像的识别(陈弘扬等，2021)和目标识别与跟踪等(王献海等，2021)，在图像空间超分辨(程德强等，2021)和近红外光谱超分辨(Li等，2020a)任务中卷积神经网络同样取得了很好的效果。在图像空间超分辨任务中，研究人员提出了诸如多尺度医学图像超分辨(Pan等，2021)、基于残差尺度的注意力神经网络(Fu等，2021)、基于深度学习超分辨网络头部的改进(Koktzoglou等，2021)、轻量化超分辨网络MADNet (Lan等，2021)等研究成果；在近红外光谱超分辨任务中，研究人员提出使用神经网络进行单幅遥感图像光谱超分辨(Liebel和Körner，2016)、2D和3D卷积混合的光谱超分辨网络(Li等，2020b)、3D全连接网络(Mei等，2017)、空谱联合超分辨(Mei等，2020)等基于神经网络的成果。

受这些成果启发，本文提出如图 1所示的卷积神经网络模型框架，该网络能够利用高光谱图像的可见光波段数据预测近红外波段数据。网络的输入是除噪声波段外的所有传感器A、B数据；输出是预测的除噪声波段外的所有传感器C数据。本文采用2维卷积网络，每个2维卷积层后接有线性整流函数层(rectified linear unit，ReLU)和归一化层。

图 1 近红外光谱预测流程图

Fig. 1 Overview of the proposed near-infrared prediction strategy

图 1给出了近红外光谱预测网络结构和流程，本文的预测流程是一个线性的流程，先从原始数据中得到可见光部分的数据，再把可见光数据输入到本文的卷积神经网络中，最后卷积神经网络的输出就是预测的近红外光谱数据。本文的卷积神经网络框架由两部分组成：第1部分由3个卷积层组成，输入除噪声波段外的所有传感器A、B数据；输出提取的各波段特征图；第2部分由两个卷积层组成，输入除带噪声波段外的所有传感器A、B数据与第1部分输出的特征图在光谱维上的连接；输出预测的除噪声波段外的所有传感器C数据。在整个网络的卷积运算中没有改变空间维度的大小。

每一个卷积层后都有一个激活层，本文在激活层中选择使用ReLU (Hu等，2018)函数。因为ReLU函数不仅可以解决梯度消失的问题，改进模型的拟合，而且不需要额外的计算成本，可以降低过拟合风险。假设激活层神经元的输入用${I_i}$表示，则输出${O_i}$定义为

$ {O_i} = \max \left\{ {{I_i}, 0} \right\}, \;\;\;\;\;i = 1, 2, 3, \cdots $

(1)

本文利用批量归一化方法对特征图进行归一化处理，批量归一化层可以提高卷积神经网络的特征提取能力。同时采用均方误差损失(mean-square error，MSE)(Löhdefink等，2020)作为损失函数。均方误差损失函数计算两个光谱对应像素差值平方的均值, 均方误差损失定义为

$ MSE = \frac{1}{{mn}}\sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {{{\left\| {K(i, j) - I(i, j)} \right\|}^2}} } $

(2)

式中，$m$、$n$为图像的长和宽, $K(i, j)$为目标光谱图像第$i$行$j$列的像素，$I(i, j)$为预测光谱图像第$i$行$j$列的像素。

表 3列出了本文设计的卷积神经网络参数的详细信息。实验中采用反向传播算法对所提出的卷积神经网络进行训练。

表 3 各卷积层参数
Table 3 The parameters involved in the CNN

下载CSV

卷积层	输入通道数	输出通道数	核大小	步长	填充
Conv1	76	166	3	1	1
Conv2	166	64	3	1	1
Conv3	64	38	3	1	1
Conv4	114	76	3	1	1
Conv5	76	38	3	1	1

1.3 红外光谱预测评价体系

为了验证红外光谱预测的可行性和有效性，本文提出了一种红外光谱预测评价体系，体系结构如图 2所示。首先把图像数据分为可见光数据和近红外数据，再基于可见光数据利用红外光谱预测网络得到预测近红外数据，然后分别用可见光数据和可见光数据加上预测近红外数据进行分类实验，最后通过图像质量评价指标分析预测近红外数据和真实近红外数据验证可行性，通过分类结果评价指标分析两次分类结果可验证有效性。

图 2 红外光谱预测评价体系结构图

Fig. 2 The architecture of infrared spectrum prediction and evaluation system

1.3.1 图像质量评价指标

峰值信噪比(peak signal to noise ratio，PSNR)是评价光谱质量最常用的标准之一。它表示信号的最大可能功率和影响其表示精度的破坏性噪声功率之间的比率。峰值信噪比采用均方误差计算，具体为

$ {f_{{\rm{PSNR}}}} = 10 \times \lg \frac{{MA{X^2}}}{{MSE}} $

(3)

式中，$MAX$是目标光谱图像中像素点的最大值，$MSE$是两个光谱之间的均方误差。峰值信噪比值一般为30 ~ 40 dB。值越高，光谱质量越好。

结构相似性(structural similarity，SSIM)主要用来衡量预测光谱图像的结构质量。对于${\boldsymbol{x}}$, ${\boldsymbol{y}}$两幅光谱图像，SSIM定义为

$ {f_{{\rm{SSIM}}}}({\boldsymbol{x}}, {\boldsymbol{y}}) = \frac{{\left({2{\mu _x}{\mu _y} + {c_1}} \right)\left({2{\sigma _{xy}} + {c_2}} \right)}}{{\left({\mu _x^2 + \mu _y^2 + {c_1}} \right)\left({\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} $

(4)

式中，${\mu _x}$是图像${\boldsymbol{x}}$的平均值，${\mu _y}$是图像${\boldsymbol{y}}$的平均值，$\sigma _x^2$是图像${\boldsymbol{x}}$的方差，$\sigma _y^2$是图像${\boldsymbol{y}}$的方差，${\sigma _{xy}}$是图像${\boldsymbol{x}}$和图像${\boldsymbol{y}}$的协方差，${c_1}$、${c_2}$是稳定的常数。当两个光谱图像相同时，SSIM的值为1。

光谱角(spectral angle，SA)指标将图像每个像素的光谱维度作为一个向量，通过计算两个向量之间的夹角来度量光谱之间的相似性。角度越小，两个光谱越相似。两个向量(${{\boldsymbol{X}}^*}$表示未知向量, ${{\boldsymbol{X}}_i}$表示已知向量)之间的夹角是根据两个向量的余弦值计算的，具体为

$ \theta \left({{{\boldsymbol{X}}^*}, {{\boldsymbol{X}}_i}} \right) = {\cos ^{ - 1}}\left({\frac{{{\boldsymbol{X}}_i^{\rm{T}}{{\boldsymbol{X}}^*}}}{{\left({\left\| {{{\boldsymbol{X}}_i}} \right\|} \right)\left({\left\| {{{\boldsymbol{X}}^*}} \right\|} \right)}}} \right) $

(5)

1.3.2 分类结果评价指标

总体准确率和平均准确率是最常用的分类结果评价指标。对于共有$m$类的数据集，第$i$类的样本数为${N_i}$，第$i$类分类正确的结果为${n_i}$，则平均准确率(average accuracy，AA)和总体准确率(accuracy，OA)可以表示为

$ {f_{{\rm{AA}}}} = \frac{1}{m}\sum\limits_{i = 1}^m {\frac{{{n_i}}}{{{N_i}}}} $

(6)

$ {f_{{\rm{OA}}}} = \frac{{\sum\limits_{i = 1}^m {{n_i}} }}{{\sum\limits_{i = 1}^m {{N_i}} }} $

(7)

2 实验验证

实验使用Cuprite数据集(http://aviris.jpl.nasa.gov/)来验证网络预测的性能。而分类实验使用Salinas数据集来验证预测近红外光谱图像的可用性。本文实验使用Ubuntu18、Pytorch 1.3平台和Python 3.7实现。

2.1 近红外光谱图像预测实验

Cuprite数据集由AVIRIS光谱仪采集，覆盖美国拉斯维加斯地区，共包含224个波段。剔除所有噪声波段和失真严重的波段后，共166个波段。传感器A包含29个波段，传感器B包含50个波段，传感器C包含35个波段，传感器D包含38个波段。

在实验中，本文基于Pytorch框架训练如图 1所示的网络，并使用前两个传感器的光谱图像来预测第3个传感器的光谱图像。Cuprite原始数据中有5幅高光谱图像，将前3幅光谱图像拼接成一个大的图像作为训练数据集。所得的训练数据集在空间维度上是614×1 536像素。最后两幅光谱图像被拼接成一幅大的图像作为测试数据集。在训练过程中，从训练数据集中截取一幅100×100像素的图像作为训练数据输入，移动步长为10像素。测试过程中使用整个测试数据集作为测试输入。训练网络采用随机梯度下降(stochastic gradient descent，SGD)(Wang和Dai，2012)优化策略，学习率为0.01，并以遍历整个训练图像作为一个训练周期。

本次实验共进行了30个训练周期。训练后的网络在测试集上的性能结果为PSNR: 40.145 dB，SSIM: 0.996，SA: 0.777 rad。实验结果表明，本文的神经网络可以根据传感器A、B的数据预测出传感器C波段数据。训练过程中PSNR和损失的变化如图 3所示，从图 3可以看出，PSNR快速增加，损失快速收敛。

图 3 峰值信噪比PSNR和MSE损失变化

Fig. 3 The PSNR and MSE loss during training((a) PSNR; (b) MSE loss)

图 4显示了测试数据集中每个像素的均方根误差(root mean square error, RMSE)结果。均方根误差由每个像素的预测谱和相应的真值谱计算得出。从图 4中可以看出，大多数像素的均方根误差都很低。图 5给出了预测红外图像波长与峰值信噪比之间的关系，可以看出，随着波长的增加峰值信噪比在下降，这是由于随着红外波长的增加，预测图像与已有可见光光谱图像之间的相关性下降，必然造成预测精度的下降。图 6为原始波段图像与预测波段图像对比图。本文选择4个预测谱及其对应的真值谱进行直观比较，还将其均方根误差显示为带有色度条的图像。

图 4 每个像素点的均方根误差

Fig. 4 Per-pixel RMSE in test dataset

图 5 峰值信噪比随预测波长变化图

Fig. 5 The PSNR for the predicted infrared image of different wavelength

图 6 原始波段图像与预测波段图像对比

Fig. 6 Comparison of the original spectra and the prediction spectra

((a)ground near-infrared images; (b)predicted results; (c)RMSE loss)

在近红外光谱预测中，光谱维度信息主要影响预测结果，但空间信息也会在一定程度上影响预测结果。卷积神经网络使用卷积核来预测光谱，卷积核会在一定程度上使用空间信息，因此，本文的预测近红外光谱图像方法不仅充分利用了光谱信息，而且利用了空间信息。卷积核的大小和层数都影响预测的光谱图像像素点所采用的原始像素个数，即利用的空间信息范围的大小。本文在相同卷积层数下选择4个不同大小的卷积核来证明空间信息对预测结果的影响。不同卷积核大小下的最佳效果如表 4所示。

表 4 不同卷积核大小所对应的实验结果
Table 4 Experimental results for different convolution kernels

下载CSV

卷积核大小	训练损失	测试损失	PSNR/dB	SSIM	SA/rad
5×5	0.006 5	0.012 6	37.027	0.993	0.825
7×7	0.007 5	0.011 4	37.950	0.992	0.874
11×11	0.005 4	0.008 8	40.145	0.996	0.777
15×15	0.003 7	0.009 0	40.013	0.996	0.675

本文随机选择一个像素点绘制了如图 7所示的光谱曲线图。从图 7中可以直接看到不同卷积核大小对应的不同预测结果。从表 4和图 7很明显可以看出，增大卷积核大小对提高预测光谱的效果有好处，但其所对应的计算量是以平方数量级增长的，所以本次实验采用的卷积核大小为11×11。

图 7 不同卷积核大小的预测结果和真值比较

Fig. 7 Comparison of different view predicted spectra and used spectra

2.2 预测近红外光谱图像分类实验

在分类验证任务中，本文选用两种典型的分类器进行验证：1)支持向量机(support vector machine，SVM)(丁世飞等，2018)；2)卷积神经网络分类器LeNet-5 (Sun等，2018)，LeNet网络是LeCun等人(1998)提出的一种经典的卷积神经网络结构，其架构如图 8所示。

图 8 LeNet-5结构图(LeCun等，1998)

Fig. 8 The architecture of LeNet-5(LeCun et al., 1998)

本文使用Salinas数据集对网络预测的近红外光谱图像进行分类测试。Salinas利用AVIRIS航空高光谱仪获得了美国加利福尼亚州Salinas山谷的高空间分辨率高光谱数据。该图包含224个波段，本次实验使用去除波段108~112, 154~167和不能被水反射的224波段后剩下的204个波段。由于图像的大小为512×217像素，所以总共包含111 104像素，其中背景为56 975像素，可以用于分类的像素为54 129像素，总共包含16类。

该实验共有3个步骤：

1) 使用Salinas数据集将卷积神经网络权值从Cuprite数据集迁移到Salinas数据集。

2) 使用卷积神经网络来预测Salinas数据集的高波段光谱图像。

3) 在相同的条件下，用Salinas数据集的传感器A、B的光谱图像进行分类任务；用Salinas数据集的传感器A、B的光谱图像和预测的近红外光谱图像进行分类任务；用Salinas数据集的传感器A、B、C的光谱图像进行分类任务。

本次实验使用1~96波段的光谱图像来预测97~149波段的光谱图像，同时使用Salinas数据集的一半作为权值迁移训练数据集。在步骤1)中，取训练数据集的11×11像素的空间领域作为输入；输出也是11×11像素。在步骤3)中，制作用于LeNet-5分类的数据集时，空间领域选取为3×3像素。本次分类实验使用每个类的10 % 作为分类训练数据集，其他的用做测试数据集，学习速率设定为0.01，所使用的批量大小是128，训练周期数为5 000。

在步骤1)之后，得到了迁移后的卷积神经网络，用它来预测Salinas数据集从97~149波段的光谱图像。所得的预测光谱图像的测试损失值为0.003 2，峰值信噪比值为39.55 dB，结构相似性值为0.997，光谱角值为1.780 rad。表 5展示了SVM和LeNet-5在Salinas数据集上的分类精度。在SVM方法分类结果的平均准确率和总体准确率分别从96.73 %和93.26 % 提高到了97.03 %和93.91 %，非常接近使用真实近红外数据的97.08 %和94.09 %，并在大多数类别中得到了分类精度的提升。在LeNet方法分类结果的平均准确率和总体准确率分别提升了0.57 %和1.05 %，并在大多数类别中实现了分类精度的提升。从这些结果可以看出，使用预测的近红外光谱图像明显提高了分类精度，说明近红外光谱图像预测在分类等应用中对提高性能是非常有效的。

表 5 不同方法在Salinas数据集上不同类别的分类准确率
Table 5 The experiment results of different categories over Salinas dataset by different methods

下载CSV

/%
	SVM/LeNet-5
	不用红外数据	用预测数据	用真实数据
Brocol-1	99.88/98.72	99.61/99.33	99.88/99.83
Brocol-2	99.19/99.17	99.40/99.26	99.79/99.35
Fallow	99.43/99.62	99.32/99.31	99.38/99.31
Fallow-plow	99.60/99.74	99.20/99.74	99.20/99.58
Fallow-smooth	97.84/92.51	99.08/97.79	99.08/97.53
Stubble	99.66/99.37	99.63/99.56	99.88/99.84
Celery	99.65/99.78	99.56/99.65	99.50/99.50
Grapes	83.26/88.21	85.49/88.39	87.17/88.65
Soil	98.45/99.11	98.76/98.89	99.64/99.35
Corn-weeds	95.66/96.88	96.23/95.58	96.00/96.53
Lettuce-4wk	97.92/98.49	97.60/98.08	98.75/96.16
Lettuce-5wk	99.82/99.88	99.94/99.88	99.94/100.00
Lettuce-6wk	99.51/99.58	99.87/100.00	99.45/99.86
Lettuce-7wk	96.88/96.70	97.09/96.18	98.33/99.17
Vinyard-untrained	81.96/58.55	82.39/64.19	80.11/74.22
Vinyard-trellis	99.01/99.80	99.26/99.40	99.13/100.00
平均准确率	96.73/95.38	97.03/95.95	97.08/96.81
总体准确率	93.26/90.36	93.91/91.41	94.09/91.92

3 结论

本文探索基于可见光光谱数据预测近红外光谱数据的可能性，设计了一个卷积神经网络，根据现有典型卫星遥感数据的可见光部分波段数据预测出近红外波段数据，并设计了一种红外光谱预测评价体系，验证了近红外光谱图像预测的可行性和有效性。值得注意的是，本文提出的基于深度神经网络的预测算法并不能完全重构出近红外的光谱数据，但通过该预测模型估计出的近红外光谱，可以有效提高仅基于可见光部分光谱数据应用的处理精度，也说明了这种预测研究的有效性。

此外，本文提出的这种光谱预测算法也可以应用于现有多传感器组成的高光谱成像系统，如果其在使用过程中任一成像传感器发生故障，可基于卫星运行过程中已获取的大数据，结合未发生故障传感器获取的光谱数据，预测出故障传感器的光谱数据，可在一定程度上弥补传感器故障造成的损失，这一研究方向值得进一步的探究。

致谢本研究得到西北工业大学何明一教授和美国密西西比州立大学杜谦教授的指导和帮助，在此表示感谢。

参考文献

Chen H Y, Gao J Y, Zhao D, Wang H Z, Song H, Su Q H. 2021. Review of the research progress in deep learning and biomedical image analysis till 2020. Journal of Image and Graphics, 26(3): 475-486 (陈弘扬, 高敬阳, 赵地, 汪红志, 宋红, 苏庆华. 2021. 深度学习与生物医学图像分析2020年综述. 中国图象图形学报, 26(3): 475-486) [DOI:10.11834/jig.200351]

Cheng D Q, Guo X, Chen L L, Kou Q Q, Zhao K, Gao R. 2021. Image super-resolution reconstruction from multi-channel recursive residual network. Journal of Image and Graphics, 26(3): 605-618 (程德强, 郭昕, 陈亮亮, 寇旗旗, 赵凯, 高蕊. 2021. 多通道递归残差网络的图像超分辨率重建. 中国图象图形学报, 26(3): 605-618) [DOI:10.11834/jig.200108]

Ding S F, Zhang J, Zhang X K, An Y X. 2018. Survey on multi class twin support vector machines. Journal of Software, 29(1): 89-108 (丁世飞, 张健, 张谢锴, 安悦瑄. 2018. 多分类孪生支持向量机研究进展. 软件学报, 29(1): 89-108) [DOI:10.13328/j.cnki.jos.005319]

Fu Y, Chen J, Zhang T, Lin Y G. 2021. Residual scale attention network for arbitrary scale image super-resolution. Neurocomputing, 427: 201-211 [DOI:10.1016/j.neucom.2020.11.010]

Hu Z, Li Y P and Yang Z Y. 2018. Improving convolutional neural network using pseudo derivative ReLU//Proceedings of the 5th International Conference on Systems and Informatics (ICSAI). Nanjing, China: IEEE: 283-287[DOI:10.1109/ICSAI.2018.8599372]

Huang M W, Chen C W, Lin W C, Ke S W, Tai C F. 2017. SVM and SVM ensembles in breast cancer prediction. PLoS One, 12(1): #0161501 [DOI:10.1371/journal.pone.0161501]

Huang X, Zhang L P. 2013. An SVM ensemble approach combining spectral, structural, and semantic features for the classification of high-resolution remotely sensed imagery. IEEE Transactions on Geoscience and Remote Sensing, 51(1): 257-272 [DOI:10.1109/TGRS.2012.2202912]

Koktzoglou I, Huang R, Ankenbrandt W J, Walker M T, Edelman R R. 2021. Super-resolution head and neck mra using deep machine learning. Magnetic Resonance in Medicine, 86(1): 335-345 [DOI:10.1002/mrm.28738]

Koundinya S, Sharma H, Sharma M, Upadhyay A, Manekar R, Mukhopadhyay R, Karmakar A and Chaudhury S. 2018. 2D-3D CNN based architectures for spectral reconstruction from RGB images//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City, USA: IEEE: 957-964[DOI:10.1109/CVPRW.2018.00129]

Lan R S, Sun L, Liu Z B, Lu H M, Pang C, Luo X. 2021. MADNet: a fast and lightweight network for single-image super resolution. IEEE Transactions on Cybernetics, 51(3): 1443-1453 [DOI:10.1109/TCYB.2020.2970104]

Lecun Y, Bottou L, Bengio Y, Haffner P. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278-2324 [DOI:10.1109/5.726791]

Li J, Marpu P R, Plaza A, Bioucas-Dias J M, Benediktsson J A. 2013. Generalized composite kernel framework for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 51(9): 4816-4829 [DOI:10.1109/TGRS.2012.2230268]

Li K, Yang S H, Dong R T, Wang X Y, Huang J Q. 2020a. Survey of single image super-resolution reconstruction. IET Image Processing, 14(11): 2273-2290 [DOI:10.1049/iet-ipr.2019.1438]

Li Q, Wang Q, Li X L. 2020b. Mixed 2D/3D convolutional network for hyperspectral image super-resolution. Remote Sensing, 12(10): #1660 [DOI:10.3390/rs12101660]

Li W, Du Q, Zhang B. 2015. Combined sparse and collaborative representation for hyperspectral target detection. Pattern Recognition, 48(12): 3904-3916 [DOI:10.1016/j.patcog.2015.05.024]

Liebel L, Körner M. 2016. Single-image super resolution for multispectral remote sensing data using convolutional neural networks. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLI-B3: 883-890 [DOI:10.5194/isprs-archives-XLI-B3-883-2016]

Löhdefink J, Hüger F, Schlicht P and Fingscheid T. 2020. Scalar and vector quantization for learned image compression: a study on the effects of MSE and GAN loss in various spaces//Proceedings of the 23rd IEEE International Conference on Intelligent Transportation Systems. Rhodes, Greece: IEEE[DOI:10.1109/ITSC45102.2020.9294350]

Mei S H, Jiang R T, Li X, Du Q. 2020. Spatial and spectral joint super-resolution using convolutional neural network. IEEE Transactions on Geoscience and Remote Sensing, 58(7): 4590-4603 [DOI:10.1109/TGRS.2020.2964288]

Mei S H, Yuan X, Ji J Y, Zhang Y F, Wan S, Du Q. 2017. Hyperspectral image spatial super-resolution via 3D full convolutional neural network. Remote Sensing, 9(11): #1139 [DOI:10.3390/rs9111139]

Pan C, Ren Z W, Zhang J H. 2021. Super resolution algorithm of color rgb image based on convolutional neural network. Journal of Medical Imaging and Health Informatics, 11(4): 1188-1194 [DOI:10.1166/jmihi.2021.3516]

Sun L, Wang Y H and Dai L Y. 2018. Convolutional neural network protection method of Lenet-5-Like structure//Proceedings of the 2nd International Conference on Computer Science and Artificial Intelligence. Shenzhen, China: ACM: 77-80[DOI:10.1145/3297156.3297224]

Wang B B, Dai J N. 2012. Convergence rates of stochastic gradient descent methods. Journal of Mathematics, 32(1): 74-78 [DOI:10.3969/j.issn.0255-7797.2012.01.010]

Wang X H, Song H H, Zhang K H, Liu Q S. 2021. Object tracking using enhanced second-order network modulation. Journal of Image and Graphics, 26(3): 516-526 (王献海, 宋慧慧, 张开华, 刘青山. 2021. 增强二阶网络调制的目标跟踪. 中国图象图形学报, 26(3): 516-526) [DOI:10.11834/jig.200145]

Xu Z Y, Su C, Zhang X C. 2021. A semantic segmentation method with category boundary for land use and land cover (LULC) mapping of very-high resolution (VHR) remote sensing image. International Journal of Remote Sensing, 42(8): 3146-3165 [DOI:10.1080/01431161.2020.1871100]