Print

发布时间: 2019-11-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190047
2019 | Volume 24 | Number 11




    遥感图像处理    




  <<上一篇 




  下一篇>> 




应用级联多分类器的高光谱图像分类
expand article info 邱云飞, 王星苹, 王春艳, 孟令国
辽宁工程技术大学软件学院, 葫芦岛 125105
收稿日期: 2019-03-06; 修回日期: 2019-05-08; 预印本日期: 2019-05-15
基金项目: 国家自然科学基金项目（61401185）；辽宁省教育厅科学研究项目（L2013133）
第一作者简介: 邱云飞, 1976年生, 男, 教授, 主要研究方向为数据挖掘, 遥感图像处理。E-mail:7415575@qq.com;
王春艳, 女, 博士研究生, 主要研究方向为遥感图像建模与分析。E-mail:wey0211@126.com;
孟令国, 男, 硕士研究生, 主要研究方向为模式识别与人工智能、遥感图像处理。E-mail:mlg_123@126.com.
中图法分类号: TP301.6
文献标识码: A
文章编号: 1006-8961(2019)11-2021-14

摘要

目的 高光谱分类任务中，由于波段数量较多，图像中存在包含噪声以及各类地物样本分布不均匀等问题，导致分类精度与训练效率不能平衡，在小样本上分类精度低。因此，提出一种基于级联多分类器的高光谱图像分类方法。方法 首先采用主成分分析方法将高度相关的高维特征合成无关的低维特征，以加快Gabor滤波器提取纹理特征的速度；然后使用Gabor滤波器提取图像在各个尺寸、方向上的纹理信息，每一个滤波器会生成一张特征图，在特征图中以待分类样本为中心取一个$ d×d $的邻域，计算该邻域内数据的均值和方差来作为待分类样本的空间信息，再将空间信息和光谱信息融合，以降低光线与噪声的影响；最后将谱—空联合特征输入级联多分类器中，得到预测样本关于类别的概率分布的平均值。结果 实验采用Indian Pines、Pavia University和Salinas 3个数据集，与经典算法如支持向量机和卷积神经网络进行比较，并利用总体分类精度、平均分类精度和Kappa系数作为评价标准进行分析。本文方法总体分类精度在3个数据集上分别达到97.24%、99.57%和99.46%，相对于基于径向基神经网络（RBF）核函数的支持向量机方法提高了13.2%、4.8%和5.68%，相对于加入谱—空联合特征的RBF-SVM（radial basis function-support vector machine）方法提高了2.18%、0.36%和0.83%，相对于卷积神经网络方法提高了3.27%、3.2%和0.3%；Kappa系数分别是0.968 6、0.994 3和0.995 6，亦有提高。结论 实验结果表明，本文方法应用于高光谱图像分类具有较优的分类效果，训练效率较高，无需依赖GPU，而且在小样本上也具有较高的分类精度。

关键词

高光谱图像; Gabor滤波器; 级联多分类器; 主成分分析; 谱—空联合特征; 小样本

Hyperspectral image classification based on cascaded multi-classifiers
expand article info Qiu Yunfei, Wang Xingping, Wang Chunyan, Meng Lingguo
College of Software, Liaoning Technical University, Huludao 125105, China
Supported by: National Natural Science Foundation of China(61401185)

Abstract

Objective Unlike conventional remote sensing images, hyperspectral images are composed of hundreds of spectral channels with extremely high spectral resolution, and each spectral channel holds an image of a specific spectral range. These spectral channels provide rich spectral information that distinguishes object species. The information provides effective technical feasibility for the analysis and processing of imaging targets, thereby enabling hyperspectral images in military, environment, mapping, agriculture, and disaster prevention. The field of hyperspectral image processing has a wide range of applications. Among them, hyperspectral image classification is one of the key tasks in the field. Hyperspectral images have numerous bands, narrow bandwidths, wide spectral response range, and high resolution. Moreover, these images provide spatial domain information, spectral domain information (i.e., spectral image integration), and large amounts of data but redundant information. Noise and the distribution of various types of ground objects are uneven. The deep learning method based on neural networks has become a popular trend of machine learning, and it is also the same in the classification of features of hyperspectral images. However, problems, such as the training needs of neural networks remain in the deep learning method based on neural networks. The amount of data is large, the training process requires a graphics processing unit acceleration card, neural network-based models are sensitive to hyperparameter setting, and the mobility of the models is poor. Noise in the spectral channels and imbalanced sample distribution of various ground objects usually cause many problems when classifying hyperspectral images. For example, classification accuracy and training efficiency are usually unbalanced, and the classification accuracy of small-sized samples is relatively low. To address the problems mentioned above, this study proposes a novel classification method for hyperspectral images based on cascade multiple classifiers. Method First, highly correlated high-dimensional features are converted into independent low-dimensional features by principal component analysis, which will accelerate Gabor filters for texture feature extraction in the next step. Then, Gabor filters are used to extract image texture information in multiple scales and directions. Each Gabor filter generates one feature map. In the feature map, a $ d $-by-$ d $ neighborhood centered on each unclassified sample is defined, and the mean and variance within the neighborhood are considered the space information of the center unclassified sample. Spectral and space information are combined to reduce the noise influence. Finally, the spectral space combination features are input to the cascade multiple classifiers to generate the average probability distribution of each sample, w.r.t., all ground object classes. The cascaded multi-classifier combines the methods of XGBoost, random forest, ExtraTrees, and logistic regression and fully utilizes the advantages of these different methods to construct a cascaded multi-classifier model. The classifier is a hierarchical concatenation structure, and each layer is internally a collection of multiple types of classifiers. In the model, each level of the cascade contains two XGBoost classifiers, two random forest classifiers, two ExtraTrees classifiers, and two logistic regression classifiers. Each stage in the cascade receives the feature information of the previous stage processing and outputs the processing result of the level to the next stage. The first level in the cascade is the input of the original sample, and the other layer is the input of the prediction result of the previous layer in series with the original sample. The final output of the cascade is the average of the probability distributions of the samples predicted by the multiple classifiers in the last layer of the cascade. In other words, the prediction of the input sample by multiple classifiers in each level can be regarded as abstract coding, and the combination of this code and the original sample can enrich the characteristics of the original sample. To some extent, the model increases data randomness and prevents overfitting. Result Experiments on three benchmark data sets (i.e., Indian Pines, Pavia University, and Salinas) are conducted to evaluate the performance of the proposed method and many classical methods, such as SVM (support vector machine) and CNN (convolutional neural network). The experimental results are measured by three criteria, namely, overall classification accuracy, average classification accuracy, and kappa coefficient. The overall classification accuracies achieved by the proposed method on the three data sets are 97.24%, 99.57%, and 99.46%. The proposed method yields 13.2%, 4.8%, and 5.68% higher overall classification accuracy than that of SVM with RBF (radial basis function) kernel; 2.18%, 0.36%, and 0.83% higher than that of the combined feature of the RBF-SVM method; and 3.27%, 3.2%, and 0.3% higher than that of CNN. The average classification accuracies achieved by the proposed method on the three data sets are 93.91%, 99.13%, and 99.61%. The proposed method presents 18.28%, 6.21%, and 2.84% higher average classification accuracy than that of SVM with RBF kernel; and 3.99%, 0.07%, and 0.58% higher than that of the combined feature of the RBF-SVM method. The kappa coefficients achieved by the proposed method on the three data sets are 0.968 6, 0.994 3, and 0.995 6, which also validate the superiority of the proposed method over other methods. Conclusion Experimental results indicate that the proposed method can achieve superior classification performance on high spectral images better than classical methods such as SVM and CNN. The training efficiency of the proposed method is also relatively high compared with that of other classical methods without relying on graphics processing unit. Furthermore, the proposed method can obtain high classification accuracy on small-sized samples

Key words

hyperspectral image; Gabor filter; cascaded multi-classifier; principal component analysis(PCA); spectral-spatial joint feature; small samples

0 引言

高光谱图像(HSI)[1]是光谱分辨率极高的光谱图像，具有能区分地物类别的光谱信息，为人们对成像目标的分析与处理提供更多可能。高光谱图像分类是HSI处理的关键任务之一，可以应用于农业、军事、环境、测绘、防灾等领域。HSI具有较多的波段数量、包含噪声以及各类地物样本数量分布不均匀的特点，利用传统的分类方法[2-3]对HSI进行分类时，存在分类精度和训练效率难以平衡、在小样本上分类精度低的问题。

统计学习理论最有效的方法之一——SVM(support vector machine)[4]因其具有高维空间和非线性的特点，在解决高维数据分类[5]和抗噪声影响等方面体现出较好的优越性，如文献[6]证明SVM的确可以实现比多层感知(MLP)和径向基神经网络(RBF)更高的精度，并且在高维数据时就可以避免噪声的影响；文献[7]使用不同的参数进行实验，证明SVM比KNN和MLP分类精度高，但文献[5-6]的分类精度仍可提高。近些年来，随着深度学习的流行，许多研究人员将CNN(convolutional neural network)[8]应用于HSI分类[9-11]中，取得了较好的效果，如文献[12]提出的基于CNN网络结构的高光谱图像分类方法，相较于SVM方法和传统基于深度神经网络方法的分类器具有更高的分类精度，但文献[11]只使用了光谱信息，未加入像素之间的空间相关性，分类精度仍存在上升空间。文献[13]提出了使用3维卷积进行谱—空信息提取的方法，在分类精度上达到了当今最高的水平，但由于3维卷积参数量大，该方法仅能运行在性能极强的硬件平台。文献[14-15]提出了双分支的神经网络模型，分别用1维卷积与2维卷积分别提取光谱和空间信息。但基于深度学习的方法依然存在需要大量训练样本对神经网络进行长时间的训练，需要GPU为训练进行加速，网络的超参数设置复杂等问题。文献[16]提出了基于核主成分分析的旋转随机森林方法，该方法能实现在极少训练样本下分类器的训练，但分类精度仍不及基于深度学习的方法。

本文提出的级联多分类器模型在性能上具有很强的竞争力。在超参数调优方面，级联多分类器模型超参数的数量更少并且更加稳定，在不同数据集上使用相同的超参数设置依然能够达到良好的表现。在训练效率上，提出的级联多分类器模型即使只运行在CPU上，依然能够达到很高的训练速度。在分类精度上，模型达到较高的分类精度，即使只有少量的训练样本，也可以达到较为满意的效果。

为此，提出将多种分类器集成后进行级联的分类模型，并将其应用于HSI分类任务中。该方法首先使用PCA(principal component analysis)[17]对HSI中的光谱信息进行降维，以处理因HSI数据量大且维度较多带来的Hughes现象[18]，再使用Gabor滤波器融合光谱特征和空间特征，作为分类模型的输入，以进一步提高分类精度，最后将谱—空特征用于级联多分类器模型中来解决高光谱数据的分类问题。

1 整体模型结构

本文的模型结构主要解决两个问题：1)达到分类精度与训练效率的平衡；2)保证具有少量的训练样本时分类精度仍较高。

1.1 分类模型整体结构

本文整体模型主要由两个模块构成，分别是谱—空融合模块和级联多分类器模块。以Indian Pines数据集为输入的分类模型整体结构，如图 1所示。首先经过PCA降维，其次经过Gabor特征提取，将提取后的纹理特征经计算得到的空间特征与光谱特征进行融合，再次将谱—空特征作为级联多分类器模块的输入，最后由级联多分类器模型得到分类结果。



图 1 分类模型整体结构
Fig. 1 Overall structure of classification model

1.2 预处理

由于HSI数据量大、数据维数高且波段间有较强的相关性，容易降低模型分类准确率，因此，在使用级联多分类器模型之前进行PCA降维和使用Gabor滤波器融合谱空间信息。

1.2.1 PCA降维

PCA可以高效地通过线性变换将原始数据变换为一组在低维空间上线性无关的表示，而HSI的相邻波段的光谱间，空间相关性很高，并且不是所有的光谱波段都有着相同的重要性，光谱通道中的几个重要的通道就可以提供大部分的空间信息，而且对未降维的HSI使用Gabor滤波器提取纹理特征的速度很低。故使用PCA对HSI进行降维，形成新的光谱特征图像。PCA算法的步骤为：

1) 求训练样本各波段的均值，即

$ \mathit{\boldsymbol{\overline x}} = \frac{1}{n}\sum\limits_{i = 1}^n {{\mathit{\boldsymbol{x}}_i}} $

式中，${{\mathit{\boldsymbol{x}}_i}}$为第$i$个训练样本，$n$为训练样本数量。

2) 求训练样本的协方差矩阵

$ \mathit{\boldsymbol{A}} = \frac{1}{n}\sum\limits_{i = 1}^n {\left( {{\mathit{\boldsymbol{x}}_i} - \mathit{\boldsymbol{\bar x}}} \right)} {\left( {{\mathit{\boldsymbol{x}}_i} - \mathit{\boldsymbol{\bar x}}} \right)^{\rm{T}}} $

3) 计算$\mathit{\boldsymbol{A}}$的特征值$\mathit{\boldsymbol{\lambda }} = \left\{ {{\lambda _1}, {\lambda _2}, \cdots, {\lambda _n}} \right\}$和对应的特征向量$\mathit{\boldsymbol{\mu }} = \left\{ {{\mu _1}, {\mu _2}, \cdots, {\mu _n}} \right\}$。

4) 将上述步骤3)中特征值降序排列，每个特征值体现出对应维度数据的重要级别，特征值越大，重要性越高，而对于较小的特征值对应的数据可以忽略不计，然后将特征向量按对应特征值大小从上到下按行排列成矩阵，取前$k$行组成矩阵$\mathit{\boldsymbol{M}}$。

5) 降维后的数据坐标为$\boldsymbol{Y}=\boldsymbol{M}(\boldsymbol{x}-\overline{\boldsymbol{x}})$。实验中PCA方法是将方差最大的方向作为主要特征，以保留HSI的主要成分。

1.2.2 Gabor特征提取

由于Gabor滤波器[19]能够捕获图像的纹理尺度、方向等空间信息，并且能够获得频率域与空间域的最佳结合，而HSI中包含大量噪声，存在着同谱异物、同物异谱现象，需要加入空间信息增强分类器的抗噪性以避免错分、误分现象。故使用Gabor对HSI进行空间特征提取。其原理如下：

在空间域中，Gabor滤波器是使用正弦平面波调制的高斯核函数，它由一个实部和一个虚部构成，复数表达式为

$\begin{array}{*{20}{c}} {G(x, y, \lambda , \theta , \varphi , \sigma , \gamma ) = }\\ {\exp \left( { - \frac{{{x^{\prime 2}} + {\gamma ^2}{y^{\prime 2}}}}{{2{\sigma ^2}}}} \right)\exp \left( {i\left( {2{\rm{ \mathit{ π} }}\frac{{{x^{\prime 2}}}}{\lambda } + \varphi } \right)} \right)} \end{array} $ (1)

实数部分为

$ \begin{array}{c}{G(x, y, \lambda, \theta, \varphi, \sigma, \gamma)=} \\ {\exp \left(-\frac{x^{\prime 2}+\gamma^{2} y^{\prime 2}}{2 \sigma^{2}}\right) \cos \left(2 {\rm{ \mathit{ π} }} \frac{x^{\prime 2}}{\lambda}+\varphi\right)}\end{array} $ (2)

虚数部分为

$ \begin{array}{*{20}{c}} {G(x, y, \lambda , \theta , \varphi , \sigma , \gamma ) = }\\ {\exp \left( { - \frac{{{x^{\prime 2}} + {\gamma ^2}{y^{\prime 2}}}}{{2{\sigma ^2}}}} \right)\sin \left( {2{\rm{ \mathit{ π} }}\frac{{{x^{\prime 2}}}}{\lambda } + \varphi } \right)} \end{array} $ (3)

$x^{\prime}=x \cos \theta+y \sin \theta $ (4)

$ y^{\prime}=-x \sin \theta+y \cos \theta $ (5)

式中，$\lambda $代表正弦平面波函数的波长，其值应小于等于图像大小的五分之一，以避免在图像边缘出现不利影响，采用的滤波组从左到右$\lambda $的取值分别为[13, 11, 9, 7, 5, 3]；$\theta $代表Gabor函数中正弦函数并行条纹的方向，取值范围是[0, 2π]，采用的滤波组从上到下$\theta $的取值分别为[0，45°，90°，135°]，以使滤波器能够检测到图像不同方向的特征；$\varphi $为相位偏移，取值范围是[－π, π]，代表Gabor函数是具有实数和虚数的复数，$\varphi = 0$；$\gamma $代表Gabor函数的空间方向比例，即椭圆率，取$\gamma =1$，此时形状是圆的；$\sigma $代表Gabor函数中高斯核函数的标准差，$\sigma $是由空间频率带宽$b$和波长$\lambda $决定的，带宽$b$与$\sigma $和$\lambda $的比值有关，其关系为

$ b=\log _{2} \frac{\frac{\sigma}{\lambda} {\rm{ \mathit{ π} }}+\sqrt{\frac{\ln 2}{2}}}{\frac{\sigma}{\lambda} {\rm{ \mathit{ π} }}-\sqrt{\frac{\ln 2}{2}} }, \frac{\sigma}{\lambda}=\frac{1}{{\rm{ \mathit{ π} }}} \sqrt{\frac{\ln 2}{2}} \cdot \frac{2^{b}+1}{2^{b}-1} $ (6)

式中，每行代表Gabor核函数中并行条纹的方向$\theta $，每列代表Gabor核函数中正弦函数的波长参数$\lambda $。实验中选择的Gabor滤波器组如图 2所示。



图 2 实验选择的Gabor滤波器组
Fig. 2 Gabor filter bank selected for this experiment

1.3 级联多分类器模型

由于单一分类器各有各的优缺点，结合优点，弥补不足，提出一种将多种分类器集成后进行级联的分类模型。Random Forest分类器[20-21]能够处理高维度数据，且该分类器的泛化能力强、训练速度快、实现简单，但由于HSI包含大量噪音，单一的随机森林会产生过拟合现象。Xgboost分类器[22]能防止过拟合，还能降低计算，控制模型复杂度，因此模型中加入Xgboost，但对于数据量大的HSI而言，存在耗时问题。Logistic Regression分类器[23]高效、计算量小、无需任何调整，但其高度依赖正确的数据。ExtraTrees分类器[24]比随机森林的随机性更强，是完全随机得到最佳分叉属性的，可加强分类效果。因此，将4种分类器进行优势互补构建级联多分类器模型，其中，每一级都是由四种类型的分类器构成的集合，分别包含两个Random Forest分类器、两个Xgboost分类器、两个Logistic Regression分类器和两个ExtraTrees分类器。

该模块是分层的级联结构，每一层的内部都是由多种类型分类器构成的集合。层中包含的分类器分别对输入样本进行预测，形成输入样本关于类别的概率分布。级联中的第1层以原始样本作为输入，其他层则是将上一层多个分类器的预测结果与原始样本进行连接形成新的编码，然后使用该编码预测样本关于类别的概率分布。级联模块的输出则是最后一层中多种分类器输出结果关于类别的平均值。在该模块中，可以把层中多个分类器的预测看做对原始样本进行抽象编码的一种方式，将其与原始样本相连可以看做对原始样本包含特征添加的描述，也在一定程度上增加了数据随机性防止发生过拟合。通过这种机制可以让级联的层数在运行时通过迭代进行增长，当级联的层数达到上限或精度增长极为缓慢时，级联模块可以选择停止增长用于控制级联模型的复杂度与存储压力。因为单一的分类技术在应用过程中往往会受到一定条件的限制，并且对于集成学习来说多样性的提升可以增强模型的鲁棒性，所以在每一级别的内部使用多种类型的分类器。

级联模型的具体结构如图 3所示，在级联模型中，假设输入样本的特征数为$n$，分类器个数为$m$，目标类的数量为$c$。每一级别中的分类器依次对输入样本进行预测，各自预测出目标类的概率分布，然后将多个分类器输出的概率分布与原始样本进行串联，形成具有$c×m+n$个特征的新样本，再将新样本作为下一级别的分类器的输入，最终输出是最后一级别的多个分类器预测样本类别概率分布的平均值。图 3中红色向量为原始输入特征向量，蓝色向量为分类器对样本所属的类所做出的预测分布，绿色向量为级联分类器对样本做出的最终分布。级联多分类器模型的输出可以表达为

$ s_{i}=\frac{\sum\limits_{j=1}^{m} c_{j, i}}{m} $ (7)



图 3 级联模型结构
Fig. 3 Cascade model structure

式中，$s_i$表示级联多分类器对第$i$类地物预测的得分，${c_{j, i}}$表示最后一层中第$j$个分类器对第$i$类地物预测的得分。

1.4 算法步骤

本文基于Gabor滤波器和级联多分类器的分类方法(GCMC)，对HSI的谱—空特征进行研究，算法的具体步骤如下：

1) PCA降维。首先使用PCA对高光谱遥感图像降维，将高度相关的高维特征合成无关的低维特征，输出低维光谱特征图像。

2) Gabor滤波器。将经过降维的光谱特征图像输入到Gabor滤波器中，提取图像在各个尺寸、方向上的纹理信息，每一个滤波器会生成一张特征图。

3) 谱—空融合。在特征图中以待分类样本为中心取一个$d×d$的领域，计算该邻域内数据的均值和方差来作为待分类样本的空间信息，再将空间信息与光谱信息融合得到谱—空特征。

4) 级联多分类器。最后将步骤3)输出的谱—空特征作为级联多分类器模型的输入，经过分类器分类后，得到预测样本关于类别的概率分布的平均值。

算法流程图如图 4所示。



图 4 算法流程图
Fig. 4 Algorithm flow chart

2 实验与分析

实验是在硬件配置为Intel Core i7 7820HK处理器，内存16 GB，Nvidia GeForce GTX1070 GPU，软件配置为Microsoft Windows 10，Python 3.5.2，Scikit-Learn 0.19.1，Keras 2.1.1的环境下展开的。为了保证实验的准确性，各项实验均进行10次，各算法选取总体分类精度(OA)、平均分类精度(AA)和Kappa系数(κ)作为评价标准对实验结果进行分析。实验数据来自(http://www.edu.eus/ccwintco/index.php?title=Hype-rspectral_Remote_Sensing_Scenes)采用Indian Pines、Pavia University和Salinas[25]数据集。

为验证Gabor特征能够提高光谱图像的分类精度，实验中记录了未经Gabor特征融合的级联多分类器(CMC)的分类结果，并且使用该方法与本文方法进行对比。为验证级联多分类器中多种分类器集成的重要性，实验中记录了仅使用Gabor和随机森林的级联单分类器(GCSC)的分类结果。在对比实验中，使用Gabor特征融合的RBF-SVM (G-RBF-SVM)是为了与本文方法在相同条件下进行对比。

2.1 实验参数设置

2.1.1 训练样本个数

在这3个数据集中，精度实验是从图像中的每类地物中随机挑选20%像素作为训练集，其余80%作为测试集；小样本实验选取的训练样本的比例是10%。

2.1.2 对照算法参数

基于RBF核的SVM分类器(RBF-SVM)参数γ与$c$分别选择0.005和100。在CNN中，使用3维卷积进行谱—空信息融合，其整体架构如图 5所示。



图 5 CNN对照算法网络结构
Fig. 5 Overall structure of CNN model

图 5中网络的学习率设置为0.01，使用交叉熵作为损失函数，以Adam优化器训练1 000个epoch并以验证集上最优的表现作为最优网络。卷积层各过滤器尺寸分别为7×7×1、9和9，过滤器个数分别为16，8，16，步长分别为(1，1，1)、(2)与(2)。除最后一层使用Softfmax函数外，其余层均使用ReLU函数作为非线性激活函数。在Indian Pines数据集中batch size设置为64，剩余数据集选择256。

2.1.3 级联多分类器超参数选择

Xgboost分类器学习率设置为0.1，最大深度设置为5，决策树数量对精度和训练时间的影响如图 6、图 7所示，由图 6和图 7可知，当决策树数量为100时训练效率较高，若决策树数量在100~150范围内选取，结合图 7可知，训练时间大幅度增加，为了平衡分类精度和训练效率，则模型每个Xgboost分类器都由100个决策树组成；Random Forest和ExtraTrees分类器中树的个数都设置为100，自动增长至叶子节点，训练过程采用5重交叉验证，级联多分类器的最大层数设置为50，若级联多分类器增长超过3层没有继续提高分类器的精度，级联的层数会自动停止增长并将增长至交叉验证最好的层作为最优级联多分类器。



图 6 决策树数量对精度的影响
Fig. 6 Effect of the number of decision trees on the accuracy



图 7 决策树数量对训练时间的影响
Fig. 7 Effect of the number of decision trees on the training time

2.2 模型选择实验

本文级联多分类器模型与其中单个分类器的总体分类精度对比见表 1。

表 1 GCMC与4个单一分类器在3个数据集上OA对比
Table 1 Comparison of OA between GCMC and four single classifiers on three datasets

下载CSV
/%
数据集 GCMC Random Forest Xgboost Logistic Regression Extra Trees
Indian Pines 97.24 92.52 94.30 86.45 92.91
Pavia University 99.57 97.46 98.33 95.97 97.39
Salinas 99.46 97.84 98.64 95.87 96.12
注：加粗字体为每行最优值。

由表 1可知，GCMC的精度在3个数据集上的精度都要高于单个分类器的分类精度，故而提出将多种分类器集成后进行级联的分类模型，并将其应用于高光谱图像中。

2.3 精度实验

2.3.1 Indian Pines数据实验

该数据集是由机载可见光/红外成像光谱仪AVIRIS在美国印第安纳州西北部的实验地区收集的HSI[26-27]。该地区地物种类繁杂，个别地物覆盖数量较少，各个种类地物的分布并不均匀。图像大小为145×145像素，每一个像素包括了220个波段，波长范围在0.4~2.5 μm之间，空间分辨率为20 m，其中，使用去除水吸波段后的200个光谱波段。该区域的真实影像与类别图如图 8所示，涉及的16种地物见表 2，6种不同算法在Indian Pines数据集上的分类精度与Kappa系数见表 3，各算法在Indian Pines数据集上的分类图如图 9。



图 8 Indian Pines的真实影像与类别图
Fig. 8 Real image and category map of Indian Pines

表 2 Indian Pines的样本总数和测试样本数量
Table 2 Total number of samples and test samples for Indian Pines

下载CSV
序号 地物类别 样本总数 测试样本
1 Alfalfa 46 9
2 Corn-no 1 428 286
3 Corn-min 830 166
4 Corn 237 47
5 Grass/pasture 483 97
6 Grass/trees 730 146
7 Grass/pasture-mo 28 6
8 Hay-win 478 96
9 Oats 20 4
10 Soy-no 972 194
11 Soy-min 2 455 491
12 Soy-cle 593 119
13 Wheat 205 41
14 Woods 1 265 253
15 BGTD 386 77
16 SST 93 19
总计 —— 10 249 2 050

表 3 本文算法与对照算法在Indian Pines上的表现
Table 3 Performance of the algorithm and comparison algorithm in the Indian Pines

下载CSV
/%
种类 GCMC RBF-SVM G-RBF-SVM CNN CMC GCSC
1 89.13 36.96 78.26 91.30 71.74 84.78
2 94.47 81.58 91.60 89.57 88.38 92.65
3 96.14 73.37 92.05 91.81 75.42 93.49
4 94.94 65.40 89.03 92.41 69.62 87.76
5 98.34 89.44 97.10 96.48 93.79 95.03
6 99.59 97.12 99.45 99.04 97.81 99.18
7 75 42.86 67.86 100 82.14 85.71
8 98.12 98.33 99.16 99.37 99.37 98.54
9 70.00 35.00 55.00 90.00 30.00 50.00
10 96.71 77.06 91.87 92.90 85.29 93.72
11 97.76 85.01 96.09 92.55 90.02 96.74
12 96.63 76.05 94.60 89.21 89.38 94.27
13 99.51 96.10 99.51 98.54 99.02 97.56
14 99.84 95.18 99.76 99.13 95.81 99.45
15 97.41 68.13 90.75 94.82 80.31 95.85
16 98.92 92.47 94.62 100 89.25 98.92
OA/% 97.24 84.04 95.06 93.97 89.12 95.61
AA/% 93.91 75.63 89.92 94.82 83.58 91.48
κ 0.968 6 0.817 5 0.943 6 0.931 3 0.875 7 0.949 9
注：加粗字体为OA、AA和κ最优值。



图 9 各算法在Indian Pines数据集上的分类图
Fig. 9 Classification map of each algorithm on the Indian Pines dataset

由表 3可知，GCMC的OA为97.24%，相对于RBF-SVM提高13.2%，相对于G-RBF-SVM提高2.18%，相对于CNN提高3.27%，相对于CMC提高8.12%，相对于GCSC提高1.63%；GCMC的AA为93.91%，GCMC的Kappa系数为0.968 6，相比于对照算法都有所提高。

2.3.2 Pavia University数据实验

该数据集是由机载反射光学光谱成像仪ROSIS在意大利Pavia大学区域收集的HSI[20-21]。图像大小为610×340像素，每一个像素由115个波段组成，波长范围为0.43~0.86 μm，空间分辨率为1.3 m，其中，文章使用去除噪声波段之后的103个波段。该区域的真实影像与类别图如图 10，涉及的9种地物见表 4，各算法在Pavia University数据集上的分类精度与Kappa系数见表 5，各算法在Pavia University数据集上的分类图如图 11所示。



图 10 Pavia University的真实影像与类别图
Fig. 10 Real image and category map of Pavia University

表 4 Pavia University的样本总数和测试样本数量
Table 4 Total number of samples and test samples for Pavia University

下载CSV
序号 地物类别 样本总数 测试样本
1 Asphalt 6 631 1 326
2 Meadows 18 649 3 730
3 Gravel 2 099 420
4 Trees 3 064 613
5 Painted-ms 1 345 269
6 Bare Soil 5 029 1 006
7 Bitumen 1 330 266
8 Self-b Bricks 3 682 736
9 Shadows 947 189
总计 —— 42 776 8 555

表 5 本文算法与对照算法在Pavia University上的表现
Table 5 The performance of the algorithm and comparison algorithm in the Pavia University

下载CSV
/%
种类 GCMC RBF-SVM G-RBF-SVM CNN CMC GCSC
1 99.64 94.71 99.22 98.57 96.98 98.22
2 99.90 98.48 99.72 99.98 98.70 99.47
3 97.47 79.28 98.86 96.57 85.09 91.81
4 99.71 95.53 99.54 98.53 95.79 99.38
5 100 99.78 100 100 99.78 99.70
6 99.82 88.82 97.16 99.66 92.34 98.95
7 96.09 88.05 97.74 99.32 90.68 91.28
8 99.51 91.69 99.32 98.26 93.56 96.44
9 100 100 100 99.37 99.79 100
OA 99.57 94.77 99.21 99.27 96.18 98.34
AA 99.13 92.92 99.06 98.92 94.75 97.25
κ 0.994 3 0.930 4 0.989 5 0.990 3 0.949 2 0.978 0
注：加粗字体为OA、AA和κ最优值。



图 11 各算法在Pavia University数据集上的分类图
Fig. 11 Classification map of each algorithm on the Pavia University dataset

由表 5可知，GCMC的OA为99.57%，相对于RBF-SVM提高4.8%，相对于G-RBF-SVM方法提高0.36%，相对于CNN提高3.2%，相对于CMC提高3.39%，相对于GCSC提高1.23%；GCMC的AA为99.13%，GCMC的Kappa系数为0.994 3，相比于对照算法都有所提高。

2.3.3 Salinas数据实验

该数据集同样是由AVIRIS传感器在美国的加利福尼亚州的萨利纳斯山谷收集的HSI[20-21]。图像大小为512×217像素，每个像素由224个波段组成，空间分辨率为3.7 m。

该区域的真实影像与类别图如图 12，涉及的16种地物见表 6，各算法在Salinas数据集上的分类精度与Kappa系数见表 7，各算法在Salinas数据集上的分类图如图 13所示。



图 12 Salinas真实影像与类别图
Fig. 12 Real image and category map of Salinas

表 6 Salinas的样本总数和测试样本数量
Table 6 Total number of samples and test samples for Salinas

下载CSV
序号 地物类别 样本总数 测试样本
1 Brocoli-gw-1 2 009 402
2 Brocoli-gw-2 3 726 745
3 Fallow 1 976 395
4 Fallow-rp 1 394 279
5 Fallow-sm 2 678 536
6 Stubble 3 959 792
7 Celery 3 579 716
8 Grapes-un 11 271 2 254
9 Soil-vd 6 203 1 241
10 CSGW 3 278 656
11 Lettuce-ro-4wk 1 068 214
12 Lettuce-ro-5wk 1 927 385
13 Lettuce-ro-6wk 916 183
14 Lettuce-ro-7wk 1 070 214
15 Vinyard-un 7 268 1 454
16 Vinyard-vf 1 807 361
总计 —— 54 129 10 826

表 7 本文方法与对照算法在Salinas上的表现
Table 7 The performance of the algorithm and comparison algorithm in the Salinas

下载CSV
/%
种类 GCMC RBF-SVM G-RBF-SVM CNN CMC GCSC
1 100 99.90 100 99.65 100 100
2 100 100 99.95 100 99.84 99.95
3 99.75 99.70 99.80 99.54 99.75 99.65
4 99.50 99.28 99.64 99.86 99.57 99.64
5 99.78 99.22 99.55 99.55 99.63 98.81
6 99.82 99.90 99.95 99.95 99.95 99.80
7 99.97 99.94 99.92 100 99.69 99.50
8 98.86 90.10 96.78 87.73 91.70 97.99
9 99.95 99.95 99.97 99.95 99.92 99.90
10 99.87 97.35 98.81 99.08 98.60 97.16
11 99.81 95.13 99.91 99.53 99.91 98.41
12 100 99.84 100 100 99.79 99.90
13 100 99.34 100 100 99.24 99.24
14 98.50 96.92 98.69 100 99.07 98.50
15 98.93 72.30 96.02 92.35 84.53 96.90
16 100 99.39 99.83 99.39 99.39 99.23
OA/% 99.46 93.78 98.63 96.26 95.97 98.75
AA/% 99.61 96.77 99.30 98.54 98.16 99.04
κ 0.995 6 0.949 0 0.988 8 0.969 3 0.966 9 0.989 7
注：加粗字体为OA、AA和κ最优值。



图 13 各算法在Salinas数据集上的分类图
Fig. 13 Classification map of each algorithm on the Salinas dataset

由表 7可知，GCMC的OA为99.46%，相对于RBF-SVM提高5.68%，相对于G-RBF-SVM方法提高0.83%，相对于CNN提高0.3%，相对于CMC提高3.49%，相对于GCSC提高0.71%；GCMC的AA为99.61%，GCMC的Kappa系数为0.995 6，相比于对照算法都有所提高。

2.4 效率实验

由于HSI数据量大，对其分类存在训练效率较低的问题，因此训练效率是衡量分类模型的一个重要指标。GPU是图形处理器，可以加速运行速度，本文方法只需要CPU，而对照算法需要使用GPU加速，GCMC与CNN在3个数据集上的训练时间见表 8所示。

表 8 GCMC与CNN在3个数据集上的训练时间
Table 8 Training time of the GCMC and CNN on three datasets

下载CSV
/s
数据集 GCMC CNN
Indian Pines 348 424
Pavia University 1 066 1 141
Salinas 1 749 2 243

由表 8可知，GCMC无需GPU就可达到与使用GPU加速的CNN算法相近的训练时间，因此GCMC节约成本并且训练效率要高于CNN。

2.5 小样本实验

在大数据背景下，人们可以轻易地从互联网获取相当庞大的数据作为机器学习中的训练数据，但由于为这些数据进行标注往往要耗费大量的时间，因此人们获取的大量数据中只有很少一部分能够用于模型的训练，这对模型的训练是不利的，所以一个模型能否在小的训练样本下达到可以让人们满意的效果在实际应用中是相当重要的，该实验则是验证GCMC在小样本上的表现效果。本文训练样本的比例是10%，进行3组数据集的模拟实验，与对照算法的指标对比见表 9—表 11所示。从结果对比来看，当选取小样本模拟实验仍可达到较好的分类精度。

表 9 Indian Pines数据使用10%测试样本时的指标对比
Table 9 Comparison of indicators when using 10% test samples for Indian Pines dataset

下载CSV
指标 GCMC RBF-SVM G-RBF-SVM CNN CMC GCSC
OA/% 93.50 76.75 89.31 91.48 83.13 91.13
AA/% 83.66 63.87 81.06 75.04 68.91 76.65
κ 0.925 7 0.733 0 0.877 8 0.902 8 0.806 3 0.898 7
注：加粗字体为OA、AA和κ最优值。

表 10 Pavia University数据使用10%测试样本时的指标对比
Table 10 Comparison of indicators when using 10% test samples for Pavia University dataset

下载CSV
指标 GCMC RBF-SVM G-RBF-SVM CNN CMC GCSC
OA/% 98.99 93.97 98.50 98.04 94.71 97.70
AA/% 98.34 91.68 97.94 96.74 92.62 96.63
κ 0.986 6 0.919 7 0.980 1 0.974 0 0.929 7 0.969 6
注：加粗字体为OA、AA和κ最优值。

表 11 Salinas数据使用10%测试样本时的指标对比
Table 11 Comparison of indicators when using 10% test samples for Salinas dataset

下载CSV
指标 GCMC RBF-SVM G-RBF-SVM CNN CMC GCSC
OA/% 99.06 92.71 97.92 97.10 94.43 97.38
AA/% 99.44 95.84 98.87 98.53 97.32 98.27
κ 0.992 3 0.940 3 0.982 9 0.976 2 0.954 3 0.978 5
注：加粗字体为OA、AA和κ最优值。

2.6 实验结果分析

为了验证基于Gabor特征的级联多分类器方法在HSI分类任务中的有效性，以上实验共使用了5种不同类型的对比算法在3类数据集上进行验证，结果分析如下：

1) 在Indian Pines数据集上，GCMC方法的OA和Kappa系数均高于对照算法。其中，相较于G-RBF-SVM方法和CNN方法OA有很大的提高，分别提高了2.18%和3.27%。不过AA略低于CNN方法，这是由于该数据集个别类型地物的样本数量不足10个。由于CNN可以对固定样本进行迭代训练，因此GCMC在此类地物上的表现不如CNN，导致整体的AA数值较低。但训练样本达到几十个时，GCMC在这类地物上的分类效果要优于CNN。

2) 在Pavia University数据集上，GCMC方法的分类效果较好，OA、AA以及Kappa系数均高于对照算法。其中OA相较于G-RBF-SVM和CNN，分别提高了0.36%和0.30%。

3) 在Salinas数据集上，GCMC方法的OA、AA以及Kappa系数均高于对照算法。其中，相较于GRBF-SVM和CNN，GCMC的OA分别提高了0.83%和3.20%。不过GCMC方法在该数据集中每类地物分类精度上的优势并不像在Indian Pines数据集上进行的实验那样明显，这是因为Salinas包含了足够的样本数量，对照算法有大量的样本进行迭代训练。

4) 从以上3个数据集中的GCMC与CMC，GRBF-SVM与RBF-SVM的比较上看，基于Gabor特征的HSI分类方法能够极大地提高分类精度，在Indian Pines上提高的更为明显。因此验证了本文提出的使用Gabor特征的谱—空信息融合方法能够提高HSI的分类性能。

5) 从以上3个数据集的对照上看，级联中使用多种分类器的GCMC方法在分类精度上高于仅使用随机森林分类器的GCSC方法，这验证了本文在级联中使用多种类型分类器增加级联内部多样性以提高精度的设想。

6) 由图 9、图 11和图 13可看到，GCMC方法因分类错误导致的噪点数量明显少于对照算法，并且相邻地物的连接处相对平滑、地物分类明确，没有出现两种地物的分类渐变过度的现象。

综合以上分析，可知基于Gabor特征和级联多分类器的HSI分类方法在整体精度上要优于对照算法的分类精度，且无需GPU，达到了分类精度与训练效率的平衡；在训练样本较少的情况下，也能达到满意的分类性能，模型超参数的数量更少，并且更加稳定，在不同数据集上使用相同的超参数设置仍然具有良好的表现效果。

3 结论

针对HSI分类中使用传统方法存在分类精度与效率不能平衡以及小样本分类效果差的问题，提出了利用Gabor滤波器提取空间信息，使用谱—空联合信息对HSI进行分类的级联多分类器方法，并且第1次将该方法应用于HSI的分类中。通过实验得出以下结论：

1) 相较于对照算法，GCMC可以达到更高的分类精度，无需GPU仍可具有较高的训练效率。

2) GCMC在小样本上的分类性能较好。

3) 通过实验表明了Gabor特征提取方法能够有效的提取HSI的空间信息，将谱—空特征输入级联多分类器模型后，可以提高模型的分类精度。

由于模型存在过拟合现象，则在以后的工作中加入森林的剪枝等技术，使模型能够避免过拟合并进一步的提高精度。并且在接下来的工作中，将基于稀疏与低秩矩阵分解方法和引导滤波方法[28]，解决HSI中出现的噪声导致的图像分类精度和质量的问题，期望实现在样本数目稀少情况下，仍可实现HSI的精细分类。也期望利用超像元处理[29]有效融合空间信息，用来降低同物异谱对分类造成的不利影响。

参考文献

  • [1] Landgrebe D. Hyperspectral image data analysis[J]. IEEE Signal Processing Magazine, 2002, 19(1): 17–28. [DOI:10.1109/79.974718]
  • [2] Wang A R, Lu J W, Cai J F, et al. Unsupervised joint feature learning and encoding for RGB-D scene labeling[J]. IEEE Transactions on Image Processing, 2015, 24(11): 4459–4473. [DOI:10.1109/TIP.2015.2465133]
  • [3] Fang S, Zhu F J, Dong Z Y, et al. Sample optimized selection of hyperspectral image classification[J]. Journal of Image and Graphics, 2018, 24(1): 135–148. [方帅, 祝凤娟, 董张玉, 等. 样本优化选择的高光谱图像分类[J]. 中国图象图形学报, 2018, 24(1): 135–148. ] [DOI:10.11834/jig.180437]
  • [4] Sutskever I, Hinton G E. Deep, narrow sigmoid belief networks are universal approximators[J]. Neural Computation, 2008, 20(11): 2629–2636. [DOI:10.1162/neco.2008.12-07-661]
  • [5] Hughes G. On the mean accuracy of statistical pattern recognizers[J]. IEEE Transactions on Information Theory, 1968, 14(1): 55–63. [DOI:10.1109/TIT.1968.1054102]
  • [6] Camps-Valls G, Gomez-Chova L, Calpe-Maravilla J, et al. Kernel methods for HyMap imagery knowledge discovery[C]//Proceedings of Image and Signal Processing for remote Sensing Ⅸ. Barcelona, Spain: SPIE, 2004: 234-244.[DOI: 10.1117/12.510719]
  • [7] Roli F, Fumera G. Support vector machines for remote sensing image classification[C]//Proceedings of Image and Signal Processing for Remote Sensing Ⅵ. Barcelona, Spain: SPIE, 2001: 160-167.[DOI: 10.1117/12.413892]
  • [8] Shi B G, Bai X, Yao C. Script identification in the wild via discriminative convolutional neural network[J]. Pattern Recognition, 2016, 52: 448–458. [DOI:10.1016/j.patcog.2015.11.005]
  • [9] Gao H M, Lin S, Li C M, et al. Application of hyperspectral image classification based on overlap pooling[J]. Neural Processing Letters, 2019, 49(3): 1335–1354. [DOI:10.1007/s11063-018-9876-7]
  • [10] Zhao M D, Ren Z Q, Wu G C, et al. Convolutional neural networks for hyperspectral image classification[J]. Journal of Geomatics Science and Technology, 2017(5): 501–507. [赵漫丹, 任治全, 吴高昌, 等. 利用卷积神经网络的高光谱图像分类[J]. 测绘科学技术学报, 2017(5): 501–507. ]
  • [11] Fu G Y, Gu H Y, Wang H Q. Spectral and Spatial Classification of hyperspectral images based on convolutional neural networks[J]. Science Technology and Engineering, 2017, 17(21): 268–274. [付光远, 辜弘炀, 汪洪桥. 基于卷积神经网络的高光谱图像谱-空联合分类[J]. 科学技术与工程, 2017, 17(21): 268–274. ] [DOI:10.3969/j.issn.1671-1815.2017.21.043]
  • [12] Hu W, Huang Y Y, Li W, et al. Deep convolutional neural networks for hyperspectral image classification[J]. Journal of Sensors, 2015, 2015: 258619. [DOI:10.1155/2015/258619]
  • [13] Chen Y S, Jiang H L, Li C Y, et al. Deep feature extraction and classification of hyperspectral images based on convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(10): 6232–6251. [DOI:10.1109/TGRS.2016.2584107]
  • [14] Ma X R, Fu A Y, Wang J, et al. Hyperspectral image classification based on deep deconvolution network with skip architecture[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4781–4791. [DOI:10.1109/TGRS.2018.2837142]
  • [15] Yang J X, Zhao Y Q, Chan J C W. Learning and transferring deep joint spectral-spatial features for hyperspectral classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(8): 4729–4742. [DOI:10.1109/TGRS.2017.2698503]
  • [16] Xia J S, Falco N, Benediktsson J A, et al. Hyperspectral image classification with rotation random forest via KPCA[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(4): 1601–1609. [DOI:10.1109/JSTARS.2016.2636877]
  • [17] Fowler J E. Compressive-projection principal component analysis[J]. IEEE Transactions on Image Processing, 2009, 18(10): 2230–2242. [DOI:10.1109/TIP.2009.2025089]
  • [18] Tan K, Hu J, Li J, et al. A novel semi-supervised hyperspectral image classification approach based on spatial neighborhood information and classifier combination[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 105: 19–29. [DOI:10.1016/j.isprsjprs.2015.03.006]
  • [19] Clausi D A, Jernigan M E. Designing Gabor filters for optimal texture separability[J]. Pattern Recognition, 2000, 33(11): 1835–1849. [DOI:10.1016/S0031-3203(99)00181-8]
  • [20] Wang S M, Dou A X, Yuan X X, et al. The airborne hyperspectral image classification based on the random forest algorithm[C]//Proceedings of 2016 IEEE International Geoscience and Remote Sensing Symposium. Beijing: IEEE, 2016: 2280-2283.[DOI: 10.1109/IGARSS.2016.7729589]
  • [21] Breiman L. Random forests[J]. Machine Learning, 2001, 45(1): 5–32. [DOI:10.1023/A:1010933404324]
  • [22] Chen T Q, Guestrin C. XGBoost: a scalable tree boosting system[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, California: ACM, 2016: 785-794.[DOI: 10.1145/2939672.2939785]
  • [23] Mount J. The equivalence of logistic regression and maximum entropy models[EB/OL]. (2011-09-23). http://www.win-vector.com/dfiles/LogisticRegressionMaxEnt.pdf.
  • [24] Geurts P, Ernst D, Wehenkel L. Extremely randomized trees[J]. Machine Learning, 2006, 63(1): 3–42. [DOI:10.1007/s10994-006-6226-1]
  • [25] Grupo de Inteligencia Computacional. Hyperspectral remote sensing scenes[EB/OL].[2016-09-01]. http://www.ehu.eus/ccwintco/index.php?title=Hyperspectral_Remote_Sensing_Scenes.
  • [26] Chen Y, Nasrabadi N M, Tran T D. Hyperspectral image classification using dictionary-based sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10): 3973–3985. [DOI:10.1109/TGRS.2011.2129595]
  • [27] Plaza A, Benediktsson J A, Boardman J W, et al. Recent advances in techniques for hyperspectral image processing[J]. Remote Sensing of Environment, 2009, 113 Suppl1: S110–S122. [DOI:10.1016/j.rse.2007.07.028]
  • [28] Cui B G, Ma X D, Xie X Y. Hyperspectral image de-noising and classification with small training samples[J]. Journal of Remote Sensing, 2017, 21(5): 728–738. [崔宾阁, 马秀丹, 谢小云. 小样本的高光谱图像降噪与分类[J]. 遥感学报, 2017, 21(5): 728–738. ] [DOI:10.11834/jrs.20176239]
  • [29] Ran Q, Yu H Y, Gao L R, et al. Superpixel and subspace projection-based support vector machines for hyperspectral image classification[J]. Journal of Image and Graphics, 2018, 23(1): 95–105. [冉琼, 于浩洋, 高连如, 等. 结合超像元和子空间投影支持向量机的高光谱图像分类[J]. 中国图象图形学报, 2018, 23(1): 95–105. ] [DOI:10.11834/jig.170201]