0引言20世纪80年代初期成像光谱学的建立标志着光学遥感技术进入了一个全新的时代。成像光谱学与数码成像技术的结合产生了成像光谱仪。高光谱成像光谱仪收集到的高光谱图像(hyperspectral image, HSI)的波段数多达数十至数百，这是由于高光谱遥感成像光谱仪在许多相互邻接和部分重叠的狭窄光谱波段上同时收集地面的辐射数据，每个波段都包含了规定范围内电磁光谱规定范围内的反射光值(Ye等，2014b)。因此，HSI包含了丰富的光谱、空间和辐射信息，可以有效地区分土地覆盖类型(Kang等，2014)，应用于地质勘探、精准农业、生态环境和科学遥感等领域。HSI具有数据量大、波段多和波段间相关性强等特性，给其在分类与识别应用中带来了诸多挑战(杜培军等，2016)。具体表现为，其维度往往比可用的训练样本的数量大得多。训练样本的缺乏和高维数据处理带来的高计算量是设计HSI分类器不可避免的障碍(Li等，2015b)。为了避免这种"维数灾难"问题(何明一等，2013)，通常采用降维方法将HSI数据投影到低维特征空间。主成分分析(principal components analysis, PCA)和线性判别分析(linear discriminant analysis, LDA)是HSI降维的传统方法(Martinez和Kak，2001)。PCA为数据中的整体信息内容寻找具有最小重构误差的投影，而LDA的目的是寻找保留分离目标类所需信息的投影(Prasad和Bruce，2008)。子空间线性判别分析(subspace linear discriminant analysis, SLDA)被提出用于对LDA采用PCA降维作为预处理(Li等，2013b)。受地表几何特征等多种因素的影响，同一土地覆盖类像素的光谱特征往往具有复杂的分布。上述降维方法假设HSI光谱特征的分布是高斯分布。然而，HSI数据的光谱特征分布往往不是高斯分布，在极端情况下，甚至有可能是复杂的多模态结构。为了解决这一问题，利用HSI数据的复杂统计结构，学者们提出了基于局部信息保留的降维方法，包括局部保留投影(locality-preserving projection, LPP)(He和Niyogi，2003)，局部保留非负矩阵分解(locality-preserving non-negative matrix factorization, LPNMF)(Cai等，2009)和局部Fisher判别分析(local Fisher’s discriminant analysis, LFDA)(Sugiyama，2007)等。LPP是一种无监督的降维方法，可以保持每个类的局部结构。LPNMF结合了LPP和非负矩阵分解(non-negative matrix factorization, NMF)(Lee和Seung，1999)的优点。NMF将数据分解为两个非负矩阵并提取特征，用于HSI分类、解混等应用。LFDA结合了LDA和LPP的特性，利用各自的优点，并通过使用"亲和"矩阵来保持嵌入内的邻域关系。Li等人(2012)将LFDA与高斯混合模型(Gaussian mixture models, GMM)(Berge和Solberg，2006)分类器结合，提出的LFDA-GMM算法能够准确捕捉底层统计结构，获得比LDA-GMM更高的分类精度。学者们还研究了许多其他光谱特征。如在Bao等人(2013)的工作中，已经证明光谱导数是一种捕捉不同土地覆盖类别显著特征的有效手段。Ye等人(2014a)使用光谱导数进行HSI分类，并提出了D-LPNMF(derivative-LPNMF)和D-LFDA(derivative-LFDA)两种融合分类算法。在这两种算法中，采用了保持位置的降维方法(LPNMF或LFDA)对原始图像和导数特征进行降维，并将GMM多分类器的分类结果进行决策融合，有效地提高了分类性能。对HSI来说，可能存在同谱异物现象，即两个不同地物可能在某一波段内会呈现相同的谱线特征；也可能存在同物异谱现象，即受周围环境、病虫害或者放射性物质等影响，造成相同地物的光谱曲线不同。由于两个相邻像素属于同一个类的概率很大，空间信息可以帮助创建准确的分类地图。随着成像技术的发展，高光谱传感器提供具有较高空间分辨率的数据已成为可能。因此，考虑将相邻位置的空间信息整合到基于光谱的特征提取方法(即充分挖掘HSI数据的空谱特征)，可以进一步提升分类的准确性(Plaza等，2009；Fauvel等，2013)。研究者们提出了多种空谱特征提取策略。根据空间信息、光谱信息与分类器的特点及结合方式，可以将高光谱图像空谱特征的提取方式分为空间纹理及形态学特征提取、空间邻域信息获取及空间信息后处理等3大类。第1类方式通过提取空间纹理及形态学特征，对像素点的空间信息进行预处理，即通过一定的结构及规则对待分类像素的空间特征先进行提取，再将所得到的特征送入分类器。该类空间特征以纹理特征和形状特征为典型代表，包括Gabor特征(Clausi和Jernigan，2000)、局部二值模式(local binary pattern, LBP)特征(Ojala等，2002)和形态属性(morphological profiles, MP)特征等。Gabor特征一般可分为2维Gabor特征(Bau等，2010)和3维Gabor特征(Shen和Jia，2011)。提取主成分子空间搭配2维Gabor特征已被证明是有效的HSI空谱特征提取方法(Huo和Tang，2011；Zhang等，2012b)。与此同时，3维Gabor特征也广泛应用于HSI空谱特征提取(Bau等，2010; Shen和Jia，2011)。随着LBP及其改进特征提取方法(Guo等，2010; Liu等，2016)被提出，这类局部纹理特征被广泛应用于一般模式识别和计算机视觉的分类问题。Li等人(2015c)面向HSI局部空间信息的旋转不变纹理结构，首次将LBP应用于HSI空谱特征提取，取得了令人满意的效果。随后，改进的LBP也越来越多地应用于HSI空谱特征提取与分类(Ye等，2017b；Jia等，2018a)。另一种HSI空谱特征提取方法利用形态转换来构建MP(Pesaresi和Benediktsson，2001)，即通过形态学开闭来分割图像的亮、暗空间结构。学者们通过引入PCA将MPs进行扩展，采用扩展形态属性(extended morphological profile, EMP)(Benediktsson等，2003, 2005)对HSI进行空谱特征提取。由于MPs的结构元素(structure element, SE)不能表征与灰度特征相关的信息，形态属性剖面(morphological attribute profile，AP)(Mura等，2010a)被引入作为一种先进机制来获得高分辨率图像的详细多级表征。一些学者采用多形态属性剖面(Multi-APs，MAPs)来进行特征提取，将不同的形态属性剖面连接成单一的特征向量，提高了遥感图像空间特征的提取能力(Song等，2014；Li等，2014a)。第2类方式直接将待分类像素点与空间邻域像素的关系结合到分类器中，通过构造分类模型或改进分类器，将HSI待分类像素与其邻域像素的空谱信息进行直接应用，使特征提取和分类同步完成。该类空谱特征提取方式把空间信息通过数学表达式在分类模型中直接构造并体现，典型代表有基于稀疏表示分类(sparse represent classification，SRC)和协同表示分类(collaborative represent classification，CRC)模型、基于最近邻(nearest neighbor, NN)的分类器和基于支持向量机(support vector machine，SVM)(Camps-Valls和Bruzzone，2005)的分类器等。SRC最初在人脸识别领域得到发展(Wright，2009)，本质是测试像素可以稀疏地表示为已标记的0-范数或1-范数正则化的线性组合。在SRC中，测试像素的类标签被确定为其标记样本提供最小近似误差的类标签。Zhang等人(2011)提出了CRC模型，认为在协同表示中，所有像素对单个像素的表示能相互协作，每个像素都有平等的参与机会，因此，CRC比SRC能进一步提高分类精度。NN分类器是最简单而有效的分类方法之一，这种非参数分类器不需要任何关于数据密度分布的先验知识，其原理是找到与测试样本距离最近的训练样本的预定义数字(如k个)，根据k个距离最近的训练样本分配多数类别标签的kNN分类器，使用欧几里得距离来度量测试样本和可用训练样本之间的相似性，在HSI分类应用中得到了发展(Ma等，2010)。一种复合核(composite kernel, CK)结合SVM的光谱和上下文特征的非线性变换，称为SVM-CK(Camps-Valls等，2006)，是典型的嵌入HSI空间信息的分类模型。为了提高基于核的学习机的灵活性，多核学习(multiple kernel learning, MKL)(Tuia等，2010；Gu等，2012)模型被开发并应用于高光谱图像分类。随后，越来越多的学者提出了相关改进方法。Li等人(2013a)研究了一种广义复合核(generalized composite kernel)学习机，可以无参数提取高光谱图像的空谱特征；Li等人(2015a)又提出了一种将不同类型线性、非线性特征集成的多特征学习框架，利用线性和非线性特征提供的不同属性，使更好地表征类边界成为可能。第3类方式为空间后处理方式，即通过空间信息对得到的分类结果进行校正，进一步提高分类精度。以马尔可夫随机场(Markov random field，MRF)(Li，2009)为典型代表的随机场是空间后处理方式的一大分支，已广泛应用于HSI数据的空谱特征提取应用。一种流行的方法是采用贝叶斯最大后验概率(maximum a posterior，MAP)公式，划分为类条件概率项和类先验概率项，MRF被视为HSI分类的后处理阶段(Xu和Li，2014)。Tarabalka等人(2010b)将SVM与MRF结合，利用MRF对SVM粗分类的结果进行修正，提出的SVM-MRF算法是近年来一种比较流行的HSI分类算法，常用来作为HSI基于空谱特征分类的比较算法。第二大分支是以双边滤波(bilateral filter，BF)(Tomasi和Manduchi，1998)为代表的滤波方法，同时利用邻域内像素点的空间邻近度信息和亮度相似度信息，是一种可以有效降低图像加性噪声并保持图像边缘细节的滤波技术(张志强和王万玉，2009)。Peng和Rao(2009)提出了一种适用于HSI的双边滤波方法，利用光谱距离和多元高斯函数同时考虑光谱和空间信息，在保持空间细节的同时有效地去除了噪声。第三大分支是以二叉划分树(binary partition tree, BPT)为代表的图分割方法。BPT是一种基于区域的树状结构图像的分层表示。从靠近叶子的细分割到靠近根的粗分割，BPT可以在不同的分割尺度下对图像特征进行挖掘。对树进行修剪，要求被修剪的叶子符合给定的最优准则。BPT是一种基于区域的图像表示，涉及较少的基本基元，因此可以设计一个鲁棒和高效的分割算法。Valero等人(2011a)通过递归谱图划分来研究BPT分支中包含的区域，成功地将BPT应用于对HSI进行分割。Veganzones等人(2014)提出了基于光谱分离概念的高光谱图像BPT构造方法和剪枝策略，利用区域的局部解混来找到实现全局最小重构误差的分区。上述传统HSI空谱特征提取方法大多通过人工提取特征，涉及大量的专家经验和参数设置，且只从浅层处理，从而影响了特征表达与学习的能力。近年来，深度学习(deep-learning, DL)算法从数据中分层学习具有代表性和判别性的特征，通过深层结构所带来的优秀信息表征能力，可实现对特征的自动抽取与表示。通过合理地设计深层网络结构，能够实现在分类和目标检测应用中大幅度提高识别精度(Hinton和Salakhutdinov，2006)。对于HSI数据来说，来自其他物体的散射可能会使感兴趣物体的光谱特性变形。此外，不同的大气散射条件和类内变异性等因素使得高光谱数据的特征提取极为困难。为了解决这些问题，DL算法越来越广泛地应用于HSI特征提取、分类和目标检测中。早期，Chen等人(2014)提出了一种用于HSI分类的堆叠自动编码器(stacked autoencoder, SAE)，对HSI以无监督的方式提取高阶特征。随后，Chen等人(2015)又提出了深度置信网络(deep belief network, DBN)模型，通过深度置信网络获取具有鲁棒性的特征，通过逻辑回归实现分类。然而，由于SAE和DBN需要在训练之前将空间信息表示为向量，因此无法有效地提取空间信息。卷积神经网络(convolutional neural network, CNN)利用局部连接有效提取空间信息，能够共享权值、显著减少参数数量。CNN的参数比全连接网络少，但隐藏单元数与全连接网络相同。针对高光谱图像的分类问题，Hu等人(2015)首次提出了包含输入层、卷积层、最大池化层、全连接层和输出层的CNN对高光谱图像进行分类，相比支持向量机和传统的深度学习方法具有更好的分类性能。为了提取高阶特征，Ma等人(2016)以无监督方式构建了具有多层堆叠和空间更新能力的深度自编码器，通过在能量函数中加入正则化项来提取空谱特征。Romero等人(2016)提出了一种用于遥感图像分析的无监督卷积网络，使用贪婪分层无监督的预训练，得到一个深度的CNN模型。与无监督方法相比，有监督的CNN可以通过训练样本提供的类特定信息来提取更有效的特征。针对HSI分类时高维不平衡、有限可用训练样本以及数据建模中的过拟合问题，Chen等人(2016)设计了一种基于卷积神经网络的正则化深度特征提取和虚拟样本增强的方法，以实现更好的模型泛化。为了同时提取高光谱数据的光谱和空间信息，建立3维CNN(He等，2017)成为HSI高阶空谱特征的有效选择。由于CNN模型对具有固定大小和权重的规则正方形图像区域进行卷积运算，不能普遍地适应具有各种对象分布和几何外观的不同局部区域(Zhang等，2016)。随着图神经网络(graph neural network，GNN)模型的提出(Scarselli等，2009)，数据之间的许多潜在关系可以用图形来表示。基于图嵌入的技术逐渐应用于高光谱图像融合(Harikumar等，2014)、检测(Li等，2015e)、特征提取(Li和Du，2016)与分类(Liao等，2016)等领域。由于GNN可以用来模拟HSI的长程空间关系，这使得将GNN应用于HSI特征提取与分类成为可能。目前，作为GNN重要分支的图卷积网络(graph convolutional network，GCN)在HSI领域尚处于起步阶段，Shahraki和Prasad(2018)首先将GCN与CNN结合对高光谱图像进行特征提取与分类。Qin等人(2019)通过同时考虑空间和光谱邻域，将GCN扩展到二阶版本。Hong等人(2020)研究了一种miniGCN方案，并将其与CNN结合，提出了一种端到端的网络模型，该模型不仅具有较低的计算成本和稳定的训练阶段局部最优性能，而且可以直接预测新的输入样本。应用HSI数据可以对具有不同光谱的地物进行很好地分类与识别，但在某些场景下(如复杂城市场景)，需要通过形状、高程和纹理等信息来区分由相同材料或物质组成的不同地物。因此，可以考虑将多传感器数据融合，通过构建多源数据跨场景模型(Xu等，2018a)。光探测和测距(light detection and ranging，LiDAR)数据(又称激光雷达数据)(Dalponte等，2008)可用于描述场景的高程和物体高度信息，获取空间上下文和结构信息，且不受时间和天气的影响。利用HSI数据可获取不同地物的光谱信息，在多类相互靠近的区域，能高精度分类与识别由不同材料或物质组成的相同高程的地物(Ghamisi等，2017)。因此，将LiDAR数据与HSI数据结合共建特征空间，成为多源数据跨场景的典型应用。将二者的优势进行互补，有可能实现更精确的场景分类与目标识别。但是，多源数据的跨场景应用在现阶段也存在一些问题。如，将多源数据自动集成并不容易，缺乏有效模型；对来自多源数据的特征如何统一应用与互补表达有待进一步研究；多源传感器提取的特征越多，训练样本的数量就越有限，可能会导致小样本问题等。虽然HSI空谱特征提取得到了长足的发展，但对其进行全面分析的相关综述文献相对欠缺。本文从传统方法和深度学习方法两方面出发，对HSI空谱特征的研究现状进行了系统的梳理与总结，尤其对近3年的前沿技术进行了分析与评价，对HSI空谱特征研究的现有待解决问题与未来发展趋势进行了评估与展望。图 1为本文综述的高光谱图像空谱特征提取方法的基本类型框架图。 图1 高光谱图像空谱特征提取方法框架图 taxonomy of spatial-spectral feature extraction methods for hyperspectral imageFig 11空间纹理及形态学特征提取由于高光谱图像(HSI)波段数众多，如果直接对所有波段逐一进行空间预处理，不但计算量过大，而且冗余波段会影响空间特征的质量。因此，在对HSI空间信息预处理前，通常需要先进行谱间降维(如：主成分分析(PCA)、独立成分分析(independent component analysis, ICA)等)，从而实现HSI的空谱特征提取。1.1Gabor特征1维Gabor变换由傅里叶变换演变而来，用来最大化信号的时—频分辨率，从而更好地描述信号的全局特性。随后发展的2维Gabor变换，是一种用来对图像进行特征提取的线性变换，可用来描述图像的纹理信息，广泛应用于分类与识别领域。2维Gabor变换函数由一个实部和一个虚部构成，是通过高斯包络调制的正弦曲线函数，可表示为 1 $\begin{gathered}g(x, y ; \delta, \theta, \psi, \sigma, \gamma)= \\\exp \left(-\frac{x^{\prime 2}+\gamma^{2} y^{\prime 2}}{2 \sigma^{2}}\right) \times \exp \left(\mathrm{j}\left(2 {\rm{ \mathsf{ π} }} \frac{x^{\prime}}{\delta}+\psi\right)\right)\end{gathered}$ 且 2 $x^{\prime}=x \cos \theta+y \sin \theta$ 3 $y^{\prime}=-x \sin \theta+y \cos \theta$ 式中，$\delta $代表正弦因子的波长，其值以像素为单位，通常大于或等于2，但不能大于输入图像尺寸的1/5；$\theta $代表Gabor核的方向夹角，取值范围为[0, π]，指定了Gabor函数并行条纹的方向。其中，$\mathit{\psi }$为相位偏移，代表Gabor变换是具有实部和虚部的复数；$\gamma $代表限定Gabor核函数椭圆率的空间相位比，当$\gamma = 1$时，Gabor核函数的形状是圆的，当$\gamma ＜ 1$时，其形状随着平行条纹方向而拉长。$\sigma $为高斯包络的标准差，可以由波长$\delta $和空间频率带宽$b$来决定，定义为 4 $\sigma=\frac{\delta}{{\rm{ \mathsf{ π} }}} \sqrt{\frac{\ln 2}{2}} \frac{2^{b}+1}{2^{b}-1}$ 式中，带宽$b$的值为正实数。带宽越小，标准差越大，则Gabor核的形状越大(Li和Du，2014a)。由于表面物质的空间分布具有一定的规律性和局部连续性，为了利用光谱和空间信息对HSI分类，基于Gabor变换的特征融合方法得到发展。Yang等人(2016)提出了一种基于Gabor纹理特征和非参数加权光谱特征的高光谱图像残差融合分类方法。从空间和光谱两方面对高光谱图像进行描述，采用残差融合方法大大提高了分类性能。Jia等人(2019)提出了一种光谱空间Gabor曲面特征融合方法，实现了充分提取表面特征从而获得理想分类精度的效果。Jia等人(2020)提出了一种级联超像素正则化Gabor特征融合方法，对Gabor相位特征进行编码, 从而实现不增加计算复杂度的前提下提高分类精度的效果。针对Gabor特征数量庞大，同时由于非均匀空间分布可能会对精度产生负面影响，基于3维Gabor变换的特征融合方法对高光谱图像具有空谱特征提取的能力。针对高光谱图像的3维特性及空间特性，Zhu等人(2018)提出了用于高光谱图像分类的3维特征融合框架，利用3维Gabor特征分别从3个不同角度对高光谱图像进行特征提取后进行融合，实现了在小样本情况下得到理想的分类精度的效果。针对高光谱图像空间分布的规律性和局部连续性，Jia等人(2016)提出了基于3维Gabor立方体的空谱特征提取方法，Jia等人(2018b)结合扩展形态轮廓算子和3维Gabor小波变换的优点，提出了结合扩展形态轮廓与Gabor变换的空谱特征提取方法。除了特征融合和决策融合策略(Ye等，2017a)，Gabor变换结合稀疏、协同表达的策略也得到了不错的效果(Hao等，2016；Xu等，2018b)。Gabor变换在高光谱图像特征提取应用中虽然可以选取很多纹理特征，但由于其非正交性，不同特征分量之间具有大量冗余，降低了分类器的性能。现有基于Gabor变换的空谱特征提取方法普遍采用降维预处理，但依然存在计算量过大的问题。1.2局部二值模式特征为了挖掘高光谱图像的局部空间特征，以局部二值模式(LBP)为代表的空间纹理特征在高光谱图像特征提取与分类领域得到了广泛关注。LBP通过计算中心像素${g_c}$与其邻域像素$\left\{ {{g_i}} \right\}_{i = 0}^{B - 1}$的灰度差值来描绘图像块的空间纹理特征，其中$B$是以$R$为半径的圆形邻域内的成员个数。可将$B$和$R$视为两个参数，分别控制并决定了角度空间内的成员个数和空间分辨率的大小。对于同一图像块，设置不同的($B$, $R$)参数，将有不同的邻域集。当给定中心像素的邻域像素灰度值后，得到一个有序二进制集，定义为LBP策略 5 $\begin{gathered}L B P_{B, R}=\sum\limits_{i=0}^{B-1} s\left(g_{i}-g_{c}\right) 2^{i} \\s(x)= \begin{cases}1 & x \geqslant 0 \\0 & x0\end{cases}\end{gathered}$ 式中，$s({g_i} - {\rm{ }}{g_c})$为符号函数。邻域像素与中心像素的差值决定了该中心像素的值为1或0。LBP编码只与中心像素和邻域像素灰度值的差异有关，反映不同的纹理模式信息。本文在利用LBP对高光谱图像进行空间特征提取时，对高光谱图像先进行波段分组；然后，通过PCA降维后在角度空间的圆形邻域内和任意空间分辨率下计算"图像块"(规定图像区域)的空间纹理特征；再将所有图像块的LBP统计直方图连接成为一个特征向量，作为每个波段组的LBP空间纹理特征；最后，将各组LBP特征送入多分类器系统，从而减少组间相关性，改善各组内部的统计信息。为了将符号和幅度特征合并成当前像素的单个特征，可遵循Guo等人(2010)方法，并在一个以某像素为中心的小区域上计算符号和幅度特征的直方图，然后将直方图连接起来得到最终的特征向量。除了考虑LBP符号特征，Ye等人(2017b)考虑将符号特征和幅度特征结合，提出了幅度增强LBP (magnitude enhanced LBP，MELBP)，在MRF模型下应用LBP符号特征与幅度特征共同对HSI进行空谱特征提取与分类，如图 2所示。 图2 HSI伪彩色图像及其LBP特征 HSI pseudo-color image and its LBP featuresFig 2((a) pseudo-color image; (b) sign feature; (c) magnitude feature) 基于LBP与稀疏(或协同)表达的空谱特征提取方法得到了快速发展。针对核表示分类器未考虑局部性结构的判别信息的问题，Gan等人(2018b)提出了一种基于空间区域级核的加权核稀疏表示分类器，使用区域级核函数计算两个LBP直方图特征之间的距离，达到充分提取图像局部特征的效果。针对基于线性稀疏表示的分类器不能处理高度非线性分布的HSI这一问题，Gan等(2018a)提出了一种新的基于多特征核稀疏表示的高光谱图像分类器，将核主成分分析与LBP等多种特征相结合，达到了高效处理非线性分布数据的目的。为了将高光谱图像不同类型的特征相结合，Su等人(2018)提出两种直接和间接更新字典的多特征学习算法，使用协同表示分类实现了不同特征之间的互补，从而提高分类精度与分类性能的效果。由于LBP方法对光照具有较强的鲁棒性，可以更准确有效地提取图像的局部纹理特征，Tu等人(2019)提出了一种将联合稀疏表示分类器和局部二值模式相结合的高光谱分类方法，实现了充分利用图像纹理特征来提高分类精度的效果。除此之外，3维LBP(Jia等，2017)、多级LBP(职露等，2018)、多图嵌入LBP(Gao等，2018)、包括LBP在内的多特征方法(Huang等，2019)及基于LBP的多核方法(Huang等，2020a)也相继提出。1.3形态属性特征通过主成分分析(PCA)将形态属性(MP)策略扩展应用到HSI分析中，降低HSI维数的同时，提取其空间形态特征，这种方法称为扩展形态属性(EMP)(Benediktsson等，2005)。由于MP的结构元素(SE)不能表征与灰度特征相关的信息，因此引入了形态属性剖面(AP)(Mura等，2010a)作为一种高级机制，以获得非常高分辨率图像的详细多级表征。一些学者认为MAPs通过将不同的AP连接成单一的特征向量来进行特征提取，从而提高了提取场景中结构的空间特征的能力(Song等，2014)。如前所述，AP只能模拟不同对象的大小和结构。给定一个有序的阈值序列$\left\{ {{\lambda _1}, {\lambda _2}, \cdots, {\lambda _n}} \right\}$，通过应用一系列属性细化和属性增厚操作获得AP，即 6 $\boldsymbol{A P}(\boldsymbol{f})=\left\{\phi_{n}(\boldsymbol{f}), \cdots, \phi_{1}(\boldsymbol{f}), \boldsymbol{f}, \gamma_{1}(\boldsymbol{f}), \cdots, \gamma_{n}(\boldsymbol{f})\right\}$ 式中, ${\phi _i}$和${\gamma _i}$分别表示增厚和变薄变换，$\mathit{\boldsymbol{f}}$表示灰度图像。MAP是AP的一个扩展，将不同的属性(如面积、高度、体积、边界框的对角线和标准差)连接到一个叠加向量中，从而更加灵活。MAP可以描述为 7 $\boldsymbol{M A P}=\left\{A P_{a_{1}}, A P_{a_{2}}, \cdots, A P_{a_{m}}\right\}$ 式中，${a_i}(i{\rm{ }} = \{ 1, 2, \ldots, m\})$表示不同类别的属性，$m$代表类别个数。由于多个属性可以提取互补的空间信息，因此MAP可以提取比单个AP更多的空间信息。对于HSI分类，通常先用成分分析法对谱带进行降维，然后再用AP进行特征提取。这种方法称为扩展AP(extended AP，EAP)，是通过在降维空间(如PCA诱导空间或ICA诱导空间)中生成属性来实现的。因此，通过在$q$个主成分上生成AP来获得EAP。在每个分量上使用AP的叠加向量 8 $\boldsymbol{E A P}=\left\{\boldsymbol{A P}\left(\boldsymbol{f}_{1}\right), \boldsymbol{A P}\left(\boldsymbol{f}_{2}\right), \cdots, \boldsymbol{A} \boldsymbol{P}\left(\boldsymbol{f}_{q}\right)\right\}$ 扩展多属性剖面(extended multiple attribute profiles，EMAPs)在降维空间中将多个属性串联成一个向量，从而提高了HSI空间光谱特征的提取能力(Mura等，2010b)。EMAPs中实现的滤波操作基于对给定参考值${\rm{ \mathit{ λ} }}$的灰度图像$\mathit{\boldsymbol{f}}$的每个连接分量计算给定属性AP的评估(Song等，2014)。Xia等人(2015)提出了结合随机子空间集成和EMAP的高光谱遥感数据空间光谱分类框架。Li等人(2017)采用EMAPs将空间特征信息运用到多核学习的框架中。Sun等人(2017)将EMAPs和光谱特征的联合作为顶点关联特征，提出了一种基于图嵌入的空谱特征提取方法。为了提高有限训练样本的分类性能，Yang和Qian(2018)提出了一种基于稀疏表示和局部字典协同表示的加权多特征分类器(WMSLC)，使用光谱特征、EMAPs特征以及Gabor特征来提高分类精度。Liu等人(2020b)提出了基于加权平均滤波(weighted mean filtering, WMF)的加权EMAPs (weighted EMAPs, WEMAPs)算法来降低噪声并平滑均匀区域，然后构建多尺度WEMAPs来生成多尺度特征。针对高光谱图像因复杂的形状和尺寸难以提取空间信息的问题，胡轩和卢其楷(2020)提出一种基于显著性测度的形态学显著性剖面。将Gabor空间纹理特征、LBP空间纹理特征、MP形态属性特征与光谱特征结合，其本质是从HSI数据中预先获取空谱信息来描述样本点。这种方式的弊端在于空谱特征的质量受限于降维及空间特征提取技术。合理的降维方法、优质的空间特征提取技术及二者的有机结合均会对分类结果产生较大影响，是此类空谱特征提取方法的重要研究内容。2空间邻域信息获取通过构造分类模型或分类器，将待分类像素与其邻域像素的空间信息进行直接应用，使特征提取和分类同步完成。此类算法的难点在于对空间信息数学形式的构造，以及如何有效地将其与分类器结合(赵振凯，2016)。2.1联合空间信息的稀疏(协同)表示模型基于表示的分类方法的原理是一个测试像素可以用标记的样本线性表示。权重系数由L0范数或L1范数惩罚约束的线性表示，称为稀疏表示(sparse representation，SR)；由L2范数惩罚约束的线性表示，称为协作表示(collaborative representation，CR)。基于稀疏表示的分类(sparse representation classification，SRC)最初是由Wright等人(2009)提出应用于人脸识别。其本质是将测试像素通过L0范数或L1范数正则化被稀疏地表示为标记数据的线性组合。在SRC中，对于一个测试样本${\boldsymbol{y}}$, SR的目标是找到线性组合的权向量${{\boldsymbol{\alpha }}^{{\rm{SR}}}}$，使$\left\| {{\boldsymbol{y}} - {\boldsymbol{X}}{{\boldsymbol{\alpha }}^{{\rm{SR}}}}} \right\|_2^2$带稀疏约束项${{\boldsymbol{\alpha }}^{{\rm{SR}}}}$最小化。SRC的目标函数可以表示为 9 $\operatorname{argmin}\left\|\boldsymbol{y}-\boldsymbol{X} \boldsymbol{\alpha}^{\mathrm{SR}}\right\|_{2}^{2}+\lambda_{1}\left\|\boldsymbol{\alpha}^{\mathrm{SR}}\right\|_{1}$ 式中，权重向量${{\boldsymbol{\alpha }}^{{\rm{SR}}}}$可以用基追踪(basis pursuit，BP)方法(Chen等，2001)计算。如果直接使用L0范数，则该问题可以用正交匹配追踪(orthogonal matching pursuit，OMP)(Tropp和Gilbert，2007)或子空间追踪(subspace pursuit，SP)(Dai和Milenkovic，2009)求解。得到${{\boldsymbol{\alpha }}^{{\rm{SR}}}}$后，将${\boldsymbol{X}}$和${{\boldsymbol{\alpha }}^{{\rm{SR}}}}$按照给定类标签的训练样本，根据类的最小值来确定样本类标签的近似值与原始像素之间的残差 10 $r_{l}^{\mathrm{SRC}}(\boldsymbol{y})=\left\|\boldsymbol{X}_{l} \boldsymbol{\alpha}_{l}^{\mathrm{SR}}-\boldsymbol{y}\right\|_{2}$ 根据${{\boldsymbol{y}}_l} = {{\boldsymbol{X}}_l}{{\boldsymbol{\alpha }}^{{\rm{SR}}}}$得到各类的稀疏表示分类结果后，再利用式(10)使残差最小来确定${\boldsymbol{y}}$的类标签。Zhang等人(2011)讨论了"协作"与"竞争"的关系，认为像素间的"协作"特性比"竞争"特性能进一步提高分类精度。CR表示其余所有像素对待分类像素的表示都具有协作关系，且每个像素都有平等的参与机会。用一个2范数正则化最小二乘公式求解。在基于协同表示的分类(collaborative representation classification，CRC)中，CR的目标是找到线性组合的权向量${{\boldsymbol{\alpha }}^{{\rm{CR}}}}$，使$\left\| {{\boldsymbol{y}} - {\boldsymbol{X}}{{\boldsymbol{\alpha }}^{{\rm{CR}}}}} \right\|_2^2$最小化。CRC的目标函数可以表示为 11 $\operatorname{argmin}\left\|\boldsymbol{y}-\boldsymbol{X} \boldsymbol{\alpha}^{\mathrm{CR}}\right\|_{2}^{2}+\lambda_{2}\left\|\boldsymbol{\alpha}^{\mathrm{CR}}\right\|_{2}^{2}$ 近年来，SRC和CRC在高光谱图像分类中得到了广泛的应用(Chen等，2011)，但是都只利用了光谱信息，忽略了空间背景在分类中的重要作用。如果希望使空谱特征提取和分类同步完成，需要以数学形式将空间信息结合到分类模型(或分类器)的构造中。通常，空间信息是通过不同大小的窗口以多尺度块来实现(Tong等，2017)。学者们提出了联合空间信息的联合稀疏表示(joint sparse representation，JSR)特征提取与分类模型(Zhang等，2014)。基于同一类高光谱像元通常处于一个低维子空间，且空间邻域相似，JSR使用通用的训练字典同时表示测试像素周围的邻居像素，并将相邻像素的稀疏表示结合起来，生成一个稀疏系数矩阵，嵌入类判别信息。JSR可以提高稀疏支持度估计的可靠性，增强稀疏系数的判别能力。Zou等人(2015)为了反映高光谱数据之间的相似性，提出了一种基于稀疏表示的最近邻(sparse representation nearest neighbor，SRNN)分类器，通过考虑稀疏系数来确定测试样本的标签，还开发了一个空间联合版本——联合稀疏表示最近邻分类器(joint SRNN，JSRNN)，与传统方法相比，该分类器的分类精度有所提高。Fu等人(2016)提出了一种新的形状自适应联合稀疏表示分类(shape adaptive joint SRC，SAJSRC)方法，该方法自适应地挖掘空间信息，并将其整合到联合稀疏表示分类器中。在多个高光谱图像数据上进行实验，表明该方法优于其他的分类方法。Tu等人(2018)针对每个像素的局部窗口包含了来自不同类的像素，可能导致JSR分类器的性能严重下降，提出了一种将相关系数(correlated coefficient，CC)与JSR融合的分类方法，有效地度量不同像素之间的光谱相似性。Peng等人(2019)提出了一种用于高光谱遥感图像分类的局部自适应联合稀疏表示(local adaptive JSR，LAJSR)模型，在字典构造和稀疏表示阶段对JSR进行了改进，特别是在小样本情况下，提高了分类性能。CRC应用于高光谱图像分类滞后SRC三年左右，以一种基于协作表示的分类器——最近正则化子空间(nearest regularized subspace，NRS)的形式呈现(Li等，2014d)。NRS分类器将距离加权Tikhonov正则化(Tikhonov和Arsenin，1997)惩罚系数融入CRC的目标函数，通过闭式解估计权值向量，从而大大降低了计算成本。随后，Li和Du(2014b)又提出了融入空间上下文信息的、联合协同表示(joint collaborative representation，JCR)特征提取与分类模型。同年，Li等人(2014b)提出了局部自适应字典(locally adaptive dictionary，LAD)联合非局部JCR分类的高光谱图像分类方法，用测试像素的非局部像素构造联合信号矩阵，利用子字典替代整个字典来适应非局部信号矩阵。Xiong等人(2015)针对联合协作表示分类器在提取周围像素的空间和光谱特征时采用相同的权值，提出了加权JCR (weighted JCR, WJCR)分类器，通过考虑中心像素与其周围环境的相似性来尝试使用更合适的权值。针对如何获得分类任务的最优表示系数，Jiang等人(2017)提出了空间感知协同表示用于对HSI分类，利用空间和光谱特征来诱导距离加权正则化项的闭式解，通过在表示目标函数中添加空间正则化项直接将空间信息应用于分类器。针对直接将协同表示引入HSI会导致全局字典原子的高冗余性和空间信息的缺失局限性，Zhai等人(2019)提出了一种基于局部自适应字典的全变分正则化CRC算法，可以有效克服全局字典的高冗余性和不相关字典原子在表示过程中的干扰，以便仅用高度相关的原子更精确地表示每个像素。此外，综合全变差正则化，可以更好地反映丰富的空间背景信息，Su等人(2020)提出了基于随机子空间的最近邻类协同表示Tihonov(k-nearest class CRT，KNCCRT)集成框架，通过在随机子空间(random subspace，RS)选择特征来实现特征的多样性，并在RS中引入形状自适应邻域约束来整合空间信息。2.2核空间信息提取与分类模型支持向量机(SVM)在线性或非线性分类器的基础上，通过引入结构风险最小化原理、最优化理论和核方法演化而成，能根据有限的样本信息在学习能力和模型的复杂性之间寻求平衡。SVM核心思想是：把输入空间的样本点映射到高维空间，然后在高维空间找到一个能将这些点分开的最优分类超平面。根据拉格朗日乘法准则，可以把最优分类超平面的求解问题转化为以下的约束优化问题 12 $Q(a)=\sum\limits_{i=1}^{N} a_{i}-\frac{1}{2} \sum\limits_{i=1}^{N} \sum\limits_{j=1}^{N} a_{i} a_{j} y_{i} y_{j} K\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right)$ 式中, ${{\boldsymbol{x}}_i}$是输入的第$i$个样本，${y_i} \in \left\{ { - 1, 1} \right\}$，$\left\{ {{a_i}} \right\}_{i = 1}^N$是大部分元素为0的拉格朗日乘子，不为0的元素所对应的样本称为支持向量。${\boldsymbol{K}}\left({{{\boldsymbol{x}}_i}, {{\boldsymbol{x}}_j}} \right)$为内积核函数，选择合适的核函数能够准确反映样本之间的相似度。然而，并不是所有的度量距离都可以应用于核方法。事实上，有效核需要是半正定的，且满足Mercer条件(Perkins等，2001)。对于给定的非线性映射函数$\phi $，即Mercer核函数可以表示为 13 $K\left(\boldsymbol{x}, \boldsymbol{x}^{\prime}\right)=\varPhi(\boldsymbol{x})^{\mathrm{T}} {\varPhi}\left(\boldsymbol{x}^{\prime}\right)$ 常用的核函数有4类，包括线性核(linear)、多项式核(polynomial)、高斯径向核(radial basis function, RBF)和感知机核(sigmoid)等。其中，RBF在较少参数的情况下就能得到与其他非线性核函数相似的性能，是SVM最常用的核函数之一。SVM是典型的基于核空间信息提取的分类方法，能够有效克服高光谱图像分类中样本不足带来的"Hughes"现象。Camps-Valls和Bruzzone(2005)最先将基于核的方法应用于高光谱图像分类。基于复合核(Camps-Valls等，2006)与复合半监督SVM的分类模型(Marconcini等，2009)相继提出，采用基于核的SVM(kernel SVM, KSVM)分类器实现空间—光谱信息的同步提取与分类成为可能。随后，越来越多的KSVM分类器与分类模型被研究。Wang等人(2014)提出了一种基于空间—光谱标签传播的高光谱图像的半监督分类方法。Yang等人(2014)提出了一种用于半监督高光谱图像分类的时空光谱拉普拉斯SVM，利用谱向量上的聚类假设来制定流形正则器，并设计了高光谱图像的邻域空间约束来构造空间正则器。Peng等人(2015)提出了基于区域核的支持向量机(region-kernel-based SVM，RKSVM)，利用区域来捕获局部同构像素，利用复合区域核来实现标记像素和标记区域的同时分类，再整合标记像素和空间均匀区域的先验知识。Xia等人(2016)提出了基于旋转的支持向量机(rotation-based SVM，ROSVM)，利用随机特征选择和数据转换生成不同的支持向量机分类结果，可以提高单个SVM的分类精度及集成SVM的多样性。Xie等人(2017)利用相邻像素间的光谱特征和离散空间特征构建的空间模型，采用复合核SVM分类器来提高分类精度。Liu等人(2018a)提出了基于重建核希尔伯特空间的空间最小二乘支持向量机(least-squares SVM in sum space，LS-SVM-SS)的正则化框架。Zhao等人(2020)将空间上下文描述为逻辑回归，与SVM提供概率输出。经过初始分类得到了标签的未标记样本，考虑中心和最近邻像素的光谱相似性来提高算法的性能。除了KSVM外，核稀疏表示分类(kernel SRC，KSRC)和核协同表示分类(kernel CRC，KCRC)在高光谱图像空谱信息同步提取与分类中也得到了一定发展。Zhang等人(2012a)提出了一种基于空间—光谱核稀疏表示的邻域滤波核，提出了一个空间光谱KSRC的框架，在核特征空间中通过邻域滤波来度量空间相似性。Li等人(2015d)提出了基于Tikhonov正则化的核协同表示的高光谱图像分类方法，在两个高光谱数据集上表明该方法优于传统的复合核支持向量机分类器。由于核极限学习机(kernel extreme learning machine，KELM)具有简单、快速以及泛化能力强等优点，在高光谱图像空谱信息分类领域受到越来越多的关注。Zhou等人(2015)提出了两种空间—光谱复合核(CK)的ELM分类方法。在CK框架中，单空间核和谱核分别由基于激活函数的核和广义高斯核组成，能直接实现多类别分类。由于多核学习能够处理光谱和空间特征的异构融合(Gu等，2017b)，可以是几个固定核的最优加权，以减少核选择的困难和固定核的局限性，已成功地应用于高光谱图像的空谱信息提取与分类。基于超像素特征的多核稀疏表示分类方法，利用超像素内部的局部均值算子和超像素之间的加权平均算子开发的超像素级特征(Sun等，2019)，能从局部和全局描述空间信息，避免了联合重建，降低了计算复杂度。现阶段，为了充分表现高光谱图像在高维特征空间中的非线性特性，基于核空间特征提取与分类模型朝着多核学习(MKL)模型发展，并取得了一定的突破。如，将MKL嵌入到协同表示分类器(Du等，2018)、将MKL嵌入到极限学习机(Ergul和Bilgin，2020)等。但由于诸如高斯、多项式和对数核函数等构造的多个复合核具有参数繁多、结构复杂等问题，基于多核学习的空间信息提取与分类模型有待于进一步优化。直接将空间邻域信息与光谱信息加入到分类器中，需要建立合理的数学表达式、构造有效的分类模型，协同光谱特征、空间特征与分类器对待分类像素点进行判别与分类。这种方式直接将空谱特征提取与分类有机统一、同步完成，区别于先空谱特征提取、后分类的空间纹理与形态学特征提取方式，其优势在于特征提取与分类无需分阶段实现，难点在于如何将待分类像素与空间近邻像素的关系高效地结合到原光谱分类模型中，以合理的数学表达形式构建新型分类器。3空间信息后处理空间信息后处理技术利用空间信息对初步的分类结果进行校正，以提高分类精度。应用于高光谱图像的空间信息后处理方法可以分为以下几种：第1种是以马尔可夫随机场(MRF)(Rellier等，2004)为代表的随机场方法；第2种是以双边滤波(Lee等，2011)为代表的滤波方法；第3种是以二叉树(Valero等，2010)为代表的图分割法等。除了以上几种方法外，条件随机场(吴俊峰等，2017)、分水岭(watershed transformation)(Tarabalka等，2010a)、均值漂移(mean-shift)(Huang和Zhang，2008)等方法也被应用于高光谱图像的空间信息后处理。3.1马尔可夫随机场马尔可夫随机场(MRF)有效地描述了随机场$Y$的局部性质。然而，寻找随机场$Y$的联合属性分布是一个难点。根据Hammersley-Clifford定理，马尔可夫随机场的联合性质服从吉布斯分布。因此，马尔可夫随机场模型的属性密度可以用吉布斯随机场的属性密度来定义。对于具有$n$个样本的测试数据集${\boldsymbol{X}} = \left\{ {{{\boldsymbol{x}}_i}} \right\}_{i = 1}^n$，使用MRF来描述类域的概率${\boldsymbol{y}} = \left\{ {{y_i}} \right\}_{i = 1}^n$。如Tarabalka等人(2010a)所述，MRF的联合概率密度是吉布斯分布，其形式为 14 $P(\boldsymbol{y})=\frac{1}{Z} \exp (U(\boldsymbol{y}))$ 式中，$Z$是归一化常数，将一组相邻像素定义为团。能量函数$U\left({\boldsymbol{y}} \right) = \mu \mathop \sum \limits_{\left({i, j} \right) \in Q} \delta \left({{y_i} - {y_j}} \right)$和团势$\delta \left({{y_i} - {y_j}} \right)$在团${\boldsymbol{Q}}$集合内求和, $\mu $是平滑参数。将团定义为一组相邻像素。因此，式(14)反映了相邻像素极有可能属于同一类的空间先验，实现分段平滑分类图。自从SVM-MRF(Tarabalka等，2010b)成功应用于高光谱图像空谱特征提取与分类，并广泛作为比较算法, 越来越多的学者针对MRF提出了改进方法。Li等人(2014c)将MRF与GMM分类器结合，提出的LPNMF-GMM-MRF算法比SVM-MRF具有更好的分类性能，即使在小样本情况下，也能得到较高的分类精度。Sun等人(2015)提出了一种监督分类模型，该模型包括光谱数据保真度项和隐藏域中的空间自适应马尔可夫随机场先验。Yu等人(2016)利用SVM分类器，结合子空间投影法解决像素和噪声混合的问题，基于光谱信息对类的后验分布进行建模，采用自适应MRF对图像像素的空间信息进行建模。Cao等人(2019a)针对MRF的浅层结构不能充分利用高光谱图像信息的问题，提出级联MRF模型，使用空谱组合特征向量生成具有更强鉴别能力的增强特征向量。针对HSI存在噪声问题，Cao等人(2019b)采用混合高斯低秩矩阵分解(low-rank matrix factorization, LRMF)方法，对从局部斑块展开的每个局部矩阵同时提取空谱特征并去除噪声，利用MRF进行处理。与此同时，基于决策融合系统(Andrejchenko等，2019)、多尺度信息融合(multiscale information fusion，MIF)和深度学习的MRF算法(Qing等，2019)相继提出。3.2双边滤波双边滤波器是一种保护边缘的平滑技术，由中心像素与其邻域像素之间的相似函数和邻近区域的强度值差异函数来共同决定。设${\boldsymbol{u}}$为输入图像，$BF({\boldsymbol{u}})$为双边滤波后的平滑，即 15 $B F(\boldsymbol{u})_{i}=\frac{1}{W_{i}} \sum\limits_{j \in \boldsymbol{\varOmega}} G_{\sigma_{s}}(\|\boldsymbol{i}-\boldsymbol{j}\|) G_{\sigma_{r}}\left(\left\|\boldsymbol{u}_{i}-\boldsymbol{u}_{j}\right\|\right) \boldsymbol{u}_{j}$ 式中，${W_i}$权值和为1，定义为 16 $W_{i}=\sum\limits_{j \in \boldsymbol{\varOmega}} G_{\sigma_{s}}(\|\boldsymbol{i}-\boldsymbol{j}\|) G_{\sigma_{r}}\left(\left\|\boldsymbol{u}_{i}-\boldsymbol{u}_{j}\right\|\right)$ 式中，${\boldsymbol{i}}$表示高斯核中心的像素位置，${\boldsymbol{j}}$表示像素在$\mathit{\boldsymbol{\Omega }}$域的位置，该域是一个大小为$\left({2n + 2} \right) \times 2$的局部窗口，其中$n = 1, 2, \cdots, M, {{\boldsymbol{u}}_j}$为图像第$j$个像素处的强度值。$\left\| {{\boldsymbol{i}} - {\boldsymbol{j}}} \right\|$表示$\left({{\boldsymbol{i}} - {\boldsymbol{j}}} \right)$的L2范数，${G_{{\sigma _s}}}$和${G_{{\sigma _r}}}$分别表示标准差为${{\boldsymbol{\sigma }}_s}$和${{\boldsymbol{\sigma }}_r}$的空间高斯核和范围高斯核。如果两个相邻像素的强度值非常接近，即${{\boldsymbol{u}}_i} \approx {{\boldsymbol{u}}_j}$，将高斯权值乘以一个接近于1的值，因此等价于一个高斯滤波器。相反，如果相邻像素的强度值不同，则禁止对该像素进行高斯平滑。直观地说，这种行为产生了如下结果：在图像的均匀区域进行高斯平滑，不跨对象边界进行滤波。双边滤波器可以有效地产生更令人满意的结果，因为它避免了对象之间的模糊，同时消除了均匀区域的噪声。此外，双边滤波器无需迭代计算，可以通过调整${{\boldsymbol{\sigma }}_s}$和${{\boldsymbol{\sigma }}_r}$参数提高滤波效果(Wang等，2016)。高光谱图像在保持细节的同时降低噪声，提取有用的光谱空间信息一直是分类任务的重要问题之一。保持边缘的滤波方法(如双边滤波)可以有效提高图像的质量，已成功应用于高光谱图像空间信息后处理(Kotwal和Chaudhuri，2010)。在类边界光滑性假设下，使用边缘保持滤波器对像素级分类图进行平滑处理，能显著提高部分高光谱场景的分类精度(Schindler，2012；Kang等，2014)。为了进一步提高分类精度，Zhao等人(2017)提出了一种将联合双边滤波器和叠加稀疏自动编码器相结合的HSI分类方法。Qiao等人(2018)提出了基于双边滤波和稀疏表示的光谱空间分类框架，提出一种基于光谱相似性的JSRC(spectral similarity-based JSRC，SS-JSRC)方法，利用邻域窗口的统计信息来剔除不相关像素。3.3二叉划分树二叉划分树(BPT)是一种典型的基于图分割的高光谱图像空谱特征提取与分类方法，也属于空间信息后处理的范畴。BPT是一种基于区域的分层表示，可以被解释为存储在树形结构中的一组层次区域，具有相当通用的构造。BPT是一种基于区域的树状结构图像的分层表示。从靠近叶子的细分割到靠近根的粗分割，可以在不同的分割尺度下对图像特征进行挖掘。应用于高光谱数据的二叉划分树算法如图 3所示，构建BPT，实现挖掘高光谱数据的空谱相关性；再对该树进行剪枝，删除由节点组成的子树，这里要求被修剪的叶子符合给定的最优准则。 图3 二叉划分树示意图 Diagram binary of partition treeFig 3BPT是一种基于区域的图像表示，涉及较少的基本基元，因此应用于高光谱图像处理具有一定的鲁棒性和高效性。Valero等人(2010)通过比较不同的合并顺序和剪枝策略，成功地将BPT应用于高光谱图像目标检测。Valero等人(2011b)提出了基于典型相关主坐标的高光谱区域合并策略。Veganzones等人(2013)提出了基于光谱分解概念的高光谱图像BPT构造方法和剪枝策略，利用区域的局部分解来寻找达到全局最小重建误差的分区。Valero等人(2013)结合空间和光谱信息，提出了一种基于二叉划分树的高光谱图像目标检测方法，采用基于区域的透视方法对高光谱图像进行分析。Veganzones等人(2014)提出了基于光谱分解的高光谱图像BPT构造方法和剪枝策略，实现了在不同背景和分辨率下令人满意的效果。近年来，利用BPT对高光谱图像进行空谱特征提取的研究较少，主要集中在无监督聚类领域。空间信息后处理方式对光谱分类结果通过空间信息进行补偿与纠错，区别于空间邻域信息方式，实现步骤具有明显的阶段性。先使用光谱特征对HSI数据分类，再使用诸如随机场、滤波、图分割等空间信息后处理提高分类质量，这种空谱特征提取方法的特点是以光谱特征提取、分类、空间特征提取的顺序实现HSI空谱特征提取与分类的，其难点在于最后一步，即如何有效、合理地利用空间信息对粗分类结果精准化，进一步提高分类精度。4深层空谱特征以上传统HSI空谱特征提取方法大多数只考虑从浅层的角度处理。基于深度学习的算法通过构建深度网络框架，直接从HSI数据中分层学习具有代表性和判别性的两层或更多层的深度特征，本文将其定义为深层空谱特征。深层空谱特征具有一定的动态特性，能够实现深层、自动化提取，有潜力在分类和目标检测中具备更高的学习能力。深层空谱特征提取得到了快速发展与广泛应用，将其应用于高光谱图像分类的脉络图如图 4所示。 图4 深层空谱特征应用于HSI分类的脉络图 Chorogram of deep-layer spatial-spectral features for HSI classificationFig 44.1卷积神经网络(CNN)输入CNN的可以是光谱信息(吴俊峰等，2017; Hu等，2015)或空谱信息(张怡卓等，2019)。在基于CNN的算法中，将光谱维数据作为输入特征表现优于传统的机器学习算法，但基于空谱联合特征的3维卷积神经网络(three dimension convolutional neural networks, 3D-CNN)对高光谱图像的分类性能有大幅度提高。Hu等人(2015)提出了包含输入层、卷积层、最大池化层、全连接层和输出层的深度卷积神经网络(deep CNN, DCNN)，利用光谱信息对高光谱图像进行分类，得到了比支持向量机和传统深度学习方法更好的分类性能。吴俊峰等人(2017)将高光谱数据作为光谱序列处理，使用递归神经网络(recurrent neural networks，RNN)来建模不同光谱波段之间的相关性，从高光谱数据中提取上下文信息，并将卷积递归神经网络(convolutional recurrent neural networks, CRNN)用于高光谱数据分类，从卷积层生成的特征中提取光谱背景信息。空间—光谱信息的联合利用是通过多尺度卷积滤波器组来实现的，滤波器组被用为提取CNN通道的初始分量。使用了空间信息提取策略的CNN网络比单纯的提取光谱信息的CNN网络具有更优的分类性能。因此，联合空谱特征的3D-CNN近年来受到了越来越广泛的关注。从实现方式上3D-CNN可以分为两种，一种是2D空间信息结合1D光谱信息的3D-CNN模型，另一种是以3D立方体数据作为网络输入的3D-CNN模型。2D空间信息结合1D光谱信息的3D-CNN模型，如图 5所示。首先，经过PCA降维处理，将原始高光谱数据降维，以适应CNN输入(一般为3个通道)，2维卷积核在每个通道上滑动提取局部特征，输出特征图的通道数由卷积核的个数来决定；然后，特征图经过池化处理(常用的有平均池化和最大池化)，随着卷积层和池化层的增加，对特征图进行下采样(特征图的高$H$和宽$W$变小)，通道数$C$会逐渐变大，得到一个1维向量(向量的长度为通道数$C$，高$H$和宽$W$都为1)；最后，通过全连接层的处理和相应的激活函数得到样本对应每个类别的概率，完成分类。典型2维CNN(2D-CNN)架构如图 5所示，包括两个卷积层和两个池化层。 图5 2D空间信息结合1D光谱信息分离的3D-CNN 2D spatial information combined with 1D spectral information for 3D-CNNFig 5以3D立方体数据作为网络输入的3D-CNN模型可以同时提取光谱和空间特征，每个3维卷积核不仅是从高和宽方向上进行卷积，还在通道方向上同时进行卷积，也就是说，3维卷积核会沿着特征图的3个方向进行滑动，3维卷积的输入和输出特征图为4维向量，输入特征图的尺寸和卷积核的个数都会决定输出特征图的尺寸，经过多层卷积池化操作之后也是得到一个1维向量，如图 6所示。 图6 3D数据输入的3D-CNN 3D data input for 3D-CNNFig 6基于CNN的高阶HSI空谱特征提取方法，通过设计两层或更多层的框架来获取具有优良鲁棒性和不变性(Chen等，2016)的深层特征。Mei等人(2017)构造了一个5层CNN，提出的特征学习CNN(feature learning CNN，FL-CNN)策略充分利用了HSI的空间和光谱信息。Zhang等人(2019)提出一种端到端的3维轻量级卷积神经网络，实现了3维卷积神经网络(3D-CNN)模型对HSI的高精度分类。但如何更充分地利用HSI内部的信息(包括丰富的光谱信息和空间信息)仍然面临着巨大的挑战。针对高光谱图像维数不断增加，分类越来越困难的问题，Lin和Song(2017)提出了将空间光谱信息转换成灰度图像和波形来捕获空谱特征的方法；Feng等(2019)针对高光谱图像高维度的问题，设计了CNN来提取高光谱图像的空间特征，将CNN的浅层、中层和深层空间特征作为多输入来提取不同层次的联合空谱特征，实现端到端分类，获取浅层基本信息和深层抽象信息之间的互补信息，实现较好的分类性能。Lin等(2020)利用熵和颜色匹配函数从所有光谱中确定候选光谱集，结合空间光谱信息设计CNN网络。针对可用于高光谱图像标记样本昂贵和训练样本稀缺的问题，Liu等人(2017)提出了一种用于高光谱图像分类的半监督卷积神经网络；Mou等人(2018)提出了网络完全卷积反卷积网络，通过结合残差学习和新的非池化操作优化网络；Li等人(2017)提出了一种基于深度CNN学习的像素对特征(pixel-pair features，PPFs)的分类框架，结合中心像素和其周围像素构建像素对；Zhang等人(2018)提出了一种基于不同区域的深度CNN模型(diverse region-based deep CNN，DR-DCNN)，设计了不同的CNN模型输入模式和拓扑结构，通过"多尺度求和"模块网络提取HSI的光谱—空间特征。Tang等人(2020)提出一种空间—光谱原型网络(spatial-spectral prototypical network，SSPN)，利用结合了空间和光谱信息的局部模式编码算法和一维卷积神经网络来提取空谱特征，更好地对HSI中存在的混合像素进行分类；Liu等人(2020d)提出了一种轻量级混叠卷积神经网络(shuffled group CNN，SG-CNN)的方法。另外，针对高光谱图像特征具有低类内差异性和高类间差异性的问题，Liu等人(2018b)提出了一种基于Siamese卷积神经网络(siamese CNN，S-CNN)的有监督深度特征提取方法，直接从高光谱立方体中提取深度特征；针对过度增加网络深度会导致过拟合以及现有网络模型忽略了不同层次间的强互补性等问题，Guo等人(2020)提出的CNN模型在不增加训练样本数量和像素块大小的情况下，实现了高光谱图像的高精度分类；针对CNN利用高光谱图像的高阶特征进行分类时，网络深度增加、网络间缺乏相关信息互补性而导致的退化问题，张怡卓等人(2019)设计了面向地物分类的高光谱特征融合残差CNN网络；Han等人(2020)提出一种基于不同尺度双流卷积网络和空间增强策略的空间—光谱联合高光谱图像分类方法；针对高光谱图像的高维特性增加了计算复杂度的问题，Mohan和Venkatesan(2020)采用线性高斯随机投影(Gaussian random projection，GRP)和非线性核主成分分析(kernel PCA，KPCA)相结合的混合DR算法进行最优波段提取，使用多尺度空间光谱混合CNN进行分类，较好地减少了模型的计算复杂度。基于CNN的空谱特征提取方法难以处理顺序数据，且不善于建模长期依赖关系, 而包含数百个波段的HSI数据的光谱是一种序列数据，对CNN的应用带来了挑战(He等，2021)。基于注意机制的Transformer在处理顺序数据时具有一定优势，将其应用于HSI数据的深度特征挖掘与分类，优势在于去卷积化降低了每层计算的复杂度，且可以实现并行化的计算，从而大大降低了计算成本。另外，针对CNN对HSI数据处理时还普遍存在样本数量不足、导致过拟合的问题，可从以下几方面着手解决：对训练数据、训练模型和训练过程等进行调整；对有限的训练数据采用新的学习范式，例如半监督学习、主动学习与自监督学习等。4.2图卷积网络(GCN)图卷积网络(GCN)是应用于HSI的一个热点和新兴的网络架构，能够通过建模样本之间的关系来有效地处理具有图结构的数据(Hong等，2020)。图像中的每个像素都被视为一个节点，其邻居是由滤波器大小决定的。CNN模型对具有固定大小和权重的规则正方形图像区域进行卷积运算，如图 7(a)所示，2维卷积是将深色节点的像素值与其相邻节点的像素值加权平均。节点的邻居是有序的，并且有固定的大小，因此，不能普遍地适应具有各种对象分布和几何外观的不同局部区域(Zhang等，2016)。随着GCN模型的提出，数据之间的许多潜在关系可以用图来表示，如图 7(b)所示，为了得到红色节点的隐藏表示，图卷积运算的一个简单的解决方法是取深色节点的节点特征与其邻居的平均值。与图像数据不同的是，节点的邻居是无序的，大小是可变的(Scarselli等，2009)。由此可知，HSI中的长程空间关系可以自然地使用GCN来模拟。虽然，利用GCN对HSI进行分类还处于起步阶段，且具有一定的局限性，但近两年受到了越来越多学者的关注，针对诸多待解决问题，提出了一系列切实有效的方案。 图7 2维CNN卷积与图卷积 Two-dimensional CNN convolution and graph structureFig 7((a) 2D-CNN; (b) graph structure) 针对HSI高维特性与有限样本间的不平衡性问题，Mou等人(2020)提出了一种非局部图卷积网络(nonlocal GCN)的半监督网络，实现了接收整个图像(包括标记和未标记的数据)的效果；Liu等人(2020a)提出了利用图卷积网络(GCN)研究HSI的小样本分类问题，实现了优于传统的半监督方法和先进的深度学习方法的效果；Sha等人(2019)提出了空间谱图模型表示和边缘条件卷积图网络，实现了在构造图的过程中同时考虑空间谱信息，然后利用GCN从输入数据中提取特征，并学习其与边缘标签的拓扑关系的效果；Qin等人(2019)提出了基于空谱特征的图卷积网络(spatial-spectral GCN)的多谱空间图半监督学习框架，实现了缓解标记样本的不足、提高HSI分类准确性的效果。GCN是一种直推式学习方法，要求所有节点都参与到训练过程中，才能得到节点的嵌入；另一方面，GCN需要构造邻接矩阵，面临着随层数增加计算成本呈指数增长和加载整个图及节点嵌入的高内存使用问题。针对GCN在HSI分类应用中具有计算成本高的挑战，You等人(2020)提出了一种高效的分层GCN(layer-wise GCN，L-GCN)训练框架，在训练过程中特征聚合和特征转换分离，从而大大降低了计算成本和内存使用，同时保持了良好的预测性能；Yang等人(2021)提出了一种归纳学习方法，从节点的本地邻域采样和聚合特征、从光谱和空间信息两方面来构造图，大大降低了空间复杂性，且具有更好的分类效果；Hong等人(2020)提出了迷你GCN(miniGCN)模型，可以用小批量的方式在下采样图(或拓扑结构)上有效地训练网络，并将CNN与miniGCNs提取的特征融合在端到端可训练的网络中，实现分类效率的大幅度提升。Liang等人(2020)将CNN与GCN结合，将全局视觉特征和对象位置特征嵌入双流结构来提高特征表示能力。基于图嵌入的流形学习技术已经非常成功地在低维表示HSI，黄鸿等人(2019)提出了一种空谱协同正则化稀疏超图嵌入算法，构建正则化稀疏超图模型来揭示高光谱数据间的多元几何结构，利用样本总体散度与局部空间邻域散度来实现空谱特征提取。在HSI高阶空谱特征提取领域，针对GCN在复杂情况下未能挖掘像素间空间上下文关系，而导致在一些不规则或不均匀的区域(例如类边界)上的分类偏差问题，Shahraki和Prasad(2018)提出了一种基于图的超光谱数据分类的CNN架构，实现了优于传统的基于CNN的分类器的效果；Sha等人(2019)针对图卷积网络，实现了灵活地编码表达任意结构的非欧几里得数据之间的关系，取得了较好的效果；Liu等人(2020c)针对GCN无法捕捉像素级空谱特征的问题，提出了一种称为CNN增强GCN(CEGCN)的异构深度网络，提高了网络节点特征学习的能力。由于GCN能适应具有各种对象分布和几何外观的局部区域，HSI的长程空间关系可以使用GCN来模拟，因此，利用GCN这种新兴网络架构对HSI进行学习具有一定的潜力。但是，GCN应用于HSI尚处于起步阶段，还有些待解决问题值得研究。尤其是通过GCN模型对HSI训练时，需要从目标像素的邻域递归地计算节点进行表示，会导致过大的运算量以及内存占用量。此外受限于GCN本身的特性，相较于CNN网络，其网络深度受限，难以聚合更多的深层信息。4.3多源数据跨场景模型与高光谱图像(HSI)数据不同，激光雷达(LiDAR)数据提供了被调查区域的高程信息，可以在一天中的任何时间及恶劣天气条件下获取。随着同一区域的HSI和LiDAR数据的可用性增加，将其融合进行特征提取可以更好地实现场景刻画(Xu等，2018b)。图 8以HSI数据与激光雷达数据为例，构建了CNN框架下的多源数据联合特征提取与分类网络结构。Huang等人(2020b)采用类似的网络结构，一个CNN用来从高光谱数据中学习光谱—空间特征，另一个CNN用来从激光雷达数据中获取高程信息，最后两个卷积层通过参数共享策略耦合在一起。 图8 HSI数据与LiDAR数据融合的深度网络框架 A deep network framework by fusing HSI data and LiDAR dataFig 8为了解决不同特征之间的不平衡所带来的问题，Luo等人(2017)通过整合光谱特征、空间特征(HSI的形态学特征)和高程特征(LiDAR的形态学特征)，将无阴影区域和有阴影区域的结果进行融合；Gu和Wang(2017a)提出了一种基于判别图的融合方法，将HSI和LiDAR两种数据源的异质特征融合到城市分类中。由于小空间邻域中的像素更可能共享相似的丰度，Kahraman等人(2019)使用超图正则化来处理空间邻域像素之间的相似性与相关性；Zhang等人(2020)通过设计碎片—碎片卷积神经网络(patch-to-patch convolutional neural network，PToP CNN)的隐藏层对HSI和LiDAR数据的多尺度特征进行整合，用于无监督协同分类；Xia等人(2020)提出了一种半监督图融合(semi-supervised graph fusion，SSGF)方法，将光谱特征、高程特征和空间特征投影到较低的子空间上获得新的特征，实现了最大化分类能力和保持局部邻域结构。针对不同遥感传感器的优点和局限性，除了特征级融合外，决策级融合网络框架也有一定的研究进展。Xia等人(2017)提出了一个集成分类器系统将光谱波段、高光谱形态学特征和激光雷达特征分割成几个不相交的子集，将每个子集中提取的特征连接到随机森林分类器中进行分类，实现对HSI和LiDAR数据集进行决策级融合分类；Xia等人(2018)使用形态学特征融合HSI和LiDAR数据衍生的数字表面模型，通过多数表决决策融合策略得到最终分类结果。尽管多特征和基于决策融合的方法在分类任务中展现了出色的性能，但卷积层中的大接受区域和池化层的存在导致CNN更深层的低空间分辨率(Chen等，2018)。因此，相应的预测类往往是空间碎片，缺乏精准的对象边界细节。为了解决空间连续性问题(Zhao等，2020)，可以利用随机场或图分割等后处理将空谱特征引入到HSI深度分类框架中。Alam等人(2019)提出了一种综合考虑光谱和空间信息的高光谱图像分割方法，该方法采用CNN和条件随机场(conditional random field，CRF)相结合的框架，利用多个光谱立方体学习深度特征，利用基于CNN的势函数建立深度CRF，有效提取由3维数据立方体组成的数据块之间的语义相关性；Iyer等人(2021)提出了基于图分割的多模态特征提取方法，并通过从每个模态整合信息，创建一个融合图，实现跨场景的多源数据融合。通过将HSI数据与LiDAR数据融合进行目标检测与分类，成为近五年多源数据跨场景应用的热点研究课题之一。在这两种数据的网络模型中，通常可以对HSI进行空谱特征提取，以求获得更高精度的分类与识别效果。用于HSI和LiDAR数据进行联合特征提取与分类时，需要解决如何有效缓解边界局部化和空间不一致性问题、如何将不同源数据的特征有机统一和互补表达的问题。5结语本文从低阶和高阶两个层面系统阐述了高光谱图像空谱特征提取的相关理论，综述了国内外研究进展、最新技术手段，并讨论了存在的问题和发展趋势。针对高光谱图像分类、识别与目标检测等应用，与基于深度学习的高阶空谱特征相比，传统低阶空谱特征提取的研究发展近年来相对放缓，而高阶空谱特征因其具有强大的表示能力而得到了更加广泛的关注、正在经历飞速发展期。尽管高阶空谱特征提取技术在可预见的未来仍会成为主流研究方向，但其也存在不可忽视的问题。展望未来，需要在以下几方面进行探索：1) 传统空谱特征提取方法具有计算量小、数学理论基础支撑和可解释性好、抗噪声的鲁棒性强等特点。但是，传统方法对高光谱图像的分类精度普遍不如深度神经网络。未来可考虑将传统空谱特征提取方法与深度神经网络结合应用于高光谱图像的空谱特征提取与分类。2) 高光谱图像波段数量众多，但其训练样本数量有限，而深度神经网络的训练通常需要大量的训练样本。如果没有足够的训练样本，神经网络将面临"过拟合"的问题，这意味着测试数据的分类性能将被降级。在将深度神经网络应用于高光谱数据时，如何解决小样本问题、构建半监督学习、主动学习与自监督学习的深度神经网络将是未来需要继续深入研究的方向。3) 基于深度神经网络的高光谱图像分类系统往往需要大量的标签数据来进行充分的训练。由于标签标注成本昂贵，收集正确标注的高光谱数据集较为困难。针对含有不同噪声的标签分类问题，未来需要研究相应的噪声清洗方法，以消除含噪标签对分类造成的不利影响。4) 高光谱图像具有高维特性，通过神经网络模型对其训练将会导致过大的运算量。尤其是利用GCN对其训练，需要从目标像素的邻域递归地计算节点进行表示，将导致计算成本高(随层数呈指数增长)和内存使用量大(加载整个图和节点嵌入)的问题。尤其面对新一代的无人机遥感以及遥感边缘智能技术的需求，如何降低计算复杂度是非常有价值的研究方向。5) 对来自不同传感器的多源数据(包括HSI和LiDAR数据等)进行融合应用时，可以考虑对HSI数据进行空谱特征提取。由于训练与测试不在同一时间完成，且构建的网络模型中单源数据通常各自采用一个网络分支进行训练，如何将多源数据的特征进行统一、互补表达，将成为深度网络模型下多源数据跨场景应用待研究的关键问题。6) 利用多时相、高光谱和多视角等信息，同时挖掘复杂动态目标的空间—光谱—时间联合特征信息成为新的前沿。7) 中国于2018年5月发射的高分五号卫星和2019年发射的资源一号02D卫星服务于高光谱数据的获取。其中，资源一号02D卫星的高光谱传感器具有166个波段；高分五号卫星的高光谱传感器具有330个波段，是高光谱卫星中波段数最多的卫星。随着中国航天遥感技术的不断进步，国产化高光谱数据集将受到越来越广泛的研究与关注。8) 根据大数据与机器智能发展的趋势，将应用领域知识和高光谱数据相结合的高光谱图像空谱特征挖掘与分类研究将是值得关注的方向。