在光学遥感中，光谱分辨率的逐渐提高，推动了高光谱遥感技术的形成和发展(童庆禧等，2016)。高光谱图像的处理与分析(Khan等，2018a)在地质勘察、食品和农业等领域有很多应用，如小麦黄锈病的检测(Zhang等，2019)、油墨文件的伪造检测(Khan等，2018b)等。高光谱遥感技术具有广阔的应用场景和巨大的应用价值，是当前遥感领域的研究热点之一。作为高光谱图像处理及应用技术中的重要一环，高光谱图像的异常检测在没有已知地物光谱信息的前提下，可以对图像直接进行检测，其应用范围非常广泛。

如何利用高光谱图像丰富的光谱信息、如何有效地衡量异常目标与周围背景的差异是进行异常地物检测的关键问题。传统方法中最为典型的是RX(Reed-Xiaoli)异常检测算法(Reed和Yu，1990)，该方法首先假设背景地物满足正态分布，而异常目标与背景在分布上存在差异，因此，可以通过马氏距离进行区分。由于经典算法在复杂背景下的计算精度不高，因而有很多改进算法，如邻域RXD(segmented-Reed-Xiaoli detector，SRXD)算法(张兵和高连如，2011)，首先对整幅图像进行K均值聚类，然后利用每个像元同类且不间断的最大邻域，完成均值向量和协方差矩阵的估计，从而进行异常检测；Guo等人(2014)提出了加权RXD(weighted-RXD，W-RXD)算法以及线性滤波RXD(linear filter-based RXD，LF-RXD)算法，前者将背景像元赋予较高的权重，将异常和噪声像元赋予较低的权重，后者基于滤波理论进行检测，提出的算法均实现较高的检测率和较低的虚警率。但基于概率统计模型的RX检测算法仍然存在一些问题，比如只利用了图像的低阶统计信息，没有利用到高光谱图像的高维潜在信息。

随后，国内外学者提出了基于机器学习中核函数思想的非线性检测方法，取得了较好的效果。其中核RXD(kernel RXD，KRXD)算法(Kwon和Nasrabadi，2005)可以将高光谱数据映射到高维空间，这样即可在高维线性空间计算马氏距离，进行RX异常检测，较非核化异常检测算法能够获得更高的检测精度。由于传统的核函数检测算法会存在核函数选取较难和计算复杂的问题，Zhou等人(2016)提出基于背景像素聚类的KRXD算法，极大地提升了检测速度。也有学者将稀疏表示应用到了高光谱图像的异常检测当中，Li和Du(2014)提出的基于协同表示的异常探测器(collaborative representation-based detector, CRD)构建了背景字典，但异常像元不能近似线性表示。为了可以利用到空间信息，马世欣等人(2019)提出了空谱联合协同表示的异常检测算法，其检测性能明显高于只利用光谱信息的算法。如何合理利用高光谱图像的空间信息也成为研究的热点。目前基于统计模型和传统机器学习的异常检测方法已经十分成熟。

深度学习采用端到端的训练方式，在处理复杂的高光谱图像上表现出很大的优势，其深层结构可以很好地提取深层、稳定可靠的非线性光谱特征，从而用于检测和识别(赵永强等，2020)，利用深度学习方法进行异常检测仍是一个值得探索的前沿领域，并逐渐成为研究的重点。

在非监督学习算法中最经典的是基于自编码器(autoencoder，AE)的检测算法(Bati等，2015)，这也是首次将深度学习应用在高光谱图像异常检测中，该算法通过评估每个像素处的编码重构误差，并将其作为异常的度量，能够比较容易地捕捉到高光谱数据中的主要光谱特征。Ma等人(2018)提出了基于自适应权值深度置信网络(deep belief network, DBN)的高光谱图像异常检测算法，有效地统计更新技术可自适应地生成邻域权值，提高了检测的准确率。随后很多学者通过不同的方式改进了堆栈式自编码器，从而进行高光谱图像的目标探测，其中，由多层去噪自编码器组成的网络(Zhao等，2017)可应用在复杂背景的目标检测中；基于低秩稀疏矩阵分解的堆栈式自编码器(Zhao等，2018)同时利用了空间和光谱信息，其性能要优于仅使用光谱特征的方法；加入了目标和背景之间距离约束的堆栈式稀疏自编码器(Shi等，2019)可以更好地提取光谱特征，用于后续的异常检测。然而，非监督学习的相关算法对噪声和异常光谱向量比较敏感，可能会导致对异常的过度拟合，进而影响检测精度(Jiang等，2020)。

监督式的方法主要是基于卷积神经网络(convo-lutional neural network，CNN)的检测算法，CNN利用局部连接从图像中提取稳定深层特征，网络的复杂性通过共享权值的方式大大降低，目前已经广泛应用于高光谱图像的处理分析中。但是监督学习的算法在高光谱图像的分类、异常检测等领域会存在带标签训练样本严重不足的问题，因此样本增广策略显得尤其重要。最有代表性的就是像素配对特征(pixel-pair features，PPFs)策略，像素配对的思想可以很好地解决深层网络需要大量训练数据的问题，用少量的参考标记样本就可以生成大量的训练数据集，用于网络的训练，从而更好地提取像素对特征。CNN模型利用该策略可以完成高光谱图像的分类任务(Li等，2017a)，也可以通过迁移学习应用到异常检测当中(Li等，2017b)，其效果相对于传统方法都有一定的提升。

基于卷积神经网络的异常检测方法(PPF-CNN)中，网络的输入为像素对之间的光谱差异值，而光谱相减可能会丢失部分能够有效区分像素向量的光谱特征；同时在高光谱图像中，相同地物的光谱在数值上可能会存在较大的差异，如果将这种情况下的像素对光谱差异值输入到网络中，可能会得到一个较高的异常预测值，从而影响检测性能。而本文提出的结合孪生神经网络(siamese neural network，SNN)和像素配对特征的高光谱图像异常检测方法(PPF-SNN)可以直接对原始像素对进行特征提取，尽可能多地利用像素向量中具有区分性的光谱特征信息，进而更好地识别异常目标。与此同时，采用滑动双窗口策略来构建测试像素对，将其输入至特征提取模块获得用于二分类的像素对特征，并经过特征处理模块得到测试像素的异常预测值。通过3幅真实高光谱数据的实验表明，本文提出的PPF-SNN方法相较于传统的异常检测算法如GRXD(global RXD)、LRXD(local RXD)、CRD以及PPF-CNN方法具有更好的检测效果。

本文提出的结合孪生网络和像素配对特征的异常检测方法基本流程如图 1所示。

像素配对策略需要一个带有地面真值图的高光谱参考数据，该数据有多种不同的地物类型，且每类含有大量样本，用于像素的配对(Li等，2017b)。现假设参考数据有$n$类地物，并将该数据记为$\mathit{\boldsymbol{X}} = \left\{ {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}, \cdots, {\mathit{\boldsymbol{x}}_n}} \right\}$，其中${\mathit{\boldsymbol{x}}_i}\left({i = 1, 2, \cdots, n} \right)$表示第$i$类标签下的样本集合，对应的标签为${l_i} \in \left\{ {1, 2, \cdots, n} \right\}$。从$\mathit{\boldsymbol{X}}$中随机抽取两个像元${\mathit{\boldsymbol{P}}_a}$和${\mathit{\boldsymbol{P}}_b}$构成像素对${\mathit{\boldsymbol{P}}_{ab}}$，而像素对的标签定义方式为

$ Label\left({{\mathit{\boldsymbol{P}}_{ab}}} \right) = \left\{ \begin{array}{l} 0\;\;{l_a} = {l_b} = l\;\left({l = 1, 2, \cdots, n} \right)\\ 1\;\;{l_a} \ne {l_b}\; \end{array} \right. $

(1)

式中，${l_a}$和${l_b}$分别为像元${\mathit{\boldsymbol{P}}_a}$和${\mathit{\boldsymbol{P}}_b}$的标签，式(1)表示：若抽取的像元来自同一类别，则像素对的标签定义为0，若来自不同类别，则定义为1。图 2展示了像素配对策略的基本思路。可以看出，从高光谱图像的参考数据里随机选取两个像元，二者若来自同一类别，则在光谱曲线上具有很强的相似性；如果来自不同类别，则二者的光谱曲线差异性较大。

通过这种方式可以构建一个数量呈指数型增长的新数据集，将新数据集中的像素对输入到孪生神经网络中，利用网络来学习输入样本的差异性特征。其中训练好的分类器模型可以辨别输入样本的特征差异，将其迁移到异常检测中，可以用于区分异常目标和背景地物。

孪生神经网络(SNN)是衡量输入数据之间相似性的有力工具，主要思想是：两个样本经过成对的神经网络后可以在低维空间映射成两个特征向量，通过判断二者特征是否相似来衡量输入数据的匹配程度，原始的SNN一般采用基于所提取特征向量欧氏距离的对比损失函数来优化网络，基本结构如图 3所示。本文对原始SNN结构中的低维特征向量决策层进行改进，并没有使用对比损失函数进行网络参数的学习，而是将两个特征进行了整合并利用网络来学习输入对的差异性，更加有效地衡量像素对的相似程度。由于本文所设计的网络模型保留了原始SNN中利用两个共享网络提取成对输入特征的主体结构，并且最终的输出反映了配对像素的差异性，所以仍可以视为一种孪生网络。本文设计的用于高光谱图像异常检测的孪生神经网络称为像素配对特征孪生神经网络(PPF-SNN)，结构如图 4所示，其中主要包含两个模块：特征提取模块和特征处理模块。特征提取模块的分支网络采用了共享权值的CNN结构，特征处理模块利用卷积层和全连接层进行分类任务。

作为像素向量特征提取器的CNN结构如图 5所示，该模块一共包含10个卷积层，其中第1~9个卷积层(C1~C9)均采用1×3的卷积核，且后面都有批量归一化(batch normalization，BN)层和ReLU激活函数，用于加速随机梯度下降算法的收敛以及保证网络可以适当稀疏，并在一定程度上防止网络训练时出现过拟合的现象。CNN的输入是大小为1×224的像素光谱信息，由于输入样本为1维数据，因此网络模型采用了1维卷积操作。其中第1和第2个卷积层(C1和C2)采用了8个大小为1×3的卷积核，滑动步长为1，为了保证输出特征图的深度不变，实验采用了周围填充的方式，因此可以得到8个大小为1×224的特征图。在这里选取了滑动步长为2的卷积层(例如C3，C5，C7等)作为降采样层，将得到的光谱特征图深度减半，这将带来光谱信息的损失，因此进行降维操作的同时，也伴随着特征图数目的增加(从8增大为16、32以及64)。随着网络的深度增加，输入像素的非线性特征可以被提取出来，并且最后得到的特征更具代表性。经过第9个卷积层(C9)后，可得到64个特征图，尺寸为1×14，然后采用1×1的卷积核进行特征图通道间的整合，最终得到1×14的输入像素光谱特征。至此，输入像素的特征提取工作已经完成。

将像素对输入孪生网络的特征提取模块即可得到两个大小为1×14的像素特征，若输入标签为0的像素对，即来自同一类别的像素，经过CNN可以得到相似的特征对，而输入标签为1的像素对会得到有一定差异的特征对。如图 6所示的特征处理模块位于特征提取模块之后，其中，通过一个简单的神经网络(本文采用了一个卷积层)来学习特征之间差异性，并利用全连接层将特征对映射为一个数，用来反映像素对的差异性，使卷积层专注于特征对中具有可分性特征的提取。该模块首先将输入的特征对进行样本级的拼接，得到通道数为2、大小为1×14的像素对特征，可以将其看成1×14×2的张量，经过4个大小为1×3×2、步长为2的卷积核，进而提取像素对之间的差异特征，并希望利用后面的全连接层进行正确分类。其中全连接层采用了两层(节点数分别为28和14)，完成像素对的二分类，最后经过sigmoid层将数值约束到[0，1]范围内，将数据非线性地归一化，同时给出像素对的差异性分数，即类别不同的概率。

将新数据集中同类的像素对样本输入孪生网络，可以得到接近于0的异常概率，而不同类的样本输出接近于1。将训练好的二分类网络迁移到异常检测，用于区分测试集中的背景和异常像素。

在高光谱图像中，背景和异常目标的光谱维信息在很大程度上会有一些不同，而上述模型可以鉴别成对像素的特征差异性，并分类为相似类和不同类，因此，可以将训练好的二分类网络模型的参数固定，然后迁移至检测模块。与构造训练样本的方法类似，需要对测试数据进行像素配对，但需要采用一些规律性手段，有效地利用地物分布特点来选取配对像元。由于异常目标在场景图中分布不集中，且所占比例较小，因此可采取局部检测的思想，利用滑动双窗口模型(Li等，2017b)，重点分析中心像素和外窗像素之间的差异性，并作为判定异常的基准。

滑动双窗口检测模型如图 7所示，以3×5双窗口为例，其中内窗中的像素作为缓冲区不参与检测，中心像素$T$为待测像素，外窗上的像素作为周围背景像素，与中心像素进行配对。外窗一共有16个像素，记为$n\;\left({n = 1, 2, \cdots, 16} \right)$，因此每次移动双窗口框架可得到16组像素对，记为$\left\{ {T - 1, T - 2, \cdots, T - 16} \right\}$。将测试像素对输入训练好的孪生网络模型，可以产生16个异常分数$\left\{ {{t_1}, {t_2}, \cdots, {t_{16}}} \right\}$，其范围在[0，1]之间，分别表示每个周围背景像素和待测像素之间的差异性分数，输出的分数越接近于1，说明二者之间不相似程度越高。最后对其进行均值化处理，可以得到中心像素的异常预测值$D$($T$)，而$D$($T$)代表了待测像素和周围像素的不相似性，将其与提前设置的阈值$\eta $进行比较，若高于阈值，则待测像素$T$的表现倾向于异常，反之亦然。计算为

$ D\left(T \right) = \frac{1}{{16}}\sum\limits_{i = 1}^{16} {{t_i}} $

(2)

受迁移学习同源性的限制，实验中选取的测试集和训练集要在波段数上保持一致，其波段范围大致相同，并且尽可能来自同一传感器。因此，实验部分选用的高光谱数据均由机载可见光/红外成像光谱仪(airborne visible infrared imaging spectrometer，AVIRIS)传感器采集得到，其中参考数据为Salinas场景，通过像素配对策略构建大量的像素对，用于网络的训练；测试数据分别为San Diego数据中的两幅高光谱真实场景图和Airport-Beach-Urban (ABU)-Airport数据中的一幅真实场景图，通过滑动双窗口检测模型构建测试像素对，用于异常目标的检测。实验中的对比算法有GRXD、LRXD、CRD以及PPF-CNN，以ROC(receiver operating characteristic)曲线以及ROC曲线下面积(area under the curve，AUC)作为算法对比的评价指标，其中越靠近左上角的曲线对应的AUC值越大，说明算法的异常检测效果越好。

本文提出的PPF-SNN异常检测算法使用Adam优化器(weight_decay=0.001)、ReLU激活函数以及带有sigmoid层的二进制交叉熵损失(BCEWithLogitsloss)函数，学习率设置为0.001。进行实验的操作系统为Ubuntu 16.04，CPU为Intel Core i7-5930K，内存为128 GB，GPU为GTX 1080Ti 11 GB，深度学习框架为Pytorch。其中传统的异常检测算法GRXD、LRXD以及CRD则是使用MATLAB实现。

Salinas数据集获取于加利福尼亚州的萨利纳斯谷，原始图像由512×217个像素构成，含有224个波段，波长范围为0.4~2.45 μm，光谱分辨率达到10 nm，空间分辨率为3.7 m。该场景共包含16类地物，主要由庄稼、蔬菜等植物构成，如图 8所示。

San Diego数据集获取于加利福尼亚州圣地亚哥机场区，原始图像空间大小为400×400像素，空间分辨率为3.5 m。San Diego机场主要包含飞机、草地以及道路等地物，实验中选取了两幅大小为100×100像素带有飞机的子场景作为测试数据，并记为San Diego-1和San Diego-2，其假彩色图像和地面真值图像分别如图 9以及图 10(a)(b)所示。

ABU-Airport数据集获取于美国密西西比州的格尔夫波特，图像空间大小为100×100像素，空间分辨率为3.4 m，其主要异常目标为3个飞机，如图 11(a)(b)所示。

从Salinas参考数据中，选取不同类的像素进行配对，构成负样本，选取来自相同类的配对像素构成正样本，二者数量比为1 ∶1，利用正负样本及其标签来训练网络，其中PPF-CNN使用正负样本的像素对差值进行训练，而PPF-SNN直接使用正负样本的像素对。通过滑动双窗口模型构建3幅真实场景的测试数据集，将其输入到训练好的网络，即可得到异常检测结果，而其余传统的检测算法均不需要训练，可对高光谱图像直接进行处理和检测。

在所有算法中，除GRXD以外的方法均采用了局部双窗口的思想，模型的检测性能与设置的窗口大小密切相关，因此在实验中，选取了不同大小的双窗口模型来直接或间接地进行高光谱图像的异常检测。如表 1—表 3所示，分别为San Diego-1、San Diego-2和ABU-Airport数据集在不同大小窗口下不同算法的AUC值对比，从表中可以得到以下结论：1)在3个数据集中，传统算法均在窗口较大时具有较好的检测性能，而基于深度学习的方法在不同的数据集上实现最佳的检测效果时，所使用的窗口大小不固定。2)基于深度学习的方法，特别是本文所提出的PPF-SNN算法在San Diego-1和ABU-Airport数据集上，使用不同大小的双窗口均可以得到较高的AUC，网络的鲁棒性要优于其他算法。上述现象出现的原因可能是真实场景的地物复杂且分布不均匀，传统方法受其影响较大，不同大小的窗口所得到的背景估计使检测结果有一定差别，而神经网络的检测能力受窗口尺寸的影响较小，表现较为稳定。

在3个数据集上分别选取大小合适的窗口，得到PPF-SNN和其他对比算法的最佳检测结果，如图 9—图 11所示，并绘制不同检测算法的ROC曲线，如图 12—图 14所示，从中可以得到以下结论：1)提出的PPF-SNN算法与其他方法相比，在3幅真实场景中均可以实现最高的检测精度，AUC值可以分别达到0.993 51、0.981 21和0.984 38，相对于PPF-CNN具有较大的提升。2)传统算法的高光谱图像异常检测结果图中，虚警区域较少，同时检测出的异常目标(飞机)像元也相对较少，例如传统的方法无法检出ABU-Airport数据集上右侧的两个小飞机；而监督式的深度学习算法会产生部分虚警区域，主要是一些道路和房屋建筑边界，原因是这些地物与周围背景在光谱上存在一定的差异，双窗口中心的待测像素容易被网络识别为异常。3)本文提出的PPF-SNN异常检测算法在一定程度上可以抑制虚警，更加突出检测所发现的异常目标，从而进一步提高检测率。上述现象充分说明了本文提出的PPF-SNN算法可以提取输入像素对中具有区分性的特征，并可以有效地实现其异常度的判定，进而取得更好的检测效果。

滑动双窗口检测模型在不同大小窗口条件下构建的测试集像素对数量不同，输入到神经网络得到检测结果的时间也不相同，表 4展示了各个异常检测算法(多数采用局部思想)在不同大小窗口条件下检测相同场景所消耗的时间。其中传统算法是在MATLAB上运行检测，而基于深度学习的算法是在GPU(graphics processing unit)上训练测试。由于全局检测方法GRXD计算量较小，计算复杂度较低，因此其测试消耗时间最短；局部检测中深度学习的算法耗时比LRXD短，同时随着检测的图像尺寸和所选择的窗口的增大，深度学习算法的时间复杂度优势不断增加，因为神经网络大量的数据运算转移到GPU上，计算速度有了很大的提升。由于PPF-CNN算法的输入数据只有一组(差值)，而PPF-SNN的输入数据有两组，其加载测试数据消耗时间较长，因此，两种深度学习算法的检测过程存在12 s左右的时差。

高光谱图像中存在的同物异谱、异物同谱问题，是限制高光谱图像异常检测效果提升的主要因素，而传统的异常检测算法无法充分挖掘高光谱图像的深层光谱特征，难以克服这一问题。因此，本文提出了结合孪生网络和像素配对特征的异常检测算法，利用深度网络强大的特征挖掘能力，直接将配对像素中具有区分度的特征提取出来，而不是利用像素对之间的差异值进行处理分析，从而更好地判定异常，进一步提高检测精度，同时也可以缓解监督学习算法带来检测结果中虚警较多的问题。实验表明，本文算法得到的AUC值要高于其他对比算法，得到了更好的检测结果。未来的研究将专注于如何有效抑制监督学习算法带来的虚警，并且更加突出检测所发现的异常目标；消除迁移时同源性的限制问题，进一步提高网络的泛化能力。