遥感技术是实现对地物进行探测和识别的一种综合技术，可以通过航天航空平台获取大量的地表影像数据，为资源环境、城市规划和国防安全等领域相关应用提供重要的技术支撑。遥感影像变化检测是遥感图像处理分析方法研究的重要方向，核心是利用不同时期相同地域的遥感影像，分析与确定地物的变化状况及其特征相关性，在土地覆盖、土地利用调查、灾害应急和生态环境监测、地理数据更新等方面扮演了重要角色。

随着搭载高空间分辨率光学相机的遥感卫星陆续升空与使用，影像的数量和质量得到显著提升，并且针对同一区域获取数据的频次也逐渐提高，这为高分辨率遥感影像变化检测提供了重要基础。然而，高分辨率遥感影像中地物信息被高度细分，得到的地物类型复杂多样，相同地物间光谱差异变大，容易出现同物异谱或者异物同谱的现象，导致了差值法、比值法、主成分分析法、变化向量分析法和决策树等一系列传统算法在用于高分遥感影像变化检测时达不到预期的效果。针对上述问题，国内外学者提出了许多更有效的算法。其中，对象级变化检测是高分辨率遥感影像变化检测技术一个重要方向，检测单元由像元级转变为对象级，对象中包含了丰富的空间、纹理、形状等特征，通过对象特征差异获取变化检测图，大大提高了变化检测的效率和质量(眭海刚等，2018)。例如，Hall和Hay(2003)首次提出对象数字变化检测方法，对多时相遥感影像进行对象特定分析，放大影像直到完成分水岭分割，最终根据对象进行差分，大大提高了高分辨率遥感影像变化检测的精度。此后，发展了考虑高分辨率遥感影像空间邻域信息、拓扑关系的方法，如马尔可夫随机场(Markov random field，MRF)(Bruzzone和Prieto，2000)、水平集(level set)(Hao等，2014)等被引入对象级变化检测中，通过有效利用空间邻域等信息，进一步提高了变化检测精度。对象级变化检测中的关键步骤为对象分割，常用的对象分割算法主要有K-means聚类(Celik，2009)、quick-shift(Ru等，2014)、简单线性迭代聚类(simple linear iterative clustering，SLIC)(Achanta等，2012；王春瑶等，2014)等超像元分割算法。然而超像元分割在变化检测中存在以下问题：1)多时相遥感影像进行超像元分割后，由于超像元数量不一致、相同地物分割边界不同等问题，使得多时相遥感影像直接进行对象差异对比存在一定困难；2)分割算法高度依赖于指定的任务，单个算法及其超参都不可能应用于所有状况，并且超像元分割算法存在大量的超参数，确定超参数也是一个难点。

深度学习的发展将高分辨率遥感影像变化检测推向新的高潮，神经网络可以充分提取高分辨率图像数据的深度特征，在不需要提取地物对象的条件下还能兼顾空间邻域信息。Del Frate等人(2002)曾利用BP(back propagation)神经网络通过特征学习进行高分辨率遥感影像变化检测，但当时神经网络发展尚未完善，硬件设备也达不到需求，所以没有引起反响。随着深度置信网络(deep belief network，DBN)、卷积神经网络(convolutional neural network，CNN)和循环神经网络(recurrent neural networks，RNN)等具有强特征学习能力的网络模型的出现，以及计算机硬件的发展，遥感影像变化检测的深度学习方法成为了前沿热点研究方向。

然而，深度学习在变化检测中面临一个非常重要的问题，即缺乏训练样本标签，主要原因是针对某一特定区域进行变化检测时，带标签样本数据有限甚至没有，制作大量样本标签需要大量人力物力财力，并且已有的其他地域的样本与测试区域存在较大的地物类型差异，仅有很弱的迁移泛化能力。然而，无监督学习不需要样本标签即可学习到多时相遥感影像的有效特征，且具有良好的抗噪特性，成为变化检测研究的一个趋势。无监督深度学习的变化检测主要包括迁移学习和自编码器算法两方面，已经取得了很多研究成果。El Amin等人(2016)将预训练的VGG(visual geometry group)模型用于变化检测特征提取，将特征差异作为整体变化差异；Hou 等人(2017)将预训练的VGG16模型结合低秩算法应用于多时相遥感影像，将低秩算法提取到的噪声部分作为最终变化检测差异图；Liu等人(2018)提出了一种无监督深度耦合网络，用于不同日期采集的光学和雷达两种异构图像的变化检测等。上述算法均从深度学习提取到的特征层面进行变化阈值分割，并取得了不错效果。但是非监督学习提取的特征非常抽象与模糊，可能与变化检测要求的特征相差较大，并且对同物异谱的地域具有较差的识别能力。

利用有限带标签数据进行监督学习是基于深度学习变化检测发展的另外一种方法，主要是利用特殊训练技巧增强监督网络模型的泛化能力，提高变化检测精度。Daudt等人(2018)利用图像切块作为训练集，训练改进U-Net及其变形的网络结构，得到3个端到端的变化检测网络模型，取得了不错的结果；Lyu 等人(2016)和Mou 等人(2019)将RNN中的长短时记忆网络模型(long short-term memory，LSTM)引入变化检测中，取切片并排列组合成新的向量形式作为样本，充分利用了多时相遥感影像的时间信息，直接产生二值差异影像。上述方法均证明了有限样本可以进行有效的变化检测，并对空间纹理差异较大的相同地物做出有效判断。

上述研究取像元点及周围邻域构成的切片作训练样本，训练的网络仅利用了切片大小的局部空间相关性，未将空间纹理特征一致的像元集合作为一个对象整体来考虑，可能导致提取的地物的特征信息被弱化，制约了变化检测的精度。因此，本文在提取切片空间信息基础上加入超像元(super-pixel，SP)，使超像元成为检测基本单元，强化了不同时相间地物特征的关联性。具体思路如下：首先在影像预处理基础上构建了一个多尺度切片特征融合网络(multi-scale patch feature fusion convolutional neural networks，MPFF-CNN)，用于充分提取有限样本的特征信息，以得到初始二值差异图。然后在测试数据上分割得到超像元，用超像元特征替换MPFF-CNN的特征作为检测变化的最小单元，进一步提高变化检测精度。实验表明，结合深度学习和超像元分割的方法(MPFF-CNN-SP)比有限样本条件下的MPFF-CNN、LSTM(Lyu等，2016)、DBN(Gong等，2016；张鑫龙等，2017)等算法均具有更高的变化检测精度。

结合深度学习和超像元分割的变化检测方法主要流程如图 1所示。

多时相遥感影像变化检测的核心是分析同一地理区域地物的变化和特征相关性，而遥感影像预处理可以减弱外界物理因素对相应地物的干扰，降低相应特征的复杂性，所以预处理过程尤为重要。

首先对多时相高分遥感影像进行几何配准，以减少配准误差对变化检测算法的影响；然后利用直方图匹配方法进行辐射校正，降低多时相遥感影像中太阳角度、光照强度、大气条件以及空气湿度等成像因素造成的同物异谱的影响。

模型预测变量的有效性和稳定性决定了模型对数据的解释能力，而训练样本是决定模型有效性和稳定性的关键之一。样本选择的目的是在有限带标签数据条件下，构造一个提取特征能力强的变化检测神经网络模型，因而训练样本集的选择显得尤为重要。样本选择基于如下思想：为了避免过拟合现象的发生，将有限数据进行分割，用切片形式作样本来增强网络泛化性，同时为了保证切片能够保留原有的空间信息，切片不宜过小，切片的大小决定着变化检测结果的好坏，后文对此有详细分析。样本选取具体方式如下：

假设${\mathit{\boldsymbol{X}}}=\{{\mathit{\boldsymbol{X}}}^{t}, {\mathit{\boldsymbol{X}}}^{l}\}$为一组带标记数据集，$t$为高分辨率遥感影像数据${\mathit{\boldsymbol{X}}}$的时相，$l$表示${\mathit{\boldsymbol{X}}}$的变化检测真值标签，从${\mathit{\boldsymbol{X}}}^{t}$中取切片$x^{t}_{i±n, j±n}$，将$x^{c}_{i±n, j±n}$作为模型的训练样本，从${\mathit{\boldsymbol{X}}}^{l}$中取点$x^{l}_{i, j}$作为对应的训练样本标签，$x^{c}_{i±n, j±n}$为不同时相影像差值，则

$ \begin{array}{l} x_{i \pm n, j \pm n}^c = \left| {x_{i \pm n, j \pm n}^{{t_1}} - x_{i + n, j \pm n}^{{t_2}}} \right|\\ \;\;\;\;\;\;\;\;\;i \in {\bf{N}}, j \in {\bf{N}} \end{array} $

(1)

式中，${\mathit{\boldsymbol{x}}}=${$x^{c}$, $ x^{l}$}为模型训练样本，$x_{i, j}$是训练样本中心像元点，$i$, $j$是对应${\mathit{\boldsymbol{X}}}$的空间横纵坐标，$ω = 2$$n+1$($n = $0, 1, 2, …)表示切片尺寸；选取方式为随机选取同等数量的变化样本和未变化样本。

深度学习是通过多层非线性变换对高复杂度数据建模的算法，已成功用于语音识别、自然语言处理、计算生物学和图像处理等领域。在变化检测中，相比于传统机器学习算法，深度学习可以自主学习多时相高分辨率遥感影像中相同地域深度特征的相关性，显著提升了变化检测精度。为了充分利用样本的空间特征信息，同时避免过拟合现象，本文设计了一个多尺度特征融合网络(MPFF-CNN)进行变化检测，结构如图 2所示。设计理念是：1)CNN在图像处理任务上表现卓越，可以使切片在空间多维形态下进行非线性学习，不需要像DBN、LSTM将切片转化为丢失空间信息的向量形式，所以基于CNN构建变化检测模型。2)将网络输入定义为3层：5×5、7×7、9×9，即将切片的大小$ω$设定为3个固定尺度。多个尺度能充分提取切片中心像元的邻域信息。3)考虑到经典语义分割模型参数量较大，以尺度相对较小的切片作训练集往往造成过拟合，对空间尺寸较小、光谱维度较低的数据，简单的卷积结构反而能得到表现较好的变化检测结果(Mou等，2019)。4)3×3卷积核能够捕捉数据更小尺寸的邻域信息；多个3×3卷积可以替代更大尺寸卷积来增大感受野，并且减少网络参数，比一个大尺寸卷积有更多的激活函数，因而具有增强网络的非线性学习能力等优点。所以模型主要采用多个3×3卷积来提高模型对切片的特征提取能力。5)为了充分利用提取的3个尺度切片的特征，在网络中加入特征融合层，并利用1×1卷积核将融合的特征提取主成分与标签作对比，得到变化检测结果。以1×1卷积核为模型收尾，不仅可以提取融合特征中与变化检测相关的主特征，还将网络模型构成了一个全卷积结构，使测试图像直接作为网络输入得到变化检测结果，明显缩短测试时间。

MPFF-CNN用切片作样本提取深度特征，在高分辨率遥感影像的特征域分析变化情况，有效提高了变化检测的精度。然而，MPFF-CNN学习的空间特征仅局限于$ω $× $ω$的邻域范围，而不是一个完整的地物特征或者更大的空间特征信息，检测地物在存在噪音干扰时，往往会导致该地物一部分被判断为变化，另一部分判断为未变化。从另一方面讲，MPFF-CNN的检测单元是单个$ω $× $ω$大小的特征域，$ω$太小会限制变化检测精度的提升，且在MPFF-CNN中为了避免过拟合现象，$ω$不易过大。针对上述问题，本文引入超像元分割聚类算法，目的是以一个超像元对象代替多个$ω $× $ω$邻域信息，解决变化检测单元过小的限制，加入超像元后，超像元可以给MPFF-CNN得到的特征加一个约束，使特征更具规则化，更好地利用地物空间信息，提高变化检测精度。

超像元分割的主要思想是将图像分割为多个纹理、颜色、亮度等特征相似的区域。本文的超像元分割采用SLIC算法(Achanta等，2012)。相比于其他超像元分割方法，SLIC具有较高的运行速度、物体轮廓保持度和超像元的紧凑度，并且需要设置的参数少，理想状态仅需要设置一个分割尺度，在一定程度上解决了分割算法中繁琐的超参设置问题。SLIC算法主要步骤如下：

1) 将原始图像的3维空间转化为5维特征空间，包括CIELab颜色空间和$x$, $ y$坐标空间。

2) 设置超像元个数(超像元分割尺度)$p$，将预分割图像平均分割为$p$个超像元，并通过计算超像元的聚类中心邻域内的像元梯度，微调超像元聚类中心位置，避免落在梯度较大的轮廓边界上。

3) 按照$D′$的大小为每个聚类中心2$S $× 2$S$邻域内的每个像元点重新分配类标签，$D′$大小为

$ {D^\prime } = \sqrt {{{\left({\frac{{{d_{\rm{c}}}}}{m}} \right)}^2} + {{\left({\frac{{{d_{\rm{s}}}}}{S}} \right)}^2}} $

(2)

$ {d_{\rm{c}}} = \sqrt {{{\left({{h_j} - {h_i}} \right)}^2} + {{\left({{a_j} - {a_i}} \right)}^2} + {{\left({{b_j} - {b_i}} \right)}^2}} $

(3)

$ {d_{\rm{s}}} = \sqrt {{{\left({{x_j} - {x_i}} \right)}^2} + {{\left({{y_j} - {y_i}} \right)}^2}} $

(4)

式中，$D′$表示每个像元点与周围种子点的距离，$S$为初始化分割超像元的步长，$h$、$a$、$b$分别为CIELab中的3个颜色空间，$d_{c}$代表颜色距离，$d_{s}$代表空间距离，$m$为固定常数(一般取10)。

4) 重复步骤3)直至每个像元点的聚类中心不再发生变化。实验发现，经过10次迭代后，SLIC在绝大多数图像上均取得理想效果，所以本文迭代次数取10。

5) 利用一张元素均为-1的标记表，按照“Z”型走向将不连续的超像元、尺寸过小的超像元重新分配给近邻的超像元，以解决多连通情况、超像元尺度过小以及单个对象被切割成多个不连续超像元的问题，增强连通性。

当单幅遥感影像中总超像元个数较少时，单个超像元的尺寸较大，较小的地物被漏检的概率较大；当单张遥感影像中总超像元个数较多时，单个超像元的尺寸较小，超像元缺乏地物特征信息，不同时相对应超像元间变化检测时往往发生错检，并且影像中地物大小不一，单个超像元尺度会对地物分割造成很大误差。基于以上问题，采用多超像元尺度分割算法，并结合举手表决算法解决分割过程中不同时相影像的超像元数量、形状以及边界不一致等问题，实现本文MPFF-CNN-SP算法。MPFF-CNN-SP算法执行过程如下：

输入：两个时相高分辨率遥感变化检测数据${\mathit{\boldsymbol{X}}}$。

输出：变化检测结果$Y $。

1) 按照样本选取规则，从${\mathit{\boldsymbol{X}}}$中对应选取少量像元，取其邻域为样本${\mathit{\boldsymbol{x}}}$，训练MPFF-CNN，得到测试数据初步变化检测结果$Y^{\rm c}$。

2) 对${\mathit{\boldsymbol{X}}}$中的每个时相数据使用多尺度分割的SLIC算法得到超像元分割图像集${\mathit{\boldsymbol{O}}}= \{{\mathit{\boldsymbol{o}}}_{1}, {\mathit{\boldsymbol{o}}}_{2}, …, {\mathit{\boldsymbol{o}}}_{m} \}$，${\mathit{\boldsymbol{o}}}_{i}=\{o^{1}_{i}, o^{2}_{i}\}，o^{t}_{i}$表示第$t$个时相影像在$i$的分割尺度下的分割影像，$i$∈[1, $m$]，$m$为多尺度分割的尺度数量，$t$代表遥感影像的时相。

3) 对应$o^{t}_{i}$中各超像元区域，计算$Y^{c}$中各对应区域的变化像元和未变化像元数量，并根据举手表决算法，以数量多的类别的像元值替换该区域的全部像元值，结果记为$Y^{t}_{i}$，表示第一次举手表决后带第$t$个时相第$i$个分割尺度的结果。同样地，对所有${\mathit{\boldsymbol{O}}}$进行以上操作，得到结果${\mathit{\boldsymbol{Y}}}^{o} = \{{\mathit{\boldsymbol{Y}}}^{o}_{1}, {\mathit{\boldsymbol{Y}}}^{o}_{2}, …, {\mathit{\boldsymbol{Y}}}^{o}_{m}\}$，其中，${\mathit{\boldsymbol{Y}}}^{o}_{i}=\{Y^{1}_{i}，Y^{2}_{i}\}$。

4) 在光谱维堆叠$t$个时相的${\mathit{\boldsymbol{Y}}}^{o}$，得到一个$t $× $m$层光谱的数据，并统计每条光谱中变化像元数量和未变化像元数量，根据举手表决算法，以数量多的类别的像元值为该像元位置的变化情况，得到最终变化检测结果$Y $。

变化检测的对比实验算法包括模糊C均值算法(fuzzy C-means，FCM)、支持向量机(support vector machine，SVM)、DBN(Gong等，2016)和LSTM(Lyu等，2016)，以漏检率、虚警率、正确率、Kappa系数作为算法比较的评价标准，其中漏检率和虚警率以小为优，正确率和Kappa系数则越大越好，验证本文提出方法的有效性。

本文提出的MPFF-CNN算法将参数优化器、损失函数和激活函数分别设为常用的Adam优化器($β_{1}=0.9$，$β_{2}=0.999$和$ε=10^{-8}$)、交叉熵损失(cross entropy loss)函数和ReLU函数(Kingma和Ba，2015；Mou等，2019)。由于模型训练集数量少，且切片的尺寸较小，所以设置较小的初始学习率0.000 1，并采用学习率衰减策略来调整学习率，迭代大小为10，学习率衰减系数为0.9，权重衰减系数为0.005，迭代200次结束训练。SLIC算法由已有的python库中skimage模块实现，高斯平滑核宽、最大迭代次数等超参数均为默认值。实验环境如下：操作系统为Ubantu，GPU为GTX 1060 6 GB，深度学习框架为Pytorch。

实验数据包括广东变化检测数据集(Guangdong change detection dataset，GDCD)和香港变化检测数据集(Hong Kong change detection dataset, HKCD)。广东变化检测数据分别为2014年和2017年高分一号卫星数据，由全色数据与多光谱数据融合而成，空间分辨率为2 m，包含红、绿、蓝3个波段。根据先验知识和详细视觉分析，在配准的广东多时相数据集上选取一块480×480像素的区域进行手动注释，其中包含草地退化区域、建筑物颜色暗化区域等，如图 3所示。

HKCD取自Onera变化检测数据集(Onera satellite change detection dataset，OSCD)，是公开的哨兵2号卫星变化检测数据，HKCD包含红、绿、蓝3个波段，空间分辨率为10 m，大小为540×695像素，覆盖范围约38 km²，如图 4所示。

根据1.2.1节的样本选取方式，分别在GDCD和HKCD上随机选取多个像元作为训练样本，其他像元为测试区域，定量评估本文算法以及对比算法的表现，为更有利于评估算法的优劣性，将训练集和测试集的数量限定在一个较大的比例范围，训练样本和测试样本数量如表 1所示。

为了验证切片尺度对变化检测精度的影响，分别利用DBN、LSTM、CNN模型以及两个变化检测数据GDCD和HKCD进行实验，其中不同的CNN模型对应不同的切片尺度，DBN和LSTM不需要考虑模型的变更，仅调整模型输入的大小。图 5给出了切片尺度$ω$为5、7、9时的CNN模型，该模型由$n$层3×3卷积层(包括卷积层、batchnormal层、ReLU激活函数)和单层1×1卷积层(包括卷积层、ReLU激活函数)构成，其中$ω=$2$n+$1。实验结果如图 6和图 7所示。从实验结果中可以得到以下结论：1)变化检测的实验结果与$ω$的大小直接相关，各个算法均得到大致相同的规律，即正确率和Kappa系数随着$ω$的增大先升高后下降，漏检率和虚警率随着$ω$的增大先降低再升高。出现以上现象的原因可能是$ω$过小的切片缺乏空间邻域信息，$ω$过大的切片容易导致模型过拟合，适当的$ω$才能保证模型的有效性；2)在某一尺度下，变化检测的4个评价指标并不是比另一尺度的4个评价指标都表现要好或者不好。例如图 6(a)中在$ω$=9的情况下虚警率、正确率、Kappa系数均表现最优，反而漏检率表现最差；再如图 7(c)中，$ω$=3的正确率相比$ω$=5的正确率要高，反而$ω$=3的Kappa系数却很低。造成以上问题的原因可能是某一切片尺度缺乏某个评价指标所需的特征信息，所以在该指标下表现较差。CNN融合前($ω $= 5，7，9)和融合后的变化检测精度如表 2所示。可以看出，在GDCD数据集上，MPFF-CNN算法的Kappa系数表现最好，正确率以及虚警率与其他3种卷积模型表现最好的结果基本一致；在HKCD数据集上，虚警率、正确率以及Kappa系数均表现最优，漏检率也相对较小。综合以上分析，本文认为并不存在一个切片尺度使变化检测的各项指标均能达到最优，多个切片的尺度进行融合反而能提取更有用的特征，取得更好的效果。

本文设置6个超像元尺度${\mathit{\boldsymbol{P}}}$进行多尺度分割，${\mathit{\boldsymbol{P}}}$={$N$/${\mathit{\boldsymbol{S}}}$, ${\mathit{\boldsymbol{S}}}$=3×3, 5×5, 7×7, 9×9, 11×11, 13×13}，其中$N$为分割影像的总像元个数，${\mathit{\boldsymbol{S}}}$为用于确定超像元分割尺度大小的参数(接近超像元尺寸大小)，两个测试集的超像元分割详细信息如表 3所示。

GDCD和HKCD数据集不同时相单一超像元尺度下的变化检测精度以及所有超像元尺度融合后(MPFF-CNN-SP)的变化检测精度如表 4和表 5所示，从中可以得出以下结论：1)正确率和Kappa系数随超像元数量增加先提高后降低，漏检率随超像元数量增加而降低，虚警率随超像元数量增加而升高。造成上述现象的原因可能是超像元个数$p$过小时，超像元较大，容易使较小的变化地物漏检；$p$过大时，超像元较小，即变化检测分析单元较小，抗干扰能力降低，造成虚警率提高；2)两个时相6个超像元尺度举手表决后的变化检测结果优于单一尺度的变化检测结果，如表 4多超像元尺度融合的结果中漏检率、正确率和Kappa均表现最优，虚警率相对较优；表 5多超像元尺度融合的结果中虚警率、正确率和Kappa系数表现最优，漏检率相对较优。

MPFF-CNN-SP以及对比实验的变化检测精度和变化检测结果如表 6、图 8和图 9所示，从中可以得出以下结论：SVM和FCM等传统算法在高分辨率遥感影像变化检测时结果精度较低，LSTM和DBN等经典深度学习算法相较于传统算法效果提升明显，而MPFF-CNN的变化检测结果强于DBN和LSTM，说明MPFF-CNN可以更加充分提取切片的空间邻域信息和其他有效特征；MPFF-CNN-SP的Kappa系数、正确率、虚警率均高于MPFF-CNN，并从实验结果图可以发现MPFF-CNN-SP能有效识别同物异谱和异物同谱区域，证明了MPFF-CNN-SP可以有效将单个地物中的多个切片特征融合在一起，实现超像元级特征域的变化检测。

高分辨率遥感影像为变化检测提供了海量图像数据，但随着分辨率的提高，影像中表现出的地物类型增多，且繁杂多样，不仅不同时相中相同地物的空间纹理存在很大差异，而且单一时相中同类地物也存在较大差异的空间纹理信息，上述问题使传统的像元级和特征级变化检测算法面临巨大压力。为此，本文提出了结合深度学习和超像元分割的变化检测算法。其中，深度学习主要用于高分辨率影像中复杂地物的特征提取，使检测单元由像元转化为特征；超像元分割可以有效融合同质地域的空间信息，将检测单元由特征转向超像元，抑制同物异谱带来的问题。实验表明，本文算法的变化检测精度优于其他相关算法，可以得到更好的变化检测结果。在未来的研究中，自动化的切片尺度选择将是讨论的重点之一，同时将进一步尝试结合边缘检测来解决多尺度分割后边缘信息损失严重的问题。