随着深度学习技术的飞速发展，深度神经网络在遥感领域展现出了巨大优越性，并已经广泛应用于场景分类(Liu等，2019；Dong等，2020)、目标检测(Kellenberger等，2018)、像素分割(Huang等，2018)和图像检索(Song等，2019)等遥感图像处理的各项任务中。但是，使用深度学习技术完成这些任务很大程度上依赖于数据集的大规模标注。如果数据集标注的准确性过低，深度学习方法的性能将受到严重影响。

传统的数据集标注通常由领域专家进行人工标注，标注精度能够得到保证，但非常耗时且成本较高。为了减少标注成本，提高遥感图像的标注速度，研究者提出了多种贪婪标注方法(Xia等，2015；Jin等，2018)，借助聚类和众包信息等手段提高标注效率。这些方法虽然能够节省大量人工标注成本，较快完成大规模数据标注任务，但都不可避免地会引入标签噪声(即错误标记样本类别)。一旦标签噪声引入数据集，深度学习方法性能就会严重下降，原因有二。其一是深度神经网络具有强大的学习能力，网络在训练过程中能够很容易记住训练数据(Zhang等，2017)，这种记忆在训练后期往往会导致过拟合，使得网络在测试集上精度下降，泛化能力降低。其二是存在大量标签噪声时，深度神经网络会发生比过拟合更严重的退化现象。因为深度神经网络会记住错误的标签噪声，导致网络过拟合到错误样本，使网络进一步退化(Jiang等，2018)。这种情况下，如果使用常规方法对深度神经网络进行训练，将导致网络泛化能力严重下降，如图 1(a)所示。由于存在大量标签噪声，深度神经网络会出现严重的噪声过拟合现象，在训练损失下降到接近零时，测试损失反而上升。因此，构建噪声鲁棒的遥感图像深度学习方法十分必要。

为了减轻标签噪声的影响，计算机视觉领域提出了一系列噪声鲁棒学习方法。这些方法可以简单归纳为3类：第1类方法采取数据清洗的思路，设计了多种清除标签噪声的方案，主要包括有向图模型(Xiao等，2015)、条件随机场(Vahdat，2017)和元学习(Ren等，2018)等。但是，这些方法需要一个额外的干净数据集，以便对数据中的噪声进行建模。第2类方法采取提高损失鲁棒性的思路，设计了多种鲁棒的损失函数，主要包括savage方法(Masnadi-Shirazi和Vasconcelos，2008)、unhinged方法(van Rooyen等，2015)、sigmoid方法和ramp方法(Ghosh等，2015)等。这些方法构建的损失函数在理论上是有界的，对标签噪声具有固有的鲁棒性，但这些方法大多数都依赖于对称损失函数的假设。第3类方法与第2类方法类似，主要采取损失调整的思路，设计了多种校正方法来调整损失函数，主要包括bootstrapping方法(Reed等，2015)，backward方法和forward方法(Patrini等，2017)等。这些方法可以充分挖掘训练数据中的有效信息，同时调整每个样本的损失。但是，由于无法保证损失的调整始终是正确的，这些方法会导致错误调整累积，影响损失调整的效果，尤其是当标签噪声比例较大时。

遥感领域提出了两种针对遥感图像标签噪声问题的鲁棒学习方法。一是面向遥感场景分类的容错深度学习方法(Li等，2021)，该方法参考数据清洗思路，通过集成学习提高标签纠正的准确度。但该方法在训练过程中融合了多个大型网络，并且需要多次迭代，参数量和计算量都大幅增加。二是基于熵最优运输的分类损失(classification loss with entropic optimal transport，CLEOT)(Damodaran等，2020)，该方法参考提高损失鲁棒性思路，通过探索图像的类间关系设计了一种鲁棒损失，取得了较好效果。该方法在训练时固定了骨干网的参数，虽然能够有效减轻高比例噪声下的过拟合，如图 1(b)所示，在固定骨干网参数情况下，测试损失未出现明显上升。但该方法同时限制了深度神经网络的学习能力，导致低比例噪声下的分类性能降低。

为实现高效的噪声鲁棒学习方法，本文提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法，首先以轻量级网络作为骨干网，降低模型复杂度；其次为了同时完成分类和检索任务，不同于以往直接在深度神经网络分类器前插入哈希层的方法，本文方法在网络头部采用双分支结构，不仅避免了插入哈希层导致的分类性能下降，而且通过融合双分支预测结果，有效提升了噪声情况下的分类精度；最后为了充分发挥深度神经网络的学习能力，在训练过程中对整个网络进行微调，有效提高了低比例噪声下的分类精度，并通过设置损失基准的正则化方法有效减轻了高比例噪声情况下的噪声过拟合现象。如图 1(c)所示，随着训练次数增加，本文方法测试损失不仅没有出现上升，反而继续下降。

本文主要贡献为：1)设计了一种噪声鲁棒的轻量级遥感场景图像分类检索方法，可以同时完成分类和哈希检索任务，并且两个任务可以相互促进，共同提高。2)提出一种轻量级遥感场景图像分类检索模型，引入一种噪声鲁棒的损失正则化方法，有效提高了模型的噪声鲁棒性，在保持标签噪声鲁棒性的同时，提升了数据处理的效率，使推理速度比对比方法提升2.8倍，参数量和计算量降低95 % 以上。3)在两个遥感场景数据集上不同噪声比例下进行测试, 实验结果表明，在遥感场景分类任务中，本文方法在AID(aerial image datasets)和NWPU-RESISC45(benchmark created by Northwestern Polyteehnical university for remote sensing image scene classification covering 45 scene classes)数据集上平均分类精度均高于其他对比方法。在检索任务中，本文方法在AID数据集上的平均检索精度高于MiLaN(metric-learning based deep hashing network)(Roy等，2019)方法。

本文提出一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法，主要包括3部分。第1部分以一个轻量级神经网络为骨干网，用于特征提取；第2部分为一个双分支结构，能够同时完成分类和哈希检索任务，同时，在测试过程中通过融合两个分支输出结果可以有效提高分类精度；第3部分为噪声鲁棒损失函数，通过在训练过程中设置损失基准，本文方法的损失函数可以减轻深度模型对标签噪声的过拟合，高效实现噪声鲁棒的遥感场景图像分类检索。具体模型如图 2所示, 其中$ \oplus $表示相加。

轻量级骨干网采用小米AI实验室提出的MoGA-C(mobile GPU-aware network)网络，由MoGA(mobile GPU-aware)(Chu等，2020)神经网络结构搜索算法搜索得到。MoGA-C网络设计过程中，融入了现有轻量级网络设计的各种技巧。首先以inverted bottleneck(Sandler等，2018)卷积模块为基本单元，确保网络的轻量化；其次嵌入SE(squeeze-and-excitation)模块(Hu等，2018)，使网络可以关注信息量最大的通道；最后在激活函数选择中，除常用的ReLU外，还加入了兼具效率和性能的Hswish激活函数，为网络性能带来了进一步提升。在轻量级骨干网中，仅保留MoGA-C网络的前19个模块为骨干网，结构如表 1所示。其中，模块1的输入大小为224²×3，b-neck表示inverted bottleneck卷积模块，5×5表示卷积核大小为5×5，扩张倍数表示inverted bottleneck模块中的扩张倍数，SE表示是否采用SE模块。

假设训练集共有$N$个训练样本，表示为${\mathit{\boldsymbol{X}}}=\{{\mathit{\boldsymbol{x}}}_{i}\}^{N}_{i=1}$，则相应的标签集表示为${\mathit{\boldsymbol{Y}}}=\{{\mathit{\boldsymbol{y}}}_{i}\}^{N}_{i=1}$，其中${\mathit{\boldsymbol{y}}}_{i}∈ {\bf R} ^{C}$是样本${\mathit{\boldsymbol{x}}}_{i}$的真实标签向量，其真实类别对应位置的元素为1，其他位置元素为0，$C$表示遥感场景的类别数。对于任意遥感图像${\mathit{\boldsymbol{x}}}_{i}∈{\mathit{\boldsymbol{X}}}$，送入轻量级骨干网MoGA-C进行特征提取，在网络最后一个全连接层$FC$后可以得到一个1 280维的深度特征向量${\mathit{\boldsymbol{f}}}_{i}$，具体为

$ \boldsymbol{f}_{i}=\varPhi\left(\boldsymbol{x}_{i} ; \theta_{0}\right) $

(1)

式中，$\mathit{θ}_{0}$表示MoGA-C骨干网的所有参数，$\varPhi$表示MoGA-C骨干网映射函数，本质上该函数是一种非线性映射函数。经过轻量级骨干网，输出的1 280维特征向量${\mathit{\boldsymbol{f}}}_{i}$将送入双分支结构，进行分类和检索学习任务。

传统深度哈希检索方法中，通常通过在深度分类网络中插入哈希层，借助于类别标签提供的监督信息实现高性能哈希图像检索。但由于哈希层的存在，导致信息丢失，并进一步影响分类精度。为此，本文提出了一种双分支结构(如图 2(b))，包括分类分支和检索分支，用以同时实现高性能的分类和检索任务。

在MoGA-C骨干网最后一层$FC$后接512维全连接层$FC_{\rm {1}}$，并由概率$p$=0.5的dropout层进行正则化，使$FC_{\rm {1}}$层的部分节点失活，以减少网络过拟合，增加泛化能力，而后得到深度特征${\mathit{\boldsymbol{f}}}_{i{\rm 1}}$，具体为

$ \boldsymbol{f}_{i 1}=\text { dropout }_{p=0.5}\left(\boldsymbol{W}_{1} \boldsymbol{f}_{i}+\boldsymbol{V}_{1}\right) $

(2)

式中，${\mathit{\boldsymbol{W}}}_{1}∈ {\bf R} ^{512×1 280}$，${\mathit{\boldsymbol{V}}}_{1}∈ {\bf R} ^{512}$，分别表示$FC_{\rm {1}}$层的权重矩阵和偏置向量。在$FC_{\rm {1}}$层后接$C$维全连接层$O_{\rm {1}}$并经softmax函数激活，得到分类分支的预测结果${\mathit{\boldsymbol{t}}}_{i{\rm 1}}$，具体为

$ \boldsymbol{t}_{i 1}=\operatorname{softmax}\left(\boldsymbol{W}_{O_{1}} \boldsymbol{f}_{i 1}+\boldsymbol{V}_{O_{1}}\right) $

(3)

式中，${\mathit{\boldsymbol{W}}}_{O_{1}}∈ {\bf R} ^{C×512}$，${\mathit{\boldsymbol{V}}}_{O_{1}}∈ {\bf R} ^{C}$，分别表示$O_{\rm {1}}$层的权重矩阵和偏置向量。

在MoGA-C骨干网最后一层$FC$后接512维全连接层$FC_{\rm {2}}$，并由概率$p$= 0.5的dropout层进行正则化，得到深度特征${\mathit{\boldsymbol{f}}}_{i{\rm 2}}$，具体为

$ \boldsymbol{f}_{i 2}=\text { dropout }_{p=0.5}\left(\boldsymbol{W}_{2} \boldsymbol{f}_{i}+\boldsymbol{V}_{2}\right) $

(4)

式中，${\mathit{\boldsymbol{W}}}_{2}∈ {\bf R} ^{512×1 280}$，${\mathit{\boldsymbol{V}}}_{2}∈ {\bf R} ^{512}$，分别表示$FC_{\rm {2}}$层的权重矩阵和偏置向量。为了将深度特征编码为$m$比特的哈希码，在$FC_{\rm {2}}$层后接$m$维全连接层$H$(本文所称哈希层即为此全连接层)，并经tanh函数激活，使得哈希层$H$的输出趋近于二值化，以减少量化损失，而后得到哈希层特征${\mathit{\boldsymbol{u}}}_{i}$，具体为

$ \boldsymbol{u}_{i}=\tanh \left(\boldsymbol{W}_{H} \boldsymbol{f}_{i 2}+\boldsymbol{V}_{H}\right) $

(5)

式中，${\mathit{\boldsymbol{W}}}_{H}∈ {\bf R} ^{m×512}$，${\mathit{\boldsymbol{V}}}_{H}∈ {\bf R} ^{m}$，分别表示哈希层$H$的权重矩阵和偏置向量。哈希层$H$后接$C$维全连接层$O_{\rm {2}}$并经softmax函数激活，得到检索分支的预测结果${\mathit{\boldsymbol{t}}}_{i{\rm 2}}$，具体为

$ \boldsymbol{t}_{i 2}=\operatorname{softmax}\left(\boldsymbol{W}_{O_{2}} \boldsymbol{u}_{i}+\boldsymbol{V}_{O_{2}}\right) $

(6)

式中，${\mathit{\boldsymbol{W}}}_{O_{2}}∈ {\bf R} ^{C×m}$，${\mathit{\boldsymbol{V}}}_{O_{2}}∈ {\bf R} ^{C}$，分别表示$O_{\rm {2}}$层的权重矩阵和偏置向量。

当模型训练结束后，即可进行分类和检索任务。在分类任务中，将图像送入网络后，得到两个分支的预测结果${\mathit{\boldsymbol{t}}}_{i{\rm 1}}$和${\mathit{\boldsymbol{t}}}_{i{\rm 2}}$，将两者相加取平均，得到最终预测结果${\mathit{\boldsymbol{t}}}_{i}$，具体为

$ \boldsymbol{t}_{i}=\frac{\boldsymbol{t}_{i 1}+\boldsymbol{t}_{i 2}}{2} $

(7)

则图像对应类别$c$为

$ c=\underset{k=1, 2, \cdots, C}{\operatorname{argmax}}\left(\boldsymbol{t}_{i}^{k}\right) $

(8)

值得注意的是，检索分支除了可以完成哈希检索任务外，还为分类分支提供了补充信息。在测试时，通过融合双分支结果，可以有效提高噪声情况下的分类性能。此外，该方法的参数量和计算量几乎没有增加，在保持模型高效的同时提高了分类性能。

在检索任务中，将检索分支得到的哈希层特征${\mathit{\boldsymbol{u}}}_{i}$进行二值化操作(sign)，即可得到图像哈希码${\mathit{\boldsymbol{h}}}_{i}$，具体为

$ \boldsymbol{h}_{i}=\operatorname{sign}\left(\boldsymbol{u}_{i}\right) $

(9)

在得到哈希码${\mathit{\boldsymbol{h}}}_{i}$后，与数据库图像的哈希码进行对比，计算出汉明距离后按距离由小到大进行排序，即可得到哈希检索结果。

深度神经网络具有强大的学习能力，几乎可以拟合所有训练数据。但在有标签噪声情况下，标签噪声会导致模型性能的严重退化(如图 1(a))。为了减轻噪声过拟合问题，CLEOT(Damodaran等，2020)方法在训练模型时固定了骨干网的参数，虽然能够有效减轻高比例噪声下模型的过拟合(如图 1(b))，但却牺牲了骨干网的学习能力，导致低比例噪声下的分类性能降低。

为了充分发挥骨干网的学习能力，采用微调骨干网参数的方式进行训练。微调虽然能够提高深度神经网络的学习能力，但在训练数据存在噪声情况下，微调会导致噪声过拟合。针对噪声过拟合问题，本文引入设置损失基准的正则化方法(Ishida等，2020)，通过设置损失基准，限制了训练损失的最小值，使模型有效提高了有噪声情况下的泛化能力。

均方误差(mean square error，MSE)损失是一种有界损失，是一种比交叉熵损失更加噪声鲁棒的损失函数(Ghosh等，2017)。因此，本文在两个分支中均采用MSE作为损失函数。

在分类分支得到$C$维预测结果${\mathit{\boldsymbol{t}}}_{i{\rm 1}}$后，首先计算所有训练样本与其真实类别标签${\mathit{\boldsymbol{y}}}_{i}$的均方误差，并对所有样本的均方误差求和，得到分类分支损失$L_{\rm {1}}$，即

$ L_{1}=\sum\limits_{i=1}^{N} \frac{1}{C} \sum\limits_{k=1}^{C}\left(\boldsymbol{t}_{i 1}^{k}-\boldsymbol{y}_{i}^{k}\right)^{2} $

(10)

同理，在检索分支中，可以得到检索分支损失$L_{\rm {2}}$，具体为

$ L_{2}=\sum\limits_{i=1}^{N} \frac{1}{C} \sum\limits_{k=1}^{C}\left(\boldsymbol{t}_{i 2}^{k}-\boldsymbol{y}_{i}^{k}\right)^{2} $

(11)

进而得到总损失$L$，具体为

$ L=\lambda L_{1}+(1-\lambda) L_{2} $

(12)

式中，$λ∈[0, 1]$，用于调节$L_{\rm {1}}$和$L_{\rm {2}}$权重。最后得到目标函数，具体为

$ J\left(\theta_{1}\right)=\min (L) $

(13)

式中，$\mathit{θ}_{1}$为使损失函数$L$最小的网络参数，即模型需要学习的参数。

在深度神经网络训练过程中，随着损失函数的不断优化，训练损失最终将接近于零。但如果训练数据中存在大量噪声，训练损失接近于零往往会导致噪声过拟合。噪声过拟合将导致模型泛化能力下降，在测试数据上识别精度降低。设置损失基准的方法通过限制训练损失的下限，使训练损失始终保持大于一个正值，以减轻模型对噪声数据的过拟合。设置损失基准后的目标函数$\tilde J (\mathit{θ}_{1})$可以表示为

$ \tilde{J}\left(\theta_{1}\right)=\left|J\left(\theta_{1}\right)-b\right|+b $

(14)

式中，$b$为设置的损失基准。当$J(\mathit{θ}_{1})≥b$时，$\tilde J (\mathit{θ}_{1})=J(\mathit{θ}_{1})$，此时$ \tilde J(\mathit{θ}_{1})$相对于网络参数$\mathit{θ}_{1}$的梯度$▽$(\mathit{θ}_1)$与原始目标函数$J(\mathit{θ}_{1})$相对于$\mathit{θ}_{1}$的梯度$▽$J(\mathit{θ}_1)$方向相同，反向传播执行梯度下降；当$J(\mathit{θ}_{1}) < b$时，$ \tilde J(\mathit{θ}_{1})=－J(\mathit{θ}_{1})+2b$，▽$\tilde J(\mathit{θ}_1)$与$▽$J(\mathit{θ}_1)$方向相反，此时反向传播执行梯度上升。以上方法可以使原目标函数$J(\mathit{θ}_{1})$始终在$b$附近上下浮动，而$ (\mathit{θ}_{1})$则始终保持大于$b$，这可以避免损失进一步降低。图 3为设置损失基准后的训练损失曲线。蓝色和红色曲线分别为$J(\mathit{θ}_{1})$和$ (\mathit{θ}_{1})$对应的训练损失曲线，绿色直线代表损失基准。可以看出，设置损失基准后，可以避免训练损失过度接近于零，进而防止模型过拟合。

为了对本文方法进行评估，在数据集AID(aerial image datasets)(Xia等，2017)和NWPU-RESISC45(enchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes)(Cheng等，2017)上进行实验。

AID数据集由武汉大学于2017年发布，共包括10 000幅场景图像，涵盖30个场景类别，每个场景类别由220~420幅图像组成。图像从谷歌地球中裁剪得到，大小为600×600像素，空间分辨率为0.5~8 m，部分样例见图 4(a)。NWPU-RESISC45数据集由西北工业大学于2017年发布，共31 500幅场景图像，涵盖45个场景类别，每个场景类别由700幅图像组成。图像同样从谷歌地球中裁剪得到，大小为256×256像素。除一些空间分辨率较低的特定类别(如岛屿、湖泊、山脉和冰山)外，大多数场景类别的空间分辨率为0.2~30 m，部分样例见图 4(b)。

本文在上述两个数据集中加入人工模拟标签噪声，设置方式和具体类别与CLEOT方法相同。实验时，根据噪声比例将标签翻转到视觉上相似的类别。两个数据集上的具体标签噪声标注方式如表 2和表 3所示。需要说明的是，本文提到的标签翻转比例并非整个数据集中所有噪声所占的比例，而是指表 2和表 3中翻转的类别按此比例对本类别数据进行标签翻转。

本文实验环境采用PyTorch 1.3，CUDA采用10.0版本，在两块NVIDIA 2080Ti显卡上进行实验。MoGA-C骨干网先在小型遥感场景数据集UCM(University of California merced land-use dataset)(Yang和Newsam，2010)上进行预训练，以消除领域差异。为了解决类间数据不平衡问题，训练过程中采用加权随机采样方法对训练集进行抽样。抽样时对样本量较少的类别赋予较大的权重，使样本量较少的类别能够有较大的概率被抽中，有效避免了数据类间不平衡问题。

训练过程中，学习率设为0.1，batch size设为128，最大训练次数为150轮。采用与CLEOT方法相同的方式进行提前停止，保存验证集精度最好的模型，即验证集精度25轮内没有提升则停止训练；图像送入网络前统一调整为224×224像素；同时，在式(12)中，由于分类分支损失$L_{\rm {1}}$和检索分支损失$L_{\rm {2}}$均为均方误差损失，在同一数量级上，为平衡两者作用，式中$λ$设为0.5。

在分类实验中，将检索分支哈希层的神经元个数$m$设置为16。两个数据集分别按80 %、10 %和10 % 的比例划分训练集、验证集和测试集。其中，训练集和验证集数据为有噪声数据，测试集数据为干净数据。测试集数据仅用于对各种方法的评价，不参与训练过程。标签翻转比例设置为{0，0.2，0.4，0.6，0.8}，即表 2和表 3中对应类别标签按照比例进行翻转，以添加噪声，实际噪声占总体的比例依赖于受噪声影响的类别数。

在相同噪声实验条件下，将本文方法与savage(Masnadi-Shirazi和Vasconcelos，2008)、unhinged(van Rooyen等，2015)、sigmoid(Ghosh等，2015)、ramp(Ghosh等，2015)、bootstrap soft(Reed等，2015)、backward(Patrini等，2017)、forward(Patrini等，2017)和CLEOT(Damodaran等，2020)等方法分别在AID和NWPU-RESISC45数据集上进行分类对比实验，结果如表 4和表 5所示，分类精度取5次实验结果的平均值。可以看出，本文方法在所有情况下均达到最佳性能。在中低比例(标签翻转比例为0，0.2，0.4)噪声下，分类精度在AID和NWPU-RESISC45数据集上平均比次优方法高8.3 %和10.9 %。在高比例(标签翻转比例为0.6，0.8)噪声下，比次优方法高3 % 以上。值得注意的是，CLEOT方法为了避免在高比例噪声下出现严重的噪声过拟合，在训练阶段冻结了骨干网参数，因此在高比例噪声下取得了较好的分类性能，但由于冻结参数，限制了深度神经网络的学习能力，使得该方法在低比例噪声情况下的分类性能并不优于其他方法。本文方法通过设置损失基准，有效减轻了高比例噪声情况下微调骨干网时的噪声过拟合问题，同时采用微调骨干网参数的方式，充分发挥了深度神经网络的学习能力，使模型在低比例噪声下也保持了良好性能。

为了验证本文轻量级方法的效率，与CLEOT方法在模型参数量、模型计算量和模型推理时间等方面进行对比，在推理时间测试中，对AID数据集中的测试集数据共1 000幅图像进行分类测试，统计1 000幅图像推理消耗的总时间。对比结果如图 5所示。可以看出，本文方法和CLEOT方法的模型参数量分别为5.6 M和136.4 M，模型计算量分别为0.22 G FLOPs(floating point operations)和15.5 G FLOPs，1 000幅图像推理时间分别为45.8 ms和175.1 ms。与CLEOT方法相比，本文方法的模型参数减少至4.1 %，计算量减少至1.4 %，推理速度提高2.8倍。

为了验证本文方法的有效性，在AID数据集上以MoGA-C网络为骨干网进行4组实验，分别对比了骨干网参数调节、双分支结构、损失基准等3个条件对深度网络鲁棒性的影响，实验结果如表 6所示。对比实验1和实验2可知，在高比例噪声情况下微调参数比固定参数更容易发生过拟合，导致精度降低。而在低比例噪声情况下，微调参数可以充分发挥深度神经网络的学习能力。对比实验2和实验3可知，双分支结构在高比例噪声情况下具有较好的鲁棒性。在检索分支中，由于哈希层的存在，tanh激活函数使哈希层输出趋近于二值化，丢弃了部分信息，客观上为模型提供了正则化，使得高比例噪声情况下有效减轻了模型对噪声的过拟合。对比实验3和实验4可知，通过设置损失基准能够有效减轻噪声过拟合带来的影响，分类精度显著提高。这种现象充分说明噪声过拟合问题是导致噪声情况下遥感图像分类精度过低的主要原因。由此可见，本文方法通过有效整合轻量级网络、双分支结构和损失基准3种策略，较好地解决了遥感图像分类中的噪声过拟合问题。轻量级网络利用模型参数少的特性，避免参数过多导致过拟合；双分支结构通过多任务学习，避免单一任务过拟合；损失函数与损失基准设置，通过限制训练损失最小值，避免优化过程中产生过拟合。

在本文中，损失基准$b$的选择对于抑制噪声过拟合问题十分重要，该参数的选择依赖于训练损失和验证损失之间的关系确定。图 6显示了AID数据集中标签翻转比例设置为0.8情况下未设置损失基准时的验证损失和训练损失曲线。可以看出，在训练和验证过程中，可以利用训练和验证损失曲线将该过程大致划分为A、B、C这3个阶段。在阶段A，两种损失均呈快速下降趋势，未发生过拟合，网络参数处于快速更新阶段，训练损失下降到0.013附近时，阶段A结束；在阶段B，验证损失和训练损失缓慢下降，验证损失和训练损失差值增大，此时已经开始发生过拟合，训练损失下降到0.007附近时，阶段B结束；在阶段C，验证损失趋于平稳，训练损失继续缓慢减小，逐渐逼近于0，网络参数处于严重过拟合状态，此阶段训练损失继续下降将导致模型对噪声的严重过拟合。

因此，本文将损失基准$b$限制在阶段B，针对AID数据集标签翻转比例设置为0.8情况下，损失基准$b$取值范围为[0.007，0.013]。由于不同数据集的类别不同，数据量不同，拟合的难易程度也有所不同，所以损失曲线会有所差异。根据前文所述阶段划分原则，本文在NWPU-RESISC45数据集上，标签翻转比例设置为0.8情况下，测得的损失基准$b$的取值范围为[0.004，0.01]。表 7和表 8为两个数据集上标签翻转比例设置为0.8情况下$b$取不同值测得的分类精度。可以看出，当$b$取范围中值(即在AID数据集上$b$取0.010，在NWPU-RESISC45数据集上$b$取0.007)时，模型分类精度最高。

在查询阶段，首先通过计算查询样本与数据库样本之间的汉明距离对所有样本排序。获得数据库样本排序列表后，即可得到每个查询图像的平均精度(average precision，AP)，具体为

$ A P=\frac{1}{n_{i}} \sum\limits_{j=1}^{n_{i}} P(i, j) $

(15)

式中，$n_{i}$是检索结果中所有与第$i$个查询图像相似的图像数量，$P$($i$, $j$)是第$i$个查询图像的检索结果中第$j$幅与图像$i$相似图像的精度。例如，检索结果中第3幅与查询图像相似的图像排在第5个，则其精度$P$= 3/5 = 0.6。而后，对所有查询图像的$AP$值取平均计算平均精度均值(mean average precision，MAP)，具体为

$ f_{\mathrm{MAP}}=\frac{1}{Q} \sum\limits_{i=1}^{Q} \frac{1}{n_{i}} \sum\limits_{j=1}^{n_{i}} P(i, j) $

(16)

式中，$Q$表示查询图像的数量。MAP反映了检索结果的准确度，MAP值越高，检索效果越好。

为了验证本文哈希检索方法的有效性，本文与MiLaN(metric-learning based deep hashing network)(Roy等，2019)和KSLSH(kernel-based supervised locality-sensitive hashing)(Demir和Bruzzone，2016)方法进行了对比。KSLSH方法是一种非深度学习的哈希方法，通过核函数将图像映射到汉明空间，并将图像的标签作为监督信息，有效提高了核函数的编码性能，是一种典型的传统哈希检索方法。MiLaN方法是一种典型的深度哈希检索方法，利用深度网络对图像进行特征提取，并通过三元组损失(Schroff等，2015)拉近相似图像距离，拉远不相似

图像距离，实现了高效的深度哈希检索。本文方法通过将检索和分类任务统一在同一个框架内，有效利用图像类别信息，使相同类别图像生成相似的哈希码，实现了更高性能的哈希检索。检索实验条件设置与MiLaN方法相同，按照6 ∶ 4划分训练集和测试集，实验结果如图 7所示。其中MAP@20表示计算检索结果中的前20个图像的MAP值。通过对比可以发现，本文方法在16、24、32 bits下均达到了最高精度。与MiLaN方法相比，本文方法检索精度平均提高了5.9 %。

图 8给出了在AID数据集上标签翻转比例设置为0.8情况下，3幅遥感场景图像32 bits哈希码的检索结果。图中第1列为查询图像，后10列为前10个检索结果，绿色框为正确类别，红色框为错误类别。从检索结果可以看出，在高比例噪声条件下，本文方法仍能达到较好的检索效果。

同时，为了扩展遥感场景图像哈希检索的研究内容，本文还针对标签噪声情况下的遥感场景图像哈希检索在两个数据集上进行测试，计算检索结果中的前20个图像的$MAP$值，如表 9和表 10所示。可以看出，遥感图像哈希检索的精度会随噪声数据比例的增加而降低。此外，随着哈希比特编码长度的增加，遥感图像哈希检索的精度会随着哈希编码长度增加而增加。该项实验是遥感场景图像哈希检索第1次在考虑噪声情况下进行的测试，因此该结果可以作为今后研究的测试基准。

为了解决在有标签噪声情况下深度遥感场景图像处理方法性能下降问题，本文提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法，能够同时完成分类和哈希检索任务，有效提高深度神经网络在有标签噪声遥感数据上的分类和检索性能。选取轻量级网络作为骨干网，确保模型轻量化。而后为了同时完成分类和哈希检索任务，设计了平行的双分支结构，并通过融合双分支预测结果，使模型的分类性能得到进一步提高。通过设置损失基准的方法，避免了训练损失过度趋近于零，有效减轻了模型对噪声的过拟合。

本文在两个公开数据集上进行了分类和哈希检索实验，并与其他方法进行对比。在分类实验中，本文方法在所有情况下均达到最佳性能。在中低比例噪声下，本文方法分类精度在AID数据集上平均比次优方法高8.3 %；在NWPU-RESISC45数据集上，平均比次优方法高10.9 %。在高比例噪声下，比次优方法高3 % 以上。在检索实验中，本文方法检索精度平均比MiLaN方法高5.9 %。在效率方面，本文轻量级模型使模型参数减少至4.1 %，计算量减少至1.4 %，推理速度提高2.8倍。实验结果表明，本文方法不仅具有较高效率，而且对各种噪声比例均有良好的鲁棒性。但是，由于本文方法涉及到损失基准$b$值的选择，未能实现端到端的训练。为此，本文给出了损失基准$b$值的选择原则，实验过程中需要根据具体的损失曲线确定具体的损失基准$b$。

在将来的研究工作中，将致力于遥感场景图像无监督哈希检索的研究。通过无监督学习方式对无标签遥感数据进行标注，得到带标签噪声的伪标签，而后利用得到的伪标签训练哈希检索模型，以减少深度模型对标注数据的依赖，充分挖掘无标签遥感数据的价值。