0 引言

1 数据预处理

1.1 小样本数据集数据增强

1.2 图像超分辨率处理

NWPU_VHR-10数据集中的图像裁剪自Google Earth和Vaihingen数据集，数据增强时采用了缩放变形的增强方式，而将裁剪下来的图像的一小部分直接调整成原图大小会导致图像质量降低，直接放大调整后的图像，会降低分辨率且丢失特征信息，如图 1所示。

图 1 缩放变形导致图片质量降低示例

Fig. 1 Example of image quality degradation due to scaling distortion

为解决上述问题，对分辨率降低的遥感图像进行超分辨率处理，采用增强深度超分辨率网络(EDSR)^[16]，重构出一幅高分辨率图像，重构效果优于最邻近像元法和双线性内插法，EDSR网络结构如图 2所示，其残差块与原ResNet^[17]和SRResNet^[18]中残差块的对比如图 3所示。

图 2 EDSR网络结构

Fig. 2 The network structure of EDSR

图 3 原始ResNet、SRResNet和EDSR中残差块对比

Fig. 3 Comparison of residual blocks among original ResNet, SRResNet and EDSR

从图 2和图 3可以看出，该模型在传统残差网络基础上去除了批标准化(BN)模块并对模型规模进行了扩展。由于BN层消耗了与它前面的卷积层相同大小的内存，在去掉这一步操作后，相同的计算资源下，EDSR可以堆叠更多的网络层或使每层提取更多的特征从而得到更好的性能表现，既能保证训练稳定又能节约训练空间。EDSR在训练时先训练低倍数的上采样模型，这样能减少高倍数上采样模型的训练时间，同时训练结果也好，很好地解决了因缩放形变导致的图像分辨率降低的问题。

2 改进卷积网络

2.1 注意力模型的使用

注意力在人类感知中起着重要作用，人类视觉系统的一个重要特性是人们不会一次尝试处理整个场景，相反，人类利用一系列局部瞥见并选择性地聚焦于显著部分，以便更好地捕捉视觉结构。注意力模型(AM)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中值得关注与了解的技术^[19]。从本质上讲，深度学习中的注意力机制与人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出对当前任务目标更关键的信息。

传统方法和现有卷积神经网络方法都不能很好地解决遥感图像中的小目标问题，本文在原始Faster-RCNN框架上引入注意力模型对遥感图像进行目标检测，使用的是一种结合了空间和通道的注意力机制模块：CBAM(convolutional block attention module)^[20], 使用的特征提取网络是ResNet101，将CBAM模块加入到ResNet结构中, 需要在ResNet的每个残差块后加入该模块，结构如图 4所示。给定一个中间的特征映射$\boldsymbol{F} \in R C \times H \times W$作为输入，CBAM依次推断出一个1维通道注意力图谱$\boldsymbol{M} \boldsymbol{c} \in R C \times 1 \times 1$和一个2维的空间注意力图谱$\boldsymbol{M} \boldsymbol{s} \in R 1 \times H \times W$，然后将注意力映射图谱乘以输入特征图谱以进行自适应特征细化，比仅关注通道的注意力机制效果更好。由于CBAM是一个轻量级的模块，可以集成到CNN框架中，开销可以忽略不计，并且可以和CNN一起进行端到端的训练，实验证明该模块的加入提高了网络的检测性能。

图 4 基于残差结构的CBAM模块

Fig. 4 CBAM module based on residual structure

2.2 用Soft-NMS替换NMS

2.3 引入互相关

图 5是统计数据集NWPU_VHR-10各类目标在每幅图像中的分布情况，横轴为图像标号，纵轴为包含的该类目标的个数，通过图 5可以清晰地看出10类目标分布之间存在一定的关联性，例如，棒球场和篮球场经常会出现在同一幅图像中，但是棒球场和桥梁一起出现的情况就很少。

图 5 10类目标的分布情况

Fig. 5 Distribution of 10 classes ((a)aircraft; (b)ship; (c)oil tank; (d)baseball filed; (e)tennis court; (f)basketball court; (g)playground; (h)port; (i)bridge; (j)car)

本文使用互相关函数表示它们之间的关联关系。互相关函数是信号分析中的概念，表示两个时间序列之间的相关程度，即描述信号$x(t), y(t)$在任意两个不同时刻$t_{1}, t_{2}$的取值之间的相关程度。

互相关在连续函数上的定义为

$ (f * g)(\tau)=\int_{-\infty}^{+\infty} f^{*}(t) g(t+\tau) \mathrm{d} t $

(4)

在离散函数上的定义为

$ (f * g)(n)=\sum\limits_{-\infty}^{+\infty} f^{*}[m] g(m+n) $

(5)

式中，$f*g$表示$f(t)$和$g(t)$的互相关函数，$f^{*}$表示$f$的复共轭函数，从式(4)(5)可以看到，互相关函数和卷积运算类似，也是两个序列滑动相乘，反映的是两个函数在不同的相对位置上互相匹配的程度，与要分析的同一幅图像中两个目标的相关性(即同时出现的概率)不谋而合，所以引入互相关机制。由于各目标在图像中的分布属于离散函数，所以使用式(5)进行计算，计算结果采用离散标准化即式(6)进行归一化，10类目标两两之间的互相关值用$R\left(x_{i}, x_{j}\right)$表示。

离散标准化为

$ x^{*}=\frac{x-x_{\min }}{x_{\max }-x_{\min }} $

(6)

经过Soft-NMS的$\text{IoU}$筛选后，再用互相关机制进一步筛选，核心思想是被检测框类别与当前得分最高的框的类别相关性越小，得分下降越多。互相关抑制计算为

$ {{s}_{i}}={{s}_{i}}{{\text{e}}^{\frac{-{{\left( 1-R\left( \boldsymbol{M}, {{\boldsymbol{b}}_{i}} \right) \right)}^{2}}}{\sigma }}}, \forall {{\boldsymbol{b}}_{i}}\notin \boldsymbol{D} $

(7)

式中，$\boldsymbol{b}_{i}$表示当前检测框，${{s}_{i}}$表示检测框$\boldsymbol{b}_{i}$的得分，$\boldsymbol{M}$表示当前置信度最高的目标框，$R$($\boldsymbol{M}$, $\boldsymbol{b}_{i}$)表示$\boldsymbol{M}$和$\boldsymbol{b}_{i}$类别之间的相关性。

3 实验结果与分析

图 6是本文在NWPU_VHR-10数据集上对9幅图像进行检测的结果，可以看出, 无论是对田径场这种较大目标还是车辆这种较小目标，本文算法都能较为精确地检测到目标并给出合理的包围框。

图 6 在9幅图像上的检测示例

Fig. 6 Examples of detection on nine images((a) aircraft; (b) oil tank and ship; (c) tennis court; (d) baseball field and playground; (e) baseball field and basketball court; (f) baseball field, tennis court and basketball court; (g) port; (h) bridge; (i) car)

准确率(precision)和召回率(recall)是经常使用的对目标检测结果进行分析的指标。图 7是可视化的Faster-RCNN与本文算法的precision-recall(P-R)曲线对比，横轴是召回率，纵轴是准确率，$p$($r$)是准确率关于召回率的函数，函数曲线与坐标轴之间的面积AP可以更直观地表现分类器性能, 计算为

$ f_{\mathrm{AP}}=\int_{0}^{1} p(r) \mathrm{d} r $

(8)

图 7 Precision-recall曲线对比

Fig. 7 Comparison of precision-pecall curves ((a) original Faster-RCNN; (b) our method)

可以看出，本文算法对应的P-R曲线面积更大。

为验证本文算法的有效性，在公开数据集NWPU_VHR-10上对本文所提各模块进行消融实验，再与3种传统方法BoW^[2]、基于稀疏编的特征(FDDL)的检测算法^[4]、局部融合检测器(COPD)^[22]和2种卷积神经网络算法T(transterred)-CNN^[23]、RICNN^[7]以及原Faster-RCNN进行对比试验。测试平台CPU为Intel Core i7 7700，GPU为NvidiaGTX1060 6 GB显存，操作系统为Ubuntu x64。使用平均准确率(AP)和均值平均精度(mAP)评价目标检测单个目标和总体性能。

表 1是本文各模块的消融实验对比，原始的Faster-RCNN检测精度是66.9%，表中结果验证了本文对数据的高分辨率处理以及对网络的3方面改进对提高平均检测精度是有效的，尤其是注意力机制模块的加入，使得特征提取网络能够获得更多与任务目标相关的信息而舍弃其他无用信息。

表 1 本文各模块的消融实验对比
Table 1 Comparison of ablation experiments for each module in this paper

下载CSV

NMS	EDSR	CBAM	Soft-NMS	互相关	mAP/%
√					66.9
√	√				68.7
√		√			72.5
			√		71.4
√				√	70.8
√	√	√		√	75.0
	√	√	√	√	79.1
注：加粗字体表示最优结果。

表 2是7个算法在NWPU_VHR-10数据集上的平均准确率对比。从表 2可以看出，本文算法虽然在储油罐上的准确率比T-CNN和RICNN算法低，但数据集中旋转情况最严重的网球场和码头的准确率都高于其他对比方法，田径场的准确率更是达到了99.7%。证明本文算法对遥感图像物体旋转适应性良好。

表 2 7个算法在NWPU_VHR-10数据集上的平均准确率对比
Table 2 Comparison of average precision for seven algorithms in NWPU_VHR-10 dataset

下载CSV

/%
图像	算法
	BoW	FDDL	COPD	T-CNN	RICNN	原Faster-RCNN	本文
飞机	25.0	29.2	62.3	66.1	88.3	89.9	95.2
船舰	58.5	37.6	68.9	56.9	77.3	67.9	79.7
储油罐	63.2	77.0	63.7	84.3	85.3	63.4	73.7
棒球场	9.0	25.8	83.3	81.6	88.1	93.2	96.4
网球场	4.4	2.8	32.1	35.0	40.4	69.7	71.6
篮球场	3.2	3.7	36.3	45.9	58.4	52.9	72.1
田径场	7.8	20.1	85.3	80.0	86.7	94.6	99.7
港口	53.0	25.4	55.3	62.0	68.6	61.6	73.2
桥梁	12.2	21.5	14.8	42.3	61.5	21.8	57.0
车辆	9.1	4.5	44.0	42.9	71.1	54.2	72.0
mAP	24.6	24.8	54.6	59.7	72.6	66.9	79.1
注：加粗字体表示每行最优结果。

从计算复杂度上看，由于RICNN算法采用了选择性搜索算法，在每幅图像上获取类别不同、尺度不一、位置不同的感兴趣区域，并将这些感兴趣区域归一化送入卷积神经网络进行计算，会因感兴趣区域重叠而重复进行卷积计算, 从而浪费计算资源。而本文采用的Faster-RCNN将感兴趣区域提取与卷积神经网络融合在一起，使用端到端的网络进行目标识别，共享卷积计算结果，提高计算效率，降低计算复杂度，使得检测速度得到了提升。

4 结论

参考文献

[1] Cheng G, Han J W. A survey on object detection in optical remote sensing images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 117: 11–28. [DOI:10.1016/j.isprsjprs.2016.03.014]
[2] Xu S, Fang T, Li D R, et al. Object classification of aerial images with bag-of-visual words[J]. IEEE Geoscience and Remote SensingLetters, 2010, 7(2): 366–370. [DOI:10.1109/LGRS.2009.2035644]
[3] Han J, Zhou P, Zhang D, et al. Efficient, simultaneous detection of multi-class geospatial targets based on visual saliency modeling and discriminative learning of sparse coding[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 89: 37–48. [DOI:10.1016/j.isprsjprs.2013.12.011]
[4] Chen Y, Nasrabadi N M, Tran T D. Sparse representation for target detection in hyperspectral imagery[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(3): 629–640. [DOI:10.1109/JSTSP.2011.2113170]
[5] Sun H, Sun X, Wang H Q, et al. Automatic target detection in high-resolution remote sensing images using spatial sparse coding bag-of-words model[J]. IEEE Geoscience and Remote Sensing Letters, 2012, 9(1): 109–113. [DOI:10.1109/LGRS.2011.2161569]
[6] Lu Y F, Zhang S H. Object detection in optical remote sensing images withconvolutional neural networks[J]. China Sciencepaper, 2017, 12(14): 1583–1589, 1633. [卢艺帆, 张松海. 基于卷积神经网络的光学遥感图像目标检测[J]. 中国科技论文, 2017, 12(14): 1583–1589, 1633. ] [DOI:10.3969/j.issn.2095-2783.2017.14.004]
[7] Cheng G, Zhou P C, Han J W. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 54(12): 7405–7415. [DOI:10.1109/TGRS.2016.2601622]
[8] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu, HI: IEEE, 2017.[DOI: 10.1109/CVPR.2017.690]
[9] Liu W, Anguelov D, Erhan D, et al. SSD: single shot MultiBoxdetector[C]//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016.[DOI: 10.1007/978-3-319-46448-0_2]
[10] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate objectdetection and semanticsegmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH: IEEE, 2014.[DOI: 10.1109/CVPR.2014.81]
[11] Gao C X, Sang N. Deep learning for object detection in remote sensing image[J]. Bulletin of Surveying and Mapping, 2014(S1): 108–111. [高常鑫, 桑农. 基于深度学习的高分辨率遥感影像目标检测[J]. 测绘通报, 2014(S1): 108–111. ] [DOI:10.13474/j.cnki.11-2246.2014.0625]
[12] Krizhevsky A, Sutskever I, Hinton G E. ImageNetclassification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, Nevada: IEEE, 2012.[DOI: 10.114513065386]
[13] Li C, Zhang Y C, Lan T, et al. An object detection algorithm with visual perception for high-resolution remote sensing images[J]. Journal of Xi'an Jiaotong University, 2018, 52(6): 9–16. [李策, 张亚超, 蓝天, 等. 一种高分辨率遥感图像视感知目标检测算法[J]. 西安交通大学学报, 2018, 52(6): 9–16. ] [DOI:10.7652/xjtuxb201806002]
[14] Ren S Q, He K M, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2015.
[15] Girshick R. Fast R-CNN[EB/OL].[2018-11-25].https: //arxiv.org/pdf/1504.08083.pdf.
[16] Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, HI: IEEE, 2017.[DOI: 10.1109/CVPRW.2017.151]
[17] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV: IEEE, 2016.[DOI: 10.1109/CVPR.2016.90]
[18] Ledig C, Theis L, Huszár F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI: IEEE, 2017.[DOI: 10.1109/CVPR.2017.19]
[19] Rush A M, Chopra S, Weston J. A neural attention model for abstractive sentence summarization[EB/OL].[2018-11-25].https://arxiv.org/pdf/1509.00685.pdf.
[20] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[EB/OL].[2018-11-25].https://arxiv.org/pdf/1807.06521.pdf.
[21] Bodla N, Singh B, Chellappa R, et al. Soft-NMS-improving object detection with one line of code[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017.[DOI: 10.1109/ICCV.2017.593]
[22] Cheng G, Han J W, Zhou P C, et al. Multi-class geospatial object detection and geographic image classification based on collection of part detectors[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 98: 119–132. [DOI:10.1016/j.isprsjprs.2014.10.002]
[23] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deepconvolutional neuralnetworks[J]. Communications of the ACM, 2017, 60(6): 84–90. [DOI:10.1145/3065386]