0 引言

1 AlexNet及其用于地表覆盖分类

1.1 AlexNet

AlexNet是一个典型深度卷积神经网络模型。该模型在2012年的ImageNet大规模图像识别竞赛(ILSVRC)^[19]的图像分类比赛中获得了冠军，在图像识别领域实现了重大突破。图 1是AlexNet模型的结构示意图。它是一个8层的卷积神经网络，包括5个卷积层和3个全连接层。网络的最前端是输入图片的原始像素点，最后端是图像的识别结果。

图 1 AlexNet结构图

Fig. 1 The architecture of AlexNet

该模型在进行图像识别的过程中涉及卷积(conv)、池化(pool)、规范化(norm)运算和Dropout策略的使用，下面分别简述以便了解整个网络结构。

设卷积神经网络的输入为原始影像$\boldsymbol{P}$，用${\boldsymbol{F}_i}$表示第$i$层的特征图，图 1中，${\boldsymbol{F}_0} = \boldsymbol{P}$是输入层，${\boldsymbol{F}_1}-{\boldsymbol{F}_5}$对应5个卷积层，${\boldsymbol{F}_6} = {\rm{Fc}}6$，${\boldsymbol{F}_7} = {\rm{Fc7}}$，最后一层是输出层。假设${\boldsymbol{F}_i}(1 \le i \le 5)$表示卷积层，则${\boldsymbol{F}_i}$产生过程可以描述为

$ {\boldsymbol{F}_i} = f({\boldsymbol{F}_{i-1}} \otimes {\boldsymbol{W}_i} + {\boldsymbol{b}_i}) $

(1)

式中，${\boldsymbol{W}_i}$表示第$i$层卷积核的权值向量，${\boldsymbol{b}_i}$表示第$i$层的偏移向量，$\otimes $表示用卷积核对第$i$-1层特征图进行卷积操作，最后通过非线性激励函数$f$得到第$i$层的特征图${F_i}$。AlexNet模型采用ReLU(rectified linear units)来取代传统的Sigmoid和tanh函数作为神经元的非线性激励函数。ReLU函数的数学表达式为

$ f(x) = \max (0, x) $

(2)

Pool表示池化运算。池化层通常是跟随在卷积层之后的，依据一定的下采样规则对特征图进行下采样。池化可以对特征图降维并在一定程度上保持特征的尺度不变性，同时可以防止过拟合。假设${F_i}$为池化层，则池化的操作可描述为

$ {F_i} = su{b_{{\rm{sampling}}}}({F_{i-1}}) $

(3)

式中，$su{b_{{\rm{sampling}}}}$为下采样函数，包括最大值池化、均值池化或随机池化等^[20-21]。AlexNet仅在模型的Conv1、Conv2与Conv5这3个卷积层后进行最大值池化。

Norm表示局部响应的规范化处理。AlexNet采用的局部响应的规范化处理，本质上是一个平滑操作，即

$ b_{x, y}^i = a_{x, y}^i/{(k + \alpha \sum\limits_{j = \max (0, i-n/2)}^{\min (N-1, i + n/2)} {{{(a_{x, y}^j)}^2}} )^\beta } $

(4)

式中，$a_{x, y}^i$表示输入的$(x, y)$位置做第$i$次卷积并通过ReLU单元的结果，$n$是指相同位置的第$i$次前后附近的$n$次卷积，而$N$是总的卷积次数。$k$，$\alpha $，$\beta $都是预设的一些超参数，式中$k$=2，$n$=5，$\alpha $=10^－4，$\beta $= 0.75。即原来的激活$a_{x, y}^i$除一个归一化权重(分母部分)生成了新的激活$b_{x, y}^i$，相当于在同一个位置$(x, y)$不同的特征图上的激活进行了平滑。

Dropout策略，是对于每一个隐层的输出，以50 %的概率将它们设置为0，不再对前向或者后向的过程起任何作用。对于每一个输入来说，使用不同的网络结构，但权重共享，这样求得的参数能够适应不同的情况下的网络结构，因此提高了系统的泛化能力。AlexNet在最后的两个全连接层中使用了该策略来减轻过拟合问题，提高模型的泛化能力。

总结图 1的过程，可以说AlexNet的输入层经过多个卷积层和下采样层的交替传递后输入到全连接层。全连接层整合卷积层或者池化层中具有类别区分性的局部信息，将最后一层全连接层的输出值传递给输出层，采用softmax逻辑回归进行分类得到基于输入的概率分布，从而实现图像的识别。

显然，AlexNet从${F_1}-{F_7}$都在进行着特征提取。其中卷积层通过卷积操作和非线性激励函数获得主要特征。图 2所示是AlexNet第1个卷积层中用到的96个11×11卷积核的可视化效果图^[16]，从图 2中可以看出，第1个卷积层主要是对边缘和颜色等特征信息进行提取。在深度卷积神经网络中，底层的卷积层提取低级特征如边缘、线条、角点，而更高层的卷积层提取更高级的能够蕴涵清晰语义信息的特征，从而提高了识别精度。

图 2 AlexNet模型Conv1层中卷积核的可视化图

Fig. 2 Visualization of convolution kernels in Conv1 of AlexNet

1.2 AlexNet用于地表覆盖特征提取与SVM分类

图 3为基于卷积神经网络AlexNet和SVM的地表覆盖分类流程，主要包括3个阶段：

图 3 提取Alex Net深度特征进行地表覆盖分类流程图

Fig. 3 The flow chart of land cover classification with deep features extracted by Alex Net

1) 遥感影像预处理阶段。由于本文采用ImageNet数据集上预训练好的AlexNet网络模型作为特征提取器，它要求输入的影像必须为3个波段。因此为了满足模型的要求，首先对原始影像进行PCA(principal component analysis)变换来实现数据的压缩降维，取前3个主成分作为输入图像进行特征提取。

2) 深度特征提取阶段。AlexNet要求输入经过归一化的图像，大小为224×224像素。但中分辨率遥感图像的训练样本通常都是取以样本点为中心的邻域参与训练，邻域大小尺寸远小于224×224像素，为此需要将待分类像元为中心的邻域插值上采样到224×224像素。这里采用最近邻插值方法以尽可能保持遥感影像的光谱信息。归一化处理是在插值后的邻域图像上减去训练样本集的均值图像^[18]，然后再输入到预训练好的AlexNet中提取卷积层或者全连接层的深度特征。对于影像周围邻域信息不完整的图像边缘像元，用其周围的邻域进行复制和填充以获得完整的邻域信息。本文中的特征提取是在MatConvNet^[22]深度学习平台上完成的。

3) 分类阶段。包括训练和分类两个部分。训练部分将从训练样本提取的深度特征送入SVM分类器中，对SVM分类器进行训练，得到训练好的SVM分类器。分类部分将待分类像元的深度特征输入到训练好的SVM分类器中进行分类，将分类结果的类别标签赋给中心像元，依次遍历整个影像完成地表覆盖分类。SVM的分类算法取自LIBSVM工具箱，核函数为线性核函数，参数选取采用最常用的网格选取方式寻找最优解^[23]。

2 实验设计与结果分析

2.1 实验数据

实验数据是GF-1的16 m空间分辨率多光谱影像，具体多光谱相机的技术指标如表 1所示^[24]。图 4(a)是实验数据的假彩色合成影像，所选地区是北京市密云水库周围地区，图像大小为500×500像素，成像时间2016年6月22日。根据人工解译和实地考察相结合将图中的地类分为水体、森林、居民地、耕地、休耕地、裸地1、裸地2和山体阴影8类。根据实地考察发现裸地1为山上的有稀疏树木的裸露山体，而裸地2是通常的没有植物覆盖的裸地，其亮度在影像上较裸地1高。这两种地物的光谱曲线有差异，为了得到比较高的分类精度，细分为裸地1和裸地2。休耕地为耕地收割后没有种植庄稼闲置的耕地。这里的耕地类别专指其上有农作物覆盖的耕地。

图 4 研究区域示意图

Fig. 4 Images of the experimental area

((a)GF-1 false color image of the experimental area; (b)distribution of test samples(the base map is based on blue band))

表 1 GF-1(16m)多光谱相机技术指标
Table 1 GF-1(16m)multi-spectral camera technical parameters

下载CSV

波段范围/μm	空间分辨率/m	幅宽/km	重访时间/d
0.450.52
0.520.59	16	800	2
0.630.69
0.770.89

通过人工解译和实地考察，从图像中选取了2 950个训练样本点用于对SVM分类器进行训练，其中水体样本点有400个，森林样本点有500个、居民地样本点有450个、耕地样本点有400个、裸地1样本点有150个、裸地2样本点有400个、休耕地样本点有400个、山体阴影样本点有250个。在实验的精度评价部分，同样通过人工解译和实地考察在图像中选取了3 339个已知类别的像素点作为测试样本进行精度评价，其中水体样本点有402个，森林样本点有463个、居民地样本点有450个、耕地样本点有678个、裸地1样本点有290个、裸地2样本点有394个、休耕地样本点有390个和山体阴影样本点有272个。验证样本的分布图如图 4(b)所示。通过计算混淆矩阵求总体分类精度和Kappa系数进行分类结果的精度评价。

2.2 实验讨论

2.2.1 不同层特征对分类结果的影响分析

为了分析AlexNet模型中哪个层的特征具有更强的表达能力，从中提取最后两个全连接层Fc6与Fc7和最后两个卷积层Conv4与Conv5共4个层的特征，邻域窗口尺寸选择9×9像素，进行分类实验并做精度评价。

从图 5的分类结果精度对比图中可以看出：随着层数深度的增加，分类精度呈上升趋势，全连接层的特征分类精度要高于卷积层的分类精度。这是因为深层次的特征更加抽象，更具有表达性。但Fc6得到的分类精度要高于Fc7，这是因为预训练好的AlexNet模型是在ImageNet自然图像上训练得到的，Fc7的特征虽然语义性更强，但是更多地是符合训练集的分类属性，所以分类精度反而降低。因此对于非训练集上的遥感影像，提取Fc6的特征反而更具表达性。

图 5 不同层特征分类结果精度对比图

Fig. 5 The classification accuracy comparison chart with features extracted from different layers

2.2.2 邻域窗口尺寸对分类结果影响分析

为了分析窗口尺寸对分类结果的影响，选出最优的窗口尺寸，提取Fc6的特征，选择5×5像素、7×7像素、9×9像素、11×11像素、13×13像素、15×15像素和17×17像素7个窗口尺寸对分类结果进行分析。图 6是分类结果精度对比图。

图 6 不同邻域窗口尺寸的分类结果精度图

Fig. 6 The classification accuracy comparison chart with different window sizes

从图 6中可以看出：随着窗口尺寸的增大，精度不断提高，在9×9像素达到最大值，尺寸再增加时精度会下降。这是因为窗口尺寸较小时，邻域信息太少，不能很好提取表达地物的特征，所以精度较低；而窗口尺寸较大时，包含的信息过多，存在很多冗余信息会对分类结果造成影响，反而使分类精度降低。

从图 7的不同尺寸分类结果图中可以看出，随着邻域窗口尺寸的增大，分类图的“椒盐”噪声的细碎图斑越来越少，分类图斑的连续性越好，分类精度增大，但是窗口尺寸过大，会造成图斑也越来越大，分类精度反而变差，这与精度评价的结果相符。

图 7 不同邻域窗口尺寸分类结果图

Fig. 7 Classification images obtained with different window sizes

2.3 实验结果对比与分析

通过2.2节的分析可知当邻域窗口尺寸为9×9像素，提取Fc6全连接层的特征时可以得到最优的分类精度。为了分析本方法的有效性，使用同一组训练样本和验证样本，进行两组方法的对比实验：

1) 采用光谱特征和SVM分类器分类；2) 采用光谱特征和纹理特征，利用SVM分类器分类。根据纹理特征选用基于灰度共生矩阵每个波段选择两个纹理度量均值(mean)和非相似性(dissimilarity)，得到一个8维的纹理特征^[25]，然后将纹理特征和光谱特征一起输入SVM分类器进行分类。

从图 8的分类结果对比图可以看出，方法1) 和方法2) 的分类图中“椒盐”噪声较多，有很多细碎的小图斑，使图面杂乱，存在大量将森林错分为耕地的现象；方法2) 由于增加了纹理信息所以小图斑相对较少，分类效果有所提升；而本文方法的分类图中“椒盐”噪声较少，分类效果更好，错分漏分现象很少，能够保持分类结果中图斑的连续性，可省去分类的后处理操作。

图 8 不同方法分类效果图

Fig. 8 Classification images obtained by different methods

((a)raw image; (b)spectral values; (c)spectral-texture features; (d)deep features of AlexNet)

在定量评价中，从图 9中可以看出，本文方法的总体分类精度和Kappa系数都高于都要高于其他两种方法。从图 10的混淆矩阵的对比图中也看出，对于单个类别的分类精度，方法1) 和方法2) 都出现严重的误分现象，分类精度较低。而本文方法的精度都要高于方法1) 和方法2)，尤其对裸地1和裸地2、森林和耕地这两组光谱特征差异很小的地物。究其原因估计是因为本文方法可从邻域中提取深层特征，使像元邻域光谱特征中的微小差异能够通过卷积神经网络提取的深层特征加以区分，从而使光谱特征差异很小的地物也能很好地区分。

图 9 不同方法分类精度对比图

Fig. 9 The accuracy comparison chart by different methods

图 10 不同方法混淆矩阵对比图

Fig. 10 Confusion matrices obtain by different methods

((a)spectral values; (b)spectral-texture features; (c)deep features of AlexNet)

通过定量评价得到的结论是本文方法的总体分类精度和Kappa系数都高于其他两种方法，方法2) 相对于方法1) 加入纹理信息使精度有所提升。但仔细观察分类结果的细节(图 8)可以发现：本文方法提取的居民地范围比真实的居民地扩大了一圈，如浅蓝色框的居民地所示；本文方法提取的小水库面积却比实际水体缩小了一圈，如黄色框所示。这可能是因为在AlexNet模型中应用了$f(x) = \max (0, x)$的ReLU非线性激励函数和最大值池化函数，使得高亮地物和低亮地物(如居民地和水体)会出现这种提取面积增加或缩水的现象。另一方面，正是因为这种现象，使得本文方法可提取出方法1) 和方法2) 不能提取出来的细小地物，如红色框所示。

3 结论

参考文献

[1] Chen J, Chen J, Liao A P, et al. Global land cover mapping at 30 m resolution: a POK-based operational approach[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 103: 7–27. [DOI:10.1016/j.isprsjprs.2014.09.002]
[2] Gong P, Wang J, Yu L, et al. Finer resolution observation and monitoring of global land cover: first mapping results with Landsat TM and ETM+ data[J]. International Journal of Remote Sensing, 2013, 34(7): 2607–2654. [DOI:10.1080/01431161.2012.748992]
[3] Chen B, Zhang Y J, Chen L. RS image classification based on SVM method with texture[J]. Engineering of Surveying and Mapping, 2007, 16(5): 23–27. [陈波, 张友静, 陈亮. 结合纹理的SVM遥感影像分类研究[J]. 测绘工程, 2007, 16(5): 23–27. ]
[4] Chen G F, Zeng G W, Chen H, et al. Study of RS image classification method based on texture features and neural network algorithm[J]. Journal of Chinese Agricultural Mechanization, 2014, 35(1): 270–274. [陈桂芬, 曾广伟, 陈航, 等. 基于纹理特征和神经网络算法的遥感影像分类方法研究[J]. 中国农机化学报, 2014, 35(1): 270–274. ]
[5] Li Y, Li Y H, Wang J X, et al. A comparative study of SVM and ANN in multispectral image classification[J]. Hydrographic Surveying and Charting, 2016, 36(5): 19–22. [李颖, 李耀辉, 王金鑫, 等. SVM和ANN在多光谱遥感影像分类中的比较研究[J]. 海洋测绘, 2016, 36(5): 19–22. ]
[6] He K M, Zhang X Y, Ren S Q, et al.Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas, Nevada, USA:IEEE, 2016:770-778.[DOI:10.1109/CVPR.2016.90]
[7] Girshick R, Donahue J, Darrell T, et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus, OH, USA:IEEE, 2014:580-587.[DOI:10.1109/CVPR.2014.81]
[8] Girshick R.Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision.Santiago, Chile:IEEE, 2015:1440-1448.[DOI:10.1109/ICCV.2015.169]
[9] Long J, Shelhamer E, Darrell T.Fully convolutional networks for semantic segmentation[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston, Massachusetts, USA:IEEE, 2015:3431-3440.[DOI:10.1109/CVPR.2015.7298965]
[10] Parkhi O M, Vedaldi A, Zisserman A.Deep face recognition[C]//Proceedings of 2015 British Machine Vision Conference.Swansea, UK:BMVA, 2015:41.1-41.12.[DOI:10.5244/C.29.41]
[11] Zhou F Y, Jin L P, Dong J. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(7): 1–23. [周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(7): 1–23. ]
[12] Lu H T, Zhang Q C. Applications of deep convolutional neural network in computer vision[J]. Journal of Data Acquisition and Processing, 2016, 31(1): 1–17. [卢宏涛, 张秦川. 深度卷积神经网络在计算机视觉中的应用研究综述[J]. 数据采集与处理, 2016, 31(1): 1–17. ]
[13] Hu F, Xia G S, Hu J W, et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing, 2015, 7(11): 14680–14707. [DOI:10.3390/rs71114680]
[14] Zhong Y F, Fei F, Zhang L P. Large patch convolutional neural networks for the scene classification of high spatial resolution imagery[J]. Journal of Applied Remote Sensing, 2016, 10(2): #025006.
[15] Marmanis D, Datcu M, Esch T, et al. Deep learning earth observation classification using ImageNet pretrained networks[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(1): 105–109. [DOI:10.1109/LGRS.2015.2499239]
[16] Castelluccio M, Poggi G, Sansone C, et al. Land use classification in remote sensing images by convolutional neural networks[J]. Acta Ecologica Sinica, 2015, 28(2): 627–635.
[17] Penatti O A B, Nogueira K, dos Santos J A.Do deep features generalize from everyday objects to remote sensing and aerial scenes domains?[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Boston, Massachusetts, USA:IEEE, 2015:44-51.[DOI:10.1109/cvprw.2015.7301382]
[18] Krizhevsky A, Sutskever I, Hinton G E.ImageNet classification with deep convolutional neural networks[C]//Proceedings of Advances in Neural Information Processing Systems.Lake Tahoe, USA:NIPS, 2012:1097-1105.
[19] Russakovsky O, Deng J, Su H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211–252. [DOI:10.1007/s11263-015-0816-y]
[20] Boureau Y L, Le Roux N, Bach F, et al.Ask the locals:multi-way local pooling for image recognition[C]//Proceedings of 2011 International Conference on Computer Vision.Barcelona, Spain:IEEE, 2011:2651-2658.[DOI:10.1109/iccv.2011.6126555]
[21] Zeiler M D, Fergus R.Stochastic pooling for regularization of deep convolutional neural networks[C]//Proceedings of 2013 International Conference on Learning Representations.Scottsdale, Arizona, USA:ICLR, 2013:1-9.
[22] Vedaldi A, Lenc K.MatConvNet:convolutional neural networks for MATLAB[C]//Proceedings of the 23rd ACM International Conference on Multimedia.Brisbane, Australia:ACM, 2015:689-692.[DOI:10.1145/2733373.2807412]
[23] Hsu C W, Chang C C, Lin C J.A practical guide to support vector classification[R].Taiwan, China:Department of Computer Science and Information Engineering, National Taiwan University, 2003.
[24] [中国资源卫星应用中心. 高分一号[EB/OL]. 2014-10-15 [2017-04-20]. http://www.cresda.com/CN/Satellite/3076.shtml.]
[25] Lu M F, Feng W F, Xu Y, et al. Research on selection of features, bands and windows in classification based on texture feature[J]. Image Technology, 2011, 23(3): 54–59. [卢茂芬, 冯伍法, 胥亚, 等. 基于纹理的影像分类的特征、波段与窗口选择问题研究[J]. 影像技术, 2011, 23(3): 54–59. ]
[26] Simonyan K, Zisserman A.Very deep convolutional networks for large-scale image recognition[C]//Proceedings of 2015 International Conference on Learning Representations.SanDiego, USA:ICLR, 2015:1-14.
[27] Szegedy C, Liu W, Jia Y Q, et al.Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston, Massachusetts, USA:IEEE, 2015:1-9.[DOI:10.1109/CVPR.2015.7298594]