自然艺术绘画是人们追求生活品质和精神品质的体现，能够表达语言和文字无法表达的情感，包括版画、中国画、油画、水粉画、水彩画等，如图 1所示。版画是艺术家通过构思创造、雕刻制版和印刷得到的艺术作品，以丰满密集和萧疏简淡的构图方式表现主题风格，简洁、单纯、颜色数目有限、亮度和纯度较低、颜色间的过渡较快。中国画使用毛笔蘸水、墨或彩在绢或纸上作画，讲究气韵、应物象形和骨法用笔，其中骨法表现用笔的艺术性，包含笔力、力感、表现结构等(亓玉权，2009)。中国画不注重画面背景的渲染，画中多留有空白，且以墨代色，使墨色产生丰富而细微的色度变化，也就是“墨分五色”，运笔疾缓及笔触长短大小的不同，使笔墨技巧千变万化，明暗调子丰富多彩。油画不同于中国画，注重写实，画家通过冷暖色调对比、颜色明暗强度对比、颜料厚薄层次对比进行光感的创造。油画具有不透明性，颜色丰富饱和度高。水彩画是以水为媒介通过调和透明颜料作画的一种绘画形式，颜料的透明性使画面通透明澈，水的流动性增强画面淋漓酣畅、自然洒脱的意趣。水粉画是用水调和粉质颜料作画的一种绘画形式，颜色透明性介于水彩画和油画之间。水粉画在湿的时候颜色饱和度很高，干后颜色失去光泽，饱和度下降。油画、水彩画和水粉画都可以表现出颜色丰富多彩、纹理粗犷、色块明显的特性，但是油画中明暗色调的交互以及对光影的运用使画面整体的空间感和立体感更加强烈，细节上纹理丰富，颜料反复堆叠形成的线条增强油画的语义信息，透明度最低；水粉画透明度次之，水粉干后，画面出现明显粉状色块，立体感不强，色彩饱和度低于油画；水彩画透明度高，能表达出清新明快的质感，画面上水渍湿痕是区别它们的关键特征之一。中国画与水彩画在审美表达、意向气韵方面有异曲同工之处，但是国画整体上多用墨画制，线条丰富，细节处以点、线、面的形式描述对象的形貌、骨法、光暗及情态神韵，画面整体颜色深沉；水彩画整体颜色丰富鲜明，明快润泽，亮度大，细节处不注重以线作画，多借助“水”与“色”的相互作用表现画面的情态神韵。

目前，艺术图像管理的研究工作主要是根据题材与表现手法对画作分类、根据创作风格对画家分类以及艺术画像真假鉴别等，基于多类艺术图像风格特点的分类研究较少。不同画家的运笔力道不同，画中线条的粗细可以展现画家的绘画风格。Li和Wang(2004)提出用2维多分辨率隐马尔可夫混合模型对图像的大部分区域进行分析，捕获关键区域笔画特征，对画家分类和比较。国画多以墨代色，Sheng和Jiang(2013)使用灰度直方图提取水墨画整体风格特征，并用Sobel边缘检测方法获得笔画风格丰富的局部细节特征，使用信息熵融合算法实现画家分类。Shen(2009)将图像分成4 × 4的子块，对各个子块分别提取颜色、纹理、形状等整体特征和局部纹理特征并输入基于径向基函数(radial basis function，RBF)的神经网络进行训练，然后对RBF神经网络输出的向量进行汉明距离计算以实现对输入的图像进行所属画家分类。Sun等人(2016)采用蒙特卡洛凸壳特征选择模型和支持向量机对传统中国画进行特征描述。王征等人(2013)根据国画中纹理、颜色、形状等特征，采用传统方法进行监督式异构稀疏特征提取，但是特征只有96维，不足以描述国画的整体特征。Jiang等人(2006)根据国画中工笔画与写意画在表现手法上的区别，利用图像低层的纹理、形状、颜色、边缘特征，对中国传统工笔画和写意画进行分类。高峰等人(2017)利用尺度不变特征变换(scale invariant feature transform，SIFT)特征检测子和边缘检测得到图像关键区域，通过关键区域特征和邻域内部差异性的描述，采用级联分类器分析得出工笔画和写意画在表现手法上的不同。但是，艺术展现的特征往往以一种有机的形式组合而成，组合技巧很难概括，不同种类艺术图像在颜色、纹理、线条等特征方面存在相似性，使用传统方法提取艺术图像的纹理、颜色、线条等特征并不能充分区分每类艺术图像的风格特点。

卷积神经网络(convolutional neural networks，CNNs)在提取图像整体特征以及局部细节特征上取得了很好的成果。InceptionV4模块(Szegedy等，2017)分支中的不同卷积核提取输入图像的整体与细节特征，但这些模块大多考虑空间维度信息，没有考虑通道间的依赖性，对提取的特征没有进一步增强处理。SENet(squeeze-and-excitation networks)(Hu等，2018)中的SE(squeeze-and-excitation)模块融合空间维度和通道间的依赖关系，强化提取的有用特征，抑制无关的特征信息。SKNet(selective kernel networks)(Li等，2019)中的SK(selective kernel)模块使网络可以根据输入信息的多个尺度自适应调节感受野大小，提取图像的细节与整体特征。SE与SK模块如图 2所示。本文根据SE和SK模块的功能特点，构建双核压缩激活模块(double kernel squeeze-and-excitation，DKSE)。DKSE模块分支上不同大小的卷积核提取图像的整体与细节特征，并进行融合、压缩和激活，然后将提取的风格特征与各个分支上的特征图进行加权映射，最后将映射后的不同特征图进行特征融合，从而强化不同卷积核提取出的特征信息。本文用DKSE网络模块和深度可分离卷积搭建卷积神经网络，对5类艺术图像进行分类。

本文双核压缩激活模块(DKSE)结合了SE模块和SK模块的特点，能够更好地增强提取的艺术图像整体风格特征与局部细节特征，由split、squeeze、excitation和scale 4个子模块组成，如图 3所示，表达式为

$ \boldsymbol{V}=\sum\limits_{i=1}^{N} \boldsymbol{U}_{i} \cdot F_{\mathrm{ex}}\left(F_{\mathrm{sq}}\left(\boldsymbol{F}_{\mathrm{gp}}(\boldsymbol{U})\right)\right) $

(1)

式中，$\boldsymbol{U}$是DKSE模块分支上融合后的特征图，$F_{\mathrm{gp}}(\cdot)$表示全局平均池化操作(global average pooling，GAP)，$F_{\mathrm{sq}}(\cdot)$表示通道压缩处理，$F_{\mathrm{ex}}(\cdot)$为通道特征激活操作，$N$为DKSE模块分支数，本文取$N=2$。

1) 子模块split。对一个中间特征图${\boldsymbol{X}} \in {{\bf{R}}^{{H^\prime } \times {W^\prime } \times {C^\prime }}}$，使用两个不同大小的卷积核卷积映射，即

$ {F_1}:{\bf{X}} \to {{\bf{U}}_1} \in {{\bf{R}}^{H \times W \times C}} $

$ {F_2}:{\bf{X}} \to {{\bf{U}}_2} \in {{\bf{R}}^{H \times W \times C}} $

式中，$H^{\prime}$、$W^{\prime}$和$C^{\prime}$分别表示特征图$\boldsymbol{X}$的高、宽和通道数。$F_{1}$和$F_{2}$是分别经过卷积核卷积映射、批标准化(batch normalization，BN)(Ioffe和Szegedy，2015)和ReLU激励函数(Nair和Hinton，2010)处理的映射过程。$H$、$W$和$C$分别表示经过$F_{1}$和$F_{2}$操作后特征图的高、宽和通道数。卷积过滤器${\bf{w}} = \left[ {{w_1}, {w_2}, \cdots } \right., \left. {{w_c}, \cdots, {w_C}} \right]$，其中$w_{c}$表示第$c$个过滤器的参数。在第$i$个分支上，每个过滤器对中间特征图$\boldsymbol{X}$的卷积映射公式为

$ \begin{array}{*{20}{l}} {{\bf{u}}_{ic}^\prime = {{\bf{w}}_{ic}} \times {\bf{X}} = \sum\limits_{k = 1}^{{c^\prime }} {{\bf{w}}_{ic}^k} \times {{\bf{X}}^k} + {b_{ic}}}\\ {{{\bf{u}}_{ic}} = \delta \left({\aleph \left({{\bf{u}}_{ic}^\prime } \right)} \right), i = 1, \cdots, N} \end{array} $

(2)

式中，$c^{\prime}$表示过滤器和特征图的通道数，$b_{i c}$表示偏置，${\aleph \left(\cdot \right)}$表示批标准化处理，$\delta \left({{{\bf{X}}^\prime }} \right) = \max (0, {{\bf{X}}^\prime })$是ReLU函数操作，${\mathit{\boldsymbol{X}}^\prime } = \aleph \left( {\mathit{\boldsymbol{u}}_{ic}^\prime } \right),{\mathit{\boldsymbol{U}}_i} = \left[ {{\mathit{\boldsymbol{u}}_{i1}}} \right.,\left. {{\mathit{\boldsymbol{u}}_{i2}}, \cdots ,{\mathit{\boldsymbol{u}}_{iC}}} \right]$。

2) 子模块squeeze。经过split操作，得到两个新的特征图$\boldsymbol{U}_{1}$和$\boldsymbol{U}_{2}$，通过对应元素求和，融合两个特征图的特征信息，即

$ \boldsymbol{U}=\boldsymbol{U}_{1}+\boldsymbol{U}_{2} $

(3)

融合后的特征图$\boldsymbol{U}$结合了$\boldsymbol{U}_{1}$和$\boldsymbol{U}_{2}$的特征信息，使用全局平均池化对每个特征通道中的全局空间特征节点进行池化处理。全局平均池化将特征图$\boldsymbol{U}$空间信息压缩到$C$个通道描述符中，生成描述特征通道信息的统计量$\boldsymbol{S} \in \bf{R}^{C}$。统计量$\boldsymbol{S}$中第$c$个元素通过压缩$\boldsymbol{U}$空间信息计算得到，具体为

$ {{\boldsymbol{S}}_c} = {F_{{\rm{gp}}}}\left({{{\boldsymbol{S}}_c}} \right) = \frac{1}{{H \times W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{U_c}} } (i, j) $

(4)

3) 子模块excitation。为增强从每类艺术图像提取的风格特征，减弱作用不大的特征信息，通过1 × 1卷积操作将全局平均池化后的特征图通道维度降低到原通道的1/r，r为下降率，然后经过BN处理和ReLU函数激活后，再通过1 × 1卷积操作将通道数升到原先的数目，最后通过一个Sigmoid的门机制获得(0, 1)之间归一化的权重，得到每类艺术图像的风格特征信息

$ \begin{array}{*{20}{c}} {{\boldsymbol{Z}} = {F_{{\rm{ex}}}}({\boldsymbol{S}}) = \sigma \left({{{\boldsymbol{W}}_2}{F_{{\rm{sq}}}}({\boldsymbol{S}})} \right) = }\\ {{\bf{ \pmb{\mathit{ σ}} }}\left({{{\boldsymbol{W}}_2}\delta \left({\aleph \left({{{\boldsymbol{W}}_1}{\boldsymbol{S}}} \right)} \right)} \right)} \end{array} $

(5)

式中，$\sigma \left({{\mathit{\boldsymbol{X}}^{\prime \prime }}} \right) = {\left({1 + {{\rm{e}}^{ - {\mathit{\boldsymbol{X}}^{\prime \prime }}}}} \right)^{ - 1}}$是Sigmoid激活函数，${\mathit{\boldsymbol{X}}^{\prime \prime }} = {\mathit{\boldsymbol{W}}_2}\delta \left({\aleph \left({{\mathit{\boldsymbol{W}}_1}\mathit{\boldsymbol{S}}} \right)} \right)$，${{\boldsymbol{W}}_1} \in {{\bf{R}}^{\frac{C}{r} \times C}}$，${{\boldsymbol{W}}_2} \in {{\bf{R}}^{C \times \frac{C}{r}}}$，$r$表示特征图通道降维比例。

4) 子模块scale。通过squeeze和excitation操作得到的权重$\boldsymbol{Z}$是经过主要特征筛选、抑制次要特征的图像特征信息，分别与${\mathit{\boldsymbol{U}}_1}$和${\mathit{\boldsymbol{U}}_2}$进行加权求和，则

$ {{\boldsymbol{V}}_c} = {{\boldsymbol{u}}_{1c}} \cdot {{\boldsymbol{Z}}_c} + {{\boldsymbol{u}}_{2c}} \cdot {{\boldsymbol{Z}}_c} $

(6)

式中，${{\boldsymbol{V}}_c} \in {{\bf{R}}^{H \times W}}$表示特征图$\boldsymbol{V}$的第$c$个通道的特征信息，$\boldsymbol{V}=\left[\boldsymbol{V}_{1}, \boldsymbol{V}_{2}, \cdots, \boldsymbol{V}_{C}\right]$。

参考MobileNetV1网络(Howard等，2017)结构，使用深度可分离卷积及DKSE模块搭建卷积神经网络，第1层使用空洞卷积(Yu和Koltun，2016)提取原始艺术图像的特征。空洞卷积与普通卷积相比，在保持计算量不增加的情况下，具有更大的网络感受野，可以保持更多内部数据结构和原图信息。深度可分离卷积由深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)组成。DKSE模块嵌入深度可分离卷积中操作公式为

$ {\boldsymbol{Y}}({\boldsymbol{X}}) = \left[ {{Y_1} \cdot {Y_2} \cdot {Y_3}} \right]({\boldsymbol{X}}) $

(7)

式中，${Y_1}:{{\bf{R}}^{{H^\prime } \times {W^\prime } \times {C^\prime }}} \to {{\bf{R}}^{\frac{{{H^\prime }}}{s} \times \frac{{{W^\prime }}}{s} \times {C^\prime }}}$为深度卷积操作, ${Y_2}:{{\bf{R}}^{\frac{{H'}}{s} \times \frac{{W'}}{s} \times C'}} \to {{\bf{R}}^{\frac{{H'}}{s} \times \frac{{W'}}{s} \times tC'}}$为逐点卷积操作，${Y_3}:{{\bf{R}}^{\frac{{{H^\prime }}}{s} \times \frac{{{W^\prime }}}{s} \times t{C^\prime }}} \to {{\bf{R}}^{H \times W \times C}}$为DKSE模块操作，$s$表示深度卷积对特征图维度进行降维处理，$t$表示逐点卷积对特征图通道数的处理。每次深度卷积和逐点卷积操作后，再进行BN和ReLU激励函数处理。

表 1是在DKSE分支上取3 × 3和5 × 5进行普通卷积的操作情况，为了减少训练中的过拟合现象，在逐点卷积操作中使用L2正则化方法，并在最后进行GAP处理的前后进行dropout(Krizhevsky等，2012)处理。表 1中，dilated_conv表示空洞卷积，d = 2表示扩张率为2，depthwise_conv为深度卷积，dep_separable_conv表示深度可分离卷积，s1表示步长为1像素，依次类推。

实验采用Adam(Kingma和Ba，2017)作为优化器，学习率初始值为0.001，训练周期为120次。训练中将训练集随机旋转0°~20°，且在水平和垂直方向分别随机翻转和偏移0~10%，以增强网络的泛化能力。网络训练准确率在3次训练没有提升的情况下，学习率下降到原来的10%。实验中随机选取图像库的80%为训练集，剩下20%为验证集。实验硬件为：1块NVIDIA TeslaP100-12G GPU，2块Intel Xeon E5-2620 V4 CPU，4条DDR4 2 400 MHz 16 GB内存，深度学习框架采用Keras。

本文使用的艺术图像从Artlib世界艺术鉴赏库和大艺网等网站获取，其中版画3 393张、中国画3 449幅、油画3 400幅、水粉画3 378幅和水彩画3 390幅，各类艺术图像的风格信息分布比较均匀。将高分辨率且风格信息丰富的图像裁切成若干个299×299像素大小的图像，并人工从中筛选风格信息丰富的图像，对数据进行增强处理。数据增强后，版画5 116幅、中国画5 151幅、油画5 117幅、水彩画5 122幅和水粉画5 128幅。使用表 1的网络模型对原始数据和数据增强后的数据进行实验，结果如表 2所示，可以看出，数据增强后的分类准确率提升了9.21%。

1) 与传统网络模型的比较。为了验证本文网络模型对艺术图像分类的效果，将本文数据分别输入传统网络模型和本文网络模型进行训练和验证，结果如表 3所示。

从表 3可以看出，与InceptionV4、ResNet-50(He等，2016)和Xception(Chollet，2017)网络模型相比，本文网络模型轻量、训练用时短、准确率最优。但是DKSE网络模块中包含并行的卷积操作，使本文网络模型参数比ShuffleNet(Zhang等，2018)、MobileNetV1和MobileNetV2(Sandler等，2018)高。本文方法+ SE和本文方法+ SK是用SE和SK模块替换表 1中DKSE模块的网络模型，模块中的下降率r值均取16。实验结果显示，本文网络模型准确率比本文方法+ SE和本文方法+ SK分别高0.86%和1.25%。当DKSE模块的r值取4时，分类准确率比r取16时高。

2) 与传统方法的比较。用Shen(2009)以及Sheng和Jiang(2013)的传统整体特征与局部特征提取方法对本文数据分类，结果如表 4所示。

从表 4可以看出，传统手工提取的基于颜色、形状等底层整体特征与局部特征不能充分区分各类艺术图像的风格特征，而本文方法可以较好地提取艺术图像的整体特征与局部细节特征，提高了分类准确率。

1) 位置。为了查看DKSE模块在网络模型不同位置对艺术图像分类的影响，将其单独放在本文网络模型编号为6、9、12的位置，分支上分别取3×3，5 × 5的卷积核，下降率r值取4，结果如表 5所示。

从表 5可以看出，DKSE模块单独放在网络模型编号为6的位置时，艺术图像的分类准确率最高，计算量消耗最少。

2) 下降率r和分支卷积核大小。下降率r和分支卷积核大小是DKSE模块中对计算资源和实验准确率进行控制的一组重要参数。取DKSE模块单独放在编号位置为6的网络模型，对DKSE的r值和分支卷积核大小进行实验和分析，结果如表 6所示。可以看出，当DKSE模块分支上卷积核大小固定时，r值取4的分类结果比r值取16时高；当r值固定时，2分支的DKSE模块比3分支的训练用时短、参数少；当DKSE模块分支上卷积核分别取1 × 1和5 × 5时，实验结果准确率最高。

3) 空洞卷积。为了比较空洞卷积核对艺术图像特征提取的效果，在DKSE模块上取不同大小的空洞卷积核对本文数据进行实验，结果如表 7所示，其中K3表示普通的3 × 3卷积核，K5表示空洞卷积扩张率为2的3 × 3卷积核、感受野为5 × 5，K7表示扩张率为3的3×3卷积核、感受野为7 × 7。

实验结果显示，空洞卷积的参数比具有相同感受野的普通卷积参数少，但是分类准确率没有普通卷积高。

将分支上卷积核为1 × 1和5 × 5且r = 4的DKSE模块单独放在网络模型编号为6的位置，称为DKSE-MobileNet。为便于观察网络模型学习的关键区域特征，取“本文方法+ SE”、“本文方法+SK”和DKSE-MobileNet网络模型使用Grad-CAM(gradient-weighted class activation mapping)算法(Selvaraju等，2017)对提取的艺术图像特征区域进行可视化显示，如图 4所示。图 4(a)为艺术图像，图 4(b)—(d)为特征热力图，暖色越深表示类别判断越依赖该区域信息。从图 4可以看出，艺术图像的风格特征在整体分布中比较均匀，与“本文方法+SE”和“本文方法+ SK”网络模型相比，本文的网络模型提取艺术图像的整体特征更全面，局部细节特征更突出。

为了直观展示本文方法的分类性能，使用DKSE-MobileNet网络对图 5中的图像进行分类验证，图 5中的蓝框表示油画错分成水粉画，绿框表示油画错分成水彩画，红框表示水粉画错分成油画。从图 5可以看出，油画、水粉画、水彩画无论在绘画技法、颜色布局、纹理、冷暖色调的运用或光感的设计上都存在一定的相似性。错分成水彩画、水粉画的油画和错分成油画的水粉画，在其所在类别应具有的风格特征并不是很明显。

使用查全率、查准率和F-Measure值对DKSE-MobileNet进行性能评估，结果如表 8所示。国画的查准率与F-Measure值最高，版画的查全率最高。版画独特的雕刻技法和线条特征是区别于其他画种的关键特征。中国画独特的绘画技巧及墨彩的运用，使国画不同于西方画种。

ROC(receiver operating characteristic)曲线及AUC(area under curve)值是一组评价分类器性能的指标，ROC曲线下的面积值越大，模型分类性能越好。使用ROC及AUC衡量DKSE-MobileNet分类性能，结果如图 6所示，可以看出，版画的AUC值达到0.99，分类器对版画的分类结果最好，国画次之。因为油画的色块、线条、作画技法等特征与其他画种在整体特征与局部细节存在相似处，油画的AUC值最小。

本文主要提出了DKSE模块。DKSE模块使用双分支卷积核提取图像整体特征与局部细节特征，将提取的特征进行融合，并用两次1×1卷积操作和Sigmoid门机制提取每类艺术图像的关键特征，抑制作用不大的特征。用DKSE模块结合轻量级的深度可分离卷积构建卷积神经网络，对版画、中国画、油画、水彩画和水粉画等艺术图像进行分类，更好地实现了对艺术图像的特征提取和分类。本文方法较好地解决了现有多类艺术图像分类研究不足的问题，取得了较现有网络模型和传统分类方法更好的艺术图像的分类效果。但是DKSE模块中的并行双卷积操作，使网络模型中添加多个DKSE模块，网络模型参数量增加明显。在后续的工作中将优化艺术图像分类网络模型，扩大艺术图像样本库，进一步提高艺术图像分类准确率和网络模型分类的效率。