螺栓是输电线路上最常见的部件，用于紧固各种部件，但由于输电线路整体长期暴露在野外，容易受到环境、挤压、拉伸和扭转等影响，螺栓极易出现销子、螺母缺失等情况。一旦紧固部件出现问题，被禁锢部件随着也会产生各种问题，进而产生安全隐患，因此及时检测螺栓缺陷对保障输电网安全运行十分重要(赵振兵等，2019；Nguyen等，2018)。但螺栓分布广泛、无人机拍摄的图像中螺栓占比过小、背景复杂等问题都会加大螺栓检测的难度，同时在拍摄螺栓图像时，由于无人机无法近距离拍摄，导致缺陷螺栓与正常螺栓在视觉上的差异极小，单纯使用螺栓的视觉特征检测螺栓缺陷具有极高的挑战性。

螺栓缺陷检测是输电线路上的特定任务，目前螺栓缺陷检测方法较少，且模型与数据集均不公开，因此本文的相关文献均为输电线路相关方向或结合了计算机视觉的缺陷自动检测研究，如汤踊等人(2018)基于Faster R-CNN(region convolutional neural network)(Ren等，2017)模型对输电线路的金具部件进行检测，通过调整CNN模型的卷积核大小和图像的旋转变换扩充数据集，证实了此两种方法有利于提高模型的检测精度；Mei等人(2018)为了检测布料纹理的缺陷，在DCNN(deep convolutional neural network)的基础上，提出了一种无监督的纹理表面缺陷检测方法，并构造了多尺度的卷积神经网络来提取特征和反重构表面缺陷；Chen等人(2018)为了检测接触网支架紧固件是否出现缺陷，提出了基于SSD(single shot detector)(Liu等，2016)和YOLO(you only look once)(Redmon等，2016)网络三级检测方法，先定位支撑装置，然后对螺栓进行检测，最后基于深度神经网络对缺陷进行识别，实现了对支撑装置上螺栓缺陷的检测；戚银城等人(2019)为了解决输电线路中螺栓缺陷数据不易获得的问题，提出一种基于改进DCGAN(deep convolutional generative adversarial networks)的螺栓图像生成方法，通过加入相对均值鉴别器和梯度惩罚，并在生成器和鉴别器中引入注意力机制来捕获图像中长距离的像素特征，实现了缺陷样本的扩增。Zhong等人(2018)为了检测高速铁路悬链线支撑装置的开口销(split pins)是否出现缺陷的问题，提出一种改进的深层卷积神经网络的三级自动缺陷检测系统PVANET++，同时引入一种新的锚机制并使用多个隐藏层特征构建更具有区分性的新特征，提升了检测精度。Liu等人(2018)为了定位接触网支撑元件，分别对4种代表性的深度学习网络进行对比分析，并讨论了接触网支撑元件的定位与故障检测的问题，对缺陷识别任务的发展前景进行了展望。乔丽等人(2017)利用卷积神经网络的中间参数定义表面缺陷分辨率的概念作为衡量缺陷的程度，通过判断缺陷分辨率的水平识别是否存在缺陷，有效提升了缺陷检出率。Han等人(2017)使用Faster R-CNN来检测复杂背景图像中轮毂上的划痕和点。赵振兵等人(2020)为了解决绝缘子缺陷任务中不同缺陷之间样本数量不平衡以及困难样本学习效率低下问题，提出一种动态焦点损失函数和基于二阶矩的样本平衡方法，可以有效学习到不同样本的深度特征。Zhao等人(2020)为了学习螺栓的视觉形状差异，提出了一种自动视觉形状的聚类方法，并结合多个神经网络优化方法提出了一个基于Faster R-CNN的二级目标检测模型，从而检测正常螺栓与缺销螺栓。

通过对航拍输电线路典型螺栓数据集的分析以及大量实验发现，不同于MS-COCO(Microsoft common objects in context)(Lin等，2014)、PASCAL VOC(pattern analysis, statistical modeling and computational learning visual object classes)(Everingham等，2010)等公共数据集，航拍螺栓图像数据集存在背景复杂、螺栓占比过小和不同缺陷螺栓的视觉特征差异不大等问题，这些问题会使得网络在提取特征时难以提取到精确的视觉特征，从而导致螺栓等小目标重要特征信息的丢失。本文从航拍螺栓图像特点出发，提出一种双注意力机制的航拍输电线路螺栓图像检测方法。首先，为了避免螺栓图像在特征提取阶段由于螺栓目标小、背景复杂等问题导致的信息丢失，本文提出利用多尺度注意力模块对特征提取阶段进行监督，使用ResNet-101(He等，2016)作为特征提取网络，并选取通道数256、512和1 024将ResNet-101分为3个层次，结构如图 1所示。其中7×7conv表示卷积核大小为7×7，64→64表示输入和输出通道的维度，/2表示步长为2，×2表示相同的结构有两个。根据每个层次的特征图利用多尺度注意力模型得到相应的注意力图，计算相邻层的注意力图差异性，并将其作为正则化项加入损失函数中，由于该注意力图来自于网络本身，因此不需要额外的监督信息。其次，为了解决检测过程中螺栓区域检测效果不佳的问题，本文提出利用空间注意力模块使得每个位置特征都与全局特征加权相加，相似区域特征得到增强，不相似区域特征进行弱化，螺栓区域与背景区域的特征差异程度变大，从而提高螺栓区域的检测精度。最后，本文在航拍输电线路典型螺栓数据集上验证了本文方法的有效性与可靠性。

本文的检测模型框架如图 2所示。在特征提取过程中使用ResNet-101为特征提取网络，提取每个卷积层的注意力图，计算两个相邻卷积层的注意力图的差异性作为正则化项，提取出的每层注意力图不仅包含目标信息还保留了编码后的丰富上下文信息，同时相邻层注意力图可以互相促进，进一步提高网络的学习能力。考虑到螺栓与所属的金具存在较小的差异，以及不同类别的螺栓差异不大，这些问题都会导致螺栓区域检测效果不佳。因此本文利用全局特征计算任意两个位置的相似程度作为注意力系数，从而增强相似区域的特征，提高局部特征对全局特征的依赖性。

多尺度注意力模块主要是为了避免在提取螺栓图像视觉特征时由于螺栓图像背景复杂、目标较小等问题导致的信息丢失。本文以ResNet-101网络的前3个Layer为特征提取网络，依次提取每层的注意力图，提取出的注意力图从网络本身得到，因此不需要多余的标签或者额外信息，随着训练的进行，网络不断学习显著区域的特征以及目标的上下文信息，通过不同尺度上注意力图表现出的显著区域可以使得网络在特征提取时更关注显著区域。

本文使用特征提取阶段的第$k$个卷积层输出特征${\mathit{\boldsymbol{A}}_k} \in {{\bf{R}}^{{C_k} \times {H_k} \times {W_k}}}$作为多尺度注意力模块的输入，其中${C_k}$、${H_k}$和${W_k}$表示特征通道、高度和宽度。生成一个注意力图相当于找到一个映射函数$P \in {{\bf{R}}^{{C_k} \times {H_k} \times {W_k}}} \to {{\bf{R}}^{{H_k} \times {W_k}}}$, 将每个卷积层视觉特征映射为对应的注意力图，其中每个元素的绝对值表示该元素影响最终输出的重要程度。本文主要探讨了求和、平方求和以及最大值3种方法构建的映射函数的效果

$ P_{s} =\sum\limits_{i=1}^{C_{k}}\left|A_{k i}\right| $

(1)

$ P_{s}^{2} =\sum\limits_{i=1}^{C_{k}}\left|A_{k i}\right|^{2} $

(2)

$ P_{\max }^{2} =\max \limits_{i=1, \cdots, C}\left|A_{k i}\right|^{2} $

(3)

式中，${A_{ki}}$表示输出特征${\mathit{\boldsymbol{A}}_k}$的第$i$个通道。

本文对这3种映射函数进行了可视化，结果如图 3所示。

图 3所示为使用3种映射方法得到的特征图，其中, 图 3(a)为原图像，图 3(b)(c)(d)依次为使用求和、平方求和、最大值方法得到的特征图。由图 3可以看出，平方求和方法得到的特征图比其他两种方法效果更好，保留了最重要的区域，具有更少的噪声，同时与真实标签更接近。

多尺度注意力的目标是每一层的注意力图都可以从连续层的注意力图中得到有用的上下文信息。本文提取ResNet-101的3个主要输出层特征作为学习目标来得到3个注意力图，考虑到每个尺度的注意力图尺度不同，利用双线性上采样(upsampling)放大到原始图像尺寸，即

$ \varphi\left(\boldsymbol{A}_{k}\right)={softmax}\left({ upsampling }\left(P_{s}^{2}\left(\boldsymbol{A}_{k}\right)\right)\right) $

(4)

式中，$\varphi ({\mathit{\boldsymbol{A}}_k})$表示特征提取网络的第$k$层特征图对应的注意力图。

图 4所示为多尺度注意力模块，本文利用多尺度注意力图对网络学习的目标区域进行监督，使用平方损失函数作为相邻层之间的学习函数

$ L_{k, k+1}\left(\boldsymbol{A}_{k}, \boldsymbol{A}_{k+1}\right)=L_{2}\left(\varphi\left(\boldsymbol{A}_{k}\right), \varphi\left(\boldsymbol{A}_{k+1}\right)\right) $

(5)

式中, ${L_2}$为均方差损失函数。

最终，多尺度注意力模块的总损失函数由3个层次注意力图聚合得到

$ L_{\mathrm{sum}}=L_{1,2}+L_{2,3} $

(6)

式中，${L_{1, 2}}$表示Layer1与Layer2之间的损失函数，${L_{2, 3}}$表示Layer2与Layer3之间的损失函数。

图 4中，视觉特征$\mathit{\boldsymbol{A}}$和$\mathit{\boldsymbol{B}}$均为特征提取网络ResNet-101的Layer1、Layer2和Layer3的输出特征。

螺栓作为输电线路上的紧固部件，其在金具上通常存在于固定的位置，在航拍螺栓图像中的空间布局上也呈现一定规则性。由于无人机拍摄螺栓图像时距离过远导致螺栓区域占比不大，同时受到拍摄角度、光照强度和遮挡等影响，在对特征图生成候选区域后无法准确预测到螺栓目标。原始的Faster R-CNN在检测螺栓时是在整个特征图上生成20 000个大小不一的候选框，通过不断训练找到最可能存在目标的候选区域。这种方式只关注图像的局部区域，并没有考虑到输电线路金具上的螺栓的空间规律性。本文从空间位置维度引入全局信息，通过建模特征图中任意两个位置的空间注意力图来表明位置之间的空间依赖性，通过空间注意力图可以使得具有相似特征的区域互相增强，从而在全局视野中突出螺栓区域。

本文以ResNet-101第3个Layer输出特征${\mathit{\boldsymbol{A}}_3} \in {{\bf{R}}^{C \times H \times W}}$为空间注意力模块的输入，由于该模块是为了学习特征在空间位置上的空间依赖性，首先利用输出特征${\mathit{\boldsymbol{A}}_3}$计算出所有位置的位置注意力图，然后利用位置注意力图对特定位置特征进行更新加权，最后将局部特征与全局特征相结合，实现螺栓与上下文信息相融合，即

$ \boldsymbol{E} =f\left(\boldsymbol{A}_{3}\right) $

(7)

$ \boldsymbol{F} =f\left(\boldsymbol{A}_{3}\right) $

(8)

式中，$f$(·)为一个卷积层，$\mathit{\boldsymbol{E}}, \mathit{\boldsymbol{F}} \in {{\bf{R}}^{C \times H \times W}}$。将$\mathit{\boldsymbol{E}}, \mathit{\boldsymbol{F}}$平铺到$\mathit{\boldsymbol{E}}^\prime, \mathit{\boldsymbol{F}}^\prime \in {{\bf{R}}^{C \times N}}$，其中$N = H \times W$，得到全局视野上的每个位置的图像特征，将$\mathit{\boldsymbol{E}}^\prime $的转置与$\mathit{\boldsymbol{F}}$相乘后, 利用$softmax$函数激活获得空间注意力图$\mathit{\boldsymbol{S}} \in {{\bf{R}}^{N \times N}}$，即

$ \boldsymbol{S}={softmax}\left(\boldsymbol{E}^{\prime \mathrm{T}} \cdot \boldsymbol{F}^{\prime}\right) $

(9)

$ s_{j i}=\frac{\exp \left(\boldsymbol{E}_{i}^{\prime \mathrm{T}} \cdot \boldsymbol{F}_{j}^{\prime}\right)}{\sum\limits_{i=1}^{N} \exp \left(\boldsymbol{E}_{i}^{\prime \mathrm{T}} \cdot \boldsymbol{F}_{j}^{\prime}\right)} $

(10)

式中，空间注意力图$\mathit{\boldsymbol{S}}$中元素${s_{ji}}$表示第$i$个位置对第$j$个位置的影响程度，${s_{ji}}$越大表明两个位置的依赖性越强。与式(7)相同，将经过一个卷积层得到$\mathit{\boldsymbol{G}} \in {{\bf{R}}^{C \times H \times W}}$并映射到$\mathit{\boldsymbol{G}}\prime \in {{\bf{R}}^{C \times N}}$，将注意力图$\mathit{\boldsymbol{S}}$的转置与$\mathit{\boldsymbol{G}}\prime $相乘后映射到${{\bf{R}}^{C \times H \times W}}$，最后与原始特征${\mathit{\boldsymbol{A}}_3}$相加得到最终增强后的视觉特征$\mathit{\boldsymbol{T}}, \mathit{\boldsymbol{T}}$中每个元素表示为

$ T_{j}=\alpha \sum\limits_{i=1}^{N} s_{j i} G_{i}^{\prime}+A_{3 j} $

(11)

式中，$\alpha $代表了局部特征与全局特征的融合程度，初始化为0，并作为模型训练参数参与训练。

本文损失函数共包含两部分：一是网络的预测结果，采用交叉熵损失函数；二是多尺度注意力模块表征的相邻层之间特征分布差异, 即

$ L o s s=L(y, \hat{y})+\lambda L_{\mathrm{sum}} $

(12)

式中，$y$为真实标签，$\hat y$为网络的预测标签，$L\left(\cdot \right)$表示交叉熵损失函数，$\lambda $为正则化项超参数。

本文的研究内容为输电线路上的螺栓缺陷检测，由于现今的螺栓缺陷检测方法较少，且模型与数据集均不公开，因此需要构建螺栓数据集，本文以中国电力出版社出版的《架空输电线路设备缺陷影像标注规范(试行)》为标准，参考PASCAL VOC2007数据集的构建方法，构建了航拍输电线路螺栓数据集。本文的螺栓目标仅为金具上的螺栓，不考虑金具外的螺栓，在标注螺栓数据集时，以螺母和销子的存在情况为依据将螺栓分为3类，其中螺母与销子均存在为正常螺栓；销子丢失而螺母存在为缺销螺栓；螺母和销子均丢失或只螺母不存在为螺母缺失螺栓。最终数据集共1 483幅图像，每幅图像尺寸大约在3 000×4 000像素，共标注2 692个目标，包括正常螺栓(1 443个样本)、缺销螺栓(670个样本)以及螺母缺失螺栓(579个样本)3类螺栓，每幅图像均包含1~5个标注样本，训练集和测试比例为8∶2。航拍输电线路螺栓图像如图 5所示。

本文采用的数据集为自建的输电线路螺栓数据集，其包含正常螺栓、缺销螺栓与螺母缺失螺栓3类。由于现今针对输电线路上的螺栓缺陷检测研究不多且数据集不一致，如Zhao等人(2020)的数据集中只含有正常螺栓与缺销螺栓，而本文引言中的相关文献的实验对象为输电线路的金具部件或其他领域的缺陷目标，如布料纹理缺陷、接触网支架紧固件缺陷和高速铁路悬链线支撑装置的分叉销缺陷等，因此无法与本文方法对比。

本文采用端到端的Faster R-CNN作为基线，利用在ImageNet(Everingham等，2010)上预训练的ResNet-101作为特征提取网络。训练时，对输入图像进行预处理，调整图像尺寸为600×600像素，在区域生成网络中得到256个候选区域。模型的基本参数设置为：初始学习率为0.001，epoch数为20，batch size为1，使用随机梯度下降优化。实验室服务器GPU型号为GTX1080ti，深度学习框架为Pytorch1.0。

本文使用准确率(precision，P)、召回率(recall，R)、平均准确度(average precision，AP)以及所有类别的平均准确率(mean average precision，mAP)作为评价标准。首先将预测结果与真实标签比较后，将检测结果分为4类：模型预测为正例且预测正确的为真阳性(true positive，TP)；模型预测为正例但预测错误的为假阳性(false positive，FP)；模型预测为负例且预测正确的为真阴性(true negative，TN)；模型预测为负例但预测错误的为假阴性(false negative，FN)，即

$ P =\frac{T P}{T P+F P} $

(13)

$ R =\frac{T P}{T P+F N} $

(14)

$ m A P =\frac{\sum\limits_{i=1}^{N_{\mathrm{cls}}} \int_{0}^{1} P_{i}\left(R_{i}\right) \mathrm{d} R}{N_{\mathrm{cls}}} $

(15)

式中，${N_{{\rm{cls}}}}$为一类的检测对象总数。

为了验证本文提出的双注意力机制的有效性，采用上述评价指标对各模块进行对比实验，并列出了每类螺栓的AP以及mAP，实验结果如表 1所示。从表 1可以看出，与基线相比，加入多尺度注意力模块，模型mAP提升了0.29%，其中正常螺栓类提升了0.62%，缺销螺栓类提升了2.54%，螺母缺失螺栓提升了0.69%；加入空间注意力模块后，mAP值提升了0.61%，其中正常螺栓类的AP值提高了0.3%，缺销螺栓类提高了2.05%，螺母缺失螺栓类下降了0.52%，这是由于有的螺母缺失螺栓存在阴影会与正常螺栓的螺母混淆，从而导致误判；在同时引入多尺度注意力和空间注意力后模型mAP值提高了2.21%，其中正常螺栓类提升了0.29%，缺销螺栓类提升了5.23%，螺母缺失螺栓类提升了1.1%。由此可见，本文提出的双注意力机制对于检测螺栓状态十分有效，利用多尺度注意力在特征提取过程的不同尺度进行监督，相邻层次的注意力图的差异作为正则化项引入模型，随着训练次数的增加，模型将不断学习的上下文信息融合，引入下一层的学习当中，保证模型在特征提取环节保留更多的有用信息；利用空间注意力对每个位置进行全局视野的上下文信息融合，进而相似的区域互相增强，在生成候选区域时更容易区分前景与背景，同时表 1中缺销螺栓的AP值提升最大也证明了模型在特征提取时保留了如销子区域的更精确特征。

多尺度注意力模块是为了避免网络在提取螺栓图像特征时信息丢失而对特征提取过程进行监督，最终以正则化项方式加入到损失函数。超参数$\lambda $作为表征多尺度注意力监督力度的表达，本文对$\lambda $的取值进行了实验，超参数$\lambda $的实验结果如表 2所示。本文主要针对$\lambda \in (0, 1$内取值，由表 2可以看出, 当λ为0.01时效果最好，其次是$\lambda $为0.7时，而当$\lambda $为0.5时效果最差。可以看出，选择合适的正则化系数对于多尺度注意力模块监督特征提取阶段是十分重要的。

为了验证模型的整体性能，本文采用PR(precision-recall)曲线作为衡量指标。图 6所示为基线与本文方法的PR曲线，其中横坐标为召回率(recall，R)，纵坐标为准确率(precision，P)，每类的PR曲线围成的面积即为对应类的mAP值。由图 6可以明显看出，本文方法与基线相比在所有类别上都有一定程度的提升，尤其在缺销螺栓类上增长最大；通过观察正常螺栓类的曲线可以看出，准确率在0.4~0.9范围之内，本文方法的PR曲线比Faster R-CNN的PR曲线更加外凸，这表明在相同的准确率下，本文方法的召回率更高，检测结果中的正确比例更大，同时图 3的特征图也显示了本文方法可以提取更精确的特征。

图 7所示为基线Faster R-CNN、多尺度注意力模块、空间注意力模块以及本文模型在训练过程中loss值随迭代次数变化的曲线，由图 7可以看出, 本文的每个模块均已收敛。本文方法在基线基础上引入了多尺度注意力监督特征提取过程和空间注意力聚合相似特征，在与基线相比模型的参数量和复杂程度都有一定的提升，由图 7可以看出, 本文方法在训练开始初始值较低，训练中波动较小，整体收敛过程没有较大改变。

图 8为4幅不同位置螺栓图像的测试结果，第1幅中螺栓位于重锤左下侧, 第2幅中螺栓位于重锤右上侧, 第3幅和第4幅中螺栓均位于联板左上侧但两者安装正好相反。图 8(a)为基线Faster R-CNN的测试结果，图 8(b)为本文方法的测试结果。由图 8可以看出，第2幅测试图像，基线仅根据一个销子尾部便识别为正常螺栓，本文采用的典型螺栓数据集中正常螺栓为同时具有螺母与销子，单独根据销子尾部识别为正常螺栓是一种误判，本文方法则避免了这种误判。类似地，在第4幅测试图像中存在螺栓的尾部，在数据集标注时，螺栓尾部是不参与标注的，但基线将螺杆尾部误判为缺销螺栓，而通过本文方法则成功地避免了这种误判，同时对于测试图中判断正确的正常螺栓的得分提高了0.004。

为了准确检测输电线路中的螺栓缺陷，本文提出了一种双注意力机制的航拍输电线路螺栓检测模型，主要研究对象为正常螺栓、缺销螺栓以及螺母缺失螺栓。主要贡献有：

1) 为了避免螺栓图像在特征提取阶段由于螺栓目标小、背景复杂等问题导致的信息丢失，本文提出利用多尺度注意力模块对特征提取阶段进行监督，同时用于监督的注意力图来自于网络本身，因此不需要额外的外部监督信息。

2) 为了解决检测过程中螺栓区域检测效果不佳的问题，本文提出利用空间注意力模块对螺栓图像在空间上加权，相似特征互相增强，提高螺栓区域与背景区域的差异程度。

本文方法的存在一些问题需要解决，如丰富螺栓缺陷定义需与所处的结构场景相结合，从而更好地区分带销正常螺栓与不带销正常螺栓。对于螺栓缺陷检测任务，本文从螺栓特征和位置入手虽然降低了螺栓缺陷检测的误判率，但由于拍摄角度和光照等因素仍存在误检，因此探究一种数据预处理方式处理光照和阴影的影响是十分必要的。同时由于知识推理的兴起，探究螺栓领域知识辅助其缺陷检测也会成为未来的主要途径之一。