0引言中国长距离输电线路众多，基层巡检作业负担很重、运维成本很高。目前，对输电线路部件缺陷的自动化与智能化检测技术的需求越来越迫切，人工智能应用于电力设备运维的相关技术受到了高度重视，而如何对输电线路关键部件视觉缺陷进行准确检测仍是亟待解决的关键问题之一。输电线路部件视觉缺陷检测技术主要是将计算机视觉算法作为技术基础，以输电线路航拍图像作为待检测对象，以识别图像中关键部件的缺陷类型并进行准确定位作为目标。其中，输电线路的关键部件主要包括：用于耐受电压和机械应力的绝缘子部件；用于固定、连接、保护的金具部件，如间隔棒、防震锤、均压环等；以及用于固定、连接的螺栓部件。由于输电线路长期处于恶劣的自然环境中，常发生脏污、生锈和损坏等故障，导致巡检时间成本和经济成本都极高。在深度学习兴起之前，输电线路关键部件(如绝缘子部件、典型金具部件和螺栓部件等)缺陷检测主要由传统图像处理方法和人工设计的特征工程方法实现。张桂南和刘志刚(2014)人工设计了绝缘子Harris角点特征，通过匹配图像角点进行分割、增强和谱聚类，最终提取出破损绝缘子特征。邹栋(2017)使用OTSU二值分割提取绝缘子细节后进行形态学处理, 实现绝缘子自爆故障检测；同时提出通过Hough直线检测和平行性判定提取输电线，基于不变矩特征和AdaBoost算法在输电线区域检测是否存在搭挂的异物。卢君妥(2016)提出了一种融合了SLIC(simple linear iterative clustering)算法、DBSCAN(density-based spatial clustering of applications with noise)算法和斜空间距离方法的改进密度空间聚类分割算法以分离目标和背景，可以对巡检图像进行高质量的分割提取关键部件。随着深度学习的兴起，越来越多的研究人员将目光投向了该领域。早在二十世纪90年代，LeCun等人(1998)提出了用于手写数字图像分类的LeNet模型，确立了卷积神经网络的现代结构。Alex等人(2017)提出了基于深度卷积神经网络构建的AlexNet，并将其应用于ImageNet图像识别大赛，赢得了当年大赛的冠军，由此，掀起了深度学习研究热潮。Simonyan和Zisserman(2015)提出了VGGNet(Visual Geometry Group network)，它继承了AlexNet的主要框架，但是在卷积核大小上进行了改进，使得网络更深，大幅提高了网络的效果。Szegedy等人(2015)另辟蹊径，提出了GoogLeNet，将网络深度设置为22层，虽然层数不多, 但是网络性能进一步提升。随着网络加深，深度卷积神经网络开始出现退化问题，针对这个问题, He等人(2015a)提出了残差卷积神经网络(residual network, ResNet)，由于在网络中引入了残差块且添加了越层连接，不仅缓解了梯度消失问题, 同时也提升了网络的性能。与此同时，各种基于深度学习的目标检测模型也横空出世。Girshick等人(2014)提出了基于区域的卷积神经网络(region-based convolutional neural network, R-CNN)，参考滑动窗口的思想，并且与支持向量机结合，成为基于区域建议方法与DCNN(deep convolutional neural network)相结合的经典之作。不久，为了提高R-CNN的效率，He等人(2015b)提出了SPP-Net(spatial pyramid pooling net)，压缩了特征提取过程，极大地提高了检测效率。Girshick(2015)提出Fast R-CNN，利用感兴趣区域池化对动态区域大小进行归一化，并且用softmax函数替换支持向量机对区域进行分类，同时构建回归器对目标的位置进行回归，最后，将它们的损失进行加和，构建多任务学习模型。Ren等人(2017)在前人的研究基础上更上一层楼，提出了更强大的Faster R-CNN，并且逐渐成为目标检测的主流检测模型。以上检测模型由于包含区域建议与预测两个模块，所以统称为两级目标检测。虽然两级检测模型精度较高，但是效率较低。为了更进一步提升检测效率，单级检测模型应运而生，其中的佼佼者当属SSD(single shot multibox detector)系列和YOLO(you only look once)系列检测模型。Redmon等人(2016)提出了单级检测框架YOLO，从输入到输出仅进行一次边界框的回归与区域的分类，与两级检测模型相比效率提升很多，但是检测精度下降明显。为了突破YOLO的准确率瓶颈，Liu等人(2016)提出了SSD，将Anchor机制引入模型之中，同时采用特征融合与多尺度预测方法构建了一个速度与准确率更高的端到端one-stage检测框架。时至今日，YOLO系列模型已经发展到了第4代，Alexey等人(2020)提出了YOLOv4，验证了在检测器训练过程中最先进的Bag-of-Freebies和Bag-of-Specials的目标检测方法的影响，同时融入了许多小技巧，检测速度与检测精度都有极大的提升。输电线路关键部件缺陷检测主要包括对绝缘子、金具和螺栓等在输电线路上起着关键作用的部件的缺陷检测。随着我国输电线路的高速发展，运行维护需求量增长与巡检人员数量之间的矛盾逐渐凸显。而无人机技术的应用为线路巡检提供了新的手段。与人工巡检相比，无人机巡检成本低、周期短、机动性强且安全性高，逐渐开始取代人工巡检。无人机航拍传回来大量输电线路上的图像，使用人工一一确认其中有无输电线路部件缺陷并不现实，因此迫切地需要一个高效率、高性能和强智能的图像处理系统来检测无人机传回来的大量图像数据中的输电线路关键部位缺陷。相较于传统图像处理方法而言，基于深度学习的图像处理技术最大的优点在于缺陷检测准确度更高、需要时间更短。当然，深度学习还有许多其他优点：深度学习可以从原始数据中自主提取多层次多角度的特征而不需要人为提取特征；同时，深度学习具有更强的泛化能力和表达能力，即具有平移不变性；深度学习技术能够处理复杂背景下的目标检测，虽然复杂环境对于基于深度学习的缺陷检测模型有不可忽略的影响，但是依然比传统方法更适应于复杂多变的现实环境。基于深度学习的目标检测模型是处理输电线路巡检图像的最优选择。为了将深度学习模型用于输电线路关键部件缺陷检测，首先需要构建完备的关键部件缺陷数据集用于训练和测试。在无人机将航拍图像传回之后，使用数据集训练搭建好的深度学习模型即可完成各类缺陷检测任务。众所周知，深度学习是“数据饥渴”的技术，对于一个检测效果卓越的深度目标检测模型来说，大量的各类缺陷图像数据是必要的，而对无人机采集到的航拍图像进行标注就需要耗费大量的人力、物力以及时间；同时受限于当今无人机拍照技术的限制，部分航拍图像中存在模糊、分辨率低、背光和拍照角度受限等问题，这些都将对模型检测精度造成影响。在实际生产中某些缺陷类型的图像数据容易大量收集，但是也有部分缺陷类型发生次数少，收集困难，数据量小，各类缺陷样本数目不对等导致了严重的类别不平衡问题，限制了深度模型的学习能力；某些输电线路上的关键部件缺陷在航拍图像中占比很小导致检测困难，小目标检测至今仍然是目标检测领域的一大难题；缺陷检测与基于公共数据集的目标检测相比，还存在一个关键性难题，即细粒度识别问题，数据集中不同类型的缺陷之间的视觉差异很小，这就要求缺陷检测模型要有相当高的细粒度识别能力，才能保证模型检测的精度达到应用要求。1输电线路关键部件缺陷检测方法利用无人机对输电线路进行航拍，然后使用训练后的基于深度学习的输电线路部件缺陷检测模型检测是目前的主流巡检方式，巡检过程如图 1所示。本文将围绕3种输电线路关键部件：绝缘子、金具以及螺栓，介绍其定位与缺陷检测的研究现状。3种关键部件正常样例及缺陷样例如图 2所示。 图1 输电线路部件缺陷检测流程图 Flow chart of defect detection of transmission line componentsFig 1 图2 输电线路各部件正常样例及缺陷样例 Examples of normal and defective parts of transmission lineFig 2 （(a)normal pictures; (b) defect pictures) 1.1绝缘子及其缺陷检测方法绝缘子广泛应用于电力系统中，通常由陶瓷、玻璃或复合材质制成，主要功能是实现电气绝缘和机械固定，是输电线路中非常重要的部件。由于高压输电线路很多都在山间、荒芜的环境下工作，长期承受各种自然环境的影响，加上器件的使用寿命以及劳损，使得绝缘子容易产生缺陷(王淼等，2015)。其常见故障包括：自爆、掉串、裂纹破损、闪络放电和异物等问题(朱虎等，2006)。一旦绝缘子损坏，将严重威胁电力系统的安全。在无人机技术成熟以前，以人工巡线的方式对绝缘子进行日常检查与维护一直都是主流。随着输电线路规模日益增大，人工巡检耗时耗力且威胁电力工人安全。与此同时无人机技术日益成熟，利用无人机航拍图像对输电线路上绝缘子进行缺陷检测已经成为目前的主流方式。Wu和An(2014)设计了一种算法来分割绝缘子图像，利用绝缘子图像的纹理不均匀性质，通过最大化轮廓内外半局部纹理分布的差异，可以更快地识别绝缘子和检测其缺陷。Han等人(2018)提出了一种基于计算机视觉的绝缘子及其缺陷检测方法，利用斜率和截距等性质对图像进行预处理后使用DPM(deformable part model)定位绝缘子，再使用提出的局部周期估计法来分析绝缘子纹理特性以判断是否存在缺陷，将绝缘子定位召回率提高到了98.97%，缺陷误检率降到了9.63%。该绝缘子检测方法能够准确定位图像中的绝缘子，且不受光照条件和纹理变化的影响，对于绝缘子缺陷检测也具有不错的鲁棒性，但是该方法只能检测绝缘子瓷盘破损和夹在两瓷盘之间的异物缺陷。赵振兵等人(2016)设计了一种基于Hough检测和C-V(Chan-Vese)模型的航拍绝缘子自动协同分割方法，通过对图像进行Hough检测修复并用SLIC进行超像素分割，最后利用广义Hough变换实现C-V模型初始轮廓的选取并进行基于图像间的C-V模型的绝缘子协同分割。Huang等人(2017)根据绝缘子串图像特点建立数学模型以估计滑块的方向和长度，接着提取模板和滑块的局部二值模式直方图，检测绝缘子是否破碎。Zhai等人(2017)提出了一种基于显著性和自适应形态学的绝缘子故障检测算法，通过融合颜色和梯度特征来定位、分离绝缘子，最后基于自适应形态学分析来检测和定位绝缘子故障。Zhao等人(2015)提出了一种基于方位角检测和二值形状先验知识的航拍图像中多绝缘子多角度定位方法，达到了在航拍图像中定位多个绝缘子的目的且具有较高的精度和较低的时间消耗。张晶晶等人(2014)为了克服基于颜色识别绝缘子方法的不足，研究了一种自底向上感知聚类平行线段的方法，相比于基于HSI(hue saturation intensity)颜色识别绝缘子的方法，表现更加稳定。这些传统的绝缘子定位与缺陷检测方法不仅需要科研人员针对数据集手动设计提取的特征，导致耗费大量时间以及精力，在检测精度以及检测效率上也无法满足实际巡检的需求。2006年深度学习被提出之后，在大量数据集和超高计算能力支撑下，绝缘子缺陷检测也因此迈入了新的时代，许多基于深度学习理论的绝缘子缺陷检测研究应运而生。赵振兵等人(2019)提出了一种基于改进的R-FCN(region-based fully convolutional networks)航拍巡线图像中的绝缘子目标检测方法，根据目标的宽高比特征调整模型中的RPN(region proposal network)网络中的建议框，引入对抗空间丢弃网络(adversarial spatial dropout network, ASDN)层以解决目标遮挡问题，检测模型流程图如图 3所示。 图3 基于R-FCN的航拍巡线绝缘子检测流程图(赵振兵等，2019) R-FCN based inspection flow chart of aerial line inspection insulator (Zhao et al., 2019)Fig 3Wang等人(2020)提出了一种基于改进的区域建议网络的绝缘子检测方法，通过改进ResNeSt网络和结合多尺度的RPN(region proposal network)，完成对绝缘子的检测。实验已证明该方法在包含4种不同类型绝缘子(灰色聚合物绝缘子、针形陶瓷绝缘子、绿色玻璃绝缘子和双色陶瓷绝缘子)的数据集上取得了不错的效果，平均准确率和每秒检测图片数结果如表 1所示。Tian等人(2018)采用预测结构的级联设计和并行目标检测结果的逻辑推理机制对输电线路上绝缘子缺陷进行检测，虽然精度有所提高，但是该模型是在不考虑时间成本的情况下提出的，还需要进行改进。Tao等人(2020)针对绝缘子的定位和缺陷检测提出了一种新的深度卷积神经网络级联结构，将缺陷检测转化为两级目标检测问题，同时针对数据集过少的问题采用多种数据增强算法混合使用的方法。表1 基于不同方法的4种不同类型绝缘子的检测结果(Wang等, 2020) 方法 平均准确率/% 每秒检测图像数 YOLOv3 70.6 19.23 YOLOv4 75.6 25.21 Faster R-CNN(VGG16) 77.8 9.09 Faster R-CNN(ResNet-50) 74.4 8.33 Faster R-CNN(ResNet-101) 76.9 11.11 Wang等人(2020) 95.8 12.80 RetinaNet(ResNet-50) 79.9 12.50 RetinaNet(ResNet-101) 80.5 9.09 Wang等人(2020) 96.7 4.69 The detection results of 4 different types of insulators based on different methods (Wang et al., 2020)Table 1Zhao等人(2020a)为了寻找最适合图像识别的卷积层而提出了名为层熵和相对层熵的概念，通过计算相对层熵来选择最合适的卷积层，提取特征图进行聚合形成特征表示，实验结果表明该方法在所有数据集都取得了不错的效果。Liu等人(2020)提出一种基于无监督学习的绝缘子缺陷检测方法，该方法采用构建的RCCAEN(reconstruction and classification convolutional auto encoder network)网络将绝缘子与背景分离之后再来判断绝缘子缺陷等级。Li等人(2020)针对高分辨率航拍图像中绝缘子缺陷尺寸小、容易漏检的问题，提出了一种基于全局检测和局部分割的绝缘子故障识别方法，通过建立语义分割和目标检测的级联网络，在全局和局部两个层次都进行缺陷检测，绝缘子缺陷识别准确率和召回率分别为91.9%和95.7%，处理每幅图像平均耗时459 ms。但是多级检测方法的使用虽然解决了漏检的问题，在一定程度上提高了检测的精度，但是也导致模型参数过多，占用大量内存。深度学习的出现，极大地改变了绝缘子定位及缺陷检测的研究现状，它不仅省去了手动设计提取特征的步骤，还显著提高了检测精度及效率。当然，它也带来了新的问题，数据集中正负样本不平衡、数据量不足和人工标注数据集标签的巨大工作量等问题依然是现在急需解决的问题。1.2金具及其缺陷检测方法金具作为输电线路上十分重要且分布广泛的金属附件，主要起到支持、固定、防护和接续线路各个部件以及维持整个线路稳定的作用(赵强等，2013)。由于金具种类多且功能与工作条件都不尽相同，同时随着输电线路规模日益增大，输电线路上金具数量急剧增加，由金具故障引起的线路故障也逐年增加，严重影响电网的安全运行和正常供电。金具常见的故障有磨损、冻裂、腐蚀、锈蚀、联接失效和覆冰断裂等(耿慧敏，2013)，因此对输电线路上的金具进行定期检修可以最大限度地减少电路故障的发生，保障整个电力系统的安全正常运行。Wu等人(2014)利用灰度与平均梯度搭建检测模型，通过间隔棒的轮廓特征对其进行检测，但是航拍图像背景复杂，同时二值图像使得信息丢失过多，所以检测效果不甚理想。王万国等人(2015)提出一种基于线结构感知的输电线断股与异物缺陷的检测方法，因为无人机航拍图像受环境、光线等因素影响很大，采用梯度算子提取图像上线性对象以识别输电线路中显著的平行导线组，同时提出了一种基于局部轮廓特征的形状部件识别方法以检测连接部件，最终在此基础上通过分段分析、计算宽度变化和灰度相似度等方法检测缺陷。张兴森等人(2017)为检测电力线夹缺陷提出了基于涡流检测的线夹缺陷检测方法，采用主分量分析法提取缺陷特征再使用支持向量机进行自动缺陷识别。常彬等人(2018)将X射线应用于输电线路导线压接金具内部缺陷检测，该方法侧重于在线路施工阶段进行缺陷检测而非输电线路巡检。宋伟等人(2016)通过结合直方图均衡化、形态学处理和RGB(red green blue)彩色模型，对比正常情况下与锈蚀情况下的防震锤，实现了防震锤锈蚀缺陷检测。王森(2017)提出了一种基于AdaBoost算法的防震锤检测方法，利用防震锤的Haar特征然后结合AdaBoost分类器进行训练，检测时通过滑动窗口结合分类器在感兴趣区域进行检测。戚银城等人(2019a)提出一种基于改进SSD模型的输电线路航拍巡检图像金具目标检测方法，使用改进的IOU(intersection over union)得到对目标尺度更敏感的默认框；同时在模型中引入斥力损失，以针对航拍图像中金具目标密集问题，提高了模型对密集遮挡金具的检测效果，检测方法如图 4所示，针对重锤、均压环等11类金具达到了75.64%的平均精度，比原始SSD模型提高了16.38%。尽管该模型提高了对密集遮挡金具的检测效果，但是对于航拍图像拍摄角度有一定的要求。 图4 基于SSD的输电线路金具检测流程(戚银城等, 2019a) Detection process of transmission line fittings based on SSD (Qi et al., 2019a)Fig 4张木柳(2018)将3D Studio Max绘图软件用于数据扩充，获得了大量符合要求的样本，并且提出了基于颜色名称的预选图生成方法，保证了识别分类前分割区域的准确性，提高了模型准确率。赵振兵等人(2021)针对输电线路中部分金具样本不足和缺陷种类繁多的问题，提出了一种结合深度网络和逻辑回归模型的因果分类方法，在扩充数据集之后使用改进VGG16模型提取深度特征，通过缺陷特征与标签之间因果关系学习来构建因果逻辑回归模型。刘思言等人(2019)提出了一种基于R-FCN的航拍巡检图像目标检测方法，在全卷积网络的基础上，使用在线困难样本挖掘、软性非极大值抑制和样本优化等方法改进，提高了检测精度。Mao等人(2019)设计了一种无人机巡检输电线路金具缺陷诊断系统，采用基于SGC(sum of absolute differences +graph cuts)的立体匹配算法，通过无人机双目摄像机得到视差图，用灰度分布双峰法对视差图进行分割和比较，找到图像分割的最佳阈值，最后，利用有向无环图支持向量机进行训练和特征提取，建立缺陷识别模型，实现输电线路缺陷识别功能。Wan等人(2020)在基于区域的全卷积网络基础上提出了一种新颖的结合输电线路金具之间细粒度特征和上下文信息的目标检测方法，将可变形卷积层和SENet(squeeze and excitation networks)模块加入到检测模型中，在输电线路航拍图像数据集上得到了81.81%的精度，相较于R-FCN提高了3.96%。赵振兵等人(2020c)针对金具与金具之间、金具与背景之间相互干扰的问题，提出了一种结合KL(Kullback-Leibler)散度和形状约束的Faster R-CNN典型金具检测方法，使用KL散度替代原有的Smooth L1损失函数，同时将数据集中不同类别典型金具目标的形状特征作为约束加入损失函数中对模型训练进行优化，以提高模型检测精度，最终在包含防震锤、均压环等8类金具目标的数据集上达到了83.68%的平均检测精度，一定程度上解决了模型定位不够准确的问题，与其他方法效果对比如表 2所示。表2 基于不同方法的8类金具目标检测结果(赵振兵等，2020c) 方法 平均准确率/% YOLO 72.48 Fast R-CNN 74.86 FPN 75.88 Cascade R-CNN 77.24 Faster R-CNN 79.76 Faster R-CNN + KL loss 82.97 赵振兵等人(2020c) 83.68 The detection results of 8 kinds of fittings objects based on different methods (Zhao et al., 2020c)Table 2在输电线路金具及其缺陷检测领域，传统的手工提取特征的金具定位与缺陷检测方法无论检测精度还是检测效率都无法与深度学习相比。由于金具及其缺陷种类众多，对于每一种金具的每一类缺陷都需要人工设计特征并提取，效率十分低下。虽然深度学习的出现使得同时检测多种类的金具成为可能，并且检测精度与检测效率也有了大幅提升，但是大部分模型在数据集方面依然面临着金具及其缺陷种类众多、背景复杂、数据集匮乏和标注困难等问题。当然，相比绝缘子而言，金具具有更加丰富的知识内涵，如何利用好金具之间的空间知识以及语义知识是未来金具及其缺陷检测突破的关键。1.3螺栓及其缺陷检测方法输电线路中无论是铁塔上还是电缆上对各个不同部件之间起到紧固和连接作用的部件主要就是螺栓，在整个线路上，数目最多的部件也是螺栓。因此, 如何实现输电线路螺栓缺陷检测以实现及时有效的故障排除，是电力系统的难题和长期研究的目标。根据不同部件上起到的不同作用，螺栓可分为：带销螺栓和不带销螺栓2类。一般情况下，带销螺栓主要是负责2个或多个不同部件的连接作用，需要承受更大的作用力，也比不带销螺栓更容易发生严重缺陷以及危急缺陷。根据缺陷发生的部位以及发生的情况，与螺栓相关的主要缺陷有：销子闭口、销子缺失、螺母松动和螺母缺失。为方便研究总结工作，本文又将这4类缺陷划分为2大类进行说明，这2类分别是螺栓销子缺陷和螺栓螺母缺陷。1.3.1螺栓目标检测螺栓在输电线路航拍图像中占比小，背景信息多且复杂，因此使用传统的图像处理方法和机器学习算法，既难以滤除大量背景信息，又难以提取特征，因此无法直接从原始图像中对螺栓目标进行准确的检测。同时，由于螺栓目标在输电线路航拍图像中像素占比极小，常常不到2%，尤其是深度模型受限于服务器性能的原因会将输入图像调整到较小的固定尺寸，导致输入图像会丢失原本不多的螺栓像素信息，因此直接对输电线路图像中螺栓目标进行识别和定位的困难程度高。薛阳等人(2020)提出先进行数据增强扩增数据集，再使用基于卷积神经网络的目标检测模型训练，从而完成航拍图像螺栓检测的任务。首先对获取的图像数据主要采用翻转、平移和角度旋转等方式完成数据集的扩增，再以主干网络为ResNet的Faster R-CNN作为检测模型进行训练和测试。实验证明该方法对穿刺线夹上的螺栓能达到较高的检测准确度。张姝等人(2020)根据分级检测原则，首先利用SSD算法定位存在缺陷螺栓的连接部位并切割出连接部位，增大螺栓在巡检图像中的占比，其次利用数据增强扩充数据集，最后通过YOLOv3算法可以检测正常螺栓，最终螺栓缺陷检测平均精度达到了85.9%，召回率达到了89.8%，分级检测的使用提高了检测精度，但是也导致模型参数的增多、模型计算量增大，给实际应用加大了难度。Pham等人(2020)研究使用图像生成模型合成出比较真实的螺栓图像用于扩增训练集，之后提出了一种基于深度学习的螺栓松动检测框架，既可以检测出正常螺栓也可以检测出螺母松动螺栓。1.3.2销子缺陷检测带销螺栓一般安装于输电线路上主要部件之间的连接处，由于需要受到较大的作用力，往往容易发生缺陷。并且带销螺栓作用位置比较重要，一旦发生缺陷常常需要尽早地进行维修处理，避免发生重大故障事故。带销螺栓常发生的缺陷类型有：销子缺失、销子闭口2类。付晶等人(2017)提出利用层次模型“与或图”对目标进行分解表达，根据分解结果构建部件之间的约束关系，从而构建多向的判别路径，之后将人工构建和提取的类Haar特征输入级联AdaBoost分类器对目标基元进行识别，并增加增强数据样本用于训练，以提高分类器的泛化性能，该方法具有一定程度的输电线路螺栓销子缺失故障的判别能力。Zhao等人(2020b)提出了一种新颖的关于螺栓视觉形状的无监督聚类方法，并将其应用于构建一种针对销子缺失缺陷的自动视觉形状聚类网络(automatic visual shape clustering network, AVSCNet)的检测模型，相较于经典的通用目标检测模型，该方法针对输电线路上螺栓销子缺失缺陷的检测有显著的性能提升，与其他方法对比如表 3所示。表3 基于不同方法的螺栓销子缺失缺陷检测结果(Zhao等，2020b) 方法 平均准确率/% 每秒检测图像数 YOLOv3 54.8 11.36 Faster R-CNN 61.4 5.80 R-FCN 63.9 8.99 Faster-FPN 67.2 3.05 AVSCNet 68.7 1.92 The detection results of pin missing bolt based on different methods(Zhao et al., 2020b)Table 3Zhang等人(2020)提出了一种基于Faster R-CNN的无人机架空输电线路引脚缺陷检测算法，鉴于无人机航路检查具有图像背景大、引脚尺寸小等特点，选择深度残差网络作为特征提取网络提高检测性能。目前大部分的研究集中于销子缺失的缺陷检测任务上，销子闭口缺陷受限于无人机拍摄角度、拍摄光线等问题，检测难度过高，因此还没有针对该缺陷的检测方法。销子缺陷检测由于销子在整幅航拍图像上占比极小，在卷积的过程中特征丢失严重的原因是输电线路部件视觉缺陷检测中的难点问题。无论是使用具有更强小目标检测能力的深度残差网络作为特征提取网络，还是利用待检测物体之间的约束关系来检测，目前都无法达到较高的检测精度。1.3.3螺母缺陷检测螺母缺陷一般发生在不带销螺栓上，由于螺栓没有插入销子从而缺乏对整体结构的保护，因此常常会发生螺母缺失和螺母松动2种缺陷。黄志文和张学习(2017)设计了分两步完成的感兴趣区域提取方法。第1步利用灰度投影算法完成输电线杆塔横担区域定位；第2步利用改进的Hough变换算法提取精确的感兴趣区域。完成感兴趣区域提取后，采用面积阈值法去除横担背景，提取待检测的螺栓信息，最后根据螺栓自身特征检测螺母是否平帽或者松动。赵振兵等人(2020a)提出利用螺栓螺母之间的关联组成栓母对，然后使用卷积神经网络提取栓母对特征, 初始化图网络节点, 结合栓母对的先验知识表示栓母对缺陷与栓母对语义对象的关联，根据关系信息建立栓母对知识图谱，指导栓母对缺陷分类，并在此研究基础上，将输电线路上与螺栓相关的缺陷划分为栓母对缺陷，最终在粗级缺陷分类实验中达到了83.54%的平均精度，在细级缺陷分类实验中达到了73.34%的平均精度。该方法将知识图谱融入到螺母缺陷检测中，验证了栓母对知识图谱的有效性和可行性，但也只是使用了空间级联知识构建知识图谱，其他知识尚未考虑。与销子缺陷检测相比，螺母目标在图像中占比略大，但螺母缺陷受拍摄角度、拍摄光线等问题的影响也更大。传统的手动提取特征方法对于拍摄角度要求极高，基于深度学习的方法鲁棒性更高，但是目前依然无法达到较好的检测精度。2关键技术难点尽管目前深度学习用于输电线路部件缺陷检测的研究已经越来越深入，但依然存在一些技术上无法完全攻克的难点问题，解决这些问题是目前的当务之急。这些技术难点是：样本不平衡问题、小目标检测问题和细粒度检测问题。2.1数据样本平衡方法由于深度学习方法在计算机视觉领域的大放异彩，特别是近些年逐渐在该领域处于主导地位，越来越多的输电线路关键部件缺陷检测技术也逐渐采用以深度学习为基础的模型或者框架，且成为一种主要趋势。深度学习方法的性能与数据质量和数据数量有直接关系，而在实际输电线路的作业环境中，大部分缺陷发生次数有限，且无人机航拍巡检技术近几年才出现，缺陷数据数量有限；不同类型缺陷发生频率也相差极大。目前关于输电线路关键部件缺陷检测研究领域中，解决样本不平衡的方法主要分为数据层面和模型层面。在数据层面的解决方法一般包括简单的图像增强方法、图像生成方法等。Tao等人(2020)分别采用4类图像增强方法：仿射变换、绝缘子分割和背景融合、高斯模糊、亮度转换，对缺陷绝缘子数据集中样本扩增，可以有效地避免模型发生过拟合，相较于未增强数据集，该方法在检测性能上有了显著提升。简单的图像增强技术对增强数据多样性的能力有限，而基于GAN(generative adversarial net)(Goodfellow等，2014)、VAE(variational auto-encoder)(Kingma和Welling，2013)等模型生成的图像既具有真实性，又具有多样性，戚银城等人(2019b)将生成式对抗网络应用于缺陷螺栓图像的生成，并提出一种基于改进DCGAN(deep convolutional generative adversarial network)(Radford等，2016)的螺栓图像生成方法。分别在模型的损失函数中加入相对均值鉴别器和梯度惩罚以及在模型的生成器和鉴别器中引入注意力机制，既增强了缺陷样本的真实性, 又提高了缺陷样本的多样性。王金娜等人(2020)提出一种基于循环一致性生成对抗网络(cycle-generative adversarial networks, Cycle-GAN)(Zhu等，2017)的绝缘子图像生成方法，对绝缘子图像基于背景色彩特征进行风格域划分，之后在划分好的绝缘子风格域样本集基础上，采用Cycle-GAN生成绝缘子图像样本。相较于其他生成方法，由于风格迁移的效果，该方法生成的绝缘子样式更丰富。实验结果表明，绝缘子生成样本可在一定程度上替代真实样本，并且当扩充比例在40%~50%时，分类网络性能提升效果最佳。由于输电线路复杂的实际作业环境和各类关键部件无同一标准的生产样式，导致增强或者生成的图像无法彻底解决深度模型对数据的依赖性，因此近些年学者们更关注在模型层面进行样本平衡改动的研究。赵振兵等人(2020b)首先提出一种动态焦点损失函数和一种基于二阶矩的样本平衡方法来解决绝缘子不同类型缺陷之间存在的样本数量不平衡、困难样本低效学习等问题；Tian等人(2018)在对输电线路上缺陷进行检测的模型中加入逻辑推理的方法，试图提高模型的自推理能力，从而克服缺陷数据不足和类别失衡问题，但是该方法由于过于复杂，不能达到检测速度与检测精度之间的平衡。2.2小目标检测方法输电线路上无人机巡检返回的图像的像素尺寸比较大，一般宽高均为3 000~6 000像素，而且往往同一幅图像中包含着多个类别的部件以及多个类别的缺陷故障，不同目标在图像中的相对尺度差别显著，其中针对小目标及其缺陷的检测问题尤为关键。销钉是输电线路中的重要器件，起到固定螺母的作用，一旦出现故障，可能造成大面积停电等隐患。由于销钉缺陷目标较小，对于目标检测算法来说是一种很大的挑战。李雪峰等人(2020)在Faster R-CNN模型的基础上做出了改进，提出了PinNet网络，可以提取到更具辨别力的特征，并且专门为带销螺栓小目标设计了PinFPN网络，加强对底层的语义信息和位置信息的提取能力，该模型在销钉缺失检测精度上与其他主流的算法相比，具有显著优势。仅仅通过设计更适合于小目标特征提取的检测模型主干网络很难克服缺陷细粒度特征丢失的问题，目前部分研究采用级联的检测框架来解决这一问题。Tao等人(2020)设计了逐级放大目标区域的检测框架，先通过ILN(insulator localizer network)网络定位出图像中全部绝缘子的位置，根据定位结果将图像区域放大输入第2级DDN(defect detector network)网络检测出掉串的绝缘子位置，从而避免了部分局部特征丢失的问题。Chen等人(2018)设计了一个从粗精度定位到高精度识别的螺栓缺陷检测框架，将图像依次输入3个基于DCNN的检测阶段，保证了该系统在复杂环境下可以具有良好的适应性和鲁棒性。Li等人(2020)提出了一种基于全局检测和局部分割的绝缘子故障识别方法，通过构建分割与检测分开的级联框架，能够充分利用目标的局部特征和全局特征，如图 5所示。 图5 绝缘子缺陷级联检测框架(Li等，2020) Cascaded detection framework for insulator defects (Li et al., 2020)Fig 52.3细粒度检测方法输电线路关键部件会发生的缺陷类型多，尤其是一类部件上可能发生多个缺陷类型，例如螺栓可能发生销子闭口、销子缺失、螺母松动和螺母缺失等问题，这些缺陷均发生在螺栓本体上，类间的差异小；而由于拍摄角度、光照强度等原因致使图像中同一目标视觉形态多样，类内差异大，如图 6所示，想要准确地判别这类缺陷是很困难的。Wan等人(2020)考虑到输电线路金具之间的细粒度特征和上下文信息，采用可变形卷积(deformable convolution net)(Dai等，2017)对未知几何形状建模，利用基于注意力机制的SE模块(squeeze-and-excitation networks)(Hu等，2017)捕获长距离空间的细粒度特征，一定程度上改善了模型的固有缺陷。但此方法没有考虑到空间级联知识、形态知识和动态变化知识等人工知识对细粒度问题的指导意义。 图6 不同视觉角度螺栓外观差异图(Zhao等，2020b) Different visual angle bolt appearance difference diagram (Zhao et al., 2020b)Fig 6监督学习的关键是基于人类认知定义在模型中使用的数据标签，Zhao等人(2020b)认为人工数据是基于人类对实体对象多模态信息的长期积累而建立的综合认知，是对对象视觉描述的高度抽象，如常常会将不同角度的不同对象的视觉形状定义为同一类型。在输电线路航拍图像中，螺栓的视觉形状之间的差异特别明显，当用2维图像表示3维尺寸的螺栓时，由于拍摄角度和螺栓本身不完整的对称结构，导致其呈现出一些差异较大的视觉形状。在此研究中采用K均值对螺栓的视觉形状特征进行聚类，从而构造视觉形状语义和原始语义之间的关系树，最后在模型推理过程通过关系树将视觉形状标签转换为原始语义标签，该方法对检测模型具有一定的知识指导作用。赵振兵等人(2020a)对输电线路中含有栓母对的缺陷图像进行归纳和信息提取，从而构建栓母对知识图谱，完成了对螺栓缺陷从粗级到细级的认知，之后采用GGNN(gated graph sequence neural networks)(Li等，2015)学习栓母对关系知识的表征特征，指导检测模型预测出准确的缺陷结果，方法如图 7所示。 图7 基于GGNN的栓母对知识图谱的缺陷分类方法(赵振兵等，2020a) Defect classification method based on knowledge map of bolt mother pair based on GGNN(Zhao et al., 2020a)Fig 73结语随着人工智能技术的兴起，对以无人机为检测工具，以大数据为基础，以计算机视觉和人工智能算法为实现方法的无人机自动化巡检技术的研究越来越受到广泛关注。技术上的提升带动着产业上的变革，国家电网积极推进“数字新基建”的部署，其中电网自动化巡检技术是尤为关键的一项，因此越来越多的专家学者投身于这一领域的研究工作，同时加快了该领域技术上的创新和进步。本文首先回顾了输电线路部件视觉缺陷检测的研究进展，然后对3类主要关键部件：绝缘子、金具和螺栓分别分析了已有的主要研究方法。最后针对该任务中的一些关键性问题：数据样本不平衡、小目标特征难提取和细粒度特征识别困难，本文分别结合实际任务需求和已有研究方法进行了系统性地分析，虽然部分技术难点已在一定程度上得到解决，但仍有一些问题使输电线路部件缺陷自动化检测技术难以应用到实际作业任务中：1) 已有的数据样本平衡方法还不足以彻底解决输电线路部件缺陷数据集存在的问题，尤其是在数据层面，由于输电线路处在恶劣的野外工作环境中，地理位置、季节气候、动物或人类的破坏等因素都有可能产生已有缺陷数据集中未存在的情况，而增强算法和生成模型无法产生此类数据。在未来的研究工作中，可以尝试开展相关数据集的无监督、弱监督和持续学习等方法来进一步解决此类问题。2) 仅仅利用先进通用目标检测算法难以有效解决输电线路关键部件检测的特殊性和突出性问题，这类问题集中在如何有效地对部件间复杂关系的建模上。输电线路各部件存在大量复杂的专业性知识，并决定其缺陷的判断，常常表现为部件与背景的关系、部件与部件的关系、缺陷与背景的关系、缺陷与部件的关系。根据本文的调查所知，目前还没有对部件间复杂关系建模的研究工作。若要通过对部件间关系建模来构建出符合电网实际故障判定标准的缺陷检测模型可以从模型自动知识学习和外部专家知识指导2种思想开展研究，主要涉及缺陷知识的自动提取、各部件位置和标签之间的关系聚类、构建输电线路部件缺陷知识图谱等方法。3) 由于深度模型网络越来越深、模型复杂度越来越高，导致模型的体积过大和推理速度较慢等问题，阻碍了将自动化缺陷检测模型部署进无人机、检修机器人等现场巡检设备的进程。目前人工智能研究领域涌现了大量模型轻量化的方法：如网络剪枝、参数量化以及知识蒸馏网络，亟需大量开展将轻量化方法与输电线路部件缺陷检测模型相结合的工作，以期达到真正实时的自动化检修目标。总之，输电线路部件视觉缺陷检测的发展离不开深度学习在图像处理领域和图像数据扩增技术的发展，特别是数据集样本不平衡的问题、如何有效地对部件间复杂关系的建模问题以及深度模型网络过大过慢问题的解决更需要这些技术能取得突破性的研究进展。要想实现基于深度学习的高精度、高效率、强智能、多层次和全覆盖的输电线路关键部件缺陷检测模型仍然任重而道远。