Print

发布时间: 2021-11-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200697
2021 | Volume 26 | Number 11




    电力视觉前沿技术    




  <<上一篇 




  下一篇>> 





面向改进尺度缩放网络的绝缘子识别
expand article info 赵文清1,2, 张海明1, 徐敏夫1
1. 华北电力大学控制与计算机工程学院, 保定 071003;
2. 复杂能源系统智能计算教育部工程研究中心, 保定 071003

摘要

目的 在电力系统中,准确地识别绝缘子目标是保障输电线路正常运行的重要前提。针对传统方法无法自动提取绝缘子特征,以及深度学习网络提取绝缘子语义信息不足的问题,提出了一种基于改进多尺度网络的绝缘子识别模型,同时满足自动识别和增强语义信息的要求。方法 改进工作主要分为3部分,首先,采用特征融合的方法,增强特征提取网络生成的特征图的语义信息;其次,特征提取后,为了避免经过多次卷积、池化操作,较小尺度绝缘子语义信息损失严重,因此,扩大网络中的小尺度特征图,进一步丰富较小尺度绝缘子的语义信息;最后,为了更好地识别尺度差异较大的绝缘子,改进锚点框的参数。完成改进工作后,通过边框回归得到绝缘子的准确位置信息,最终识别出绝缘子。结果 实验数据集由复合、玻璃和陶瓷3种材质的绝缘子构成,共有4 350幅图像。在实验数据集上进行识别,实验结果与3种不同结构的多尺度网络模型相比,模型结构最优,识别准确率为96.28%,与传统的Faster RCNN(faster region convolutional neural network)、改进的Faster RCNN等方法相比,识别准确率提高了1.98%~11.99%不等。结论 本文提出的改进模型使绝缘子识别准确率显著提高,为之后的输电线路检测工作夯实基础。

关键词

尺度缩放网络; 绝缘子识别; 语义信息; 特征融合; 卷积; 池化; 锚点框

Insulator recognition based on an improved scale-transferrable network
expand article info Zhao Wenqing1,2, Zhang Haiming1, Xu Minfu1
1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China;
2. Engineering Research Center of the Ministry of Education for Intelligent Computing of Complex Energy System, Baoding 071003, China
Supported by: National Natural Science Foundation of China (61871182); Natural Science Foundation of Hebei Province, China (F2021502013); Fundamental Research Funds for the Central Universities (2020MS153, 2021PT018)

Abstract

Objective The insulator is the key component in transmission lines. Insulators are numerous and widely distributed in transmission lines. They operate in the field for a long time. Affected by high voltage and complex climate, faults, such as defects and cracks, occur easily. Faults have serious consequences and entail economic losses. Therefore, the insulator components in aerial images need to be identified efficiently and accurately to provide a basis for fault diagnosis and other related work. Traditional insulator recognition methods include threshold segmentation based on target features and recognition algorithms based on image enhancement. These methods need features to be designed manually, but manual selection of labeled features is prone to errors or false checks, and the recognition efficiency and accuracy are low. Hence, this approach cannot fully meet actual needs. Compared with traditional methods, such as image segmentation and image enhancement, deep learning extracts insulator features automatically by using a machine, and it is more accurate and faster than manual extraction.Researchers have used the popular algorithm faster region convolutional neural network(Faster RCNN) to identify insulators and generated proposal regions in the last feature layer by convolution to identify insulator targets. This algorithm results in an insufficient number of feature maps to be identified, and the small scale leads to weak semantic information of insulators, which easily causes misdetection and even non-detection. When the single-shot multi-box detector and "you only look once" use a fixed-size convolution kernel to identify insulators with a large scale difference, the semantic information of insulator features with a relatively small scale is reduced, which easily causes small-scale insulation misdetection. Method An insulator recognition model based on the improved scale-transferrable network is proposed to address the problems that traditional methods cannot automatically extract insulator features and that the deep learning network is insufficient to extract insulator semantic information. This model meets the requirements of automatic recognition and semantic information enhancement. The length and width of the insulator images are limited to 300×300 pixels. The preprocessed insulator images are outputted to the backbone network Densenet-169. Densenet-169 completes the feature extraction of the insulator images. The improvement work in this study is mainly divided into three parts. First, the feature integration method is used to enhance the semantic information of the feature map generated by Densenet-169. Second, after feature extraction, the semantic information loss of the small-scale insulator becomes serious; therefore, the small-scale feature map in the network is expanded to further enrich the semantic information. Lastly, the parameters of the anchor box are improved to effectively identify the insulator with a large-scale difference. After the improvement work is completed, the accurate position information of the insulator is obtained through bounding box regression, and the insulator is identified. Result The experimental data set is composed of composite, glass, and ceramic insulators. The images have a total of 4 350, which include 2 000 composite, 1 350 glass, and 1 000 ceramic insulator images. The scale of each image is preprocessed as 300×300 pixels, and the training and test sets are divided randomly(3 250 and 1 100, respectively). Experimental results show that the model structure is improved, and the recognition accuracy is 96.28%. The improvement in recognition accuracy ranges from 1.98% to 11.99% relative to the traditional Faster RCNN, improved Faster RCNN, and improved region-based fully convolutional neural network(R-FCN). Conclusion The improved model increases the accuracy of insulator identification significantly and lays a solid foundation for subsequent transmission line detection work. Considering that the total number of anchor boxes is increased due to the improved scaling module, the compression parameters will be considered in future work to reduce the calculation.

Key words

scale-transferrable network; insulator recognition; semantic information; feature integration; convolution; pooling; anchor box

0 引言

绝缘子是输电线路的关键装置(张倩等,2019刘召等,2019Zhao等,2020)。在输电线路中,绝缘子数量众多,分布广泛,长期处在野外环境中受高压和复杂气候环境的影响,容易出现缺陷和裂纹等故障,一旦故障将造成严重的后果和经济损失。因此,需要高效准确地识别出航拍图像中的绝缘子部件,为之后的故障诊断等相关工作提供依据。

传统的绝缘子识别方法有利用目标颜色特征进行阈值分割的识别法(赵振兵等,2019黄宵宁和张真良,2010陆佳政等,2018王德文和李业东,2020)和基于图像增强的识别算法(黄新波等,2018)等。这些方法需要人工设计特征,而人工挑选标注特征容易漏检或误检,识别效率和准确率低,不能完全满足实际需要。深度学习的绝缘子识别相较于基于图像分割、图像增强等传统方法优势在于采用机器自动提取绝缘子特征,与人工提取相比更为准确和快速。程海燕等人(2019)采用Faster RCNN(faster region convolutional neural network) 来识别绝缘子,通过逐层卷积在最后一层产生预测候选区域来识别绝缘子目标。这一算法会造成识别绝缘子时待识别特征图数量不够丰富,同时尺度较少导致绝缘子语义信息较弱, 容易造成漏检;针对密集小目标的检测,Ji等人(2019)提出了一种新的阶段性的检测框架。首先,提出了一个多尺度感受野生成特征图,对特征图上的每个位置设置权重。其次,为了消除样本不平衡问题对检测性能的负面影响,又提出了一个新的损失函数—焦点损失,提高了检测精度。最终,此方法实现了性能优越的小目标的检测。然而针对密集小目标的检测方法,并不能够适用于尺度差异较大且分布不够集中的绝缘子目标;单阶段多框检测(Liu等,2016)和多尺度卷积(Redmon等,2016)用固定大小的卷积核识别差异较大的绝缘子时,尺度相对较小的绝缘子特征的语义信息较少,容易造成小尺度绝缘子漏检;特征金字塔网络(谢小瑜等,2020)、缩放网络(马骞等,2005)通过卷积和上采样的方式完成多尺度、多层次的特征融合,然而为了提高绝缘子识别准确率添加额外层来构建特征金字塔,会带来附加的计算成本。尺度缩放网络(scale-transferrable network,STDN)(Zhou等,2018)在通用数据集上识别准确率较高,同时具有较低的计算复杂度。

针对待识别特征图绝缘子语义信息不够丰富造成识别准确率低的问题,提出特征融合和尺度缩放网络模型相结合的绝缘子识别方法。首先将绝缘子图像输入到特征提取网络DenseNet-169,产生6个特征图进行特征融合,增强待识别绝缘子特征图的语义信息。其次,改进尺度缩放模块,生成有利于绝缘子识别的多尺度特征图。最后,调整锚点框的长宽比, 并通过全连接层归一化函数识别出绝缘子。

1 基础原理

1.1 特征融合机制

当前很多主流模型采用按点逐位相加(金彦亮和葛飞扬,2020杨帆等,2018邹汉凌和陆丽,2019)方法,将低层特征信息和高层特征信息相结合完成特征融合,以增强待识别特征图的语义信息。在绝缘子识别领域,识别准确率低的主要原因是待识别特征图语义信息不够丰富、部分绝缘子特征信息丢失造成漏检,从而影响整体的绝缘子识别性能。

本文同样采用按点逐位相加的融合方法,将主干网络输出的特征图相邻两层两两特征融合。式(1)表示特征图${\mathit{\boldsymbol{v}}_1}$, ${\mathit{\boldsymbol{v}}_2}$以按点逐位相加的方式进行特征融合,特征图${\mathit{\boldsymbol{v}}_1}$${\mathit{\boldsymbol{v}}_2}$的尺度必须相同,式(2)是式(1)的分解形式,式(3)是式(1)的矩阵表达形式。

$ \boldsymbol{Y}=\boldsymbol{W}\left(\boldsymbol{v}_{1}+\boldsymbol{v}_{2}\right)=\boldsymbol{W} \boldsymbol{v}_{1}+\boldsymbol{W} \boldsymbol{v}_{2} $ (1)

$ \boldsymbol{Y}=\boldsymbol{w}_{1} \boldsymbol{v}_{1}^{1}+\boldsymbol{w}_{2} \boldsymbol{v}_{1}^{2}+\boldsymbol{w}_{n} \boldsymbol{v}_{1}^{n}+\boldsymbol{w}_{1} \boldsymbol{v}_{2}^{1}+\boldsymbol{w}_{2} \boldsymbol{v}_{2}^{2}+\boldsymbol{w}_{n} \boldsymbol{v}_{2}^{n} $ (2)

$ \begin{aligned} \boldsymbol{Y}=&\left[\boldsymbol{w}_{1}, \boldsymbol{w}_{2}, \cdots, \boldsymbol{w}_{n}\right] \cdot\left[\left(\boldsymbol{v}_{1}^{1}+\boldsymbol{v}_{2}^{1}\right)\right] \cdot\\ &\left.\left(\boldsymbol{v}_{1}^{2}+\boldsymbol{v}_{2}^{2}\right), \cdots,\left(\boldsymbol{v}_{1}^{n}+\boldsymbol{v}_{2}^{n}\right)\right] \end{aligned} $ (3)

式中,$\mathit{\boldsymbol{Y}}$是特征向量;$\mathit{\boldsymbol{W}}$是权值矩阵,其可以分解为${\mathit{\boldsymbol{w}}_1}$, ${\mathit{\boldsymbol{w}}_2}$, …, ${\mathit{\boldsymbol{w}}_n}$${\mathit{\boldsymbol{v}}_1}$表示第1个特征图,则$\mathit{\boldsymbol{v}}_1^1$表示第1个特征图中第1个特征向量,同理,$\mathit{\boldsymbol{v}}_2^1$表示第2个特征图中第1个特征向量。

1.2 STDN网络

STDN主要由3部分构成,分别是特征提取网络DenseNet-169、尺度缩放模块和利用锚点框进行目标分类和边框回归的模块。具体步骤如下:

1) 图像预处理。限制原始绝缘子图像的大小,调用OpenCV的resize函数直接收缩原图像至300×300像素。

2) DenseNet-169(Huang等,2018)。图 1为DenseNet-169结构。DenseNet-169包含3个dense block,dense block内部的节点(特征图)采用前向传播的方式,将所有先前层产生的特征图都用做输入,而其自身产生的特征图则用做所有后续层的输入。因此,每个dense block的最后一个节点(特征图)包含了之前所有节点(特征图)的特征信息。

图 1 DenseNet-169结构
Fig. 1 Structure of DenseNet-169

dense block之间通过卷积和池化传输,为了压缩特征图通道数和降低参数量,采用尺度大小为1×1的卷积核卷积,在提取特征的同时通过更低的计算量减少下一个dense block的输入特征图。

DenseNet-169输出尺度大小为9×9的特征图${\mathit{\boldsymbol{C}}_1}$${\mathit{\boldsymbol{C}}_2}$${\mathit{\boldsymbol{C}}_3}$${\mathit{\boldsymbol{C}}_4}$${\mathit{\boldsymbol{C}}_5}$${\mathit{\boldsymbol{C}}_6}$,通道数分别为800,960,1 120,1 280,440和1 664。

3) 尺度缩放模块。图 2为STDN模型的尺度缩放模块。与Faster RCNN,SSD(single shot multibox detector)等经典模型相比,尺度缩放是STDN模型的优势。将前文输出的特征图${\mathit{\boldsymbol{C}}_1}$${\mathit{\boldsymbol{C}}_2}$${\mathit{\boldsymbol{C}}_3}$${\mathit{\boldsymbol{C}}_4}$${\mathit{\boldsymbol{C}}_5}$${\mathit{\boldsymbol{C}}_6}$输入到尺度缩放模块,通过平均池化和尺度放大,生成尺度大小为1×1,3×3,5×5,9×9,18×18和36×36的6个特征图。

图 2 尺度缩放模块
Fig. 2 Scale-transferrable module

图 2所示,${\mathit{\boldsymbol{C}}_1}$${\mathit{\boldsymbol{C}}_2}$${\mathit{\boldsymbol{C}}_3}$特征图通过9×9,3×3(步长为3),2×2(填充为1,步长为2)的卷积核卷积生成尺度大小为1×1,3×3和5×5特征图;${\mathit{\boldsymbol{C}}_4}$特征图保留原来的大小和通道数,不进行任何处理,即${\mathit{\boldsymbol{P}}_4}$等于${\mathit{\boldsymbol{C}}_4}$

图 3为尺度放大过程。通过尺度缩放模块中的尺度扩大网络层,减少相应的通道数的同时扩大特征图尺度,特征图${\mathit{\boldsymbol{C}}_5}$扩大2倍,特征图${\mathit{\boldsymbol{C}}_6}$扩大4倍。假设输入张量为$h \times w \times c \cdot {r^2}$, $r$是扩张因子并且$r$的取值为2、4。选取基本特征$1 \times 1 \times {r^2}$大小的空间特征向量,然后有序地重新排列成$r \times r \times 1$大小的特征向量。特征图尺度由1×1扩大为$r \times r$,通道数由${r^2}$减少为1。特征图${\mathit{\boldsymbol{C}}_5}$的大小为9×9×1 440,扩大两倍即$r$为2,特征图尺度大小转化为18×18,通道数由1 440转化为360。因此${\mathit{\boldsymbol{C}}_5}$扩大2倍后的大小为18×18×360。同理可得,大小为9×9×1 664的特征图${\mathit{\boldsymbol{C}}_6}$扩大4倍后为36×36×104。

图 3 尺度放大过程
Fig. 3 Scaling up process

尺度计算公式为

$ \boldsymbol{I}_{x, y, c}^{\mathrm{SR}}=\boldsymbol{I}_{\lfloor x / r\rfloor,\lfloor y / r\rfloor, r \cdot \bmod (y, r)+\bmod (x, r)+c \cdot r^{2}}^{\mathrm{LR}} $ (4)

式中, ${\mathit{\boldsymbol{I}}^{{\rm{SR}}}}$是高分辨率的特征图;$x$, $y$, $c$分别代表特征图的长、宽和通道数;${\mathit{\boldsymbol{I}}^{{\rm{LR}}}}$是低分辨率的特征图。

4) 锚点框的生成。在步骤3)生成的特征图上框出一系列框,采用单阶段多框检测模型中的锚点框处理方法(Liu等,2016), 锚点框的三要素是长宽比、尺度以及中心坐标,满足这3个条件就可以在一幅图像上得到确定的锚点框。在STDN模型中比例大小为1.6∶1,2∶1,3∶1;尺度的范围区间为[0.20,1.05]。锚点框具体生成过程分为以下几个步骤:

(1) 由式(5)确定尺寸${S_k}$相关的两个参数,一是尺寸的最小值${S_{{\rm{min}}}}$,值为0.2,二是尺寸的最大值${S_{{\rm{max}}}}$,值为1.05,框的长宽都由这两个参数组成

$ S_{k}=S_{\min }+\frac{S_{\max }-S_{\min }}{m-1}(k-1), k \in[1, m] $ (5)

式中,$m$为特征图的个数,且原模型中锚点框的长宽比表示为${a_r}$∈{1.6, 2, 3}。

(2) 计算锚点框的长$w_k^a$和宽$h_k^a$,即

$ w_{k}^{a} =s_{k} \sqrt{a_{r}} $ (6)

$ h_{k}^{a} =s_{k} / \sqrt{a_{r}} $ (7)

(3) 计算锚点框的中心坐标,即

$ \frac{i+0.5}{f_{k}}, \frac{j+0.5}{f_{k}} $ (8)

式中,${f_k}$是像素的开方;像素点的位置为($i$$j$), $i$$j \in [0, {\rm{ }}{f_k}]$

(4) 确定出绝缘子锚点框的长、宽和中心坐标后,即模型生成锚点框。

5) 分类和回归。将锚点框进行二分类和边框回归。

6) 输出目标识别结果。在通用数据集VOC2007(visual object classes 2007)和COCO(common objects in contex)上进行实验,输出20类、80类的目标识别结果,评价标准为平均识别准确率。

2 改进STDN的绝缘子识别

图 4为提出的特征融合和STDN相结合的绝缘子识别模型,主要由DenseNet-169、尺度缩放模块和绝缘子识别网络3部分组成。

图 4 改进STDN的绝缘子识别
Fig. 4 Insulator recognition based on improved STDN

首先,进行特征融合(如图 4蓝色虚线框所示);其次,改进尺度缩放模块(如图 4红色虚线框所示);最后,调整锚点框的长宽比例进行分类和边框回归,输出绝缘子识别结果。

2.1 图像预处理

首先,原始绝缘子图像输入特征融合和STDN相结合的绝缘子识别模型。然后,按照1.2节的步骤1)将长宽限制为300×300像素。最后,将预处理后的绝缘子图像输入到骨干网络DenseNet-169。

2.2 DenseNet-169

DenseNet-169完成绝缘子图像特征提取。该主干网络的内部结构分为3块,块内前向传播实现绝缘子特征信息重用,进一步丰富特征图内容,块间进行卷积和池化传输绝缘子特征信息,输出绝缘子特征图的尺度大小均为9×9,对应的通道数分别为800,960,1 120,1 280,1 440和1 664。

2.3 引入特征融合机制

图 5为引入的特征融合机制。$\mathit{\boldsymbol{C}}$是特征提取网络提取出的尺度大小均为9×9的绝缘子特征图。其中,将骨干网络生成的特征图分为(${\mathit{\boldsymbol{C}}_1}$${\mathit{\boldsymbol{C}}_2}$),(${\mathit{\boldsymbol{C}}_2}$${\mathit{\boldsymbol{C}}_3}$),(${\mathit{\boldsymbol{C}}_3}$${\mathit{\boldsymbol{C}}_4}$),(${\mathit{\boldsymbol{C}}_4}$${\mathit{\boldsymbol{C}}_5}$)和(${\mathit{\boldsymbol{C}}_5}$${\mathit{\boldsymbol{C}}_6}$)5组,将每组特征图相同位置上的像素值相加,特征融合后生成语义信息更丰富的绝缘子特征图$\mathit{\boldsymbol{P}}$;其中,${\mathit{\boldsymbol{P}}_1}$等于${\mathit{\boldsymbol{C}}_1}$

图 5 特征融合过程
Fig. 5 Feature integration process

从特征变化角度来看,以(${\mathit{\boldsymbol{C}}_1}$${\mathit{\boldsymbol{C}}_2}$)这一组为例,${\mathit{\boldsymbol{C}}_1}$的绝缘子特征向量为${\mathit{\boldsymbol{V}}_1}$${\mathit{\boldsymbol{C}}_2}$的绝缘子特征向量为${\mathit{\boldsymbol{V}}_2}$$\mathit{\boldsymbol{W}}$为权值矩阵,并且$\mathit{\boldsymbol{W}}$设置为单位矩阵。由1.1节中式(1)计算可得(${\mathit{\boldsymbol{V}}_1}$+${\mathit{\boldsymbol{V}}_2}$)是${\mathit{\boldsymbol{V}}_1}$${\mathit{\boldsymbol{V}}_2}$的融合特征,即绝缘子特征图${\mathit{\boldsymbol{P}}_2}$=(${\mathit{\boldsymbol{V}}_1}$+${\mathit{\boldsymbol{V}}_2}$)。

从整体来看,特征图${\mathit{\boldsymbol{C}}_1}$的大小为9×9×800,${\mathit{\boldsymbol{C}}_2}$的大小为9×9×960,显而易见,在融合的过程中${\mathit{\boldsymbol{C}}_2}$将有160个通道溢出。因此,采用的具体融合方法是通过1×1×960的卷积核对特征图${\mathit{\boldsymbol{C}}_1}$进行卷积,增加160个通道数,生成9×9×960大小的特征图。卷积后的特征图与特征图${\mathit{\boldsymbol{C}}_2}$满足特征融合的条件,融合生成语义信息更丰富的绝缘子特征图${\mathit{\boldsymbol{P}}_2}$${\mathit{\boldsymbol{P}}_2}$的大小为9×9×960。绝缘子特征图${\mathit{\boldsymbol{P}}_3}$${\mathit{\boldsymbol{P}}_4}$${\mathit{\boldsymbol{P}}_5}$${\mathit{\boldsymbol{P}}_6}$也采用此方法依次生成,并且尺度大小和通道数与${\mathit{\boldsymbol{C}}_3}$${\mathit{\boldsymbol{C}}_4}$${\mathit{\boldsymbol{C}}_5}$${\mathit{\boldsymbol{C}}_6}$分别保持一致。通过上述特征融合,进一步丰富和完善了绝缘子特征,为下一步尺度缩放工作奠定了基础。

2.4 改进尺度缩放模块

图 6是本文改进后的尺度缩放模块。红色虚线框内是改进的尺度缩放模块产生4个尺度,蓝色虚线框内是${\mathit{\boldsymbol{P}}_1}$${\mathit{\boldsymbol{P}}_2}$生成较大尺度特征图的过程。

图 6 改进的尺度缩放模块
Fig. 6 Improved scale-transferrable module

图 2是改进前的尺度缩放模块,它生成了尺度大小为1×1、3×3的特征图作为待识别绝缘子特征图。对于1×1的待识别绝缘子特征图来说,只有绝缘子尺度足够大并且位置与中心坐标点尽可能接近的情况下才容易识别。另外,1×1的特征图太小,导致小尺度绝缘子在特征图上趋近于一个小点,极易被忽视;对于3×3的绝缘子特征图而言,首先特征图较小不利于小尺度绝缘子的识别;其次特征图划分成9块区域生成的锚点框不够细化;最后待识别特征图上只有9个绝缘子目标的锚点框中心坐标,较为单一。

图 6中,针对改进前尺度缩放模块识别绝缘子存在的局限性,对绝缘子特征图${\mathit{\boldsymbol{P}}_1}$${\mathit{\boldsymbol{P}}_2}$进行平均池化,池化时的参数分别是卷积核大小为2×2,零元素填充(填充为1),步长为2,池化后生成尺度大小为5×5的绝缘子特征图(如图 6蓝色虚线框所示),通道数缩放前后不变,分别为800和960。其余的绝缘子特征图${\mathit{\boldsymbol{P}}_3}$${\mathit{\boldsymbol{P}}_4}$${\mathit{\boldsymbol{P}}_5}$${\mathit{\boldsymbol{P}}_6}$的尺度缩放与原模块保持一致。改进尺度缩放模块后,特征图由原来的6尺度减少为4尺度,绝缘子特征图${\mathit{\boldsymbol{P}}_1}$${\mathit{\boldsymbol{P}}_2}$${\mathit{\boldsymbol{P}}_3}$为同一尺度5×5;${\mathit{\boldsymbol{P}}_4}$为9×9;${\mathit{\boldsymbol{P}}_5}$${\mathit{\boldsymbol{P}}_6}$扩大尺度,生成尺度大小为18×18和36×36的特征图,即4尺度模块。

改进的尺度模块生成5×5,9×9,18×18和36×36大小的4种尺度的绝缘子特征图。对于尺度为5×5和9×9的绝缘子特征图来说,每幅图像划分成25和81个区域生成锚点框来定位绝缘子目标,较尺度为1×1和3×3的绝缘子特征图语义信息更丰富;对于较大尺度绝缘子特征图18×18和36×36而言,两幅图像的像素分别为324和1 296,即锚点框的中心坐标有324和1 296个,绝缘子目标每个中心坐标有若干个锚点框。

2.5 调整锚点框

锚点框的作用是框定图像中的绝缘子,在每个像素点生成多个锚点框进行分类和边框回归,最终得到精确的绝缘子边界框,识别出绝缘子。STDN模型中锚点框的长宽比为(1.6∶1,2∶1,3∶1),然而这3种比例对于尺度差异较大的绝缘子目标不完全适合。

为了得到适合绝缘子目标检测的锚点框尺度,对绝缘子数据集中绝缘子锚点框的长宽比进行统计与分析。

1) 假设绝缘子锚点框的长宽比为$R$,通过LabelImg软件为每一个绝缘子目标绘制锚点框,则自动生成一系列.xml文件,每个绝缘子锚点框有4个参数,分别为${X_{{\rm{min}}}}$${Y_{{\rm{min}}}}$${X_{{\rm{max}}}}$${Y_{{\rm{max}}}}$

2) 锚点框的长宽比计算为

$ R=\frac{X_{\max }-X_{\min }}{Y_{\max }-Y_{\min }} $ (9)

3) 将$R$的值划分为以下5个区间,对${\rm{R}}$取一个近似整数值,如$R \in \left[ {1.5, 2.5} \right)$时,$R$取值为2,依次类推如下:

$ R= \begin{cases}2 & R \in[1.5,2.5) \\ 3 & R \in[2.5,3.5) \\ 4 & R \in[3.5,4.5) \\ 5 & R \in[4.5,5.5) \\ 6 & R \in[5.5,6.5)\end{cases} $ (10)

4) 计算出所有绝缘子锚点框的长宽比后,经统计和分析,得到适合绝缘子目标检测的锚点框尺度,如表 1所示。锚点框长宽比的取值范围为(2∶1,3∶1,4∶1,5∶1,6∶1),14%表示长宽比为2∶1的锚点框占锚点框总量的14%,其他长宽比依次类推。因此将锚点框长宽比修改为(2∶1,3∶1,4∶1,5∶1,6∶1),然后计算出锚点框的长和宽,确定出中心坐标位置。

表 1 绝缘子锚点框长宽比统计结果
Table 1 Statistical results of aspect ratio of insulator anchor box

下载CSV
锚点框长宽比 2∶1 3∶1 4∶1 5∶1 6∶1
每个比例的锚点框
占锚点框总量的比值
14 10 47 24 5

未调整锚点框时,长宽比只有3种,在4个尺度绝缘子特征图的每个像素点上有3个中心坐标相同、比例不同的锚点框。改进后的尺度缩放模块生成6个绝缘子特征图,大小为5×5×800,5×5×960,5×5×1 120,9×9×1 280,18×18×360和36×36×104,所以经调整长宽比后,锚点框的总数量也增加了。

2.6 输出结果

将尺度缩放后产生的特征图输入到全连接层,通过分类器计算出每个锚点框分类为绝缘子的置信度分数,同时使边界框的位置更可能地接近真实值,即边界框回归使绝缘子定位得更准确,输出置信度分数较高的目标建议框作为最终识别结果。

3 实验及结果分析

本文实验使用的操作系统为Windows10,GPU选用NVIDIA GeForce GTX 1080Ti,深度学习框架为pytorch 1.3.1。

3.1 数据集及实验参数

本文选取4 350幅绝缘子图像作为实验数据集,包括复合绝缘子、玻璃绝缘子和陶瓷绝缘子3种材质。其中,复合绝缘子2 000幅;玻璃绝缘子1 350幅;陶瓷绝缘子1 000幅。每幅图像按照1.2节中的步骤1)预处理后,尺度大小均为300×300像素,训练集和测试集划分如表 2所示。

表 2 绝缘子数据集划分
Table 2 Insulator dataset division

下载CSV
数据集 训练样本数量/幅 测试样本数量/幅 总量/幅
绝缘子 3 250 1 100 4 350
复合绝缘子 1 500 500 2 000
玻璃绝缘子 1 000 350 1 350
陶瓷绝缘子 750 250 1 000

在特征融合和STDN相结合的绝缘子识别模型训练过程中,先将交并比的阈值设置为0.5,区分出绝缘子目标和背景,然后正负样本比设置为1∶3左右。动量参数和权重衰减分别设为0.9和0.000 5。批次设置为16。学习率初始化设置为0.001,在第600次、700次迭代时,学习率分别降低10倍、100倍。迭代总次数为120 000,当迭代100 000次时模型趋于稳定。

3.2 实验结果

采用平均准确率(average precision,AP)作为评价指标,进行实验比较和分析。

3.2.1 锚点框对识别结果的影响

在STDN模型的基础上从数值和数量两个方面调整锚点框,实验结果如表 3所示,表中的长宽比即为表 1中绝缘子锚点框的长宽比,后文中不再赘述。在增加锚点框基数并改变锚点框的比例后,STDN模型识别绝缘子平均准确率相比之前提升了1.62%。实验结果表明,调整锚点框的长宽比使其符合实际的绝缘子尺度,并且增加锚点框的数量,可以有效提高绝缘子的识别准确率。

表 3 锚点框不同长宽比、不同基数的识别结果
Table 3 Recognition results of anchor box with different aspect ratio and base number

下载CSV
锚点框长宽比 锚点框基数 AP/% 测试速率(s/幅)
(1.6,2,3) 3 90.54 0.35
(2,3,4,5,6) 5 92.16 0.49

3.2.2 改进STDN的绝缘子识别结果

为了验证本文模型的有效性,在4种网络结构上进行绝缘子识别实验,结果如表 4所示。其中FI(feature integration)表示2.3节中的特征融合机制,scale表示2.4节中的尺度个数。

表 4 改进的STDN的绝缘子识别结果
Table 4 Insulator recognition results improved by STDN

下载CSV
序号 网络结构 锚点框长宽比 AP/%
#1 STDN(scale=6) (2,3,4,5,6) 92.16
#2 STDN(scale=4) (2,3,4,5,6) 92.81
#3 FI + STDN(scale=6) (2,3,4,5,6) 95.57
#4 FI + STDN(scale=4) (2,3,4,5,6) 96.28

1) 没有进行任何改进的STDN(STDN(scale=6)),识别结果如图 7(a);

图 7 不同网络结构识别结果
((a)STDN(scale=6); (b)STDN(scale=4); (c)FI+STDN(scale=6); (d)FI+STDN(scale=4))
Fig. 7 Recognition results of different network structure

2) 改进尺度缩放模块为4尺度模块(STDN(scale=4)),识别结果如图 7(b);

3) 引入特征融合机制与STDN相结合(FI + STDN(scale=6)),识别结果如图 7(c);

4) 引入特征融合和改进尺度缩放模块的STDN(FI + STDN(scale=4)),识别结果如图 7(d)

在将STDN模型中的6个尺度(scale=6)调整为4个尺度(scale=4)后所得实验结果为92.16%,绝缘子识别准确率提升了0.65%,说明改进的尺度缩放模块有助于绝缘子的识别。

引入特征融合机制,识别准确率由92.16%上升至95.57%,提高了3.41%,表明引入特征融合机制增强了特征图上绝缘子的语义信息,从而提高了绝缘子识别准确率。表 4中的最后一行数据是尺度调整和特征融合结合后的结果,绝缘子识别准确率达到了96.28%,说明引入特征融合机制和改进尺度缩放模块方法是有效的。

3.2.3 与Faster RCNN相关算法比较

为进一步验证本文模型,将本文模型与Faster RCNN和赵文清等人(2020)模型进行对比分析,如表 5所示。

表 5 本文模型与Faster RCNN模型、结合注意力机制与Faster RCNN的模型的比较结果
Table 5 The comparison results of our model with Faster RCNN model, the model combining attention mechanism and Faster RCNN

下载CSV
网络结构 锚点框基数 AP/%
Faster RCNN 12 90.73
赵文清等人(2020) 12 94.30
本文 5 96.28

Faster RCNN和赵文清等人(2020)中的模型都是在最后一层特征图上进行边框回归和识别绝缘子目标,尺度较为单一,绝缘子预测特征图不够丰富。本文模型虽然在每个像素点生成锚点框的数量较少,但在4个不同尺度的特征图上识别绝缘子目标,尺度较为丰富,识别准确率为96.28%,与其他两个模型相比分别有了5.55%和1.98%的提高。

3.2.4 与其他模型比较

表 6为不同方法的识别结果比较。由表 6可见,本文模型的实验结果为96.28%。与其他绝缘子识别算法(赵振兵等,2019程海燕等,2019彭向阳等,2019)相比较,AP值分别提高了6.28%,11.99%,5.78%,进一步验证了本文方法识别绝缘子的有效性。

表 6 不同模型的识别结果
Table 6 Recognition results of different methods

下载CSV
方法 AP/%
赵振兵等人(2019) 90.00
程海燕等人(2019) 84.29
彭向阳等人(2019) 90.50
本文 96.28

4 结论

针对待识别特征图上绝缘子语义信息不够丰富的问题,本文在尺度缩放网络的基础上提出了改进模型,主要工作如下:

1) 引入了特征融合机制, 增强绝缘子语义信息;

2) 改进了尺度缩放模块, 以便于识别尺度差异较大的绝缘子;

3) 调整待识别绝缘子特征图生成锚点框的长宽比。

改进后的模型丰富了待识别绝缘子特征图的语义信息,在尺度缩放网络的基础上提高了绝缘子的识别准确率。实验结果表明,相较于Faster RCNN相关算法、改进的R-FCN和利用卷积神经网络定位绝缘子的方法,本文方法具有较高的准确率,为之后的绝缘子故障诊断工作奠定了基础。考虑到改进尺度缩放模块导致锚点框的总量有所增加,在后续工作中将考虑压缩参数以减少计算量。

参考文献

  • Cheng H Y, Zhai Y J, Chen R. 2019. Faster R-CNN based recognition of insulators in aerial images. Modern Electronics Technique, 42(2): 98-102 (程海燕, 翟永杰, 陈瑞. 2019. 基于Faster R-CNN的航拍图像中绝缘子识别. 现代电子技术, 42(2): 98-102) [DOI:10.16652/j.issn.1004-373x.2019.02.023]
  • Huang G, Liu Z, Laurens V and Weinberger K Q. 2017. Densely Connected Convolutional Networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Hawaii, USA: IEEE: 2261-2269[DOI: 10.1109/CVPR.2017.243]
  • Huang X B, Yang L Y, Zhang Y, Cao W, Li L C. 2018. Image enhancement based detection method of non-soluble deposit density levels of porcelain insulators. Automation of Electric Power Systems, 42(14): 151-157 (黄新波, 杨璐雅, 张烨, 曹雯, 李立浧. 2018. 基于图像增强的瓷质绝缘子灰密程度检测方法. 电力系统自动化, 42(14): 151-157) [DOI:10.7500/AEPS20170614017]
  • Huang X N, Zhang Z L. 2010. A method to extract insulator image from aerial image of helicopter patrol. Power System Technology, 34(1): 194-197 (黄宵宁, 张真良. 2010. 直升机巡检航拍图像中绝缘子图像的提取算法. 电网技术, 34(1): 194-197) [DOI:10.13335/j.1000-3673.pst.2010.01.027]
  • Ji Z, Kong Q K, Wang H R and Pang Y W. 2019. Small and dense commodity object detection with multi-scale receptive field attention//Proceedings of the 27th ACM International Conference on Multimedia. Nice, France: Association for Computing Machinery: 1349-1357[DOI: 10.1145/3343031.3351064]
  • Jin Y L, Ge F Y. 2020. Pedestrian detection in full-time automatic driving based on FPN fusion architecture. Industrial Control Computer, 33(6): 59-60, 63 (金彦亮, 葛飞扬. 2020. 基于FPN融合的全时段自动驾驶中行人检测. 工业控制计算机, 33(6): 59-60, 63) [DOI:10.3969/j.issn.1001-182X.2020.06.024]
  • Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y and Berg A C. 2016. SSD: single shot MultiBox detector//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: 21-37[DOI: 10.1007/978-3-319-46448-0_2]
  • Liu Z, Zhang L M, Geng M X, Yao J, Zhang J L, Hu Y F. 2019. Object detection of high-voltage cable based on improved Faster R-CNN. CAAI Transactions on Intelligent Systems, 14(4): 627-634 (刘召, 张黎明, 耿美晓, 么军, 张金禄, 胡益菲. 2019. 基于改进的Faster R-CNN高压线缆目标检测方法. 智能系统学报, 14(4): 627-634) [DOI:10.11992/tis.201905026]
  • Lu J Z, Xie P K, Fang Z, Jiang Z L. 2018. Electric field simulation and sheds optimization of anti-icing and anti-lightning insulator under heavy icing condition. Electric Power Automation Equipment, 38(3): 199-204 (陆佳政, 谢鹏康, 方针, 蒋正龙. 2018. 重覆冰条件下防冰防雷绝缘子电场仿真与伞裙优化. 电力自动化设备, 38(3): 199-204) [DOI:10.16081/j.issn.1006-6047.2018.03.027]
  • Ma Q, Yang Y H, Liu W Y, Qi Z, Guo J Z. 2005. Power system transient stability assessment based on combined support vector machine based on multi input feature integration. Proceedings of The CSEE, 25(6): 17-23 (马骞, 杨以涵, 刘文颖, 齐郑, 郭金智. 2005. 多输入特征融合的组合支持向量机电力系统暂态稳定评估. 中国电机工程学报, 25(6): 17-23) [DOI:10.3321/j.issn:0258-8013.2005.06.004]
  • Peng X Y, Liu Y, Wang K, Zhang B Y, Qian J J, Chen C, Yang B S. 2019. An automatically locating method for insulator object based on CNNs. Geomatics and Information Science of Wuhan University, 44(4): 563-569 (彭向阳, 刘洋, 王柯, 张泊宇, 钱金菊, 陈驰, 杨必胜. 2019. 利用卷积神经网络进行绝缘子自动定位. 武汉大学学报(信息科学版), 44(4): 563-569) [DOI:10.13203/j.whugis20170175]
  • Redmon J, Divvala S, Girshick R and Farhadi A. 2016. You only look once: unified, real-time object detection//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 779-788[DOI: 10.1109/CVPR.2016.91]
  • Wang D W, Li Y D. 2020. Insulator object detection based on image deblurring by WGAN. Electric Power Automation Equipment, 40(5): 188-194 (王德文, 李业东. 2020. 基于WGAN图片去模糊的绝缘子目标检测. 电力自动化设备, 40(5): 188-194) [DOI:10.16081/j.epae.202003020]
  • Xie X Y, Zhou J H, Zhang Y J. 2020. Application and challenge of deep learning in ubiquitous power Internet of things. Electric Power Automation Equipment, 40(4): 77-87 (谢小瑜, 周俊煌, 张勇军. 2020. 深度学习在泛在电力物联网中的应用与挑战. 电力自动化设备, 40(4): 77-87) [DOI:10.16081/j.epae.202002008]
  • Yang F, Wang G J, Peng X S, Wen J Y, Chen Q J, Yang G Y, Li C H. 2018. Partial discharge pattern recognition of high-voltage cables based on convolutional neural network. Electric Power Automation Equipment, 38(5): 123-128 (杨帆, 王干军, 彭小圣, 文劲宇, 陈清江, 杨光垚, 李朝晖. 2018. 基于卷积神经网络的高压电缆局部放电模式识别. 电力自动化设备, 38(5): 123-128) [DOI:10.16081/j.issn.1006-6047.2018.05.018]
  • Zhang Q, Wang J P, Li W T. 2019. Insulator state detection of convolutional neural networks based on feedback mechanism. Transactions of China Electrotechnical Society, 34(16): 3311-3321 (张倩, 王建平, 李帷韬. 2019. 基于反馈机制的卷积神经网络绝缘子状态检测方法. 电工技术学报, 34(16): 3311-3321) [DOI:10.19595/j.cnki.1000-6753.tces.180962]
  • Zhao W Q, Cheng X F, Zhao Z B, Zhai Y J. 2020. Insulator recognition based on attention mechanism and Faster RCNN. CAAI Transactions on Intelligent Systems, 15(1): 92-98 (赵文清, 程幸福, 赵振兵, 翟永杰. 2020. 注意力机制和Faster RCNN相结合的绝缘子识别. 智能系统学报, 15(1): 92-98) [DOI:10.11992/tis.201907023]
  • Zhao Z B, Cui Y P, Qi Y C, Du L Q, Zhang K, Zhai Y J. 2019. Detection method of insulator in aerial inspection image based on modified R-FCN. Computer Science, 46(3): 159-163 (赵振兵, 崔雅萍, 戚银城, 杜丽群, 张珂, 翟永杰. 2019. 基于改进的R-FCN航拍巡线图像中的绝缘子检测方法. 计算机科学, 46(3): 159-163) [DOI:10.11896/j.issn.1002-137X.2019.03.024]
  • Zhao Z B, Qi H Y, Qi Y C, Zhang K, Zhai Y J, Zhao W Q. 2020. Detection method based on automatic visual shape clustering for pin-missing defect in transmission lines. IEEE Transactions on Instrumentation and Measurement, 69(9): 6080-6091 [DOI:10.1109/TIM.2020.2969057]
  • Zhou P, Ni B B, Geng C, Hu J G and Xu Y. 2018. Scale-transferrable object detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 528-537[DOI: 10.1109/CVPR.2018.00062]
  • Zou H L, Lu L. 2019. Object detection of aerial insulator images based on residual-FPN optimization. Instrumentation Technology, (10): 13-16 (邹汉凌, 陆丽. 2019. 基于Residual-FPN优化的航拍绝缘子目标识别. 仪表技术, (10): 13-16) [DOI:10.19432/j.cnki.issn1006-2394.2019.10.004]