Print

发布时间: 2022-04-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200418
2022 | Volume 27 | Number 4




    图像分析和识别    




  <<上一篇 




  下一篇>> 





对抗一致性约束的无监督域自适应绝缘子检测
expand article info 李梅玉1, 李仕林1, 赵明1, 方正云2, 张亚飞3,4, 余正涛3,4
1. 云南电网有限责任公司电力科学研究院,昆明 650217;
2. 昆明理工大学国土资源工程学院,昆明 650500;
3. 昆明理工大学信息工程与自动化学院,昆明 650500;
4. 昆明理工大学云南省人工智能重点实验室,昆明 650500

摘要

目的 绝缘子检测是输电线路智能巡维工作的重要组成部分,然而大多数情况仅能获得单一类型的绝缘子样本。将单一类型的绝缘子样本训练得到的模型直接用于其他类型的绝缘子检测,会由于训练数据与目标数据之间存在的域偏移导致其检测性能急剧下降。因此,提高模型的泛化能力以保持良好的检测性能显得尤为必要。为此,提出一种新颖的对抗一致性约束的无监督域自适应绝缘子检测算法。方法 对源域样本与目标域样本分别设计了两个不同的分类器,并将网络的预测结果与对应的绝缘子进行类别约束,使模型能够提取到不同类型绝缘子独有的特征。此外,在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征。结果 实验表明本文方法显著提高了模型的跨域检测性能。在glass → composite和composite → glass任务上的平均精度均值(mean average precision, mAP)分别达到55.1%和23.4%,优于主流的无监督域自适应目标检测方法。在公开数据集COCO(common objects in context)上的实验结果也较为优异,平均精度均值(mean average precision,mAP)达到61.5%。消融实验中,在glass → composite和composite → glass任务上,本文方法在基准性能上分别提升了11.5%和6.4%,表明了所提方法的有效性。结论 本文方法减少了不同类型绝缘子间的差异带来的域偏移,提升了模型在跨域绝缘子检测任务中的泛化能力,提高了输电线路巡维工作的绝缘子检测效率。同时,在COCO数据集上的普适性实验表明本文方法同样适用于其他不同类物体的检测并且性能优异。

关键词

无监督域自适应; 域偏移; 绝缘子检测; 对抗一致性; 鲁棒性特征

Unsupervised domain adaptation insulator detection based on adversarial consistency constraints
expand article info Li Meiyu1, Li Shilin1, Zhao Ming1, Fang Zhengyun2, Zhang Yafei3,4, Yu Zhengtao3,4
1. Electric Power Research Institute of Yunnan Power Grid Co., Ltd., Kunming 650217, China;
2. College of Land Resource Engineering, Kunming University of Science and Technology, Kunming 650500, China;
3. College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China;
4. Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology, Kunming 650500, China
Supported by: National Key R & D Program of China(2018YFC0830105, 2018YFC0830100); Science and Technology Project of Yunnan Power Grid Co., Ltd.(YNKJXM20190729)

Abstract

Objective Insulator is widely used in overhead transmission line nowadays. It is a unique insulation device which can withstand voltage and mechanical stress. In order to reduce the potential safety hazards caused by insulator failures, overhead transmission lines need to be inspected regularly. It is necessary to detect insulators from the inspection images quickly and effectively in order to locate and analyze the defects. The electrical grid insulators applications are mainly divided into two categories: glass insulators and composite insulators. The color and shape are quite different for the two types of insulators, which results in a severe domain bias in the feature space. In most cases, we can only obtain the data for a single type of insulator and train the model by them. The detection of other types of insulators will cause the performance of the trained model to drop sharply due to the domain bias between the source data and the target data. Hence, it is required to improve the generalization ability of the model to maintain good detection performance. Unsupervised domain adaptation is a widely used method for cross-domain detection and recognition. This method uses labeled samples in the source domain and unlabeled samples in the target domain in the training process. A domain-invariant (or domain-aligned) feature representation learning method can effectively release the performance degradation caused by domain bias. Our demonstration illustrates an unsupervised domain adaptation insulator detection method to improve the efficiency of transmission line intelligent inspection and maintenance. Method In order to improve the model's generalization ability for insulators in the target domain in complicated transmission line images without the target domain labels, an unsupervised domain adaptation insulator detection algorithm is harnessed based on adversarial consistency constraint. The proposed algorithm is divided into two stages including pre-training and adversarial learning. In the pre-training stage, the labeled source domain samples and unlabeled target domain samples are fed into the network to extract features. The extracted two sets of features are input into two classification networks. The unique feature representation of two different types of insulators is obtained based on constraining the two classifiers with binary cross-entropy loss. The feature encoder and two classifiers are trained as well. In the process of adversarial consistency learning, an extra classifier is involved to obtain robustness feature representation. The features obtained by the source domain and target domain samples through the network are sent to a new initialized classification network, and the classifier is trained separately through binary cross-entropy to make the backbone unable to correctly classify the two features. The classifier is then fixed to train the backbone network, and the classification results of the two groups of features are limited to the same label. The network can extract the consistent and robust features of different types of insulators. Result This demonstration illustrates that our method significantly improves the cross-domain insulator detection performance, and the mean average precision (mAP) reaches 55.1% and 23.4% on the two tasks of glass → composite and composite → glass, respectively. The analyzed result of our method is qualified on the public dataset common objects in context (COCO). The mAP reaches 61.5%, which verifies our illustrated generality and extensibility. In the ablation study, the proposed mAP achieves 11.5% and 6.4% in benchmark performance improvement on the two tasks of glass → composite and composite → glass, respectively. Conclusion This method reduces the discrepancy-derived domain bias amongst various types of insulators. The generalization of the model is improved in cross-domain insulator detection tasks. Our method can improve the efficiency of the insulator detection in the transmission line inspection. The demonstrated results indicate that our method optimized unsupervised domain adaptation object detection methods. Both of the proposed loss functions can significantly improve the performance of the benchmark, which illustrates that the model is capable of learning a robustness feature representation. The COCO dataset is demonstrated for further verification.

Key words

unsupervised domain adaptation; domain bias; insulator detection; adversarial consistency; robust feature

0 引言

绝缘子是一种能够耐受电压和机械应力的特殊绝缘器件,在架空输电线路中应用广泛。由于输电线路长期暴露在外,绝缘子极易受到侵蚀而发生爆片或老化。绝缘子一旦发生故障,将引起输电线路供电中断,影响电网的安全运行和居民的正常生活。为降低绝缘子故障导致的安全隐患,需要定期对架空输电线路进行巡检,因此,从巡检图像中快速有效地检测出绝缘子,对其进行定位和缺陷分析就显得尤为必要。

目前电网中使用的绝缘子主要分为玻璃绝缘子和复合绝缘子两类,如图 1所示。从外观上看,两种绝缘子在颜色和形状上差异较大,造成特征空间中两种绝缘子域偏移较为严重。大多数情况下,仅能得到单一类型的绝缘子样本,用其训练得到的模型部署到其他类型绝缘子检测任务时,会由于不同类型绝缘子之间存在的域偏移而导致检测性能急剧下降。

图 1 电网中使用的两类绝缘子
Fig. 1 Two types of insulators used in the power grid
((a) glass insulator; (b) composite insulator)

无监督域自适应目标检测方法是一种广泛用于跨域检测、识别的方法,在训练过程中使用源域有标注的样本和目标域无标注的样本,通过学习一种域不变(或域对齐后)的特征表示,可以有效缓解由于域偏移造成的性能显著下降。这类方法大致可分为基于风格迁移的无监督域自适应目标检测方法(Yang等,2020Kim等,2019bInoue等,2018)和基于自训练的无监督域自适应目标检测方法(RoyChowdhury等,2019Kim等,2019aZhang等,2020)两类。

基于风格迁移的方法通常将源域已标注的图像风格迁移至目标域图像下,然后利用迁移后已标注的图像对模型进行有监督训练,这种方式可以降低不同风格带来的域偏移对性能的影响。然而输电线路巡检图像尺寸较大且背景复杂,如果利用图像生成的方法将源域图像迁移至目标域下容易产生模型崩塌。因此这类方法难以直接应用到无监督域自适应绝缘子检测任务中。基于自训练的方法一般是对目标域数据进行伪标签预测,之后将伪标签与目标数据相结合以有监督的形式训练模型。这类方法极其依赖标签预测的准确性,而输电线路巡检图像中背景复杂、杂物繁多,这些噪声会对标签的预测产生不利影响,利用有噪声的伪标签结合绝缘子数据对模型进行训练容易降低模型的识别能力,不利于模型部署。

Goodfellow等人(2014)提出的生成对抗网络思想的启发,本文设计了一个基于对抗一致性约束的无监督域自适应绝缘子检测算法来提取不同类型绝缘子共有且具有鲁棒性的特征信息,从而使模型具有域自适应性。具体地,输入不同类型绝缘子图像到特征提取器,将得到的特征分别输入到两个不同的分类器,将分类器输出的分类结果与对应的绝缘子类型进行类别约束,目的是使特征提取器能提取不同类型绝缘子独有的特征信息。在对抗过程中,本文方法提出引入一个额外的分类网络,用于将源域与目标域中不同类型的绝缘子特征分到同一类别下,从而使模型能提取不同绝缘子共有的鲁棒性特征。与有监督的绝缘子检测方法(赵振兵等,2019程海燕等,2017姚春羽等,2012Tao等,2020)不同,本文提出的方法不需要目标域样本的标签就能在跨域绝缘子检测任务中获得较好性能,而且采用的YOLO-V3(you only look once V3)特征提取网络不需要候选框预测和筛选机制,提高了检测速度。总的来说,本文主要贡献如下:1)提出一种基于对抗一致性约束的无监督域自适应绝缘子检测算法,利用两个具有差异的分类网络对绝缘子进行类别约束,提取不同类型绝缘子的私有特征,通过一种对抗分类策略使模型学习到绝缘子共有的特征,提高了模型对不同类型绝缘子识别的鲁棒性。2)本文方法不同于其他有监督绝缘子检测算法,训练集中只有一种类型的有标签样本,在无监督的条件下能对不同类型绝缘子进行跨域检测,更加适用于现实部署,降低了对不同类型绝缘子的误检率。3)提出的模型是一个基于YOLO-V3的端到端的模型,不需要额外的候选框计算和筛选机制,在一定程度上提升了模型的训练效率。

1 相关工作

1.1 基于深度学习的目标检测算法

随着深度学习的不断发展,基于卷积神经网络的目标检测算法表现突出、效果优异,成为流行的目标检测方法。Krizhevsky等人(2017)在图像与卷积核之间进行卷积操作提取物体的高维特征,提高了模型的泛化能力。Redmon等人(2016)提出YOLO目标检测算法,将输入图像划分成若干网格,每个网格分别进行坐标回归和类别回归,然而由于划分网格数量较多,在回归计算过程中效率低下,同时因为网格会由于图像中存在若干不同尺寸的物体或者物体彼此有重叠时产生错误的预测结果,泛化能力较差。为解决该问题,Redmon和Farhadi(2018)在原始YOLO算法上进行改进,提出YOLO-V3目标检测算法,通过添加多尺度预测机制将聚类后得到的锚点分配给不同尺度的检测框,降低了误检率,并且在网络最后输出3种不同尺度的深度特征和分类概率,提高了模型对同类且不同尺寸物体检测的泛化能力。然而对于绝缘子检测任务而言,不同类型的绝缘子外观差异较大。在缺乏某一类绝缘子样本标注的情况下,直接将YOLO-V3应用到跨域绝缘子检测任务时,会由于域偏移导致性能急剧下降。本文提出的基于对抗一致性约束的绝缘子检测算法的目的是在无监督条件下赋予模型提取不同类型绝缘子鲁棒性特征的能力,从而使模型能更好地识别不同类型的绝缘子。

1.2 无监督域自适应目标检测算法

Zhu等人(2017)提出的循环一致性生成对抗网络在图像风格迁移任务上取得了巨大成功。在目标检测领域,一些研究者尝试利用基于风格迁移的方法进行无监督跨域目标检测(Yang等,2020Kim等,2019bInoue等,2018)。风格迁移主要是将源域的图像风格迁移至目标域,同时保留源域标签信息,利用迁移后的图像结合源域标签重新训练模型,以此减轻不同风格的域偏移对模型性能造成的影响。Inoue等人(2018)将源域的真实场景图像通过循环一致性网络生成具有卡通风格的图像,并利用生成后的图像对模型进行微调。然而对于输电线路巡检图像而言,其具有尺寸较大、背景复杂和目标物繁多等特点,利用循环一致性网络进行不同风格图像的生成会产生大量噪声,利用这些有噪声的图像重新微调网络会导致其性能急剧下降。

基于自训练的无监督域自适应目标检测算法(RoyChowdhury等,2019Kim等,2019a)利用有标注的源域数据进行预训练,通过预训练模型对目标域数据进行伪标签的预测,利用目标域数据结合伪标签重新对模型进行微调。Kim等人(2019a)通过SSD(single shot MultiBox detector)(Liu等,2016)检测得到难样本,通过背景得分正则化帮助网络提取难样本具有鉴别性的特征来减少域偏移,以更加准确地对目标域样本进行伪标签预测。在这类方法使用的样本中,所要识别的目标在图像中占比较大,所以易于提取目标物的特征。对于输电线路巡检图像而言,绝缘子仅在图像中占有很小的比例,不利于进行伪标签预测,而且图像中目标物繁多,容易对特征提取造成干扰,所以很难将自训练的无监督域自适应方法直接应用到绝缘子检测任务中。不同于上述方法,本文提出一种利用对抗训练的方法提取不同类型绝缘子共有且具有鲁棒性的特征,减小绝缘子外观差异对数据分布的影响,增强了模型在复杂背景下对绝缘子的识别能力。

2 本文算法

在缺少目标域样本标签的情况下,为了提高模型对复杂输电线路图像中目标域绝缘子的检测能力,本文提出一种基于对抗一致性约束的无监督域自适应绝缘子检测算法,算法流程如图 2所示。该算法将YOLO-V3目标检测网络(Redmon和Farhadi,2018)作为主体框架,使用DarkNet-53(Redmon和Farhadi,2018)作为特征提取主干网络。具体而言,预训练阶段分别输入有标签的源域样本和无标签的目标域样本到YOLO-V3网络中提取特征,将得到的两组特征分别输入到两个分类网络$\boldsymbol{W}_{1} $$\boldsymbol{W}_{2} $,通过类别标签约束两个分类网络能对不同类型的绝缘子提取相应的独有特征。

图 2 本文算法流程
Fig. 2 The flow chart of the proposed algorithm

对抗一致性学习过程如图 3所示,输入源域和目标域的样本到YOLO-V3网络中提取特征,将得到的两组特征图同时输入到一个初始化的分类网络$\boldsymbol{W}_{3} $,通过交叉熵训练$\boldsymbol{W}_{3} $使之不能正确区分两类绝缘子。然后固定$\boldsymbol{W}_{3} $,训练主干网络使两组特征的分类结果到同一个标签下,使网络能提取不同类型绝缘子具有的一致性和鲁棒性特征。

图 3 对抗训练流程图
Fig. 3 The flow chart of adversarial training
((a)the first stage; (b)the second stage)

2.1 绝缘子特征提取

定义包含两种不同类型绝缘子(玻璃绝缘子和复合绝缘子)的数据集分别为$\boldsymbol{I}_{s}=\left\{\boldsymbol{I}_{i}^{s}\right\}_{i=1}^{N_{s}} $$\boldsymbol{I}_{t}=\left\{\boldsymbol{I}_{i}^{t}\right\}_{i=1}^{N_{t}} $$\boldsymbol{I}_{i}^{s} $$\boldsymbol{I}_{i}^{t} $分别表示源域绝缘子和目标域绝缘子数据集中的第$i $幅图像,$N_{s} $$N_{t} $分别为源域绝缘子和目标域绝缘子的样本图像总数。应用DarkNet-53作为YOLO-V3目标检测算法的主干网络,该网络中有多个卷积、批归一化、激活函数层等运算方式组成的残差模块,目的是提取更丰富的高维信息和缓解训练过程中网络梯度消失问题。输入一幅包含绝缘子的图像,将该网络输出的特征再经过3个并行的特征提取网络,会得到13×13×(3×6)、26×26×(3×6)、52×52×(3×6)这3种不同尺寸的特征图。其中,26×26×(3×6)和52×52×(3×6)尺寸的特征图是输出结果经过上采样后再进行卷积操作得到的。特征图的最后一个维度是(3×6),3表示定义的候选框数量,6表示预测的4个坐标和1个预测的类别以及1个预测的置信度。得到特征图后需要进行坐标回归,类别预测以及置信度约束。

坐标回归需要将预测的中心点和尺度与真实的中心点和尺度做约束。对预测的中心点的约束具体表示为

$ \begin{gathered} L_{\text {box_} x y}=\sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}}\left(2-w_{i} \times h_{i}\right) \times \\ {\left[\left(x_{i}-\hat{x}_{i}\right)^{2}+\left(y_{i}-\hat{y}_{i}\right)^{2}\right]} \end{gathered} $ (1)

式中,$\hat{x} $$\hat{y} $表示预测的中心点,$x $$y $表示真实的中心点,$S $表示格点尺度,$S^{2} $表示输入图像分为$S $×$S $个格子,$B $代表候选框的数量,$I_{i, j}^{\mathrm{obj}} $为指示函数,表示如果在$i, j $处的候选框有目标,其值为1,否则为0。$w, h $代表真实尺寸。对尺寸的约束为

$ \begin{gathered} L_{\mathrm{box}-w h}=\sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}}\left(2-w_{i} \times h_{i}\right) \times\\ \left[\left(w_{i}-\hat{w}_{i}\right)^{2}+\left(h_{i}-\hat{h}_{i}\right)^{2}\right] \end{gathered} $ (2)

式中,$\hat{w} $, $ \hat{h}$表示预测的尺度大小。合并上述两项回归损失函数为整体坐标回归损失函数,即

$ L_{\text {box }}=L_{\text {box_}wh }+L_{\mathrm{box}\_x y} $ (3)

除了对预测结果进行坐标约束,还要对其进行类别约束,具体为

$ L_{\mathrm{cls}}=\sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}} \sum\limits_{c \in \text { classes }} p_{i}(c) \log \left(\hat{p}_{i}(c)\right) $ (4)

式中,$p_{i}(c) $表示$ c$类物体在第$i $个格子的真实标签,$\hat{p}_{i}(c) $表示$ c$类物体在第$i $个格子的预测标签。最后对预测值的类别置信度进行约束,具体为

$ \begin{aligned} L_{\mathrm{obj}}=& \sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{noobj}}\left(c_{i}-\hat{c}_{i}\right)^{2}+\\ & \sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}}\left(c_{i}-\hat{c}_{i}\right)^{2} \end{aligned} $ (5)

式中,$c_{i} $$\hat{c}_{i} $分别表示真实的分类置信度和预测的置信度,$I_{i, j}^{\mathrm{noobj}} $表示如果$i, j $处的候选框没有目标,其值为1,否则为0。将3项损失函数合并为YOLO-V3损失函数,则

$ L_{\text {YOLO-V3 }}=\beta_{1} L_{\text {box }}+\beta_{2} L_{\mathrm{cls}}+\beta_{3} L_{\mathrm{obj}} $ (6)

本文采用Redmon和Farhadi(2018)提出的超参数设置,将$\beta_{1}、\beta_{2}、\beta_{3} $设为1。应用式(6)能够对绝缘子进行初步检测,为提取不同类型绝缘子私有特征奠定了基础。值得注意的是,本文方法在训练过程中仅使用源域的绝缘子坐标标签,将其和模型预测的坐标进行回归约束,不使用任何目标域绝缘子的坐标标签。

2.2 绝缘子一致性特征提取

通过利用YOLO-V3中的坐标回归、分类回归和置信度回归,模型已经具有对绝缘子特征的初步提取能力。然而在缺乏目标域绝缘子标签的情况下,由于输电线路图像中背景复杂,目标物种类繁多,如果不增强绝缘子特征的鲁棒性将会造成误检率过高,影响模型部署。为解决此问题,提出一种在无监督条件下通过对抗训练提取绝缘子一致性特征的方法。具体地,在预训练阶段设计了两个不同的分类网络$\boldsymbol{W}_{1} $$\boldsymbol{W}_{2} $,分别将其应用到源域绝缘子和目标域绝缘子的分类任务上,通过对分类结果的类别进行约束使模型提取到不同类型绝缘子的私有特征。对于源域绝缘子而言,上述过程可表示为

$ \begin{gathered} L_{\mathrm{BCE}}^{s}=-\frac{1}{N_{s}} \sum\limits_{i=1}^{N_{s}} u_{i}^{s} \cdot \log \left(p\left(\boldsymbol{W}_{1}\left(\boldsymbol{f}_{i}^{s}\right)\right)\right)+ \\ \left(1-u_{i}^{s}\right) \cdot \log \left(1-p\left(\boldsymbol{W}_{1}\left(\boldsymbol{f}_{i}^{s}\right)\right)\right) \end{gathered} $ (7)

式中,$\boldsymbol{f}_{i}^{s}=\boldsymbol{E}\left(\boldsymbol{I}_{i}^{s}\right) $表示源域绝缘子通过目标检测网络$\boldsymbol{E} $得到的特征,$\boldsymbol{W}_{1} $表示源域绝缘子分类网络,$ p$(·)表示sigmoid激活函数,$u_{i}^{s} $表示源域绝缘子类别标签。同理,对于目标域绝缘子的表示为

$ \begin{gathered} L_{\mathrm{BCE}}^{t}=-\frac{1}{N_{t}} \sum\limits_{i=1}^{N_{t}} u_{i}^{t} \cdot \log \left(p\left(\boldsymbol{W}_{2}\left(\boldsymbol{f}_{i}^{t}\right)\right)\right)+ \\ \left(1-u_{i}^{t}\right) \log \left(1-p\left(\boldsymbol{W}_{2}\left(\boldsymbol{f}_{i}^{t}\right)\right)\right) \end{gathered} $ (8)

式中,$\boldsymbol{f}_{i}^{t}=\boldsymbol{E}\left(\boldsymbol{I}_{i}^{t}\right) $表示目标域绝缘子通过目标检测网络$\boldsymbol{E} $得到的特征,$\boldsymbol{W}_{2} $表示目标域绝缘子分类网络,$u_{t}^{s} $表示目标域绝缘子类别标签。

对两个分类网络的结果分别进行绝缘子的类别约束,可以使特征提取网络$\boldsymbol{E} $提取源域绝缘子和目标域绝缘子各自私有的特征,然而这种特征并不具有鲁棒性。在复杂输电线路图像中,应当使模型能够提取绝缘子鲁棒性的特征,利用这种特征对不同类型的绝缘子能进行正确定位,提高模型的检测能力。通过预训练阶段两个分类网络对各自类型绝缘子进行的类别约束,网络能够提取不同类型绝缘子各自私有的特征,然而这种特征提取能力不能部署到跨域绝缘子识别任务中,因为两种绝缘子间的外观差异会造成检测性能下降。为能提高跨域绝缘子检测性能,在对抗阶段(图 3)提出了一种对抗一致性约束来提取绝缘子一致性特征的方法。具体地,增加一个额外的分类网络$\boldsymbol{W}_{3} $,将两种绝缘子的特征输入到该网络中,通过交叉熵单独训练$\boldsymbol{W}_{3} $使之将复合绝缘子特征和玻璃绝缘子特征判断为不同类。具体为

$ \begin{aligned} \tilde{L}_{\text {Union }}=&-\frac{1}{N_{t}+N_{s}} \sum\limits_{i=1}^{N_{t}+N_{s}} \tilde{u}_{i} \cdot \log \left(p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right)+\\ &\left(1-\tilde{u}_{i}\right) \cdot \log \left(1-p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right) \end{aligned} $ (9)

式中,$ \tilde{u}_{i}$表示两种绝缘子属于不同类别的标签,$\boldsymbol{W}_{3} $是不同于$\boldsymbol{W}_{1} $$\boldsymbol{W}_{2} $的初始化分类网络。上述过程可以赋予分类器分辨不同绝缘子特征的能力,接下来通过对抗的方式,固定通过式(9)训练好的$\boldsymbol{W}_{3} $,单独训练主干网络提取不同类型绝缘子一致性的特征。具体表示为

$ \begin{aligned} L_{\text {Union }}=&-\frac{1}{N_{t}+N_{s}} \sum\limits_{i=1}^{N_{t}+N_{s}} u_{i} \cdot \log \left(p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right)+\\ &\left(1-u_{i}\right) \cdot \log \left(1-p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right) \end{aligned} $ (10)

式中,$u_{i} $表示两种绝缘子属于同一类别的标签。利用这一方法,可以促使特征提取网络提取不同类型绝缘子具有一致性的特征,在无监督的条件下提高模型的检测能力。最后,整合所有损失函数为

$ \begin{gathered} L_{\mathrm{Total}}=\beta L_{\mathrm{YOLO}-\mathrm{V} 3}+\lambda_{1} L_{\mathrm{BCE}}^{s}+ \\ \lambda_{2} L_{\mathrm{BCE}}^{t}+\lambda_{3}\left(L_{\text {Union }}+\tilde{L}_{\text {Union }}\right) \end{gathered} $ (11)

式中,$\beta、\lambda_{1}、\lambda_{2}、\lambda_{3} $分别为各项损失函数对应的权重参数。在后面的实验中,会对每个参数进行讨论,展示不同参数下模型的性能,从而选取适用于模型的最优参数。本文算法流程如下:

定义:编码器$\boldsymbol{E} $和3个分类器$\boldsymbol{W}_{1} $$\boldsymbol{W}_{2} $$\boldsymbol{W}_{3} $

输入:有标签的源域样本$\boldsymbol{I}_{s}=\left\{\boldsymbol{I}_{i}^{s}\right\}_{i=1}^{N_{s}} $、标签$\boldsymbol{U}=\left\{\boldsymbol{u}_{n}^{s}\right\}_{n=1}^{N_{s}} $,无标签的目标域样本$ \boldsymbol{I}_{t}=\left\{\boldsymbol{I}_{i}^{t}\right\}_{i=1}^{N_{t}}$

输出:最优模型$\boldsymbol{E} $*

1) 图像预处理,将图像缩放为416×416×3。

2) for each $k $∈[1, $n $] do:

(1) 输入图像$\boldsymbol{I}_{i}^{s} $$\boldsymbol{I}_{i}^{t} $$\boldsymbol{E} $

(2) 将特征$\boldsymbol{f}_{i}^{s} $$\boldsymbol{f}_{i}^{t} $分别输入到$\boldsymbol{W}_{1} $$\boldsymbol{W}_{2} $

(3) 通过式(3)(7)(8)分别训练$\boldsymbol{E} $$\boldsymbol{W}_{1} $$\boldsymbol{W}_{2} $

end for。

3) for each $k \in[n, m] $ do:

(1) 输入图像$\boldsymbol{I}_{i}^{s} $$\boldsymbol{I}_{i}^{t} $$\boldsymbol{E} $

(2) 将特征$\boldsymbol{f}_{i}^{s} $$\boldsymbol{f}_{i}^{t} $分别输入到$\boldsymbol{W}_{3} $

(3) 通过式(9)训练$\boldsymbol{W}_{3} $

end for。

4) for each $k \in[m, p] $ do:

(1) 输入图像$\boldsymbol{I}_{i}^{s} $$\boldsymbol{I}_{i}^{t} $$\boldsymbol{E} $

(2) 将特征$\boldsymbol{f}_{i}^{s} $$\boldsymbol{f}_{i}^{t} $分别输入到$\boldsymbol{W}_{3} $

(3) 通过式(3)(10)训练$\boldsymbol{E} $

end for。

3 实验结果及分析

3.1 数据集和评价指标

实验所用的数据集共有4 113幅不同类型的绝缘子图像,其中2 416幅包含玻璃绝缘子,1 697幅含有复合绝缘子,样例如图 4图 5所示。在这些样本中,每个数据集都分成训练集和测试集,训练集占总样本的2/3,测试集占1/3。这些图像大多数都是无人机在输电线路巡检过程中拍摄的,还有一部分是相机和手机拍摄得到。由样例可以看出,巡检图像背景复杂多变,绝缘子尺度大小不一,光照等各不相同,这些因素使得数据集样式丰富,数据分布广泛。

图 4 数据集中玻璃绝缘子样例
Fig. 4 The example of glass insulators in dataset
图 5 数据集中复合绝缘子样例
Fig. 5 The example of composite insulators in dataset

在标注工作中,用Label-Img软件对图像中的绝缘子进行人工标注,标注格式与流行数据集PAS-CAL VOC(pattern analysis, statistical modeling and computational learning visual object classes)(Everingham等,2010)相同,标注信息存储在“.xml”文件中。标注样例如图 6所示。

图 6 标注样例
Fig. 6 The example of annotation

为了充分体现模型的鲁棒性和对比实验的科学性,采用常见的平均精度均值(mean average precision, mAP)作为评估指标。

3.2 实施细节

采用YOLO-V3目标检测网络(Redmon和Farhadi,2018)作为基础框架。该框架使用DarkNet-53作为特征提取网络,图像尺寸统一缩放为416×416×3输入到该网络中,网络最后的3组残差块分别输出了3个不同尺度的图像特征,将这些特征输入到3个并联的下采样过程,最终得到13×13×18、26×26×18、52×52×18这3个不同尺度的特征图。使用深度学习平台Pytorch搭建YOLO-V3网络3个分类网络,其中3个分类网络结构相同,均由2个全连接层组成,第1层输入维度是3 042,第2层输入维度为64,输出维度均为1。DarkNet-53和3个分类网络均采用随机梯度下降法进行优化,对于DarkNet-53,设置其学习率为0.005,动量为0.937。3个分类网络的学习率设置为0.000 1,动量设为0.9。在训练过程中,将训练的迭代次数设为100,批次大小设置为16。目标损失函数中的4个参数$\beta、\lambda_{1}、\lambda_{2}、\lambda_{3} $在复合绝缘子跨域到玻璃绝缘子任务中设置为0.1、3、3、1,在玻璃绝缘子跨域到复合绝缘子任务中设置为1、3、3、10。

3.3 实验对比

目前,绝缘子检测任务没有公共的数据集,所以无法在已公开的数据集上进行对比。一些较为先进的绝缘子识别方法(赵振兵等,2019Tao等,2020)采用的数据集中绝缘子类型单一,无法满足跨域的绝缘子检测和识别。此外,这类方法均在有监督的条件下进行训练,无法直接与它们的结果进行对比。由于缺少基于域自适应的跨域绝缘子检测方法,本文的对比方法采用较为成熟的目标检测方法与无监督域自适应目标检测方法,在无监督条件下进行对比实验。这些对比方法包括YOLO(Redmon等,2016)、YOLO-V3(Redmon和Farhadi,2018)、Faster-RCNN(region convolutional neural networks)(Chen等,2018)、Aug-FPN(augmentational feature pyramid network)(Guo等,2020)和Pisa-RCNN(Cao等,2020)。在实验中,首先进行玻璃绝缘子到复合绝缘子的跨域检测任务(glass → composite),在该任务中仅使用玻璃绝缘子的标签信息,复合绝缘子的标签不可用,实验结果如表 1所示。可以看出,本文方法的平均预测精度远高于YOLO (Redmon等,2016)目标检测算法,且优于基于Faster-RCNN改进的Pisa-RCNN和Aug-FPN算法。这类方法没有考虑物体的域间差异,不能促使模型提取域不变的特征,因而在跨域绝缘子检测任务上性能不佳。对于基础框架YOLO-V3(Redmon和Farhadi,2018)目标检测网络,本文算法在其基础上,将mAP提升了11.5%,说明本文算法确实增强了模型提取绝缘子鲁棒性特征的能力。

表 1 玻璃绝缘子到复合绝缘子实验结果
Table 1 The experimental result of glass → composite

下载CSV
方法 mAP/%
YOLO 21.8
YOLO-V3 43.6
Faster-RCNN 51.0
Pisa-RCNN 52.0
Aug-FPN 52.8
本文 55.1
注:加粗字体表示最优结果。

同样,在复合绝缘子到玻璃绝缘子(composite→glass)的跨域检测任务中,仅使用复合绝缘子的标签信息,不用玻璃绝缘子的标签信息,实验结果如表 2所示。可以看出,本文算法优于其他对比方法。平均预测精度与glass → composite任务相比较低,主要原因是训练样本数量相差较大,用于训练的复合绝缘子样本数量比玻璃绝缘子少约700幅,样本不平衡导致了检测结果相差较大。

表 2 复合绝缘子到玻璃绝缘子实验结果
Table 2 The experimental result of composite → glass

下载CSV
方法 mAP/%
YOLO 7.52
YOLO-V3 17.0
Faster-RCNN 19.8
Pisa-RCNN 19.5
Aug-FPN 20.3
本文 23.4
注:加粗字体表示最优结果。

为了更好地展示本文算法的优越性,对绝缘子检测任务进行可视化展示,复合绝缘子和玻璃绝缘子检测结果分别如图 7图 8所示。可以看出,在具有复杂背景干扰的输电线路图像中,模型仍然能够对不同类型的绝缘子进行准确识别和定位。

图 7 复合绝缘子检测可视化结果
Fig. 7 The visualization results of composite insulators detection
图 8 玻璃绝缘子检测可视化结果
Fig. 8 The visualization results of glass insulators detection

同时,为了证明本文方法具有较强的应用推广能力,用COCO(common objects in context)数据集(Lin等,2014)对本文方法进行有监督训练,并在测试集上进行测试。表 3为本文方法与Libra R-CNN(Pang等,2019)和Grid-R-CNN(Lu等,2019)方法的实验结果对比。可以看出,在常规的图像检测任务中,本文方法仍然表现出较好的性能。

表 3 COCO数据集实验结果
Table 3 The experimental results on COCO dataset

下载CSV
方法 mAP/%
Libra R-CNN 59.9
Grid-R-CNN 60.9
本文 61.5
注:加粗字体表示最优结果。

3.4 消融实验

本文方法是在YOLO-V3基础上进行的改进,所以为了凸显改进后的模型相较于原始网络的优越性,进行了消融实验。

在glass → composite任务中,直接应用YOLO-V3进行跨域性能测试,将此性能作为基准以便进行消融对比。在训练过程中,本文方法的总迭代次数为100,前70次用源域绝缘子和目标域绝缘子分别通过式(7)(8)进行训练,称为差异分类阶段,在70~95次和96~100次中,加入对抗一致性约束,即先用式(9)训练$\boldsymbol{W}_{3} $,再用式(10)训练$\boldsymbol{E} $,上述称为对抗一致性分类阶段。$\beta、\lambda_{1}、\lambda_{2}、\lambda_{3} $分别设置为1,3,3,10。值得注意的是,在整体训练阶段通过式(3)对源域绝缘子进行标签约束,不使用目标域绝缘子坐标信息。消融实验结果如表 4所示。由结果可见,YOLO-V3的识别率为43.6%,加入差异分类网络和对抗一致性分类网络后,将mAP提高了3.9%和11.5%,表明了本文算法在glass → composite任务中,增强了模型识别复合绝缘子的能力,在差异分类阶段和对抗一致分类阶段通过对绝缘子进行私有特征和一致性特征的提取,使模型对绝缘子的检测能力更加具有鲁棒性。

表 4 玻璃绝缘子到复合绝缘子消融实验结果
Table 4 The ablation study of glass → composite

下载CSV
方法 mAP/%
YOLO-V3 43.6
YOLO-V3+差异分类 47.5
YOLO-V3+差异分类+对抗一致性分类 55.1
注:加粗字体表示最优结果。

在将复合绝缘子作为有标签的源域、玻璃绝缘子作为无标签的目标域的使用中,与glass → composite实验设置相同,$\beta、\lambda_{1}、\lambda_{2}、\lambda_{3} $分别设置为0.1、3、3、1,实验结果如表 5所示。可以看出,在YOLO-V3的基准识别率17.0%的基础上,差异分类模块和对抗一致性分类模块分别将mAP提高了2.8%和6.4%。

表 5 复合绝缘子到玻璃绝缘子消融实验结果
Table 5 The ablation study of composite → glass

下载CSV
方法 mAP/%
YOLO-V3 17.0
YOLO-V3+差异分类 19.8
YOLO-V3+差异分类+对抗一致性分类 23.4
注:加粗字体表示最优结果。

从上述实验可以看出,本文方法在不同目标数据集的跨域绝缘子检测任务上都能够提高模型性能,充分说明了本文算法能够避免输电线路复杂背景的影响,在无监督的条件下促使模型提取不同类型绝缘子具有的鲁棒性特征。

3.5 参数分析

在式(11)中,差异分类和对抗一致性在整体损失函数中的权重分别为$\beta、\lambda_{1}、\lambda_{2}、\lambda_{3} $。本节通过分析权重参数,讨论4项损失函数对模型整体性能的影响。在此过程中,分析其中一项损失函数的作用时,其他项的权重设置为最优值,以便观察该项权重对整体性能的影响。

图 9为参数$\beta $对mAP值的影响。可以看出,$\beta $分别取值为1和0.1时,glass → composite和composite → glass两个任务取得了最优结果,mAP分别为55.1%和23.4%。在两个跨域任务中,$\beta $对整体性能的波动相较其他3个参数影响较小,反映出YOLO-V3缺乏对检测不同类型绝缘子的自适应能力。

图 9 $\beta $参数分析
Fig. 9 The parameter analysis of $\beta $

$\lambda_{1} $是对源域绝缘子类别约束的权重,其参数分析结果如图 10所示。可以看出,将其设置为3时,在两个不同的任务上mAP都达到了最大值,分别为55.1%和23.4%。通过对源域绝缘子进行类别约束使模型提取属于源域绝缘子的特征,为后续对抗训练提取不同绝缘子具有一致性的特征奠定了基础。

图 10 $\lambda_{1} $参数分析
Fig. 10 The parameter analysis of $\lambda_{1} $

$\lambda_{2} $是对目标域绝缘子类别约束的权重,参数分析结果如图 11所示。可以看出,当$\lambda_{2} $为3时,两个任务的性能都达到了最优值,在glass → composite和composite → glass上mAP分别达到了55.1%和23.4%。由于$\lambda_{1} $$\lambda_{2} $对应的损失函数都是对不同类型绝缘子进行类别约束,所以结果具有相似性。

图 11 $\lambda_{2} $参数分析
Fig. 11 The parameter analysis of $\lambda_{2} $

$\lambda_{3} $控制模型提取绝缘子一致性特征的能力,对增强模型的鲁棒性、提升模型性能具有重要作用。对其参数分析的结果如图 12所示。由结果可以看出,在复合跨玻璃的目标检测中,$\lambda_{3} $为1时,对应项对模型性能的贡献最高,mAP达到23.4%。在玻璃跨复合的任务中,模型最高性能对应的$\lambda_{3} $值为10。所以,对不同的跨域任务,设定不同的$\lambda_{3} $以获取最优的性能。两个任务中最优性能对应的$\lambda_{3} $不同,主要是因为数据集样本不均衡所致,用于训练的复合绝缘子样本数量比玻璃绝缘子少约700幅图像,所以对样本数据少的任务该项权重不宜过大。

图 12 $\lambda_{3} $参数分析
Fig. 12 The parameter analysis of $\lambda_{3} $

4 结论

为提高输电线路巡维中的绝缘子检测效率,降低人工标注成本,提出一种对抗一致性约束的无监督域自适应绝缘子检测算法。该方法对源域样本与目标域样本的网络预测结果与对应的绝缘子类别进行约束,使模型能够提取到不同类型绝缘子独有的特征。在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征。该方法减小了不同类型绝缘子间存在的域差异,提高了模型的泛化性能。在实验部分,本文与目前先进的无监督域自适应目标检测算法进行了对比,结果证明了本文所提算法的优越性,同时在主流数据集COCO上的实验结果展示了本文算法的可扩展性。消融实验中,通过对比改进前后模型的性能,证明了本文方法的有效性。参数分析中,通过改变超参数观察该方法对整体性能的影响,从而选取了最优的参数。然而本文方法还需要有标签的源域样本对模型进行训练。在未来的工作中,将进一步研究不同类型绝缘子之间特征的差别,探索无需标注样本就可以识别不同类型绝缘子的方法。

参考文献

  • Cao Y H, Chen K, Loy C C and Lin D H. 2020. Prime sample attention in object detection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 11580-11588 [DOI: 10.1109/CVPR42600.2020.01160]
  • Chen Y H, Li W, Sakaridis C, Dai D X and Van Gool L. 2018. Domain adaptive faster R-CNN for object detection in the wild//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 3339-3348 [DOI: 10.1109/CVPR.2018.00352]
  • Cheng H Y, Han P, Wang D, Zhai Y J. 2017. Location method of insulators in power grid patrol aerial images. Journal of System Simulation, 29(6): 1327-1336 (程海燕, 韩璞, 王迪, 翟永杰. 2017. 一种电网巡检航拍图像中绝缘子定位方法. 系统仿真学报, 29(6): 1327-1336) [DOI:10.16182/j.issn1004731x.joss.201706023]
  • Everingham M, Van Gool L, Williams C K I, Winn J, Zisserman A. 2010. The PASCAL visual object classes (VOC) challenge. International Journal of Computer Vision, 88(2): 303-338 [DOI:10.1007/s11263-009-0275-4]
  • Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press: 2672-2680
  • Guo C X, Fan B, Zhang Q, Xiang S M and Pan C H. 2020. AugFPN: improving multi-scale feature learning for object detection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 12592-12601 [DOI: 10.1109/CVPR42600.2020.01261]
  • Inoue N, Furuta R, Yamasaki T and Aizawa K. 2018. Cross-domain weakly-supervised object detection through progressive domain adaptation//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 5001-5009 [DOI: 10.1109/CVPR.2018.00525]
  • Kim S, Choi J, Kim T and Kim C. 2019a. Self-training and adversarial background regularization for unsupervised domain adaptive one-stage object detection//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 6091-6100 [DOI: 10.1109/ICCV.2019.00619]
  • Kim T, Jeong M, Kim S, Choi S and Kim C. 2019b. Diversify and match: a domain adaptive representation learning paradigm for object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 12448-12457 [DOI: 10.1109/CVPR.2019.01274]
  • Krizhevsky A, Sutskever I, Hinton G E. 2017. Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90 [DOI:10.1145/3065386]
  • Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P and Zitnick C L. 2014. Microsoft COCO: common objects in context//Proceedings of the 12th European Conference on Computer Vision. Zurich, Switzerland: Springer: 740-755 [DOI: 10.1007/978-3-319-10602-1_48]
  • Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y and Berg A C. 2016. SSD: single shot MultiBox detector//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer: 21-37 [DOI: 10.1007/978-3-319-46448-0_2]
  • Lu X, Li B Y, Yue Y X, Li Q Q and Yan J J. 2019. Grid R-CNN//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 7355-7364 [DOI: 10.1109/CVPR.2019.00754]
  • Pang J M, Chen K, Shi J P, Feng H J, Ouyang W L and Lin D H. 2019. Libra R-CNN: towards balanced learning for object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 821-830 [DOI: 10.1109/CVPR.2019.00091]
  • Redmon J, Divvala S, Girshick R and Farhadi A. 2016. You only look once: unified, real-time object detection//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 779-788 [DOI: 10.1109/CVPR.2016.91]
  • Redmon J and Farhadi A. 2018. YOLOv3: an incremental improvement [EB/OL]. [2020-06-28]. https://arxiv.org/pdf/1804.02767v1.pdf
  • RoyChowdhury A, Chakrabarty P, Singh A, Jin S, Jiang H Z, Cao L L and Learned-Miller E. 2019. Automatic adaptation of object detectors to new domains using self-training//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 780-790 [DOI: 10.1109/CVPR.2019.00087]
  • Tao X, Zhang D P, Wang Z H, Liu X L, Zhang H Y, Xu D. 2020. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 50(4): 1486-1498 [DOI:10.1109/TSMC.2018.2871750]
  • Yang S Q, Wu L, Wiliem A and Lovell B. 2020. Unsupervised domain adaptive object detection using forward-backward cyclic adaptation [EB/OL]. [2020-02-03]. https://arxiv.org/pdf/2002.00575.pdf
  • Yao C Y, Jin L J, Yan S J. 2012. Recognition of insulator string in power grid patrol images. Journal of System Simulation, 24(9): 1818-1822 (姚春羽, 金立军, 闫书佳. 2012. 电网巡检图像中绝缘子的识别. 系统仿真学报, 24(9): 1818-1822) [DOI:10.16182/j.cnki.joss.2012.09.024]
  • Zhang S F, Chi C, Yao Y Q, Lei Z and Li S Z. 2020. Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 9756-9765 [DOI: 10.1109/CVPR42600.2020.00978]
  • Zhao Z B, Cui Y P, Qi Y C, Du L Q, Zhang K, Zhai Y J. 2019. Detection method of insulator in aerial inspection image based on modified R-FCN. Computer Science, 46(3): 159-163 (赵振兵, 崔雅萍, 戚银城, 杜丽群, 张珂, 翟永杰. 2019. 基于改进的R-FCN航拍巡线图像中的绝缘子检测方法. 计算机科学, 46(3): 159-163) [DOI:10.11896/j.issn.1002-137X.2019.03.024]
  • Zhu J Y, Park T, Isola P and Efros A A. 2017. Unpaired image-to-image translation using cycle-consistent adversarial networks//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 2242-2251 [DOI: 10.1109/ICCV.2017.244]