|
发布时间: 2022-04-16 |
图像分析和识别 |
|
|
收稿日期: 2020-07-28; 修回日期: 2021-01-12; 预印本日期: 2021-01-19
基金项目: 国家重点研发计划资助(2018YFC0830105, 2018YFC0830100); 云南电网有限责任公司科技项目(YNKJXM20190729)
作者简介:
李梅玉,1977年生,女,工程师,主要研究方向为智能电网。E-mail: 6986656@qq.com
李仕林,男,高级工程师,主要研究方向为电网安全管理。E-mail: kmlsl8903@163.com 赵明,男,教授级高级工程师,主要研究方向为电网大数据分析。E-mail: zming64@163.com 方正云,男,博士研究生,主要研究方向为数字电网。E-mail: 57592715@qq.com 张亚飞,通信作者,女,副教授,硕士生导师,主要研究方向为图像处理和模式识别。E-mail: zyfeimail@163.com 余正涛,男,教授,主要研究方向为模式识别和自然语言处理。E-mail: ztyu@hotmail.com *通信作者: 张亚飞 zyfeimail@163.com
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2022)04-1148-13
|
摘要
目的 绝缘子检测是输电线路智能巡维工作的重要组成部分,然而大多数情况仅能获得单一类型的绝缘子样本。将单一类型的绝缘子样本训练得到的模型直接用于其他类型的绝缘子检测,会由于训练数据与目标数据之间存在的域偏移导致其检测性能急剧下降。因此,提高模型的泛化能力以保持良好的检测性能显得尤为必要。为此,提出一种新颖的对抗一致性约束的无监督域自适应绝缘子检测算法。方法 对源域样本与目标域样本分别设计了两个不同的分类器,并将网络的预测结果与对应的绝缘子进行类别约束,使模型能够提取到不同类型绝缘子独有的特征。此外,在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征。结果 实验表明本文方法显著提高了模型的跨域检测性能。在glass → composite和composite → glass任务上的平均精度均值(mean average precision, mAP)分别达到55.1%和23.4%,优于主流的无监督域自适应目标检测方法。在公开数据集COCO(common objects in context)上的实验结果也较为优异,平均精度均值(mean average precision,mAP)达到61.5%。消融实验中,在glass → composite和composite → glass任务上,本文方法在基准性能上分别提升了11.5%和6.4%,表明了所提方法的有效性。结论 本文方法减少了不同类型绝缘子间的差异带来的域偏移,提升了模型在跨域绝缘子检测任务中的泛化能力,提高了输电线路巡维工作的绝缘子检测效率。同时,在COCO数据集上的普适性实验表明本文方法同样适用于其他不同类物体的检测并且性能优异。
关键词
无监督域自适应; 域偏移; 绝缘子检测; 对抗一致性; 鲁棒性特征
Abstract
Objective Insulator is widely used in overhead transmission line nowadays. It is a unique insulation device which can withstand voltage and mechanical stress. In order to reduce the potential safety hazards caused by insulator failures, overhead transmission lines need to be inspected regularly. It is necessary to detect insulators from the inspection images quickly and effectively in order to locate and analyze the defects. The electrical grid insulators applications are mainly divided into two categories: glass insulators and composite insulators. The color and shape are quite different for the two types of insulators, which results in a severe domain bias in the feature space. In most cases, we can only obtain the data for a single type of insulator and train the model by them. The detection of other types of insulators will cause the performance of the trained model to drop sharply due to the domain bias between the source data and the target data. Hence, it is required to improve the generalization ability of the model to maintain good detection performance. Unsupervised domain adaptation is a widely used method for cross-domain detection and recognition. This method uses labeled samples in the source domain and unlabeled samples in the target domain in the training process. A domain-invariant (or domain-aligned) feature representation learning method can effectively release the performance degradation caused by domain bias. Our demonstration illustrates an unsupervised domain adaptation insulator detection method to improve the efficiency of transmission line intelligent inspection and maintenance. Method In order to improve the model's generalization ability for insulators in the target domain in complicated transmission line images without the target domain labels, an unsupervised domain adaptation insulator detection algorithm is harnessed based on adversarial consistency constraint. The proposed algorithm is divided into two stages including pre-training and adversarial learning. In the pre-training stage, the labeled source domain samples and unlabeled target domain samples are fed into the network to extract features. The extracted two sets of features are input into two classification networks. The unique feature representation of two different types of insulators is obtained based on constraining the two classifiers with binary cross-entropy loss. The feature encoder and two classifiers are trained as well. In the process of adversarial consistency learning, an extra classifier is involved to obtain robustness feature representation. The features obtained by the source domain and target domain samples through the network are sent to a new initialized classification network, and the classifier is trained separately through binary cross-entropy to make the backbone unable to correctly classify the two features. The classifier is then fixed to train the backbone network, and the classification results of the two groups of features are limited to the same label. The network can extract the consistent and robust features of different types of insulators. Result This demonstration illustrates that our method significantly improves the cross-domain insulator detection performance, and the mean average precision (mAP) reaches 55.1% and 23.4% on the two tasks of glass → composite and composite → glass, respectively. The analyzed result of our method is qualified on the public dataset common objects in context (COCO). The mAP reaches 61.5%, which verifies our illustrated generality and extensibility. In the ablation study, the proposed mAP achieves 11.5% and 6.4% in benchmark performance improvement on the two tasks of glass → composite and composite → glass, respectively. Conclusion This method reduces the discrepancy-derived domain bias amongst various types of insulators. The generalization of the model is improved in cross-domain insulator detection tasks. Our method can improve the efficiency of the insulator detection in the transmission line inspection. The demonstrated results indicate that our method optimized unsupervised domain adaptation object detection methods. Both of the proposed loss functions can significantly improve the performance of the benchmark, which illustrates that the model is capable of learning a robustness feature representation. The COCO dataset is demonstrated for further verification.
Key words
unsupervised domain adaptation; domain bias; insulator detection; adversarial consistency; robust feature
0 引言
绝缘子是一种能够耐受电压和机械应力的特殊绝缘器件,在架空输电线路中应用广泛。由于输电线路长期暴露在外,绝缘子极易受到侵蚀而发生爆片或老化。绝缘子一旦发生故障,将引起输电线路供电中断,影响电网的安全运行和居民的正常生活。为降低绝缘子故障导致的安全隐患,需要定期对架空输电线路进行巡检,因此,从巡检图像中快速有效地检测出绝缘子,对其进行定位和缺陷分析就显得尤为必要。
目前电网中使用的绝缘子主要分为玻璃绝缘子和复合绝缘子两类,如图 1所示。从外观上看,两种绝缘子在颜色和形状上差异较大,造成特征空间中两种绝缘子域偏移较为严重。大多数情况下,仅能得到单一类型的绝缘子样本,用其训练得到的模型部署到其他类型绝缘子检测任务时,会由于不同类型绝缘子之间存在的域偏移而导致检测性能急剧下降。
无监督域自适应目标检测方法是一种广泛用于跨域检测、识别的方法,在训练过程中使用源域有标注的样本和目标域无标注的样本,通过学习一种域不变(或域对齐后)的特征表示,可以有效缓解由于域偏移造成的性能显著下降。这类方法大致可分为基于风格迁移的无监督域自适应目标检测方法(Yang等,2020;Kim等,2019b;Inoue等,2018)和基于自训练的无监督域自适应目标检测方法(RoyChowdhury等,2019;Kim等,2019a;Zhang等,2020)两类。
基于风格迁移的方法通常将源域已标注的图像风格迁移至目标域图像下,然后利用迁移后已标注的图像对模型进行有监督训练,这种方式可以降低不同风格带来的域偏移对性能的影响。然而输电线路巡检图像尺寸较大且背景复杂,如果利用图像生成的方法将源域图像迁移至目标域下容易产生模型崩塌。因此这类方法难以直接应用到无监督域自适应绝缘子检测任务中。基于自训练的方法一般是对目标域数据进行伪标签预测,之后将伪标签与目标数据相结合以有监督的形式训练模型。这类方法极其依赖标签预测的准确性,而输电线路巡检图像中背景复杂、杂物繁多,这些噪声会对标签的预测产生不利影响,利用有噪声的伪标签结合绝缘子数据对模型进行训练容易降低模型的识别能力,不利于模型部署。
受Goodfellow等人(2014)提出的生成对抗网络思想的启发,本文设计了一个基于对抗一致性约束的无监督域自适应绝缘子检测算法来提取不同类型绝缘子共有且具有鲁棒性的特征信息,从而使模型具有域自适应性。具体地,输入不同类型绝缘子图像到特征提取器,将得到的特征分别输入到两个不同的分类器,将分类器输出的分类结果与对应的绝缘子类型进行类别约束,目的是使特征提取器能提取不同类型绝缘子独有的特征信息。在对抗过程中,本文方法提出引入一个额外的分类网络,用于将源域与目标域中不同类型的绝缘子特征分到同一类别下,从而使模型能提取不同绝缘子共有的鲁棒性特征。与有监督的绝缘子检测方法(赵振兵等,2019;程海燕等,2017;姚春羽等,2012;Tao等,2020)不同,本文提出的方法不需要目标域样本的标签就能在跨域绝缘子检测任务中获得较好性能,而且采用的YOLO-V3(you only look once V3)特征提取网络不需要候选框预测和筛选机制,提高了检测速度。总的来说,本文主要贡献如下:1)提出一种基于对抗一致性约束的无监督域自适应绝缘子检测算法,利用两个具有差异的分类网络对绝缘子进行类别约束,提取不同类型绝缘子的私有特征,通过一种对抗分类策略使模型学习到绝缘子共有的特征,提高了模型对不同类型绝缘子识别的鲁棒性。2)本文方法不同于其他有监督绝缘子检测算法,训练集中只有一种类型的有标签样本,在无监督的条件下能对不同类型绝缘子进行跨域检测,更加适用于现实部署,降低了对不同类型绝缘子的误检率。3)提出的模型是一个基于YOLO-V3的端到端的模型,不需要额外的候选框计算和筛选机制,在一定程度上提升了模型的训练效率。
1 相关工作
1.1 基于深度学习的目标检测算法
随着深度学习的不断发展,基于卷积神经网络的目标检测算法表现突出、效果优异,成为流行的目标检测方法。Krizhevsky等人(2017)在图像与卷积核之间进行卷积操作提取物体的高维特征,提高了模型的泛化能力。Redmon等人(2016)提出YOLO目标检测算法,将输入图像划分成若干网格,每个网格分别进行坐标回归和类别回归,然而由于划分网格数量较多,在回归计算过程中效率低下,同时因为网格会由于图像中存在若干不同尺寸的物体或者物体彼此有重叠时产生错误的预测结果,泛化能力较差。为解决该问题,Redmon和Farhadi(2018)在原始YOLO算法上进行改进,提出YOLO-V3目标检测算法,通过添加多尺度预测机制将聚类后得到的锚点分配给不同尺度的检测框,降低了误检率,并且在网络最后输出3种不同尺度的深度特征和分类概率,提高了模型对同类且不同尺寸物体检测的泛化能力。然而对于绝缘子检测任务而言,不同类型的绝缘子外观差异较大。在缺乏某一类绝缘子样本标注的情况下,直接将YOLO-V3应用到跨域绝缘子检测任务时,会由于域偏移导致性能急剧下降。本文提出的基于对抗一致性约束的绝缘子检测算法的目的是在无监督条件下赋予模型提取不同类型绝缘子鲁棒性特征的能力,从而使模型能更好地识别不同类型的绝缘子。
1.2 无监督域自适应目标检测算法
Zhu等人(2017)提出的循环一致性生成对抗网络在图像风格迁移任务上取得了巨大成功。在目标检测领域,一些研究者尝试利用基于风格迁移的方法进行无监督跨域目标检测(Yang等,2020;Kim等,2019b;Inoue等,2018)。风格迁移主要是将源域的图像风格迁移至目标域,同时保留源域标签信息,利用迁移后的图像结合源域标签重新训练模型,以此减轻不同风格的域偏移对模型性能造成的影响。Inoue等人(2018)将源域的真实场景图像通过循环一致性网络生成具有卡通风格的图像,并利用生成后的图像对模型进行微调。然而对于输电线路巡检图像而言,其具有尺寸较大、背景复杂和目标物繁多等特点,利用循环一致性网络进行不同风格图像的生成会产生大量噪声,利用这些有噪声的图像重新微调网络会导致其性能急剧下降。
基于自训练的无监督域自适应目标检测算法(RoyChowdhury等,2019;Kim等,2019a)利用有标注的源域数据进行预训练,通过预训练模型对目标域数据进行伪标签的预测,利用目标域数据结合伪标签重新对模型进行微调。Kim等人(2019a)通过SSD(single shot MultiBox detector)(Liu等,2016)检测得到难样本,通过背景得分正则化帮助网络提取难样本具有鉴别性的特征来减少域偏移,以更加准确地对目标域样本进行伪标签预测。在这类方法使用的样本中,所要识别的目标在图像中占比较大,所以易于提取目标物的特征。对于输电线路巡检图像而言,绝缘子仅在图像中占有很小的比例,不利于进行伪标签预测,而且图像中目标物繁多,容易对特征提取造成干扰,所以很难将自训练的无监督域自适应方法直接应用到绝缘子检测任务中。不同于上述方法,本文提出一种利用对抗训练的方法提取不同类型绝缘子共有且具有鲁棒性的特征,减小绝缘子外观差异对数据分布的影响,增强了模型在复杂背景下对绝缘子的识别能力。
2 本文算法
在缺少目标域样本标签的情况下,为了提高模型对复杂输电线路图像中目标域绝缘子的检测能力,本文提出一种基于对抗一致性约束的无监督域自适应绝缘子检测算法,算法流程如图 2所示。该算法将YOLO-V3目标检测网络(Redmon和Farhadi,2018)作为主体框架,使用DarkNet-53(Redmon和Farhadi,2018)作为特征提取主干网络。具体而言,预训练阶段分别输入有标签的源域样本和无标签的目标域样本到YOLO-V3网络中提取特征,将得到的两组特征分别输入到两个分类网络
对抗一致性学习过程如图 3所示,输入源域和目标域的样本到YOLO-V3网络中提取特征,将得到的两组特征图同时输入到一个初始化的分类网络
2.1 绝缘子特征提取
定义包含两种不同类型绝缘子(玻璃绝缘子和复合绝缘子)的数据集分别为
坐标回归需要将预测的中心点和尺度与真实的中心点和尺度做约束。对预测的中心点的约束具体表示为
$ \begin{gathered} L_{\text {box_} x y}=\sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}}\left(2-w_{i} \times h_{i}\right) \times \\ {\left[\left(x_{i}-\hat{x}_{i}\right)^{2}+\left(y_{i}-\hat{y}_{i}\right)^{2}\right]} \end{gathered} $ | (1) |
式中,
$ \begin{gathered} L_{\mathrm{box}-w h}=\sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}}\left(2-w_{i} \times h_{i}\right) \times\\ \left[\left(w_{i}-\hat{w}_{i}\right)^{2}+\left(h_{i}-\hat{h}_{i}\right)^{2}\right] \end{gathered} $ | (2) |
式中,
$ L_{\text {box }}=L_{\text {box_}wh }+L_{\mathrm{box}\_x y} $ | (3) |
除了对预测结果进行坐标约束,还要对其进行类别约束,具体为
$ L_{\mathrm{cls}}=\sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}} \sum\limits_{c \in \text { classes }} p_{i}(c) \log \left(\hat{p}_{i}(c)\right) $ | (4) |
式中,
$ \begin{aligned} L_{\mathrm{obj}}=& \sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{noobj}}\left(c_{i}-\hat{c}_{i}\right)^{2}+\\ & \sum\limits_{i=0}^{S^{2}} \sum\limits_{j=0}^{B} I_{i, j}^{\mathrm{obj}}\left(c_{i}-\hat{c}_{i}\right)^{2} \end{aligned} $ | (5) |
式中,
$ L_{\text {YOLO-V3 }}=\beta_{1} L_{\text {box }}+\beta_{2} L_{\mathrm{cls}}+\beta_{3} L_{\mathrm{obj}} $ | (6) |
本文采用Redmon和Farhadi(2018)提出的超参数设置,将
2.2 绝缘子一致性特征提取
通过利用YOLO-V3中的坐标回归、分类回归和置信度回归,模型已经具有对绝缘子特征的初步提取能力。然而在缺乏目标域绝缘子标签的情况下,由于输电线路图像中背景复杂,目标物种类繁多,如果不增强绝缘子特征的鲁棒性将会造成误检率过高,影响模型部署。为解决此问题,提出一种在无监督条件下通过对抗训练提取绝缘子一致性特征的方法。具体地,在预训练阶段设计了两个不同的分类网络
$ \begin{gathered} L_{\mathrm{BCE}}^{s}=-\frac{1}{N_{s}} \sum\limits_{i=1}^{N_{s}} u_{i}^{s} \cdot \log \left(p\left(\boldsymbol{W}_{1}\left(\boldsymbol{f}_{i}^{s}\right)\right)\right)+ \\ \left(1-u_{i}^{s}\right) \cdot \log \left(1-p\left(\boldsymbol{W}_{1}\left(\boldsymbol{f}_{i}^{s}\right)\right)\right) \end{gathered} $ | (7) |
式中,
$ \begin{gathered} L_{\mathrm{BCE}}^{t}=-\frac{1}{N_{t}} \sum\limits_{i=1}^{N_{t}} u_{i}^{t} \cdot \log \left(p\left(\boldsymbol{W}_{2}\left(\boldsymbol{f}_{i}^{t}\right)\right)\right)+ \\ \left(1-u_{i}^{t}\right) \log \left(1-p\left(\boldsymbol{W}_{2}\left(\boldsymbol{f}_{i}^{t}\right)\right)\right) \end{gathered} $ | (8) |
式中,
对两个分类网络的结果分别进行绝缘子的类别约束,可以使特征提取网络
$ \begin{aligned} \tilde{L}_{\text {Union }}=&-\frac{1}{N_{t}+N_{s}} \sum\limits_{i=1}^{N_{t}+N_{s}} \tilde{u}_{i} \cdot \log \left(p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right)+\\ &\left(1-\tilde{u}_{i}\right) \cdot \log \left(1-p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right) \end{aligned} $ | (9) |
式中,
$ \begin{aligned} L_{\text {Union }}=&-\frac{1}{N_{t}+N_{s}} \sum\limits_{i=1}^{N_{t}+N_{s}} u_{i} \cdot \log \left(p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right)+\\ &\left(1-u_{i}\right) \cdot \log \left(1-p\left(\boldsymbol{W}_{3}\left(\boldsymbol{f}_{i}\right)\right)\right) \end{aligned} $ | (10) |
式中,
$ \begin{gathered} L_{\mathrm{Total}}=\beta L_{\mathrm{YOLO}-\mathrm{V} 3}+\lambda_{1} L_{\mathrm{BCE}}^{s}+ \\ \lambda_{2} L_{\mathrm{BCE}}^{t}+\lambda_{3}\left(L_{\text {Union }}+\tilde{L}_{\text {Union }}\right) \end{gathered} $ | (11) |
式中,
定义:编码器
输入:有标签的源域样本
输出:最优模型
1) 图像预处理,将图像缩放为416×416×3。
2) for each
(1) 输入图像
(2) 将特征
(3) 通过式(3)(7)(8)分别训练
end for。
3) for each
(1) 输入图像
(2) 将特征
(3) 通过式(9)训练
end for。
4) for each
(1) 输入图像
(2) 将特征
(3) 通过式(3)(10)训练
end for。
3 实验结果及分析
3.1 数据集和评价指标
实验所用的数据集共有4 113幅不同类型的绝缘子图像,其中2 416幅包含玻璃绝缘子,1 697幅含有复合绝缘子,样例如图 4和图 5所示。在这些样本中,每个数据集都分成训练集和测试集,训练集占总样本的2/3,测试集占1/3。这些图像大多数都是无人机在输电线路巡检过程中拍摄的,还有一部分是相机和手机拍摄得到。由样例可以看出,巡检图像背景复杂多变,绝缘子尺度大小不一,光照等各不相同,这些因素使得数据集样式丰富,数据分布广泛。
在标注工作中,用Label-Img软件对图像中的绝缘子进行人工标注,标注格式与流行数据集PAS-CAL VOC(pattern analysis, statistical modeling and computational learning visual object classes)(Everingham等,2010)相同,标注信息存储在“.xml”文件中。标注样例如图 6所示。
为了充分体现模型的鲁棒性和对比实验的科学性,采用常见的平均精度均值(mean average precision, mAP)作为评估指标。
3.2 实施细节
采用YOLO-V3目标检测网络(Redmon和Farhadi,2018)作为基础框架。该框架使用DarkNet-53作为特征提取网络,图像尺寸统一缩放为416×416×3输入到该网络中,网络最后的3组残差块分别输出了3个不同尺度的图像特征,将这些特征输入到3个并联的下采样过程,最终得到13×13×18、26×26×18、52×52×18这3个不同尺度的特征图。使用深度学习平台Pytorch搭建YOLO-V3网络3个分类网络,其中3个分类网络结构相同,均由2个全连接层组成,第1层输入维度是3 042,第2层输入维度为64,输出维度均为1。DarkNet-53和3个分类网络均采用随机梯度下降法进行优化,对于DarkNet-53,设置其学习率为0.005,动量为0.937。3个分类网络的学习率设置为0.000 1,动量设为0.9。在训练过程中,将训练的迭代次数设为100,批次大小设置为16。目标损失函数中的4个参数
3.3 实验对比
目前,绝缘子检测任务没有公共的数据集,所以无法在已公开的数据集上进行对比。一些较为先进的绝缘子识别方法(赵振兵等,2019;Tao等,2020)采用的数据集中绝缘子类型单一,无法满足跨域的绝缘子检测和识别。此外,这类方法均在有监督的条件下进行训练,无法直接与它们的结果进行对比。由于缺少基于域自适应的跨域绝缘子检测方法,本文的对比方法采用较为成熟的目标检测方法与无监督域自适应目标检测方法,在无监督条件下进行对比实验。这些对比方法包括YOLO(Redmon等,2016)、YOLO-V3(Redmon和Farhadi,2018)、Faster-RCNN(region convolutional neural networks)(Chen等,2018)、Aug-FPN(augmentational feature pyramid network)(Guo等,2020)和Pisa-RCNN(Cao等,2020)。在实验中,首先进行玻璃绝缘子到复合绝缘子的跨域检测任务(glass → composite),在该任务中仅使用玻璃绝缘子的标签信息,复合绝缘子的标签不可用,实验结果如表 1所示。可以看出,本文方法的平均预测精度远高于YOLO (Redmon等,2016)目标检测算法,且优于基于Faster-RCNN改进的Pisa-RCNN和Aug-FPN算法。这类方法没有考虑物体的域间差异,不能促使模型提取域不变的特征,因而在跨域绝缘子检测任务上性能不佳。对于基础框架YOLO-V3(Redmon和Farhadi,2018)目标检测网络,本文算法在其基础上,将mAP提升了11.5%,说明本文算法确实增强了模型提取绝缘子鲁棒性特征的能力。
表 1
玻璃绝缘子到复合绝缘子实验结果
Table 1
The experimental result of glass → composite
方法 | mAP/% |
YOLO | 21.8 |
YOLO-V3 | 43.6 |
Faster-RCNN | 51.0 |
Pisa-RCNN | 52.0 |
Aug-FPN | 52.8 |
本文 | 55.1 |
注:加粗字体表示最优结果。 |
同样,在复合绝缘子到玻璃绝缘子(composite→glass)的跨域检测任务中,仅使用复合绝缘子的标签信息,不用玻璃绝缘子的标签信息,实验结果如表 2所示。可以看出,本文算法优于其他对比方法。平均预测精度与glass → composite任务相比较低,主要原因是训练样本数量相差较大,用于训练的复合绝缘子样本数量比玻璃绝缘子少约700幅,样本不平衡导致了检测结果相差较大。
表 2
复合绝缘子到玻璃绝缘子实验结果
Table 2
The experimental result of composite → glass
方法 | mAP/% |
YOLO | 7.52 |
YOLO-V3 | 17.0 |
Faster-RCNN | 19.8 |
Pisa-RCNN | 19.5 |
Aug-FPN | 20.3 |
本文 | 23.4 |
注:加粗字体表示最优结果。 |
为了更好地展示本文算法的优越性,对绝缘子检测任务进行可视化展示,复合绝缘子和玻璃绝缘子检测结果分别如图 7和图 8所示。可以看出,在具有复杂背景干扰的输电线路图像中,模型仍然能够对不同类型的绝缘子进行准确识别和定位。
同时,为了证明本文方法具有较强的应用推广能力,用COCO(common objects in context)数据集(Lin等,2014)对本文方法进行有监督训练,并在测试集上进行测试。表 3为本文方法与Libra R-CNN(Pang等,2019)和Grid-R-CNN(Lu等,2019)方法的实验结果对比。可以看出,在常规的图像检测任务中,本文方法仍然表现出较好的性能。
表 3
COCO数据集实验结果
Table 3
The experimental results on COCO dataset
方法 | mAP/% |
Libra R-CNN | 59.9 |
Grid-R-CNN | 60.9 |
本文 | 61.5 |
注:加粗字体表示最优结果。 |
3.4 消融实验
本文方法是在YOLO-V3基础上进行的改进,所以为了凸显改进后的模型相较于原始网络的优越性,进行了消融实验。
在glass → composite任务中,直接应用YOLO-V3进行跨域性能测试,将此性能作为基准以便进行消融对比。在训练过程中,本文方法的总迭代次数为100,前70次用源域绝缘子和目标域绝缘子分别通过式(7)(8)进行训练,称为差异分类阶段,在70~95次和96~100次中,加入对抗一致性约束,即先用式(9)训练
表 4
玻璃绝缘子到复合绝缘子消融实验结果
Table 4
The ablation study of glass → composite
方法 | mAP/% |
YOLO-V3 | 43.6 |
YOLO-V3+差异分类 | 47.5 |
YOLO-V3+差异分类+对抗一致性分类 | 55.1 |
注:加粗字体表示最优结果。 |
在将复合绝缘子作为有标签的源域、玻璃绝缘子作为无标签的目标域的使用中,与glass → composite实验设置相同,
表 5
复合绝缘子到玻璃绝缘子消融实验结果
Table 5
The ablation study of composite → glass
方法 | mAP/% |
YOLO-V3 | 17.0 |
YOLO-V3+差异分类 | 19.8 |
YOLO-V3+差异分类+对抗一致性分类 | 23.4 |
注:加粗字体表示最优结果。 |
从上述实验可以看出,本文方法在不同目标数据集的跨域绝缘子检测任务上都能够提高模型性能,充分说明了本文算法能够避免输电线路复杂背景的影响,在无监督的条件下促使模型提取不同类型绝缘子具有的鲁棒性特征。
3.5 参数分析
在式(11)中,差异分类和对抗一致性在整体损失函数中的权重分别为
图 9为参数
4 结论
为提高输电线路巡维中的绝缘子检测效率,降低人工标注成本,提出一种对抗一致性约束的无监督域自适应绝缘子检测算法。该方法对源域样本与目标域样本的网络预测结果与对应的绝缘子类别进行约束,使模型能够提取到不同类型绝缘子独有的特征。在对抗学习过程中引入一个额外的分类器用于将源域中绝缘子特征与从目标域中预测到的目标物特征分到同一类别下,从而使模型能提取不同类型绝缘子共有的鲁棒性特征。该方法减小了不同类型绝缘子间存在的域差异,提高了模型的泛化性能。在实验部分,本文与目前先进的无监督域自适应目标检测算法进行了对比,结果证明了本文所提算法的优越性,同时在主流数据集COCO上的实验结果展示了本文算法的可扩展性。消融实验中,通过对比改进前后模型的性能,证明了本文方法的有效性。参数分析中,通过改变超参数观察该方法对整体性能的影响,从而选取了最优的参数。然而本文方法还需要有标签的源域样本对模型进行训练。在未来的工作中,将进一步研究不同类型绝缘子之间特征的差别,探索无需标注样本就可以识别不同类型绝缘子的方法。
参考文献
-
Cao Y H, Chen K, Loy C C and Lin D H. 2020. Prime sample attention in object detection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 11580-11588 [DOI: 10.1109/CVPR42600.2020.01160]
-
Chen Y H, Li W, Sakaridis C, Dai D X and Van Gool L. 2018. Domain adaptive faster R-CNN for object detection in the wild//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 3339-3348 [DOI: 10.1109/CVPR.2018.00352]
-
Cheng H Y, Han P, Wang D, Zhai Y J. 2017. Location method of insulators in power grid patrol aerial images. Journal of System Simulation, 29(6): 1327-1336 (程海燕, 韩璞, 王迪, 翟永杰. 2017. 一种电网巡检航拍图像中绝缘子定位方法. 系统仿真学报, 29(6): 1327-1336) [DOI:10.16182/j.issn1004731x.joss.201706023]
-
Everingham M, Van Gool L, Williams C K I, Winn J, Zisserman A. 2010. The PASCAL visual object classes (VOC) challenge. International Journal of Computer Vision, 88(2): 303-338 [DOI:10.1007/s11263-009-0275-4]
-
Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press: 2672-2680
-
Guo C X, Fan B, Zhang Q, Xiang S M and Pan C H. 2020. AugFPN: improving multi-scale feature learning for object detection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 12592-12601 [DOI: 10.1109/CVPR42600.2020.01261]
-
Inoue N, Furuta R, Yamasaki T and Aizawa K. 2018. Cross-domain weakly-supervised object detection through progressive domain adaptation//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 5001-5009 [DOI: 10.1109/CVPR.2018.00525]
-
Kim S, Choi J, Kim T and Kim C. 2019a. Self-training and adversarial background regularization for unsupervised domain adaptive one-stage object detection//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 6091-6100 [DOI: 10.1109/ICCV.2019.00619]
-
Kim T, Jeong M, Kim S, Choi S and Kim C. 2019b. Diversify and match: a domain adaptive representation learning paradigm for object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 12448-12457 [DOI: 10.1109/CVPR.2019.01274]
-
Krizhevsky A, Sutskever I, Hinton G E. 2017. Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90 [DOI:10.1145/3065386]
-
Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P and Zitnick C L. 2014. Microsoft COCO: common objects in context//Proceedings of the 12th European Conference on Computer Vision. Zurich, Switzerland: Springer: 740-755 [DOI: 10.1007/978-3-319-10602-1_48]
-
Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu C Y and Berg A C. 2016. SSD: single shot MultiBox detector//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer: 21-37 [DOI: 10.1007/978-3-319-46448-0_2]
-
Lu X, Li B Y, Yue Y X, Li Q Q and Yan J J. 2019. Grid R-CNN//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 7355-7364 [DOI: 10.1109/CVPR.2019.00754]
-
Pang J M, Chen K, Shi J P, Feng H J, Ouyang W L and Lin D H. 2019. Libra R-CNN: towards balanced learning for object detection//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 821-830 [DOI: 10.1109/CVPR.2019.00091]
-
Redmon J, Divvala S, Girshick R and Farhadi A. 2016. You only look once: unified, real-time object detection//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 779-788 [DOI: 10.1109/CVPR.2016.91]
-
Redmon J and Farhadi A. 2018. YOLOv3: an incremental improvement [EB/OL]. [2020-06-28]. https://arxiv.org/pdf/1804.02767v1.pdf
-
RoyChowdhury A, Chakrabarty P, Singh A, Jin S, Jiang H Z, Cao L L and Learned-Miller E. 2019. Automatic adaptation of object detectors to new domains using self-training//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 780-790 [DOI: 10.1109/CVPR.2019.00087]
-
Tao X, Zhang D P, Wang Z H, Liu X L, Zhang H Y, Xu D. 2020. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 50(4): 1486-1498 [DOI:10.1109/TSMC.2018.2871750]
-
Yang S Q, Wu L, Wiliem A and Lovell B. 2020. Unsupervised domain adaptive object detection using forward-backward cyclic adaptation [EB/OL]. [2020-02-03]. https://arxiv.org/pdf/2002.00575.pdf
-
Yao C Y, Jin L J, Yan S J. 2012. Recognition of insulator string in power grid patrol images. Journal of System Simulation, 24(9): 1818-1822 (姚春羽, 金立军, 闫书佳. 2012. 电网巡检图像中绝缘子的识别. 系统仿真学报, 24(9): 1818-1822) [DOI:10.16182/j.cnki.joss.2012.09.024]
-
Zhang S F, Chi C, Yao Y Q, Lei Z and Li S Z. 2020. Bridging the gap between anchor-based and anchor-free detection via adaptive training sample selection//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 9756-9765 [DOI: 10.1109/CVPR42600.2020.00978]
-
Zhao Z B, Cui Y P, Qi Y C, Du L Q, Zhang K, Zhai Y J. 2019. Detection method of insulator in aerial inspection image based on modified R-FCN. Computer Science, 46(3): 159-163 (赵振兵, 崔雅萍, 戚银城, 杜丽群, 张珂, 翟永杰. 2019. 基于改进的R-FCN航拍巡线图像中的绝缘子检测方法. 计算机科学, 46(3): 159-163) [DOI:10.11896/j.issn.1002-137X.2019.03.024]
-
Zhu J Y, Park T, Isola P and Efros A A. 2017. Unpaired image-to-image translation using cycle-consistent adversarial networks//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 2242-2251 [DOI: 10.1109/ICCV.2017.244]