Print

发布时间: 2021-02-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200134
2021 | Volume 26 | Number 2




    学者观点    




  <<上一篇 




  下一篇>> 




轨道病害视觉检测：背景、方法与趋势
expand article info 王建柱1, 李清勇1, 张靖1, 甘津瑞2
1. 北京交通大学交通数据分析与挖掘北京市重点实验室, 北京 100044;
2. 电力系统人工智能国家电网公司联合实验室, 北京 102209
收稿日期: 2020-04-16; 修回日期: 2020-06-04; 预印本日期: 2020-06-11
基金项目: 中国铁路总公司科技研究开发计划（P2018G002）；北京市自然科学基金项目（L191016）
作者简介: 王建柱, 1992年生, 男, 博士研究生, 主要研究方向为计算机视觉与模式识别。E-mail:jzwang@bjtu.edu.cn;
李清勇, 通信作者, 男, 教授, 主要研究方向为计算机视觉与机器学习。E-mail:liqy@bjtu.edu.cn;
张靖, 男, 博士研究生, 主要研究方向为计算机视觉与零样本学习。E-mail:j_zhang@bjtu.edu.cn;
甘津瑞, 男, 工程师, 主要研究方向为计算机视觉与模式识别。E-mail:ganjinrui@geiri.sgcc.com.cn
中图法分类号: TP399
文献标识码: A
文章编号: 1006-8961(2021)02-0287-10

摘要

铁路作为国家重要基础设施、国民经济大动脉和大众化运输方式，对社会经济发展起着不可替代的支撑作用。轨道是铁路系统的重要组件，轨道病害检测是铁路工务部门的核心业务。传统的人工巡检不仅费时费力，而且检测结果容易受到各种主观因素的影响。因此，自动化轨道病害检测对维护铁路运输安全具有重要的现实意义。考虑到视觉检测在速度、成本和可视化等方面的优势，本文聚焦于轨道病害视觉检测技术。首先以广泛应用的无砟轨道为例介绍轨道的基本结构，对常见的轨道表观病害进行样例展示、成因分析和影响评价；简要梳理常见的自动化轨道检测技术的基本原理和应用场景，对轨道病害视觉检测面临的图像质量不均、可用特征较少和模型更新困难等主要挑战进行归纳；然后，依照前景模型、背景模型、盲源分离模型及深度学习模型的分类逻辑对轨道病害视觉检测领域的研究现状进行综述，简要介绍了各类方法的代表性工作，总结了各类方法的技术特点与应用局限性；最后，针对智能化铁路的发展需求，展望了未来轨道病害视觉检测技术的研究趋势，即利用小样本/零样本学习、多任务学习与多源异构数据融合等技术手段来解决当前视觉检测系统中的鲁棒性弱、虚警率高等问题。

关键词

轨道病害; 视觉检测; 前景; 背景; 盲源分离; 深度学习

Visual inspection of rail defects: background, methodologies, and trends
expand article info Wang Jianzhu1, Li Qingyong1, Zhang Jing1, Gan Jinrui2
1. Beijing Key Laboratory of Traffic Data Analysis and Mining, Beijing Jiaotong University, Beijing 100044, China;
2. Artificial Intelligence on Electric Power System State Grid Corporation Joint Laboratory, Beijing 102209, China
Supported by: Science and Technology Research and Development Program of China Railway Corporation (P2018G002); Beijing Municipal Natural Science Foundation (L191016)

Abstract

As a national critical infrastructure, economic artery, and popular transportation, a railway plays an irreplaceable role in supporting the economic and social development of a nation. The rail is the key component of a railway, and correspondingly, rail defect detection is a core activity in railway engineering. Traditional manual inspection is time-consuming and laborious, and its results are easily influenced by various subjective factors. Therefore, automatic defect inspection for maintaining railway safety is highly significant. Considering the advantages of visual inspection in terms of speed, cost, and visualization, this study focuses on machine vision-based techniques. The track structure is first introduced by using the widely used ballastless track as an example. Sample presentation, causal analysis, and impact assessment of typical surface defects are provided. Then, the basic principles and application scenarios of common automatic rail defect detection technologies are briefly reviewed. In particular, ultrasonic techniques can be used to detect rail internal flaws, but it can hardly inspect fatigue damage on rail surface because of factors, such as ultrasonic reflection. Furthermore, detection speed is typically unsatisfactory. Eddy current inspection can obtain information about rail surface defects with the use of a detection coil by measuring the variance of eddy currents generated by an excitation coil. In contrast with ultrasonic technology, eddy current testing is fast and exhibits a distinct advantage in terms of detecting defects, such as shelling and scratch. However, it fails at finding defects that are located at the rail waist and base. Consequently, eddy current detection is frequently used in conjunction with ultrasonic equipment. Notably, eddy current inspection has high requirements for the installation position of the detection coil and the actual operation. Debugging the equipment is a complicated task, and the stability of the detection result is insufficient. Thereafter, current major challenges in the visual inspection of rail defects, namely, inhomogeneity of image qualities, limitation of available features, and difficulty in model updating, are summarized. Then, research actuality in the visual inspection of rail defects is systematically reviewed by categorizing the techniques into foreground, background, blind source separation, and deep learning-based models. One or two representative studies are elaborated in each category, followed by the analysis of technical features and practical limitations. In particular, foreground models typically suppress disturbing noise through operations, such as local image filtering, which can enhance contrast between the defect and the background, and thus, help recognize rail surface defects. This type of models generally exhibits low computational complexity, and thus, can meet the requirements of real-time inspection. However, they easily generate false positives and can hardly segment the defect target. Instead of directly placing emphasis on the defect, background methods model the image background by utilizing the spatial consistency and continuity of the rail image. Similar to foreground models, such methods also exhibit good real-time performance, but effectively decreasing false detection still requires further research. Blind source separation models detect rail defects on the basis of the low rank of the image background and the sparseness of the defect. Compared with the aforementioned two types of models, these approaches do not simply rely on the low-level visual characteristics of the defect target. However, these models tend to require high computational complexity. Deep learning-based models generally exhibit promising performance in the visual inspection of rail defects. However, training a deep learning model frequently requires a large amount of samples, and collecting and labeling numerous defect images can be costly. Moreover, these approaches typically depend on a dataset with specific supervision information, and thus, they may not perform well in other similar scenarios. Finally, future research trends in the visual inspection of rail defects are prospected by targeting the development requirements of smart railways. That is, technologies, such as few-shot or zero-shot learning, multitask learning, and multisource heterogeneous data fusion, should be explored to solve the problems of weak robustness and high false alarm rate existing in current visual inspection systems.

Key words

rail defects; visual inspection; foreground; background; blind source separation; deep learning

0 引言

我国高速铁路发展迅猛，已成为世界上高速铁路运营里程最长和商业运营速度最快的国家。作为我国“一带一路”倡议中基础设施建设的重要组成部分，高铁已成为中国新的外交名片。轨道交通基础设施服役状态检测是保障列车安全运营的重要手段，轨道病害检测是其中的核心内容，研究轨道病害检测的新理论和新技术是当前高速铁路发展的迫切需求。

首先，中国高铁的发展逐渐由“建设为主”演变为“运维为主”。覆盖全国的“四纵四横”高速铁路网已经建成通车，且根据《中长期铁路网规划》，2020年我国高速铁路里程将达到3万km。随着高速铁路运营里程增长、速度提高以及密度增大等发展趋势，铁路基础设施状态逐渐由新转旧，随之而来的安全维护将是未来铁路管理的重中之重。

其次，轨道病害检测是铁路工务部门的核心业务。传统的人工巡检不仅成本高、效率低，且检测结果极大依赖巡检工人的经验和责任心。另外，当前轨道的养护维修大都采用“计划修”模式，检测和维修按照固定周期进行，过修和欠修现象严重，造成极大的财力物力浪费。统计数据表明，“计划修”替换的钢轨60%以上在良好状态(Papaelias等，2008)，造成了铁路资产的浪费。“状态修”模式代表轨道基础设施检修的发展方向，相关智能化理论和关键技术亟待研究。

最后，针对轨道检测的发展需求，尽管各种新型检测技术不断涌现，如超声探伤、涡流检测等，但现有系统在实际运营中还存在鲁棒性弱、虚警率高等问题。由于视觉检测技术在检测速度、准确性和可视化等方面的优势，轨道病害的视觉检测近年来得到了广泛研究，并在部分铁路网中得以应用(Liu等，2019b)。为此，本文将围绕轨道病害视觉检测任务，从背景、方法和趋势等3个方面进行系统概述。

1 轨道结构与典型病害

1.1 无砟轨道基本结构

作为新型道床结构，无砟轨道如今广泛应用于高速铁路、地铁等轨道交通基础设施的建设，其特征是使用刚性混凝土或沥青道床替代由道砟和枕木组成的传统道床，是一种通过扣件直接与钢轨弹性联结的轨道结构。与传统的有砟轨道相比，无砟轨道能够长久保持钢轨的形状和位置，具有结构耐久性好、稳定性强和易于维护的特点。当今广泛应用的中国铁路轨道系统(China railway track system，CRTS)II型无砟轨道主要由混凝土底座、水泥沥青砂浆填充层、轨道板、扣件和钢轨组成，其基本结构示意图如图 1所示。



图 1 CRTS Ⅱ型无砟轨道基本结构示意图
Fig. 1 Structure schematic of CRTS Ⅱ ballastless track

1.2 轨道病害检测

1.2.1 典型轨道病害

钢轨表面瑕疵、损伤和变形等均属于钢轨表面病害的范畴。一般轨道表面病害可分为表面裂缝和滚动接触疲劳磨损两种类型(刘泽等，2010)。具体而言，Li等人(2015)将常见钢轨表面病害进一步细分为剥离、鱼鳞伤、擦伤、压陷、层裂和波磨等6种病害。本文将扣件损伤也归类到轨道表面病害，常见的扣件损伤包括弹条断裂、扣件丢失等。钢轨表面病害示意图如图 2所示。



图 2 轨道表面典型病害样例图
Fig. 2 Samples of typical rail surface defects((a) shelling; (b) flaking; (c) burned rail; (d) flattered rail; (e) spalling; (f) corrugation; (g) fractured elastic bar; (h) missing fastener)

剥离的宏观形貌如图 2(a)所示，通常分布在钢轨踏面圆弧区域，裂纹长约30 mm，裂纹间距为25 mm，从轨距角向踏面中心拓展。周剑华等人(2013)通过对产生该类病害的钢轨进行性能检验后，认定是一种典型的滚动接触疲劳磨损，与钢轨自身质量无直接关系，主要是由于轮轨长期在曲线外轨圆弧区域接触，导致接触应力过大而造成的。鱼鳞伤表现为钢轨表面产生的鳞状碎片，基本形态如图 2(b)所示。由于列车车轮踏面有1 :40的锥度，车轮踏面各质点运行速度不同，接触区存在非均匀碾压, 进而形成疲劳伤损裂纹(张永革等，2011)。鱼鳞伤一方面会加剧轨道疲劳伤损的发展，另一方面则严重影响车辆运行的平稳性和速度。表面擦伤常呈现出连续的长条形，如图 2(c)所示，其源自滑动机车轮的密集摩擦，使得轨头温度过高，轨面金属移位。在高强度运输环境下，擦伤区域将逐渐剥落，进而变得粗糙不平，危及行车安全。压陷病害表现为一小段轨面被压扁高度大于等于3/8英寸的现象，如图 2(d)所示，该类病害的发生通常没有重复规律性。由于列车车轮反复轧踏，在巨大压力下轨道表层会发生金属移位的现象，进而形成层裂，如图 2(e)所示，该类病害进一步发展将导致轨道表面发生严重剥落。波磨损伤是指钢轨顶面出现的类似波浪形状的规律性高低不平现象，其外观如图 2(f)所示。当前对波磨损伤的产生机理尚未有统一定论。当列车通过轨道波磨区域时，容易产生剧烈振动，造成扣件松动，加剧轨道表面磨损进而缩短轨道服役周期。扣件是联结钢轨和轨道板的紧固件，由于轨道振动、安装不规范及固有瑕疵等问题，扣件可能出现弹条断裂(图 2(g))、丢失(图 2(h))等类型病害，不仅会加剧轮轨之间的摩擦损耗，而且在一定条件下可能导致列车脱轨，造成严重的安全事故。

钢轨内部伤损主要包括内部横向裂缝、轨头水平分离和轨头纵向分离等病害类型。钢轨内部病害通常需要使用超声波、涡流等技术手段进行检测。本文专注于轨道表观病害视觉检测，有关轨道内部核伤的详细分类及检测手段可参考Li等人(2015)的研究成果。

1.2.2 轨道检测技术

在自动化巡检技术兴起之前，轨道病害检测主要依赖于人工巡检，成本高、效率低且安全性差。随着自动化巡检技术的不断发展，传统的人工巡检逐渐被各种基于传感器的检测方法所取代。

轨道内部结构的变化会对超声波的传播产生一定程度的影响。基于此，超声波技术广泛应用于轨道内部核伤的检测(Loveday等，2019)。但由于超声波反射等原因导致该类技术对轨道踏面的疲劳损伤检测能力有限，且检测速度也相对较慢。涡流探伤的基本原理是用激磁线圈使轨道表面产生涡电流，借助探测线圈测定涡电流的变化量从而获取缺陷的有关信息。与超声技术相反的是，涡流探伤技术检测速度快，对轨道表面剥离、车轮擦伤等病害的检测表现出明显优势，但对位于轨腰、轨底的缺陷则无法检出(王雪梅等，2013)。因此，涡流探伤常常与超声波检测设备配合使用(Thomas等，2007)。需要指出的是，涡流探伤技术对检测线圈的安装位置要求较高，在实际的检测作业中，设备调试较为复杂，检测结果的稳定性不够。

随着人工智能技术的不断发展，基于机器视觉的轨道表观病害检测在理论研究和实际应用等方面取得了一定进展(Li等，2016；Dai等，2019)。相较其他自动化检测手段，轨道病害视觉检测技术在安全性、可视化和智能化等方面表现出较大优势(甘津瑞，2019)，但整体上仍面临以下3个方面的挑战：

1) 图像质量不均。轨道图像通常是通过安装在检测列车底部的高速线阵相机采集的，列车抖动和开放环境中自然光的变化等因素极易导致采集的图像存在光照不均、病害目标与图像背景对比度偏弱等问题。作为视觉检测系统的数据源，图像质量不均直接影响着轨道病害视觉检测算法的性能。

2) 可用特征较少。轨道外观病害大多形态多样，不同样本的纹理或形状特征差异巨大，这意味着难以将一些基于纹理或形状特征的目标检测方法直接迁移到轨道病害检测任务中来。对于传统的轨道病害视觉检测方法而言，往往仅有局部灰度信息可作为区分病害目标与图像背景的可靠特征，有限的可用特征对模型的检测能力提出了更高要求。

3) 模型更新困难。在传统的轨道病害视觉检测方法中，由于轨道图像特征相对单一等原因导致难以实现检测模型的有效更新；在基于深度学习的轨道病害检测模型中，尽管精细设计的神经网络能够自动提取高层次的语义特征，但由于缺乏足量的标注样本、任务孤立等因素也使得病害识别模型的训练和更新较为复杂。

2 轨道病害视觉检测方法

2.1 前景模型

由于环境、设备或人为的原因，工业现场采集的钢轨图像存在光照不均和噪声干扰等情况，导致图像中病害目标与背景的对比度较低，严重影响后续病害目标的检测与识别。为此，提出了一系列的前景模型，通过局部图像滤波等方式抑制不利因素干扰，增强病害目标与图像背景之间的对比度，从而便于病害目标的定位与识别。

Min等人(2018)利用图像在色相、饱和度和亮度(hue，saturation，lightness，HSL)空间中的H值作为特征，从全景图像中提取轨道区域，然后借助图像形态学操作进行表面病害分割，并通过构建原型检测系统验证算法性能。贺振东等人(2014, 2016)先后提出基于反向Perona-Malik(P-M)扩散和基于图像差分的钢轨表面病害检测系统。李清勇等人聚焦于病害目标的视觉特征，设计了适用于轨道病害检测的对比度增强算法，提出了基于投影轮廓的病害定位算法(Li和Ren，2012a)和基于比例强化最大熵的病害检测算法(Li和Ren，2012b)。基于投影轮廓的轨道病害定位算法流程如图 3所示，主要包括局部归一化滤波、纵向病害位置定位、横向病害位置定位和病害识别等步骤。



图 3 基于投影轮廓的病害定位算法(Li和Ren, 2012a)
Fig. 3 Framework of defect localization algorithm based on projection profile (Li and Ren, 2012a)

在使用局部归一化方法消除轨道图像的光照不均衡、增强病害目标与图像背景之间的对比度后，通过灰度投影的方式进行病害定位。该算法具有线性复杂度，检测效率较高，理论上能够在216 km/h的条件下满足实时检测的要求。整体而言，聚焦轨道病害目标的前景检测模型复杂度低、检测速度快，通常能够满足实时检测的需求，但同时存在误报率高、难以准确分割病害目标等问题。

2.2 背景模型

前景模型聚焦于病害目标，通过消除轨道图像中的光照不均、增强对比度的方式进行病害定位。但是，开放环境下巡检车在高速运行时采集的图像难以包含足够的病害辨别性信息，导致识别系统容易产生大量的误报结果。为此，提出了一系列基于背景建模的轨道病害检测算法。

当列车在轨道上运行时，轨道表面与轮对之间相互摩擦，接触的相对位置几乎恒定，轨道表面上所有位于同一纵向位置的点所受的摩擦力几乎相同，这使得轨道图像背景尽管呈现一定幅度的动态变化，但像素灰度仍保持相对一致。因此，轨道图像特定位置灰度的显著偏差指示着病害目标的产生或噪声干扰的存在。基于此，Gan等人(2017)和Yu等人(2019)相继提出了基于均值漂移和显著性检测的表面病害检测方法，以逐步求精的方式实现了表面病害的准确分割。Gan等人(2020)提出了一种基于背景建模的轨道表观病害检测方法，如图 4所示。该方法假设纵向病害像素点最多占总像素样本量的4%，基于二项式分布进行纵向背景模型的迭代更新；在横向上，其基于病害通常发生在中心区域这一先验进行病害位置建模。利用轨道图像纵向与横向的一致连续性进行背景模型的迭代更新，采用多次随机构建与集成策略来增强背景模型的表征能力。在真实线路上的实验表明该方法具备在线实时检测的能力。



图 4 基于背景建模的病害检测方法(Gan等，2020)
Fig. 4 Framework of defect detection based on background modeling (Gan et al., 2020)

2.3 盲源分离模型

在轨道表观病害检测场景中，病害目标形态多样且容易受到各种外部环境的干扰，低层视觉特征稳定性较弱，但是病害目标在实体、特征和像素等多个层面却体现出稳定的稀疏低秩特性。首先，病害实体在待检轨道中是稀疏的，这包含两方面的含义，病害目标在服役轨道中出现的概率低，以及病害目标在待检图像中出现的面积较小；其次，病害图像在变换域中可以通过超完备字典进行稀疏表示，得到对应的稀疏表示模型与病害检测算法；最后，钢轨和轨道板等部件的图像灰度矩阵在理想条件下是低秩的，空间上连续的图像序列在特征空间中一般也满足低秩要求。为此，从盲源分离的角度提出了一系列的轨道病害检测模型。

考虑到轨道图像背景纹理模式一致性较强，在变换域中具备表征稀疏性，李清勇等人(2014)将轨道表面擦伤图像看做由病害成分、背景成分和噪声3种要素组成，提出了基于稀疏表示的钢轨表面擦伤分割方法。实验结果表明，该模型比低层视觉特征表示模型更加通用和有效。基于轨道图像自身的对称性，Liu等人(2015)提出了一种改进的稀疏表示模型用于扣件分类和病害识别。从矩阵分解的角度出发，待检图像在空间域中对应的灰度矩阵或者由局部图像块构造的特征矩阵应该是低秩的，即矩阵的行或列之间存在较大的相关性，而病害目标的存在则会破坏这种低秩性。基于此，张琳娜和岑翼刚(2019)提出了基于低秩矩阵分解的轨道表面病害检测模型，将图像灰度矩阵分解为低秩矩阵和稀疏矩阵，分别对应图像背景和病害目标。对于求解得到的稀疏矩阵，计算矩阵元素的行累积量和列累积量，并通过使用阈值进行病害定位。然而，当待检图像中病害尺度较大时，直接应用低秩分解模型容易将图像灰度矩阵中的病害区域误判为图像背景导致检测失败。考虑到病害目标存在实体稀疏性，Wang等人(2020)提出了一种固有先验指导的低秩矩阵分解模型用于轨道表观病害检测，框架图如图 5所示。该方法以超像素为基本处理单元，利用待检图像的背景相似性和病害目标的局部显著性来指导特征矩阵的分解过程。在轨道表面病害图像等多个数据集上的实验表明，该模型具有良好的泛化能力和检测性能。需要指出的是，基于盲源分离的病害检测模型大多存在复杂度高和实时性略差的问题，但一些随机性求解策略的提出和高性能计算架构的出现为此类模型的高效求解带来了转机。



图 5 基于低秩矩阵分解的病害检测(Wang等，2020)
Fig. 5 Framework of defect detection based on low-rank matrix decomposition (Wang et al., 2020)

2.4 深度学习模型

随着计算能力的不断提升，深度神经网络得到广泛研究与应用。与传统的特征抽取和图像表征方法相比，深度神经网络具备抽取高层次的语义特征和刻画复杂数据分布的能力。因此，提出了一系列基于深度学习的轨道病害检测模型。

Jin等人(2020)将马尔可夫随机场和高斯混合模型与卷积神经网络相结合，提出了一种深度多模型融合的轨道检测系统，利用高斯混合模型得到病害初始分割结果后，使用基于区域的卷积神经网络(region-based convolutional neural network, RCNN)输出的目标框辅助抑制背景干扰，从而得到更准确的病害分割图。代表性地，Faghih-Roohi等人(2016)提出了一种基于深度卷积神经网络的轨道表观病害检测模型，基本框架示意如图 6所示。该模型使用由巡检视频标注生成的训练数据进行神经网络的参数优化，最终可将待检图像分为正常、焊接缺陷、轻度隐伤、中度隐伤、重度隐伤和接合损伤等6个类别。



图 6 基于深度卷积神经网络的病害检测(Faghih-Roohi等，2016)
Fig. 6 Framework of defect detection based on deep convolutional neural networks (Faghih-Roohi et al., 2016)

深度学习模型在异常扣件检测中也有着较多的应用。在真实线路中，异常扣件出现的频次较低且形态多变，导致难以搜集和标注足量的病害样本用于神经网络的训练。为此，Gibert等人(2017)提出了一种多任务学习框架，集成了多种检测子以提升神经网络在异常扣件检测任务中的性能表现。针对异常扣件训练样本不足的问题，Liu等人(2019a)提出了一种基于模板匹配的分类方法用于挑选扣件和生成训练样本，设计了一种基于相似度的神经网络来缓解数据不平衡的问题。同样为了解决标注数据不足的问题，Dong等人(2019)提出了一种基于数据合成的端到端的异常扣件检测模型，主要包含主干网络、扣件定位网络和候选区域分类网络等3个模块，整体框架如图 7所示。面向铁路系统实时检测的应用需求，该模型采用轻量化的深度神经网络ShuffleNet-v2作为主干网络，在扣件定位阶段使用阈值剪枝策略减少误判。针对异常扣件与正常扣件数量不均衡问题，提出了有效的数据合成方法并设计了加权中心损失函数。实验结果表明，所提出的模型不仅能够将检测速度提高近2倍，且检测性能与主流的目标检测网络相比有较大提升。需要明确的是，尽管深度学习技术在轨道病害检测领域有着良好的性能表现，但仍面临缺乏大规模的公开训练数据、定制化的网络结构导致模型迁移困难等问题。



图 7 基于数据合成的端到端的异常扣件检测方法(Dong等，2019)
Fig. 7 Framework of end-to-end abnormal fastener detection based on data synthesis (Dong et al., 2019)

3 结语

本文聚焦于轨道病害视觉检测技术，对常见的轨道表观病害进行了样例展示、成因分析和影响评价，对比其他自动化轨道病害检测技术，总结了轨道病害视觉检测的优势及存在的关键挑战，按照前景模型、背景模型、盲源分离模型和深度学习模型的分类逻辑系统阐述了轨道病害视觉检测领域的现状，并分析了各类模型的技术特点与应用局限性。考虑到当前轨道病害视觉检测系统中存在的问题，结合铁路智能化的发展需求，本文认为，小样本/零样本学习、多任务学习、多源异构数据融合等方向值得未来深入研究。

1) 小样本/零样本学习。小样本学习的基本原理是将从海量辅助数据中学习的知识迁移到小样本数据上，辅助完成小样本目标的分类检测(Snell等，2017)。零样本学习的重点是利用辅助信息学习视觉特征与语义特征之间的映射关系(Romera-Paredes和Torr，2015)。在实际运营的高速铁路系统中，因为病害发生的概率较低，病害样本的数量和质量都无法得到保障。现有的轨道病害视觉检测方法的鲁棒性比较弱，大部分检测系统的虚警率比较高。病害样本的数量和质量是影响检测方法性能的关键，小样本/零样本学习是突破上述瓶颈的核心问题。

2) 多任务学习。在当前轨道病害视觉检测研究中，钢轨擦伤、扣件缺失和轨道板裂纹等检测任务都是独立运行的，导致标注数据不能共享，识别模型的训练和更新也较复杂。事实上，这些检测任务在特征形态和发生机理等方面存在一定的关联。比如，钢轨表面擦伤检测和轨道板裂纹检测都是在一致性强的背景中检测异常目标；钢轨病害和扣件缺损虽然发生的强因果关系还未验证，但经验数据表明二者共现的概率比较高。因此，使用多任务学习框架(Zhang和Yang，2017)，采用并行训练的方法学习多个任务，进而挖掘共享多个相关任务中的有效信息来提升算法的泛化能力，是解决轨道病害视觉检测问题可行的技术路线。

3) 多源异构数据融合。在当前轨道病害检测的研究中，视觉传感器、超声传感器和电磁感应器等手段都用于轨道巡检，但相应的系统却缺乏协作和交互，形成若干“感知孤岛”。与此同时，这些数据规模大、类型多样，现有检测系统大都是对单一模态的数据进行分析，综合利用率低，导致现有的检测技术在不同天气和线路条件下检测性能差异巨大，多源异构数据的融合是解决该问题的有效途径。

参考文献

  • Dai P, Wang S C and Gu Z C. 2019. Intelligent image analysis technology and application for rail track inspection//Zhou Y L, Wahab M A, Maia N M M, Liu L Y and Figueiredo E, eds. Data Mining in Structural Dynamic Analysis. Singapore: Springer: 85-99[DOI: 10.1007/978-981-15-0501-0_5]
  • Dong B Y, Li Q Y, Wang J Z, Huang W, Dai P and Wang S C. 2019. An end-to-end abnormal fastener detection method based on data synthesis//Proceedings of the 31st IEEE International Conference on Tools with Artificial Intelligence. Portland, USA: IEEE: 149-156[DOI: 10.1109/ICTAI.2019.00029]
  • Faghih-Roohi S, Hajizadeh S, Núñez A, Babuska R and De Schutter B. 2016. Deep convolutional neural networks for detection of rail surface defects//Proceedings of 2016 International Joint Conference on Neural Networks. Vancouver, Canada: IEEE: 2584-2589[DOI: 10.1109/ijcnn.2016.7727522]
  • Gan J R, Li Q Y, Wang J Z, Yu H M. 2017. A hierarchical extractor-based visual rail surface inspection system. IEEE Sensors Journal, 17(23): 7935-7944 [DOI:10.1109/JSEN.2017.2761858]
  • Gan J R. 2019. Visual Inspection Models and Algorithms for Rail Surface Defects. Beijing: Beijing Jiaotong University (甘津瑞. 2019.轨道表面缺陷的视觉检测模型与算法研究.北京: 北京交通大学)
  • Gan J R, Wang J Z, Yu H M, Li Q Y, Shi Z P. 2020. Online rail surface inspection utilizing spatial consistency and continuity. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 50(7): 2741-2751 [DOI:10.1109/TSMC.2018.2827937]
  • Gibert X, Patel V M, Chellappa R. 2017. Deep multitask learning for railway track inspection. IEEE Transactions on Intelligent Transportation Systems, 18(1): 153-164 [DOI:10.1109/TITS.2016.2568758]
  • He Z D, Wang Y N, Liu J, Yin F. 2016. Background differencing-based high-speed rail surface defect image segmentation. Chinese Journal of Scientific Instrument, 37(6): 640-649 (贺振东, 王耀南, 刘洁, 印峰. 2016. 基于背景差分的高铁钢轨表面缺陷图像分割. 仪器仪表学报, 37(6): 640-649) [DOI:10.19650/j.cnki.cjsi.2016.03.022]
  • He Z D, Wang Y N, Mao J X, Yin F. 2014. Research on inverse P-M diffusion-based rail surface defect detection. Acta Automatica Sinica, 40(8): 1667-1679 (贺振东, 王耀南, 毛建旭, 印峰. 2014. 基于反向P-M扩散的钢轨表面缺陷视觉检测. 自动化学报, 40(8): 1667-1679) [DOI:10.3724/SP.J.1004.2014.01667]
  • Jin X T, Wang Y N, Zhang H, Zhong H, Liu L, Wu Q M J, Yang Y M. 2020. DM-RIS: deep multimodel rail Inspection system with improved MRF-GMM and CNN. IEEE Transactions on Instrumentation and Measurement, 69(4): 1051-1065 [DOI:10.1109/TIM.2019.2909940]
  • Li B X, Dai X X, Wang K C P, Yang E H and Peng Y. 2016. Automated survey of railway conditions: a preliminary investigation//Proceedings of International Conference on Transportation and Development. Houston, USA: ASCE: 446-454[DOI: 10.1061/9780784479926.041]
  • Li Q Y, Liang Z P, Huang Y P, Shi Z Z. 2014. Sparseness representation model for defect detection and its application. Journal of Computer Research and Development, 51(9): 1929-1935 (李清勇, 梁正平, 黄雅平, 史忠植. 2014. 缺陷检测的稀疏表示模型及应用. 计算机研究与发展, 51(9): 1929-1935) [DOI:10.7544/issn1000-1239.2014.20140153]
  • Li Q Y, Ren S W. 2012a. A real-time visual inspection system for discrete surface defects of rail heads. IEEE Transactions on Instrumentation and Measurement, 61(8): 2189-2199 [DOI:10.1109/TIM.2012.2184959]
  • Li Q Y, Ren S W. 2012b. A visual detection system for rail surface defects. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 42(6): 1531-1542 [DOI:10.1109/TSMCC.2012.2198814]
  • Li Q Y, Zhong Z D, Liang Z P and Liang Y. 2015. Rail inspection meets big data: methods and trends//Proceedings of the 18th International Conference on Network-Based Information Systems. Taipei, China: IEEE: 302-308[DOI: 10.1109/NBiS.2015.47]
  • Liu J B, Huang Y P, Zou Q, Tian M, Wang S C, Zhao X X, Dai P, Ren S W. 2019a. Learning visual similarity for inspecting defective railway fasteners. IEEE Sensors Journal, 19(16): 6844-6857 [DOI:10.1109/JSEN.2019.2911015]
  • Liu J J, Li B L, Xiong Y, He B, Li L. 2015. Integrating the symmetry image and improved sparse representation for railway fastener classification and defect recognition. Mathematical Problems in Engineering, 2015: #462528 [DOI:10.1155/2015/462528]
  • Liu S, Wang Q D, Luo Y P. 2019b. A review of applications of visual inspection technology based on image processing in the railway industry. Transportation Safety and Environment, 1(3): 185-204 [DOI:10.1093/tse/tdz007]
  • Liu Z, Wang W, Wang P. 2010. Design of machine vision system for inspection of rail surface defects. Journal of Electronic Measurement and Instrument, 24(11): 1012-1017 (刘泽, 王嵬, 王平. 2010. 钢轨表面缺陷检测机器视觉系统的设计. 电子测量与仪器学, 24(11): 1012-1017) [DOI:10.3724/SP.J.1187.2010.01012]
  • Loveday P W, Long C S, Ramatlo D A. 2019. Ultrasonic guided wave monitoring of an operational rail track. Structural Health Monitoring, 19(16): #147592171989358 [DOI:10.1177/1475921719893887]
  • Min Y Z, Xiao B Y, Dang J W, Yue B, Cheng T D. 2018. Real time detection system for rail surface defects based on machine vision. Eurasip Journal on Image and Video Processing, 2018(1): #3 [DOI:10.1186/s13640-017-0241-y]
  • Papaelias M P, Roberts C, Davis C. 2008. A review on non-destructive evaluation of rails: state-of-the-art and future development. Proceedings of the Institution of Mechanical Engineers, Part F: Journal of Rail and rapid transit, 222(4): 367-384 [DOI:10.1243/09544097JRRT209]
  • Romera-Paredes B and Torr P. 2015. An embarrassingly simple approach to zero-shot learning//Proceedings of the 32nd International Conference on Machine Learning. Lille, France: ICML: 2152-2161
  • Snell J, Swersky K and Zemel R. 2017. Prototypical networks for few-shot learning//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach, USA: ACM: 4080-4090
  • Thomas H M, Heckel T, Hanspach G. 2007. Advantage of a combined ultrasonic and eddy current examination for railway inspection trains. Insight-Non-Destructive Testing and Condition Monitoring, 49(6): 341-344 [DOI:10.1784/insi.2007.49.6.341]
  • Wang J Z, Li Q Y, Gan J R, Yu H M, Yang X. 2020. Surface defect detection via entity sparsity pursuit with intrinsic priors. IEEE Transactions on Industrial Informatics, 16(1): 141-150 [DOI:10.1109/TII.2019.2917522]
  • Wang X M, Ni W B, Wang P. 2013. Overview and future development of rails nondestructive inspection. Nondestructive Testing, 35(2): 10-17 (王雪梅, 倪文波, 王平. 2013. 高速铁路轨道无损探伤技术的研究现状和发展趋势. 无损检测, 35(2): 10-17)
  • Yu H M, Li Q Y, Tan Y Q, Gan J R, Wang J Z, Geng Y A, Jia L. 2019. A coarse-to-fine model for rail surface defect detection. IEEE Transactions on Instrumentation and Measurement, 68(3): 656-666 [DOI:10.1109/TIM.2018.2853958]
  • Zhang L N, Cen Y G. 2019. Low-rank matrix decomposition for rail track image defect detection. Journal of Signal Processing, 35(4): 667-675 (张琳娜, 岑翼刚. 2019. 铁轨图像的低秩矩阵分解缺陷检测. 信号处理, 35(2): 667-675) [DOI:10.16798/j.issn.1003-0530.2019.04.018]
  • Zhang Y and Yang Q. 2017. A survey on multi-task learning[EB/OL].[2020-04-01]. https:arxiv.org/pdf/1707.08114.pdf
  • Zhang Y G, Ning G Q, Mao S H. 2011. Analysis and monitoring of railway flaking defects. Railway Quality Control, 39(10): 30-31 (张永革, 宁广庆, 毛胜辉. 2011. 钢轨鱼鳞伤分析及探测监控. 铁道技术监督, 39(10): 30-31) [DOI:10.3969/j.issn.1006-9178.2011.10.014]
  • Zhou J H, Ren A C, Ji Y, Zhang Y H, Liu F S. 2013. Analysis of the reasons for the spalling defects on U71Mn rail treads. China Railway Science, 34(2): 1-6 (周剑华, 任安超, 吉玉, 张银花, 刘丰收. 2013. U71Mn钢轨踏面剥离掉块缺陷分析. 中国铁道科学, 34(2): 1-6) [DOI:10.3969/j.issn.1001-4632.2013.02.01]