Print

发布时间: 2021-01-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200469
2021 | Volume 26 | Number 1




    综述    




  <<上一篇 




  下一篇>> 





面向智能驾驶测试的仿真场景构建技术综述
expand article info 任秉韬1, 邓伟文1,2,3, 白雪松1, 李江坤1, 纵瑞雪1, 朱冰3, 丁娟4
1. 北京航空航天大学交通科学与工程学院, 北京 100191;
2. 北京航空航天大学大数据科学与脑机智能高精尖创新中心, 北京 100191;
3. 吉林大学汽车仿真与控制国家重点实验室, 长春 130025;
4. 浙江天行健智能科技有限公司, 嘉兴 314000

摘要

随着汽车智能化程度的不断提高,智能汽车通过环境传感器与周边行驶环境的信息交互与互联更为密切,需应对的行驶环境状况也越来越复杂,包括行驶道路、周边交通和气象条件等诸多因素,具有较强的不确定性、难以重复、不可预测和不可穷尽。限于研发周期和成本、工况复杂多样性,特别是安全因素的考虑,传统的开放道路测试试验或基于封闭试验场的测试难以满足智能驾驶系统可靠性与鲁棒性的测试要求。因此,借助数字虚拟技术的仿真测试成为智能驾驶测试验证一种新的手段,仿真场景的构建作为模拟仿真的重要组成部分,是实现智能驾驶测试中大样本、极限边界小概率样本测试验证的关键技术,这对提升智能驾驶系统的压力和加速测评水平显得尤为重要。面向智能驾驶测试的仿真场景构建技术已成为当前汽车智能化新的研究课题和世界性的研究热点,作为一种新兴技术仍面临许多挑战。本文提出了面向智能驾驶测试的仿真场景构建方法,系统阐述了国内外研究工作的进展与现状,包括场景自动构建方法和交通仿真建模方法,重点分析一些值得深入研究的问题并围绕场景构建技术的发展趋势进行了讨论分析,最后介绍了团队相关研究在2020中国智能驾驶挑战赛仿真赛和世界智能驾驶挑战赛的仿真场景应用情况。

关键词

汽车智能驾驶; 模拟仿真; 仿真测试; 场景构建; 交通建模; 智能驾驶挑战赛

Technologies of virtual scenario construction for intelligent driving testing
expand article info Ren Bingtao1, Deng Weiwen1,2,3, Bai Xuesong1, Li Jiangkun1, Zong Ruixue1, Zhu Bing3, Ding Juan4
1. School of Transportation Science & Engineering, Beihang University, Beijing 100191, China;
2. Beijing Advanced Innovation Center for Big Data and Brain Computing, Beihang University, Beijing 100191, China;
3. State Key Laboratory of Automotive Simulation and Control, Jilin University, Changchun 130025, China;
4. PanoSim Technology Company, Limited, Jiaxing 314000, China
Supported by: National Key Research and Development Program of China (2018YFB0105103); National Natural Science Foundation of China (U1864201); Beijing Municipal Natural Science Foundation (3204046)

Abstract

With the continuous improvement of vehicle intelligence, the interaction of vehicles with the surrounding environment through perception is increasing. The environment that needs to be dealt with, including many factors such as roads, surrounding traffic and weather conditions, is becoming increasing complex. Limited by the development cycle and cost, especially safety factors and the consideration of complex and diverse working conditions, traditional open road or closed field tests are difficult to meet the requirements of intelligent driving testing. Therefore, simulation test based on digital virtual technology has become a new important means for intelligent driving testing and verification. The simulation test mainly adopts a combination of accurate physical modeling, efficient numerical simulation, and high-fidelity image rendering to realistically construct human-vehicle environment models, including vehicles, roads, weather and lighting, and traffic, and various types of vehicles. The construction of virtual scenarios is a key technology simulation and is particularly important for improving the pressure and acceleration of intelligent driving testing. The virtual scenarios can meet the needs of a large number of diverse test samples to reflect the complex and changeable application environment of intelligent driving. They can also provide a large number of labeled datasets for machine learning that can contain rich data with boundary feature scenario content and lay a solid data foundation for deep learning perception and reinforcement learning planning algorithms. Therefore, the simulation scenario construction technology for intelligent driving test has been investigated worldwide in the current automotive intelligence. As an emerging technology, it still faces many challenges, and its methods need to be studied in depth. This paper systematically expounds the progress and current situation of domestic and foreign studies in simulation scenario construction technology, including automatic scenario construction methods and traffic simulation modeling methods, and focuses on some issues worthy of in-depth study. In the research of scenario construction methods, the key elements and characteristics of the limited scenarios can reflect the infinite richness and complex driving environment. A deep understanding of the network structure and mutual coupling of the scenario is essential for the research of virtual scenario construction. Establishing a description method of the scenario limit and boundary characteristics to form the scenario automated generation method can maximize the potential of accelerated testing of intelligent driving. Researchers have promoted the rapid development of scenario generation technology from different perspectives. However, they often use parameter traversal search ideas to determine the system state space. The development and testing is time consuming and labor intensive due to the unlimited expansion of scenario search. The construction of a scenario with dangerous characteristics requires in-depth exploration of the safety boundary of the ego vehicle driving. Thus, the constructed corner scenario can provide effective information corresponding to real driving for realizing the enhanced generation of the corner characteristics of the scenario. This condition responds to the accelerated testing of intelligent driving systems above level four. In terms of traffic modeling methods, a deep understanding of the driving behavior and interaction characteristics of vehicles is the basis and primary task. Determining the influence law of vehicle driving motion in data information and establishing the traffic model with random dangerous characteristics are the key to realize intelligent driving testing. The current data-driven traffic simulation modeling research mainly describes the microscopic behavior of traffic, but the accurate and true description of driving behavior characteristics is insufficient. The model input is the mutual movement relationship between the vehicle and the surrounding vehicles, and the model output is the speed or trajectory of the vehicle's movement. However, the diversity of results mainly depends on the amount of input data. If the amount of input data is small, the simulation results are monotonous, relying excessively on input data, and lack versatility. Simulating the motion and interaction behavior of different types of agents in a heterogeneous environment is difficult, especially at traffic intersections. At present, replacing the role of physical mechanism models in generality is difficult. This paper introduces the application of PanoSim simulation platform developed by our team and the related research in 2020 China Intelligent Driving Challenge and World Intelligent Driving Challenge. The intelligent driving challenge is based on a variety of scenarios and traffic environments built by the PanoSim simulation environment. This condition allows participating teams to access the simulation scenario database for obtaining vehicle-mounted sensor information in the simulation environment, such as camera video streams, millimeter wave radar data, lidar point cloud data, and true value information. The simulation scenarios of the intelligent driving challenge are mainly divided into two categories: decision-control and perception-decision-control groups. With the continuous development of computer software and hardware, real-time graphics and image processing, virtual reality, especially parallel processing and image rendering and other simulation technologies, and the environment simulation, and sensor modeling technology, the simulation technology for vehicle testing will become the key factor of vehicle intelligent driving technology, product development, and core competency of technology and products.

Key words

vehicle intelligent driving; virtual simulation; simulation test; scenario construction; traffic modeling; intelligent driving challenge

0 引言

随着汽车智能化和共享化程度的不断提高,智能驾驶汽车通过环境感知与周边行驶环境的交互也在不断增多,行驶环境已成为智能驾驶不可分割的重要组成部分。汽车的行驶环境涉及道路、气象条件和交通状况,其复杂性和动态变化是影响汽车智能驾驶系统性能最为关键的因素。因此,建立一种模拟和重现复杂开放行驶环境的仿真测试方法和系统,实现对汽车智能驾驶有效的测试验证,是汽车智能驾驶技术与产品开发的关键技术,对于提升汽车智能化水平尤为重要。

汽车行驶环境包括行驶道路、周边交通和气象条件等诸多因素,其高逼真的重现和构建面临诸多挑战。随着智能驾驶功能的不断增强,汽车需应对的行驶环境越来越复杂,环境高度的不确定性、难以重复、不可预测和不可穷尽等特征使得有限的场地和道路测试远远无法复制、重现或穷举行驶环境对智能驾驶系统的影响。一方面,限于研发周期和成本,现有的封闭场地测试和开放道路测试不仅周期长、成本高,无法满足对系统数十亿公里行程的大样本和可靠性测试要求。另一方面,与汽车行驶安全测试密切相关的极限危险工况属于小样本、小概率事件,开放的道路测试往往难以复制,测试安全也无法保障。此外,中国地域辽阔、人口众多,驾驶行为特征和交通状况与欧美等国相比也有其鲜明的地域性特点和差异性。综上分析,传统的开放道路测试试验以及基于封闭试验场的测试难以满足智能驾驶系统的可靠性和鲁棒性的测试要求。因此基于数字虚拟仿真技术的模拟仿真测试成为目前智能驾驶测试验证新的重要手段,是汽车智能驾驶技术与产品研发的前端关键技术,体现和决定了智能化技术与产品核心竞争力。

模拟仿真测试主要采用精确物理建模、高效数值仿真、高逼真图像渲染等相结合的方法,逼真地构建包括车辆、道路、天气和光照、交通等在内的人车环境模型,以及各类车载传感器模型。针对汽车行驶环境无限丰富的特征以及对车载环境传感器的复杂影响,综合运用几何映射、物理映射、像素映射和概率映射等多种映射方式构建具有不同属性、满足不同应用需求的高逼真度数字化场景及场景库。

仿真场景构建技术是智能驾驶汽车虚拟仿真测试的关键与核心。

一方面,像机、毫米波雷达、激光雷达等传感器广泛应用于智能驾驶系统中,能够采集车辆外在行驶环境的多样性数据,这使得基于数据驱动的机器学习方法为智能驾驶感知算法中目标识别以及决策控制中的轨迹规划均提供了极好的解决途径。机器学习方法需要大量带标注且内容丰富的数据集用以模型训练。卷积神经网络越复杂,参数越多,网络才越可能有更高的拟合能力,同时也需要更多的数据用于模型训练。虽然通过实车道路采集的场景数据真实性高,但是场景样本类型往往比较单调,并且人工标注繁琐且容易出错。因此,通过高逼真的道路场地构建、交通建模等技术手段建立的模拟仿真场景已经逐渐被国际上广泛认同和接受。它能够为机器学习提供大量带标注的数据集,可包含丰富的、具有边界特征场景内容的数据,这为深度学习的感知、强化学习的规划算法奠定了坚实的数据基础。

另一方面,智能驾驶测试需要大量多样性的测试样本来反映复杂多变的智能驾驶汽车应用环境。然而从真实道路上和试验场地得到的路采数据往往场景内容单调、不易泛化。如交通安全事故一些边缘或极端行驶工况,属小概率事件。对小概率事件的测试需要巨大的数据样本,并且事故样本的获取具有危险性且难以复制,需要很长的测试周期。构建高逼真度的仿真场景数据集,不仅需要满足ASIL(automotive safety integrity level)和ISO26262等在内的各种测试标准、规范以及测试需求,重构高速、城区和乡村等各类丰富的驾驶场景测试用例。同时它需要满足内容、类型和属性的多样性需求,利用道路、交通和天气光照各要素模型自动生成大规模数据集,体现场景的典型性、极限边界性特征,实现智能驾驶汽车全天候、全工况的自动化测试、验证和评价。

因此,面向智能驾驶测试的仿真场景构建技术已成为当前汽车智能化新的研究课题和世界性的研究热点,作为一种新兴技术仍面临许多挑战,其方法有待深入研究。本文在国内外仿真场景构建技术研究工作的基础上,综述了包括场景自动构建方法、交通仿真建模方法的自动驾驶软件测试技术,重点分析一些值得深入研究的问题,为进一步研究提供参考。

1 场景构建方法

1.1 场景内涵与架构

场景作为行驶环境与汽车驾驶情景的一种综合体现,描述了车辆外部行驶环境的道路场地、周边交通、气象(天气和光照)和车辆自身的驾驶任务和状态等信息,是影响和判定智能驾驶功能与性能因素集合的一种抽象与映射,具有高度的不确定、不可重复、不可预测和不可穷尽等特征。在场景中作为动态要素的交通流运动特性对主车运动和操作的干扰更为直接,是场景的关键部分之一。Menzel等人(2018)根据ISO26262标准定义中对场景的需求,对场景定义做了延伸,从应用的角度将场景定义为功能场景、逻辑场景和具体场景。场景对于汽车智能驾驶的影响不仅集中在中间介质的传感感知部分,也体现在智能端的决策控制中,此外影响往往不是单一要素的作用,而是相互依存、相互影响的多个要素通过适当机制耦合、系统作用的结果。以雨天为例,不仅妨碍了车载环境传感的信息获取,也降低了路面附着系数,提升了轨迹规划和底盘稳定控制的难度。

国内外研究学者针对智能驾驶测试场景开展了不同程度的理论方法方面的研究。德国PEGASUS项目(project for the establishment of generally accepted quality criteria, tools and methods as well as scenarios and situations for the release of highly-automated driving functions)是目前广受关注的测试场景研发项目,研究定义了场景(scenario)“功能—逻辑—具体”(functional-logical-concrete)三级分层体系,以及面向概念—开发—测试—标定的场景库构建流程及智能驾驶测试方法(Ulbrich等,2015Menzel等,2018),通过开发OpenScenario接口试图建立可用于模拟仿真、试验场和真实环境中测试和试验高级智能驾驶系统的标准化流程。Hallerbach等人(2018)从参数赋值的角度提出了基于仿真的关键场景识别方法,建立了评价车辆安全和交通质量的性能指标。Zhao等人(2018)围绕加速测试框架(accelerated evaluation),提出了采用扭曲车辆运行数据的统计分布的智能驾驶汽车加速测试评估方法,用以提升跟驰和超车情景中智能驾驶车辆安全性能的测评效率。Langner等人(2018)提出了利用自动编码器自动识别数据池内独特性高场景的方法,用于构建衍生关键场景。Yan等人(2018)采用基于行驶距离侵入—碰撞时间的危险判断方法,从采集车视频数据中将危险区域划分为多个场景片段,从而生成一系列测试案例。此外北京航空航天大学、吉林大学(朱冰等,2019)、同济大学、天津中汽研数据中心、国汽(北京)智联研究院和中汽院智能网联等高校研究机构也进行了相关课题的探索,极大地推动了场景理论和构建方法的发展。

综上分析,在场景理论与方法研究方面,分析影响智能驾驶系统的场景特征,抽象并深刻凝练能够反映无限丰富与复杂行驶环境的有限场景的关键要素与特征,深入理解场景的网络结构与相互耦合关系,都可以为深层次的场景构建方法研究奠定坚实的理论基础。

1.2 场景自动生成方法

描述场景边界与极限特征,研究场景构建与自动生成方法是提升智能汽车加速测试能力的关键。

采用随机组合场景要素的方法可形成大规模的场景工况案例,但普遍为常规的自然驾驶工况,真正能够检测车辆的行驶安全能力的危险场景比较有限,难以具有边界与极限角度检验智能驾驶处理环境突发状态的应急和安全能力。目前场景构建研究工作主要集中于利用真实世界的采集数据,借助统计模型分析重现或衍生出危险场景案例(Langner等,2018Ulbrich等,2015Menzel等,2018Yan等,2018)。然而车辆在行驶过程中遇到危险场景的概率往往很小,大多数难以直接从自然驾驶采集中得到,这使得利用统计模型衍生难以足够接触到汽车智能驾驶的安全边界,需要分析明确描述并找到危险边界和极限,而这恰恰是当前危险场景所面临的难题。

围绕场景的大规模构建,国内外研究学者开展了多方面的探索研究。Tatar(2016)利用搜索技术在TestWeaver软件中自动搜索场景参数空间以确定系统安全边界案例。Waymo将实车运行中遇到的特殊场景在虚拟软件Carcraft中建立相应场景模型来重复测试(Kehrer等,2018),并采用模糊化方法在虚拟世界中衍生上千个该场景的变体。Xia等人(2017)提出了一种基于复杂度指数和组合测试的高级驾驶辅助系统(advanced driving assistance system,ADAS)的场景自动生成方法,以权衡场景覆盖性和测试效率性。随着人工智能技术的快速发展,强化学习方法也逐步应用在场景生成研究中,如与博弈论相结合生成竞争性的测试场景(Oyler等,2016)、寻找风险系数高的故障场景(Koren等,2018Corso等,2019吴斌等,2018)都是较为典型的应用。Tang等人(2020)提出了一种基于轨迹优化的车辆侧翻证伪场景生成方法,能够产生车辆在各种运行条件下的最坏轨迹。Stark等人(2019)分析了德国深度事故研究(German in depth accident study,GIDAS)中白点场景特征,确定了新的ADAS避免碰撞场景类别。Zhao等人(2016)利用自然数据建立了一种关键场景加速生成方法,使被测车辆尽可能高概率地暴露在关键场景中。Althoff和Lutz(2018), Klischat和Althoff (2019)提出一种自动改变交通参与者的空间位置关系的方法,以不断减小主车的行驶空间来产生关键场景。Klueck等人(2018)利用本体论理论为智能驾驶功能生成不同的测试场景,以测试验证系统中的故障。Klischat和Althoff(2019)采用非线性优化方法来缩小场景的可行驶空间,减小主车运动规划的解空间, 不断探索场景临界性。此外,Brockman等人(2016)提出的一种新的模拟环境构建方法(OpenAI GYM),通过提供数量众多且易于设置的环境Python库,以及公共接口来实现不同环境的集合,为强化学习的算法训练提供了大量的测试环境(李晨溪等,2018),可提高AI(artificial intelligence)算法模型的可重复性。

这些研究从不同角度推动了场景生成技术的快速发展,但往往采用参数遍历搜索思路来确定系统状态空间,对于明确的场景空间构建方法仍存在很多不足。同时由于场景搜索无限扩展导致研发测试过程费时耗力。此外具有危险特征的场景构建不同于传统工况参数遍历生成方法,需深入探究主车行驶的安全边界,使得构建后的场景能够提供对应真实驾驶的有效信息,以实现场景危险特征的强化生成,不仅能覆盖简单ADAS的功能,也能应对Level4级以上智能驾驶系统加速测试。

综上分析,如何建立场景极限与边界特征的描述方法,是设计和实现场景构建与自动生成的关键。场景的自动生成方法仍需进一步研究,极大发挥智能驾驶的加速测试潜能,更好地为汽车智能驾驶的开发提供测试验证服务,提升车辆主动安全性能。

2 交通仿真建模

交通仿真建模技术是智能驾驶仿真场景构建的重要组成部分。通过对可影响智能驾驶系统的具有自主反应性的周边运动要素,包括周边行人与交通车等诸多动态目标的信息融合、模拟和预测,构建一个具有复杂性、危险性和随机性等的动态交通环境。交通仿真建模最早出现在交通工程领域,将车辆看做移动的刚体,采用运动学机理模型描述车辆跟驰和换道行为规律,实现大规模的交通系统模拟,用于宏观交通的管控、交通拥堵分析及疏导等研究。然而在真实交通环境中的行人或驾驶员操作的交通车辆运动行为具有很强的差异性和不确定性,导致交通环境动态变化往往呈现出复杂、随机、危险和难以预测等特征。现有的交通建模理论和方法在智能驾驶测试中遇到一些难题:

1) 智能驾驶汽车的感知大部分依靠视距传感器,感知范围在车辆周围的有限区域内,远处的交通状况难以对车辆产生直接的影响(如图 1);

图 1 不同视角下的交通流
Fig. 1 Traffic flow from different views ((a) traffic from the god view; (b) traffic from driver's view)

2) 交通仿真环境中的交通车运动模拟,除简单的跟驰和换道行为外,还需具有车车信息协调交互行为,以及含更加复杂的无信号灯转弯、大交通密度下的强制换道等行为。

在智能驾驶的模拟仿真技术中,交通建模是从微观层面上建立对交通参与物个体运动规律描述方程。交通参与物大致可以分为3类:机动车、非机动车和行人。不同的交通参与物不仅在外形和运动规律上存在差异(如表 1),交互特征也存在差异,在建模时需分别考虑。通常交通仿真建模围绕机动车,也称为交通车运动建模。

表 1 交通参与物
Table 1 Traffic participant

下载CSV
交通参与物 运动规律
机动车 受限于道路和交通法规,运动行为规律
非机动车 运动受车道限制弱,运动灵活,非理性行为较多
行人 交通弱势者,体积较小,运动不受车道限制,行为灵活

本文分析两种典型交通微观建模方法,即机理建模方法和数据驱动建模方法。

2.1 基于物理机理的交通建模方法

机理建模主要依靠研究人员对交通系统内部变化规律的理解和经验,获得一个能描述规律且大范围适用的运动模型,易于分析且保证大规模的仿真效率。机理建模方法将交通运动行为过程划分为跟驰行为、换道行为、发车行为及换道跟踪等运动行为规律,其中跟驰和换道是模型的关键。

交通车跟驰行为是最基本的微观驾驶行为,描述了在限制超车的单行道上行驶车队中相邻两车之间的相互作用。跟驰模型是指运用动力学的方法来研究由前导车运动状态变化所引起跟驰车的相应行为。基于机理建模方法得到的微观交通模型的一般形式为

$ \begin{array}{l} a\left({t|\theta } \right) = f(\Delta {x_{i - 1, i}}\left({t - T} \right), \\ \;{v_i}\left({t - T} \right), \Delta {v_i}\left({t - T} \right)|\theta) \end{array} $ (1)

式中,模型描述了交通中第$ i$辆车的加速度$ a$与自身速度$ {v_i}$、与前车的相对速度$\Delta {v_i}$和相对距离$\Delta {x_{i - 1,i}}$之间的关系。$ \theta $为固定参数,在使用过程中,通常使用真实交通轨迹数据对模型进行参数校正,以确保模型更准确、更真实。

智能驾驶员模型(intelligent driver model,IDM)(Treiber等,2000)描述了一种典型跟驰行为。该模型考虑了车辆驾驶过程中的期望速度、跟车间距以及因驾驶员习性或车辆加/减速性能差异而导致的加/减速过程的不对称行为。其模型具体形式为

$ {a_n}\left(t \right) = a_{{\rm{mx}}}^{\left(n \right)}\left[ {1 - {{\left({\frac{{{V_n}\left(t \right)}}{{{{V'}_n}\left(t \right)}}} \right)}^\beta } - {{\left({\frac{{{{S'}_n}\left(t \right)}}{{{S_n}\left(t \right)}}} \right)}^2}} \right] $ (2)

式中,$ a_{{\rm{mx}}}^{\left(n \right)}$$ n$车最大加速/减速度;$ {V'_n}\left(t \right)$为期望速度;$ {S_n}$为车间距,即前车尾部和主车车头之间的距离;$ {S'_n}$为期望车间距,取决于速度${V_n} $、速度差ΔVn、加速度最大值$ a_{{\rm{mx}}}^{\left(n \right)}$、舒适减速度$a_{{\rm{co}}}^{\left(n \right)} $和静止状态下最小车间距($S_{ja}^{\left(n \right)}, S_{\rm{1}}^{\left(n \right)} $),以及期望车头时距$ {{\tilde T}_n}, {{\tilde S}_n}$可表示为

$ \begin{array}{l} {{\tilde S}_n}\left(t \right){\rm{ }} = {\rm{ }}S_{ja}^{\left(n \right)} + {\rm{ }}S_{\rm{1}}^{\left(n \right)}\sqrt {\frac{{{V_n}\left(t \right)}}{{{{\tilde V}_n}\left(t \right)}}} + {\rm{ }}\\ \;\;\;{V_n}\left(t \right){{\tilde T}_n}\left(t \right) - \frac{{{V_n}\left(t \right)\Delta {V_n}\left(t \right)}}{{2\sqrt {a_{{\rm{mx}}}^{\left(n \right)}a_{{\rm{co}}}^{\left(n \right)}} }} \end{array} $ (3)

研究人员对交通车跟驰行为建模方法进行了深入探索和研究。Yu等人(2013)将前车加速度结合到跟驰模型中,提出了全速差和加速模型,描述了交通跟驰行为与交通流拥堵演变过程,可抑制交通拥堵,增加交通容量。Punzo等人(2015)针对跟驰模型中待估参数较多的问题,提出了一种基于方差的敏感性分析方法以减少IDM模型待估参数,而不会影响模拟的效果。虽然该模型考虑了交通车跟驰行为不确定性等特征,但模拟依旧描述的是理想情形下的跟驰状态,无法反映实际驾驶过程中非理性驾驶行为,对车车间交互行为的描述也远远不够。

交通车换道行为是微观交通机理建模的另一个重要组成部分,描述了换道车辆根据本车当前行驶状态,结合附近车辆速度、位置和车道等信息,判断选择是否进行换道行为的过程以及换道轨迹,涉及驾驶人员的主观意愿、驾驶技能和道路环境等多因素影响。换道制动减速模型(minimizing overall braking decelerations induced by lane changes,MOBIL)(Kesting等,2007Treiber等,2000)是一种典型基于激励的换道模型,运用博弈论思想制定换道决策。该模型通过预估换道对于局部交通环境和自车的收益,用礼让因子和对原行驶车道的偏好来决定是否换道行为,并且满足安全准则和奖励准则

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{{a'}_{\rm{n}}} \ge - {b_{\rm{s}}}\\ {{a'}_{\rm{c}}} - {a_{\rm{c}}} + p(({{a'}_{\rm{n}}} - {a_{\rm{n}}}) + ({{a'}_{\rm{o}}} - {a_{\rm{o}}})) > \Delta {a_{{\rm{th}}}} \end{array} $ (4)

式中,下角标${\rm{c}} $$ {\rm{o}}$${\rm{n}} $分别表示本车、原跟踪车辆、新跟踪车辆,礼让因子$ p$表示利他主义的程度。$p $取值范围从$p $ = 0(恶化交通行为)变化到$p $> 1(纯粹的利他行为),并且通过设置$p $ < 0,可以模拟恶意换道行为。${b_{\rm{s}}} $应远低于最大制动减速度(干燥路面上约为8 m/s2),换道阈值$\Delta {a_{{\rm{th}}}} $模拟换道行为具有一定的惯性。换道模型的研究方兴未艾,Butakov和Ioannou(2015)在驾驶安全角度的自身与周围车辆最小纵向间距基础上,建立了两层模型来描述换道行为,实现个性化的换道行为描述。相关从换道行为不同角度的研究还在不断细化和推进。

典型的交通仿真软件系统如美国CORSIM、NETSIM、OREAU,德国VISSIM和SUMO,以及英国PARAMICS,往往是基于理想化的交通机理模型。这些建模方法如跟驰—换道模型、元胞自动机的交通流模型,主要面向交通信息控制与规划,实现交通流具体到道路上每一辆车的运行路线的单独规划,而对于模拟智能驾驶测试车辆与周边交通车之间的交互与运动规律还过于理想,同时交通车不同驾驶行为特征对于智能驾驶系统的影响也难以满足当前汽车智能驾驶测试需求。在汽车数字模拟仿真测试环境中,交通仿真模型是一个对无限丰富驾驶环境高质量且有效的映射,以高效、高逼真且全面地反映行驶环境对具备驾驶任务的智能驾驶功能和性能的深刻影响,其构建的危险性、复杂性场景工况直接影响乃至于决定了被测智能驾驶车辆的驾驶安全性能。

2.2 基于数据驱动的交通建模方法

基于车辆运动学原理机理建模方法可以描述交通车的跟随—换道确定性行为的运动规律,但需要众多模型参数且花费大量调试工作才能获得与实际系统行为相匹配的结构,同时由于每个智能体中都有相似的运动模式,忽略了车辆运动随机性和多样性等诸多要素和细节,导致产生的交通车轨迹外在表现一致,与真实交通差距较大。

相比之下,真实数据包含了大量行为特征信息。交通轨迹数据能够反映出更多有关驾驶行为特征信息。驾驶行为具有不对称性(加/减速、换道)、记忆性(车辆的加/减速受一定历史时间范围内的车速、速度差和距离的影响)、异质性(不同驾驶员的驾驶行为存在差异)和阶段性(换道过程可分为换道决策阶段和换道执行阶段)等特点。因此有些研究者在驾驶行为机理研究的基础上借助于数据从中挖掘学习交通智能体间的随机交互运动、危险驾驶的规律,采用数据驱动方法研究面向汽车智能驾驶模拟仿真测试的交通仿真建模方法,以探寻能够反映行为数据特性的交通建模方法。如图 2所示反映了交通流中第i辆车当前速度与一段历史时间内的自身速度、相对速度、相对距离之间的对应关系。

图 2 神经网络结构
Fig. 2 Neural network structure

随着智能驾驶车辆(百度、腾讯和滴滴等)上路测试的逐步增多,先进的车载传感(激光雷达、摄像头、定位惯导设备等)和固定路测设备(如摄像头、微波雷达等)采集了大量交通车辆和行人的特征及运动状态信息。这些数据反映多样性的交通车驾驶行为信息,可为交通运动规律的学习训练研究提供良好的数据基础。

国内外学者在数据驱动的交通建模方面不断探索。Wei和Liu(2013)提出了一种自学习支持向量回归(support vector regression,SVR)建模方法(如图 3),研究跟驰不对称特性及其对交通流演化的影响。Chao等人(2018)提出了一种礼仪真实交通流数据来填充虚拟道路网络的数据驱动建模方法,将交通流的时空信息看做2D纹理,把交通流生成视等同于纹理合成的过程,通过最小化交通纹理能量来优化选择合适纹理,从而合成交通流,并严格遵循交通规则。该方法能够根据输入样本的不同,重构出例如拥堵、交叉口、高速公路等具有不同特征的交通流。Ren等人(2019)提出了一种基于数据驱动的异质多智能体仿真算法,将智能体的决策过程视为以避撞、凝聚、方向控制和速度连续为目标的优化问题,优化能量函数以获得速度最优值,能够模拟重现出真实数据的场景。Xie等人(2019)提出了一种基于深度学习的交通车自主换道模型,将深度置信网络(deep belief network,DBN)和长短期记忆神经网络(long short-term memory,LSTM)结合,利用下一代仿真数据集(next generation simulation,NGSIM)实际换道数据分别训练构建换道决策和换道执行两个模块,集成模型以准确地预测车辆的换道过程并挖掘换道行为的基本特征。此外,当前应用于智能体系统的数据驱动模拟方法(Kim等,2016Sewall等,2011Jordao等,2014),从数据获取部分或全部运动轨迹,提取智能体运动特征,可生成比传统规则及基于物理方法更合理或更逼真的模拟结果。

图 3 交通模型结构(Wei和Liu, 2013)
Fig. 3 Traffic model structure(Wei and Liu, 2013)

当前基于数据驱动的交通仿真建模研究主要描述了交通微观行为以达到对真实交通的复现,包括交通拥堵、交通瓶颈和交通波动等现象。侧重于宏观层面或轨迹层面,而对驾驶行为特征的准确真实描述还不足。模型输入是车辆与周围关联车辆之间的相互运动关系,模型输出是车辆运动的速度或轨迹。然而数据驱动方法也存在一些问题,结果多样性主要取决于输入数据的数量,如果输入数据量很小,则模拟结果将是单调的,过于依赖输入数据,缺乏通用性;另一方面数据驱动方法适用于单一类型智能体(如规则车辆),难以模拟不同类型的智能体在异构环境中的运动和交互行为,尤其是交通路口模拟运动轨迹和汽车与人类之间的相互作用,故目前还难以替代物理机理模型在通用性方面的作用。

综述分析,面向智能驾驶模拟仿真测试的交通建模技术作为智能驾驶方面新的研究课题,其关键研究部分的理论和方法有待深入研究:

1) 深刻理解交通车辆驾驶行为和彼此交互特征,是面向智能驾驶仿真测试的交通建模基础和首要任务;

2) 如何挖掘数据信息中车辆驾驶运动的影响规律,建立随机—危险特征的交通模型,是实现面向智能驾驶仿真测试核心和关键。

3 智能驾驶挑战赛中仿真场景

由于汽车行驶环境尤其是交通路况极其复杂,具有高度的不确定、不可重复、不可预测和不可穷尽等特征,这使得有限的场地或道路测试工况难以完全复制和重现真实多样的行驶环境,并限于研发周期和成本,特别是安全因素的考虑,面向智能驾驶测试的仿真场景构建研究需依托于数字虚拟仿真平台来实现。本文研究团队自主开发了PanoSim智能驾驶模拟仿真软件,并将仿真场景构建与交通建模研究方法应用在第3届中国智能汽车大赛(China Intelligent Driving Challeng,CIDC)智能驾驶仿真赛与2020世界智能驾驶挑战赛(World Intelligent Driving Challeng,WIDC)中,首次以国产智能驾驶仿真软件作为大赛仿真平台使用。

智能驾驶挑战赛基于PanoSim仿真环境搭建了多种场景与交通环境,使得参赛队伍能够接入仿真场景数据库,获取仿真环境中的车载传感信息如摄像头视频流、毫米波雷达数据、激光雷达点云数据以及真值信息。智能驾驶挑战赛的仿真赛场景主要分为决策控制组和感知决策控制组两类。

3.1 面向决策控制测试的仿真场景

决策控制组包括安全避撞和自动泊车场景两类,其中安全避撞的车辆使用雷达传感器,能直接获取环境目标数据;自动泊车使用真值信息。在给定的仿真场景中,参赛队伍通过智能驾驶决策—控制策略,实现智能汽车在测试场景下的驾驶辅助功能。

安全避撞测试内容包括典型行人避撞和车辆避撞(直道、弯道)测试场景,如图 4(a)(b)所示。根据车辆的预期轨迹,构建可威胁到车辆行驶安全的边界场景,包括设计道路的形状及交通车/人运动轨迹,以此来考察系统识别危险目标和主动制动算法的能力。行人避撞测试场景分为行人在空旷场景横穿、从视觉盲区横穿两项测试内容。直道车辆避撞测试场景分为目标车切出场景、目标车切入场景。弯道车辆避撞测试场景分为目标车弯道制动场景、弯道多目标车场景。

图 4 面向决策控制的仿真场景
Fig. 4 Simulation scenarios for decision and control ((a) pedestrian avoidance; (b) collision avoidance on straight road and curve; (c) automated parking)

自动泊车的测试内容分为标准车位场景,包括水平标准车位和垂直标准车位,以及非标准车位场景,包括水平非标准车位和垂直非标准车位,如图 4(c)所示。测试车辆根据场景中车位坐标信息,按照自主规划线路行进和泊车,以检验系统的规划和控制性能。

决策控制的仿真测试可与Simulink环境联合仿真,赛队可根据传感器数据和真值数据,建立相应的决策控制算法mdl模块,并将控制命令连接到主车动力学模型上。开发过程中可使用Simulink内置模块,m语言或C语言开发的S Function来实现算法。

3.2 面向感知—决策—控制测试的仿真场景

感知决策控制组包括行人安全避撞和基于动态交通流的智能驾驶场景。行人安全避撞指定使用车载像机,需要参赛队伍使用感知算法识别目标;智能驾驶需在给定的虚拟道路交通场景中,通过智能驾驶感知—决策—控制策略操控车辆安全高效地通过测试路段,以检验其算法的认知、决策及规划能力,评估其智能驾驶系统性能。

行人安全避撞场景分为行人在空旷场景横穿和从视觉盲区横穿两项测试,如图 5(a)所示,该仿真场景可使用摄像头视觉传感器(输出为RGB格式图像数据),需利用感知算法获取目标数据。

图 5 面向感知决策控制测试的仿真场景
Fig. 5 Simulation scenarios for perception and decision control testing ((a) pedestrian safety avoidance; (b) dynamic traffic flow)

基于动态交通流的智能驾驶场景是针对一定交通车密度构建的高速公路场景,如图 5(b)所示,模拟逼真的交通行驶环境。交通车的驾驶风格可分为谨慎型、稳健型和激进型3种类型,设定各类型驾驶风格的比例来增加比赛难度。考察在跟驰、换道、紧急制动等场景中的车辆智能驾驶系统感知、决策和规划能力。

感知—决策—控制的测试同样与Simulink环境联合仿真,还提供了基于网络协议的算法接入方式,以支持不同的软硬件环境。赛队可根据脚本文件将传感器数据和主车动力学数据传输到根据参赛实际软硬件环境自行配置的网络地址,以接收主车控制命令。

最后,在建立的智能驾驶仿真平台的裁判系统实现赛题的自动成绩评定,如图 6所示。

图 6 智能驾驶仿真赛的成绩评定
Fig. 6 Performance evaluation of intelligent driving simulation competition

4 结语

汽车行驶环境的数字模拟与仿真测试是一种智能驾驶测试验证的新方法和重要手段,是汽车智能驾驶技术研究与产品研发。仿真场景构建方法是汽车智能驾驶模拟仿真测试的重要组成部分,其理论和方法有待深入研究。通过分析该领域国内外研究现状,提出了面向智能驾驶测试的仿真场景构建方法。在场景构建方法研究方面,抽象并深刻凝练能够反映无限丰富与复杂行驶环境的有限场景的关键要素与特征,深入理解场景的网络结构与相互耦合关系,对于场景理论与方法研究至关重要;建立场景极限与边界特征的描述方法形成场景自动生成方法能够极大发挥智能驾驶的加速测试潜能,更好地为汽车智能驾驶的开发提供测试验证服务。在交通建模方法方面,深刻理解交通车辆驾驶行为和彼此交互特征,是面向智能驾驶仿真测试的交通建模基础和首要任务;如何挖掘数据信息中车辆驾驶运动的影响规律,建立随机—危险特征的交通模型,是实现面向智能驾驶仿真测试核心和关键。最后介绍了团队相关研究在2020中国智能驾驶挑战赛仿真赛和世界智能驾驶挑战赛的仿真场景应用情况。随着计算机软硬件、实时图形图像处理、虚拟现实,特别是并行处理和图像渲染等模拟仿真技术的不断发展,以及对汽车行驶环境模拟和环境传感器建模技术的不断提高,基于模拟仿真的汽车智能驾驶仿真测试技术必将成为汽车智能驾驶技术与产品研发核心竞争力的决定性因素。

致谢 面向智能驾驶测试的仿真场景构建研究得到了PanoSim Technologies软件的技术支持,在此表示衷心感谢!

参考文献

  • Althoff M and Lutz S. 2018. Automatic generation of safety-critical test scenarios for collision avoidance of road vehicles//Proceedings of 2018 IEEE Intelligent Vehicles Symposium (Ⅳ). Changshu, China: IEEE: 1326-1333[DOI: 10.1109/IVS.2018.8500374]
  • Brockman G, Cheung V, Pettersson L, Schneider J, Schulman J, Tang J and Zaremba W. 2016. OpenAI gym[EB/OL].[2020-07-14]. https://arxiv.org/pdf/1606.01540.pdf
  • Butakov V A, Ioannou P. 2015. Personalized driver/vehicle lane change models for ADAS. IEEE Transactions on Vehicular Technology, 64(10): 4422-4431 [DOI:10.1109/TVT.2014.2369522]
  • Chao Q W, Deng Z G, Ren J P, Ye Q Q, Jin X G. 2018. Realistic data-driven traffic flow animation using texture synthesis. IEEE Transactions on Visualization and Computer Graphics, 24(2): 1167-1178 [DOI:10.1109/TVCG.2017.2648790]
  • Corso A, Du P, Driggs-Campbell K and Kochenderfer M J. 2019. Adaptive stress testing with reward augmentation for autonomous vehicle validation//Proceedings of 2019 IEEE Intelligent Transportation Systems Conference (ITSC). Auckland, New Zealand: IEEE: 163-168[DOI: 10.1109/ITSC.2019.8917242]
  • Hallerbach S, Xia Y, Eberle U, Koester F. 2018. Simulation-based identification of critical scenarios for cooperative and automated vehicles. SAE International Journal of Connected and Automated Vehicles, 1(2): 93-106 [DOI:10.4271/2018-01-1066]
  • Jordao K, Pettré J, Christie M, Cani M P. 2014. Crowd sculpting:a space-time sculpting method for populating virtual environments. Journal of Computer Graphics Forum, 33(2): 351-360 [DOI:10.1111/cgf.12316]
  • Kehrer M, Pitz J, Rothermel T and Reuss HC. 2018. Framework for interactive testing and development of highly automated driving functions//The 18th Internationales Stuttgarter Symposium. Wiesbaden, Germany: Springer Vieweg, 659-669[DOI: 10.1007/978-3-658-21194-3_51]
  • Kesting A, Treiber M, Helbing D. 2007. General lane-changing model MOBIL for car-following models. Journal of the Transportation, Research Board, 1999(1): 86-94 [DOI:10.3141/1999-10]
  • Kim S, Bera A, Bes A, Chabra R and Manocha D. 2016. Interactive and adaptive data-driven crowd simulation//Proceedings of 2016 IEEE Virtual Reality (VR). Greenville, USA: IEEE: 29-38[DOI: 10.1109/VR.2016.7504685]
  • Klischat M and Althoff M. 2019. Generating critical test scenarios for automated vehicles with evolutionary algorithms//2019 IEEE Intelligent Vehicles Symposium (Ⅳ). Paris, France: IEEE: 2352-2358[DOI: 10.1109/IVS.2019.8814230]
  • Klueck F, Li Y H, Nica M, Tao J B and Wotawa F. 2018. Using ontologies for test suites generation for automated and autonomous driving functions//2018 IEEE International Symposium on Software Reliability Engineering Workshops (ISSREW). Memphis, USA: IEEE: 118-123[DOI: 10.1109/ISSREW.2018.00-20]
  • Koren M, Alsaif S, Lee R and Kochenderfer M J. 2018. Adaptive stress testing for autonomous vehicles//2018 IEEE Intelligent Vehicles Symposium (Ⅳ). Changshu, China: IEEE: 1-7[DOI: 10.1109/IVS.2018.8500400]
  • Langner J, Bach J, Ries L, Otten S, Holzäpfel M and Sax E. 2018. Estimating the uniqueness of test scenarios derived from recorded real-world-driving-data using autoencoders//2018 IEEE Intelligent Vehicles Symposium (Ⅳ). Changshu, China: IEEE: 1860-1866[DOI: 10.1109/IVS.2018.8500464]
  • Li C X, Cao L, Chen X L, Zhang Y L, Xu Z X, Peng H, Duan L W. 2018. Cloud reasoning model-based exploration for deep reinforcement learning. Journal of Electronics and Information Technology, 40(1): 244-248 (李晨溪, 曹雷, 陈希亮, 张永亮, 徐志雄, 彭辉, 段理文. 2018. 基于云推理模型的深度强化学习探索策略研究. 电子与信息学报, 40(1): 244-248)
  • Menzel T, Bagschik G and Maurer M. 2018. Scenarios for development, test and validation of automated vehicles//2018 IEEE Intelligent Vehicles Symposium (Ⅳ). Changshu, China: IEEE: 1821-1827[DOI: 10.1109/IVS.2018.8500406]
  • Oyler D W, Yildiz Y, Girard A R, Li N I and Kolmanovsky I V. 2016. A game theoretical model of traffic with multiple interacting drivers for use in autonomous vehicle development//Proceedings of 2016 American Control Conference (ACC). Boston, USA: IEEE: 1705-1710[DOI: 10.1109/ACC.2016.7525162]
  • Punzo V, Montanino M, Ciuffo B. 2015. Do we really need to calibrate all the parameters? Variance-based sensitivity analysis to simplify microscopic traffic flow models. IEEE Transactions on Intelligent Transportation Systems, 16(1): 184-193 [DOI:10.1109/TITS.2014.2331453]
  • Ren J P, Xiang W, Xiao Y X, Yang R G, Manocha D, Jin X G. 2019. Heter-Sim:heterogeneous multi-agent systems simulation by interactive data-driven optimization. IEEE Transactions on Visualization and Computer Graphics(Early Access), 25(8): 1-15 [DOI:10.1109/TVCG.2019.2946769]
  • Sewall J, Wilkie D and Lin M C. 2011. Interactive hybrid simulation of large-scale traffic//Proceedings of 2011 SIGGRAPH Asia Conference. New York, USA: ACM: #135[DOI: 10.1145/2024156.2024169]
  • Stark L, Obst S, Schoenawa S and Düring M. 2019. Towards vision zero: addressing white spots by accident data based ADAS design and evaluation//Proceedings of 2019 IEEE International Conference on Vehicular Electronics and Safety (ICVES). Cairo, Egypt: IEEE: 1-6[DOI: 10.1109/ICVES.2019.8906409]
  • Tang S, Li N, Kolmanovsky I, Girard A. 2020. Trajectory optimization for falsification:a case study of vehicle rollover test generation based on black-box models//IFAC World Congress. Berlin, Germany:IFAC, 2020: 1-6
  • Tatar M. 2016. Test and validation of advanced driver assistance systems automated search for critical scenarios. ATZelektronik Worldwide, 11: 54-57 [DOI:10.1007/s38314-015-0574-1]
  • Treiber M, Hennecke A, Helbing D. 2000. Congested traffic states in empirical observations and microscopic simulations. Physical Review E, 62(2): 1805-1824 [DOI:10.1103/PhysRevE.62.1805]
  • Ulbrich S, Menzel T, Reschka A, Schuldt F and Maurer M. 2015. Defining and substantiating the terms scene, situation, and scenario for automated driving//Proceedings of the 18th IEEE International Conference on Intelligent Transportation Systems. Las Palmas, Spain: IEEE: 982-988[DOI: 10.1109/ITSC.2015.164]
  • Wei D L, Liu H C. 2013. Analysis of asymmetric driving behavior using a self-learning approach. Transportation Research Part B:Methodological, 47: 1-14 [DOI:10.1016/j.trb.2012.09.003]
  • Wu B, Zhu X C, Shen J P, Sun X Y. 2018. Analysis of causation of rear-end incidents based on naturalistic driving study. Journal of Tongji University (Natural Science), 46(9): 1253-1260 (吴斌, 朱西产, 沈剑平, 孙晓宇. 2018. 基于自然驾驶研究的直行追尾危险场景诱导因素分析. 同济大学学报(自然科学版), 46(9): 1253-1260)
  • Xia Q, Duan J, Gao F, Chen T and Yang C. 2017. Automatic generation method of test scenario for ADAS based on complexity[EB/OL].[2020-07-14]. https://saemobilus.sae.org/content/2017-01-1992/
  • Xie D F, Fang Z Z, Jia B, He Z B. 2019. A data-driven lane-changing model based on deep learning. Transportation Research Part C:Emerging Technologies, 106: 41-60 [DOI:10.1016/j.trc.2019.07.002]
  • Yan Y L, Zhu X C, Liao M Z and Ma Z X. 2018. Danger degree evaluation method of crossroad scenario based on naturalistic driving analysis//Proceedings of the 21st International Conference on Intelligent Transportation Systems (ITSC). Maui, USA: IEEE: 1435-1440[DOI: 10.1109/ITSC.2018.8569328]
  • Yu S W, Liu Q L, Li X H. 2013. Full velocity difference and acceleration model for a car-following theory. Communications in Nonlinear Science and Numerical Simulation, 18(5): 1229-1234 [DOI:10.1016/j.cnsns.2012.09.014]
  • Zhao D, Huang X, Peng H, Lam H, LeBlanc D J. 2018. Accelerated evaluation of automated vehicles in car-following maneuvers. IEEE Transactions on Intelligent Transportation Systems, 19(3): 733-744 [DOI:10.1109/TITS.2017.2701846]
  • Zhao D, Peng H, Bao S, Nobukawa K, LeBlanc D J, Pan C S. 2016. Accelerated evaluation of automated vehicles using extracted naturalistic driving data. The Dynamics of Vehicles on Roads and Tracks, 18(3): 287-296 [DOI:10.1201/b21185-33]
  • Zhu B, Zhang P X, Zhao J, Chen H, Xu Z G, Zhao X M, Deng W W. 2019. Review of scenario-based virtual validation methods for automated vehicles. China Journal of Highway and Transport, 32(6): 1-19 (朱冰, 张培兴, 赵健, 陈虹, 徐志刚, 赵祥模, 邓伟文. 2019. 基于场景的自动驾驶汽车虚拟测试研究进展. 中国公路学报, 32(6): 1-19) [DOI:10.19721/j.cnki.1001-7372.2019.06.001]