仿真到现实环境的自动驾驶决策技术综述

胡学敏; 黄婷玉; 余雅澜; 任佳佳; 谢微; 陈龙

doi:10.11834/jig.230780

无人系统的平行决策智能 | 浏览量 : 0 下载量: 5785 CSCD: 0

PDF
导出
分享
收藏
专辑

仿真到现实环境的自动驾驶决策技术综述
Decision technologies of simulation to reality for autonomous driving： a survey
2024年29卷第11期页码：3173-3194
收稿：2023-11-07，

修回：2024-01-16，

纸质出版：2024-11-16
DOI： 10.11834/jig.230780
稿件说明：

移动端阅览

胡学敏，黄婷玉，余雅澜，任佳佳，谢微，陈龙. 2024. 仿真到现实环境的自动驾驶决策技术综述. 中国图象图形学报， 29(11):3173-3194 DOI： 10.11834/jig.230780.

Hu Xuemin， Huang Tingyu， Yu Yalan， Ren Jiajia， Xie Wei， Chen Long. 2024. Decision technologies of simulation to reality for autonomous driving： a survey. Journal of Image and Graphics， 29(11):3173-3194 DOI： 10.11834/jig.230780.

摘要

自动驾驶汽车作为未来交通的重要发展方向，决策技术是其进行安全高效行驶的关键。基于成本和安全性的考虑，最新的自动驾驶决策技术往往先在仿真环境中研究，再在现实世界中应用，故在自动驾驶决策领域，仿真到现实的方法能帮助自动驾驶系统更有效地进行学习、训练和验证。然而，仿真环境和现实环境之间的差距会在这些模型和技术转移到真实车辆时带来挑战，这种仿真到现实环境域差距的问题促使研究人员探索解决该问题的途径，并且提出各种有效的方法。本文将这些方法总结为两大类：虚实迁移和平行智能。前者通过不同方法将在模拟环境中训练的车辆决策迁移到现实环境中，以解决域差距问题；后者通过构建虚拟的人工系统和现实的物理系统，将二者进行交互、比较、学习和实验，从而解决自动驾驶决策在现实环境中的适配问题。本文首先从虚实迁移和平行智能的原理，以及自动驾驶决策领域应用的角度进行了详细综述，这也是首次从平行智能的角度来思考自动驾驶决策技术中仿真到现实环境的问题，然后总结了搭建仿真环境常用的自动驾驶模拟器，最后归纳了仿真到现实环境的自动驾驶面临的挑战和未来的发展趋势，既为自动驾驶在现实场景的应用与推广提供技术方案，也为自动驾驶研究人员提供新的想法和方向。

Abstract

Since the mid-1980s， numerous research institutions have been developing autonomous driving technologies. The main idea of autonomous driving technology is to perceive the ego-vehicle states and its surroundings in real time through sensors， utilize an intelligent system for decision-making planning， and execute the driving operation through the control system. The decision-making module， which is an important component in autonomous driving systems， bridges perception and vehicle control. This module is mainly responsible for finding optimal paths or correct and reliable behaviors for the ego-vehicle to effectively drive on the road. In the research process of autonomous driving decision-making technologies， which are remarkably strict for safety， if the training is performed directly in the real world， then it will not only lead to a considerable cost increment but will also miss some marginal driving scenarios. In this case， numerous studies are first conducted in the simulation world before applying new autonomous driving models in the real world. However， the simulation can only provide an approximate model of vehicle dynamics and its interaction with the surrounding environment， and the vehicle agent trained only in the simulation world cannot be generalized to the real world. A gap still exists between reality and simulation， which is called the reality gap （RG） and poses a challenge for the transfer of developed autonomous driving models from simulated vehicles to real vehicles. Researchers have proposed numerous approaches to addressing the reality gap. This paper presents the principles and state-of-the-art methods of transferring knowledge from simulation to reality （sim2real） and parallel intelligence （PI）， as well as their applications in decision-making for autonomous driving. Sim2real approaches reduce RG by simply transferring the learned models from the simulation to the reality environment. In autonomous driving， the basic idea of sim2real is to train the vehicle agent in the simulation environment and then transfer it to the reality environment using various methods， which can substantially reduce the number of interactions between the vehicle agent and the reality environment. Sim2real can also improve the effectiveness and performance of decision-making algorithms for autonomous driving. At present， the main sim2real methods include robust reinforcement learning （RL）， meta-learning， curriculum learning， knowledge distillation， and transfer learning， as well as some other helpful techniques such as domain randomization and system identification， which have their own way of reducing the reality gap. For example， transfer learning bridges the reality gap by directly addressing the differences between domains. Vehicle agents in the real world may be exposed to problems that do not exist in the simulation world； thus， some researchers use meta-learning to bridge the gap. Sim2real methods handle the RG problem in some way， but their computational cost remains a challenge， especially when dealing with complex and dynamic environments， which limits the application range of sim2real methods. The PI， which solves the RG problem by parallelly performing the simulation environment with the reality environment， is proposed to solve the aforementioned problem. PI is a new paradigm based on the ACP method （artificial society， computational experiment， and parallel execution）， which deeply integrates simulated and real scenarios. The main process of parallel intelligence involves the formation of a complete system through repeated interactions between the artificial and physical systems and the reduction of the RG through parallel execution and computational experiments. Among them， the computational experiment is divided into description learning， prediction learning， and prescriptive learning， which gradually transitions from the simulation environment to the real world. Parallel intelligence and sim2real technologies extend the physical space to the virtual space and model the real world through virtual-real interaction. Therefore， the vehicle agent can gain knowledge and experience through the simulation and real-life environments. The core technology of PI is to make decisions through the interaction between the real and artificial driving systems and realize the management and control of the driving system using comparison， learning， and experimentation of the two systems. Compared with sim2real methods， parallel intelligence deals with the relationship between simulated and real scenarios from a higher technical level， solves complex modeling problems， and markedly reduces the difference between simulated and real scenarios. In the field of autonomous driving， PI has developed several branches， mainly including the parallel system， parallel learning， parallel driving， and parallel planning. Moreover， the theoretical system has been continuously developed and has achieved remarkable results in numerous fields， such as transportation， medical treatment， manufacturing， and control. Subsequently， some autonomous driving simulators， such as AirSim and CARLA， are presented in this paper. Simulators for autonomous driving generally aim to minimize the mismatch between real and simulated setups by providing training data and experience， thus enabling the deployment of vehicle agents into the real world. Finally， existing challenges and future perspectives in sim2real and PI methods are summarized. With the continuous development of simulation-to-reality technologies， additional breakthroughs and progress in autonomous driving will be achieved in the future.

关键词

Keywords

references

Akhauri S ， Zheng L ， Goldstein T and Lin M . 2021 . Improving generalization of transfer learning across domains using spatio-temporal features in autonomous driving ［EB/OL］. ［ 2023-11-07 ］. https://doi.org/10.48550/arXiv.2103.08116 https://doi.org/10.48550/arXiv.2103.08116

Allamaa J P ， Patrinos P ， Van der Auweraer H and Son T D . 2022 . Sim2real for autonomous vehicle control using executable digital twin . IFAC-PapersOnLine ， 55 （ 24 ）： 385 - 391 ［ DOI： 10.1016/j.ifacol.2022.10.314 http://dx.doi.org/10.1016/j.ifacol.2022.10.314 ］

Amini A ， Gilitschenski I ， Phillips J ， Moseyko J ， Banerjee R ， Karaman S and Rus D . 2020 . Learning robust control policies for end-to-end autonomous driving from data-driven simulation . IEEE Robotics and Automation Letters ， 5 （ 2 ）： 1143 - 1150 ［ DOI： 10.1109/LRA.2020.2966414 http://dx.doi.org/10.1109/LRA.2020.2966414 ］

Antonio G P and Maria-Dolores C . 2022 . Multi-agent deep reinforcement learning to manage connected autonomous vehicles at tomorrow’s intersections . IEEE Transactions on Vehicular Technology ， 71 （ 7 ）： 7033 - 7043 ［ DOI： 10.1109/TVT.2022.3169907 http://dx.doi.org/10.1109/TVT.2022.3169907 ］

Baik S ， Choi J ， Kim H ， Cho D ， Min J and Lee K M . 2021 . Meta-learning with task-adaptive loss function for few-shot learning // Proceedings of 2021 IEEE/CVF International Conference on Computer Vision . Montreal， Canada ： IEEE： 9445 - 9454 ［ DOI： 10.1109/ICCV48922.2021.00933 http://dx.doi.org/10.1109/ICCV48922.2021.00933 ］

Bansal M ， Krizhevsky A and Ogale A . 2018 . ChauffeurNet： learning to drive by imitating the best and synthesizing the worst ［EB/OL］. ［ 2023-11-30 ］. https://arxiv.org/pdf/1812.03079.pdf https://arxiv.org/pdf/1812.03079.pdf

Benekohal R F and Treiterer J . 1988 . CARSIM： car-following model for simulation of traffic in normal and stop-and-go conditions . Transportation Research Record ， 1194 ： 99 - 111

Bengio Y ， Louradour J ， Collobert R and Weston J . 2009 . Curriculum learning // Proceedings of the 26th Annual International Conference on Machine Learning . Montreal， Canada ： ACM： 41 - 48 ［ DOI： 10.1145/1553374.1553380 http://dx.doi.org/10.1145/1553374.1553380 ］

Béres A and Gyires-Tóth B . 2023 . Enhancing visual domain randomization with real images for sim-to-real transfer . Infocommunications Journal ， 15 （ 1 ）： 15 - 25 ［ DOI： 10.36244/ICJ.2023.1.3 http://dx.doi.org/10.36244/ICJ.2023.1.3 ］

Byravan A ， Humplik J ， Hasenclever L ， Brussee A ， Nori F ， Haarnoja T ， Moran B ， Bohez S ， Sadeghi F ， Vujatovic B and Heess N . 2022 . NeRF2Real： sim2real transfer of vision-guided bipedal motion skills using neural radiance fields ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/2210.04932.pdf https://arxiv.org/pdf/2210.04932.pdf

Cai P P ， Lee Y ， Luo Y F and Hsu D . 2020 . SUMMIT： a simulator for urban driving in massive mixed traffic // Proceedings of 2020 IEEE International Conference on Robotics and Automation . Paris， France ： IEEE： 4023 - 4029 ［ DOI： 10.1109/ICRA40945.2020.9197228 http://dx.doi.org/10.1109/ICRA40945.2020.9197228 ］

Candela E ， Parada L ， Marques L ， Georgescu T A ， Demiris Y and Angeloudis P . 2022 . Transferring multi-agent reinforcement learning policies for autonomous driving using sim-to-real // Proceedings of 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems . Kyoto， Japan ： IEEE： 8814 - 8820 ［ DOI： 10.1109/IROS47612.2022.9981319 http://dx.doi.org/10.1109/IROS47612.2022.9981319 ］

Chen L ， Hu X M ， Tian W ， Wang H ， Cao D P and Wang F Y . 2019 . Parallel planning： a new motion planning framework for autonomous driving . IEEE/CAA Journal of Automatica Sinica ， 6 （ 1 ）： 236 - 246 ［ DOI： 10.1109/jas.2018.7511186 http://dx.doi.org/10.1109/jas.2018.7511186 ］

Chen L ， Wang X ， Yang J J ， Ai Y F ， Tian B ， Li Y C ， Teng S Y ， Wang J ， Cao D P ， Ge S R and Wang F Y . 2021 . Parallel mining operating systems： from digital twins to mining intelligence . Acta Automatica Sinica ， 47 （ 7 ）： 1633 - 1645

陈龙，王晓，杨健健，艾云峰，田滨，李宇宸，滕思宇，王健，曹东璞，葛世荣，王飞跃 . 2021 . 平行矿山：从数字孪生到矿山智能 . 自动化学报， 47 （ 7 ）： 1633 - 1645 ［ DOI： 10.16383/j.aas.2021.y000001 http://dx.doi.org/10.16383/j.aas.2021.y000001 ］

Chen L ， Zhang Y Q ， Tian B ， Ai Y F ， Cao D P and Wang F Y . 2022 . Parallel driving OS： a ubiquitous operating system for autonomous driving in CPSS . IEEE Transactions on Intelligent Vehicles ， 7 （ 4 ）： 886 - 895 ［ DOI： 10.1109/TIV.2022.3223728 http://dx.doi.org/10.1109/TIV.2022.3223728 ］

Chiba S and Sasaoka H . 2021 . Effectiveness of transfer learning in autonomous driving using model car // Proceedings of the 13th International Conference on Machine Learning and Computing . Shenzhen， China ： ACM： 595 - 601 ［ DOI： 10.1145/3457682.3457773 http://dx.doi.org/10.1145/3457682.3457773 ］

Dong Y Y ， Song B B and Sun W F . 2023 . Local feature fusion network-based few-shot image classification . Journal of Image and Graphics ， 28 （ 7 ）： 2093 - 2104

董杨洋，宋蓓蓓，孙文方 . 2023 . 局部特征融合的小样本分类 . 中国图象图形学报， 28 （ 7 ）： 2093 - 2104 ［ DOI： 10.11834/jig.220079 http://dx.doi.org/10.11834/jig.220079 ］

Dosovitskiy A ， Ros G ， Codevilla F ， López A and Koltun V . 2017 . CARLA： an open urban driving simulator // Proceedings of the 1st Annual Conference on Robot Learning . Mountain View， United States ： PMLR： 1 - 16

Du Y D ， Feng L ， Tao P ， Gong X and Wang J . 2023 . Meta-transfer learning in cross-domain image classification with few-shot learning . Journal of Image and Graphics ， 28 （ 9 ）： 2899 - 2912

杜彦东，冯林，陶鹏，龚勋，王俊 . 2023 . 元迁移学习在少样本跨域图像分类中的研究 . 中国图象图形学报， 28 （ 9 ）： 2899 - 2912 ［ DOI： 10.11834/jig.220664 http://dx.doi.org/10.11834/jig.220664 ］

Finn C ， Abbeel P and Levine S . 2017 . Model-agnostic meta-learning for fast adaptation of deep networks // Proceedings of the 34th International Conference on Machine Learning . Sydney， Australia ： PMLR： 1126 - 1135

Florensa C ， Held D ， Wulfmeier M ， Zhang M and Abbeel P . 2017 . Reverse curriculum generation for reinforcement learning // Proceedings of the 1st Annual Conference on Robot Learning . Mountain View， United States ： PMLR： 482 - 495

Gou J P ， Yu B S ， Maybank S J and Tao D C . 2021 . Knowledge distillation： a survey . International Journal of Computer Vision ， 129 （ 6 ）： 1789 - 1819 ［ DOI： 10.1007/s11263-021-01453-z http://dx.doi.org/10.1007/s11263-021-01453-z ］

Graves A ， Bellemare M G ， Menick J ， Munos R and Kavukcuoglu K . 2017 . Automated curriculum learning for neural networks // Proceedings of the 34th International Conference on Machine Learning . Sydney， Australia ： JMLR.org： 1311 - 1320

Gul F ， Rahiman W ， Alhady S S N ， Ali A ， Mir I and Jalil A . 2021 . Meta-heuristic approach for solving multi-objective path planning for autonomous guided robot using PSO-GWO optimization algorithm with evolutionary programming . Journal of Ambient Intelligence and Humanized Computing ， 12 （ 7 ）： 7873 - 7890 ［ DOI： 10.1007/s12652-020-02514-w http://dx.doi.org/10.1007/s12652-020-02514-w ］

He X K ， Lou B C ， Yang H H and Lyu C . 2023b . Robust decision making for autonomous vehicles at highway on-ramps： a constrained adversarial reinforcement learning approach . IEEE Transactions on Intelligent Transportation Systems ， 24 （ 4 ）： 4103 - 4113 ［ DOI： 10.1109/TITS.2022.3229518 http://dx.doi.org/10.1109/TITS.2022.3229518 ］

He X K ， Yang H H ， Hu Z X and Lyu C . 2023a . Robust lane change decision making for autonomous vehicles： an observation adversarial reinforcement learning approach . IEEE Transactions on Intelligent Vehicles ， 8 （ 1 ）： 184 - 193 ［ DOI： 10.1109/TIV.2022.3165178 http://dx.doi.org/10.1109/TIV.2022.3165178 ］

Hinton G ， Vinyals O and Dean J . 2015 . Distilling the knowledge in a neural network ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/1503.02531.pdf https://arxiv.org/pdf/1503.02531.pdf

Houyon J ， Cioppa A ， Ghunaim Y ， Alfarra M ， Halin A ， Henry M ， Ghanem B and Van Droogenbroeck M . 2023 . Online distillation with continual learning for cyclic domain shifts // Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Vancouver， Canada ： IEEE： 2437 - 2446 ［ DOI： 10.1109/CVPRW59228.2023.00242 http://dx.doi.org/10.1109/CVPRW59228.2023.00242 ］

Hu J J ， Fan C Y ， Feng H ， Gao Y and Lam T L . 2023 . Progressive self-distillation for ground-to-aerial perception knowledge transfer ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/2208.13404.pdf https://arxiv.org/pdf/2208.13404.pdf

Hu X M ， Chen L ， Tang B ， Cao D P and He H B . 2018 . Dynamic path planning for autonomous driving on various roads with avoidance of static and moving obstacles . Mechanical Systems and Signal Processing ， 100 ： 482 - 500 ［ DOI： 10.1016/j.ymssp.2017.07.019 http://dx.doi.org/10.1016/j.ymssp.2017.07.019 ］

Huang J X ， Guan D Y ， Xiao A R and Lu S J . 2021 . FSDR： frequency space domain randomization for domain generalization // Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition . Nashville， USA ： IEEE： 6887 - 6898 ［ DOI： 10.1109/CVPR46437.2021.00682 http://dx.doi.org/10.1109/CVPR46437.2021.00682 ］

Isele D and Cosgun A . 2017 . Transferring autonomous driving knowledge on simulated and real intersections ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/1712.01106.pdf https://arxiv.org/pdf/1712.01106.pdf

Jaafra Y ， Deruyver A ， Laurent J L and Naceur M S . 2019 . Context-aware autonomous driving using meta-reinforcement learning // Proceedings of the 18th IEEE International Conference on Machine Learning and Applications . Boca Raton， USA ： IEEE： 450 - 455 ［ DOI： 10.1109/ICMLA.2019.00084 http://dx.doi.org/10.1109/ICMLA.2019.00084 ］

Jang I ， Kim H ， Lee D ， Son Y S and Kim S . 2020 . Knowledge transfer for on-device deep reinforcement learning in resource constrained edge computing systems . IEEE Access ， 8 ： 146588 - 146597 ［ DOI： 10.1109/ACCESS.2020.3014922 http://dx.doi.org/10.1109/ACCESS.2020.3014922 ］

Kalapos A ， Gór C ， Moni R and Harmati I . 2020 . Sim-to-real reinforcement learning applied to end-to-end vehicle control // Proceedings of the 23rd International Symposium on Measurement and Control in Robotics . Budapest， Hungary ： IEEE： 1 - 6 ［ DOI： 10.1109/ISMCR51255.2020.9263751 http://dx.doi.org/10.1109/ISMCR51255.2020.9263751 ］

Kim J and Park C . 2017 . End-to-end ego lane estimation based on sequential transfer learning for self-driving cars // Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops . Honolulu， USA ： IEEE： 1194 - 1202 ［ DOI： 10.1109/CVPRW.2017.158 http://dx.doi.org/10.1109/CVPRW.2017.158 ］

Koenig N and Howard A . 2004 . Design and use paradigms for Gazebo， an open-source multi-robot simulator // Proceedings of 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems . Sendai， Japan ： IEEE： 2149 - 2154 ［ DOI： 10.1109/IROS.2004.1389727 http://dx.doi.org/10.1109/IROS.2004.1389727 ］

Kontes G D ， Scherer D D ， Nisslbeck T ， Fischer J and Mutschler C . 2020 . High-speed collision avoidance using deep reinforcement learning and domain randomization for autonomous vehicles // Proceedings of the 23rd International Conference on Intelligent Transportation Systems . Rhodes， Greece ： IEEE： 1 - 8 ［ DOI： 10.1109/ITSC45102.2020.9294396 http://dx.doi.org/10.1109/ITSC45102.2020.9294396 ］

Krajzewicz D ， Erdmann J ， Behrisch M and Bieker L . 2012 . Recent development and applications of SUMO-simulation of urban mobility . International Journal on Advances in Systems and Measurements ， 5 （ 3/4 ）： 128 - 138

Kumar M P ， Packer B and Koller D . 2010 . Self-paced learning for latent variable models // Proceedings of the 23rd International Conference on Neural Information Processing Systems . Vancouver， Canada ： Curran Associates Inc.： 1189 - 1197

Li L ， Lin Y L ， Cao D P ， Zheng N N and Wang F Y . 2017 . Parallel learning—a new framework for machine learning . Acta Automatica Sinica ， 43 （ 1 ）： 1 - 8

李力，林懿伦，曹东璞，郑南宁，王飞跃 . 2017 . 平行学习——机器学习的一个新型理论框架 . 自动化学报， 43 （ 1 ）： 1 - 8 ［ DOI： 10.16383/j.aas.2017.y000001 http://dx.doi.org/10.16383/j.aas.2017.y000001 ］

Li Q Y ， Peng Z H ， Feng L ， Zhang Q H ， Xue Z H and Zhou B L . 2023 . MetaDrive： composing diverse driving scenarios for generalizable reinforcement learning . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 45 （ 3 ）： 3461 - 3475 ［ DOI： 10.1109/TPAMI.2022.3190471 http://dx.doi.org/10.1109/TPAMI.2022.3190471 ］

Li X and Wang F Y . 2021 . Parallel visual perception for intelligent driving： basic concept， framework and application . Journal of Image and Graphics ， 26 （ 1 ）： 67 - 81

李轩，王飞跃 . 2021 . 面向智能驾驶的平行视觉感知：基本概念、框架与应用 . 中国图象图形学报， 26 （ 1 ）： 67 - 81 ［ DOI： 10.11834/jig.200402 http://dx.doi.org/10.11834/jig.200402 ］

Liang X L ， Liu Y ， Chen T J ， Liu M and Yang Q . 2022 . Federated transfer reinforcement learning for autonomous driving //Razavi-Far R， Wang B Y， Taylor M E and Yang Q， eds. Federated and Transfer Learning . Cham ： Springer： 357 - 371 ［ DOI： 10.1007/978-3-031-11748-0_15 http://dx.doi.org/10.1007/978-3-031-11748-0_15 ］

Liu T ， Wang X ， Xing Y ， Gao Y ， Tian B and Chen L . 2019 . Research on digital quadruplets in cyber-physical-social space-based parallel driving . Chinese Journal of Intelligent Science and Technology ， 1 （ 1 ）： 40 - 51

刘腾，王晓，邢阳，高玉，田滨，陈龙 . 2019 . 基于数字四胞胎的平行驾驶系统及应用 . 智能科学与技术学报， 1 （ 1 ）： 40 - 51 ［ DOI： 10.11959/j.issn.2096-6652.201902 http://dx.doi.org/10.11959/j.issn.2096-6652.201902 ］

Liu Y H ， Shen Y ， Fan L L ， Tian Y L ， Ai Y F ， Tian B ， Liu Z M and Wang F Y . 2022 . Parallel radars： from digital twins to digital intelligence for smart radar systems . Sensors ， 22 （ 24 ）： # 9930 ［ DOI： 10.3390/s22249930 http://dx.doi.org/10.3390/s22249930 ］

Ljung L . 1998 . System identification //Proch 􀅡 zka A， Uhlíř J， Rayner P W J and Kingsbury N G， eds. Signal Analysis and Prediction . Boston， USA ： Birkhäuser： 163 - 173 ［ DOI： 10.1007/978-1-4612-1768-8_11 http://dx.doi.org/10.1007/978-1-4612-1768-8_11 ］

Ma X B ， Driggs-Campbell K and Kochenderfer M J . 2018 . Improved robustness and safety for autonomous vehicle control with adversarial reinforcement learning // IEEE Intelligent Vehicles Symposium . Changshu， China ： IEEE： 1665 - 1671 ［ DOI： 10.1109/IVS.2018.8500450 http://dx.doi.org/10.1109/IVS.2018.8500450 ］

Meng X B ， Wang R ， Zhang M and Wang F Y . 2017 . Parallel perception： an ACP-based approach to visual slam . Journal of Command and Control ， 3 （ 4 ）： 350 - 358

孟祥冰，王蓉，张梅，王飞跃 . 2017 . 平行感知： ACP理论在视觉SLAM技术中的应用 . 指挥与控制学报， 3 （ 4 ）： 350 - 358 ［ DOI： 10.3969/j.issn.2096-0204.2017.04.0350 http://dx.doi.org/10.3969/j.issn.2096-0204.2017.04.0350 ］

Miao Q H ， Lyu Y S ， Huang M ， Wang X and Wang F Y . 2023 . Parallel learning： overview and perspective for computational learning across Syn2Real and Sim2Real . IEEE/CAA Journal of Automatica Sinica ， 10 （ 3 ）： 603 - 631 ［ DOI： 10.1109/JAS.2023.123375 http://dx.doi.org/10.1109/JAS.2023.123375 ］

Morimoto J and Doya K . 2005 . Robust reinforcement learning . Neural Computation ， 17 （ 2 ）： 335 - 359 ［ DOI： 10.1162/0899766053011528 http://dx.doi.org/10.1162/0899766053011528 ］

Narvekar S ， Sinapov J and Stone P . 2017 . Autonomous task sequencing for customized curriculum design in reinforcement learning // Proceedings of the 26th International Joint Conference on Artificial Intelligence . Melbourne， Australia ： AAAI Press： 2536 - 2542

Ning B ， Wang F Y ， Dong H R ， Li R M ， Wen D and Li L . 2010 . Parallel systems for urban rail transportation based on ACP approach . Journal of Transportation Systems Engineering and Information Technology ， 10 （ 6 ）： 22 - 28

宁滨，王飞跃，董海荣，李润梅，文丁，李莉 . 2010 . 基于ACP方法的城市轨道交通平行系统体系研究 . 交通运输系统工程与信息， 10 （ 6 ）： 22 - 28 ［ DOI： 10.3969/j.issn.1009-6744.2010.06.003 http://dx.doi.org/10.3969/j.issn.1009-6744.2010.06.003 ］

Niu H Y ， Hu J M ， Cui Z Y and Zhang Y . 2021 . DR2L： surfacing corner cases to robustify autonomous driving via domain randomization reinforcement learning // Proceedings of the 5th International Conference on Computer Science and Application Engineering . Sanya， China ： ACM： #102 ［ DOI： 10.1145/3487075.3487177 http://dx.doi.org/10.1145/3487075.3487177 ］

Osinski B ， Jakubowski A ， Ziecina P ， Milos P ， Galias C ， Homoceanu S and Michalewski H . 2020 . Simulation-based reinforcement learning for real-world autonomous driving // Proceedings of 2020 IEEE International Conference on Robotics and Automation . Paris， France ： IEEE： 6411 - 6418 ［ DOI： 10.1109/ICRA40945.2020.9196730 http://dx.doi.org/10.1109/ICRA40945.2020.9196730 ］

Pan X L ， You Y R ， Wang Z Y and Lu C W . 2017 . Virtual to real reinforcement learning for autonomous driving ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/1704.03952.pdf https://arxiv.org/pdf/1704.03952.pdf

Peiss L F ， Wohlgemuth E ， Xue F ， Meyer E ， Gressenbuch L and Althoff M . 2023 . Graph-based autonomous driving with traffic-rule-enhanced curriculum learning // Proceedings of the 26th IEEE International Conference on Intelligent Transportation Systems . Bilbao， Spain ： IEEE： 4239 - 4246 ［ DOI： 10.1109/ITSC57777.2023.10422140 http://dx.doi.org/10.1109/ITSC57777.2023.10422140 ］

Pinto L ， Davidson J ， Sukthankar R and Gupta A . 2017 . Robust adversarial reinforcement learning // Proceedings of the 34th International Conference on Machine Learning . Sydney， Australia ： JMLR.org： 2817 - 2826

Pouyanfar S ， Saleem M ， George N and Chen S C . 2019 . ROADS： randomization for obstacle avoidance and driving in simulation // Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops . Long Beach， USA ： IEEE： 1267 - 1276 ［ DOI： 10.1109/CVPRW.2019.00166 http://dx.doi.org/10.1109/CVPRW.2019.00166 ］

Qiao Z Q ， Muelling K ， Dolan J M ， Palanisamy P and Mudalige P . 2018 . Automatically generated curriculum based reinforcement learning for autonomous vehicles in urban environment // IEEE Intelligent Vehicles Symposium . Changshu， China ： IEEE： 1233 - 1238 ［ DOI： 10.1109/IVS.2018.8500603 http://dx.doi.org/10.1109/IVS.2018.8500603 ］

Real E ， Aggarwal A ， Huang Y P and Le Q V . 2019 . Regularized evolution for image classifier architecture search // Proceedings of the 33rd AAAI Conference on Artificial Intelligence . Honolulu， USA ： AAAI： 4780 - 4789 ［ DOI： 10.1609/aaai.v33i01.33014780 http://dx.doi.org/10.1609/aaai.v33i01.33014780 ］

Rong G D ， Shin B H ， Tabatabaee H ， Lu Q ， Lemke S ， Možeiko M ， Boise E ， Uhm G ， Gerow M ， Mehta S ， Agafonov E ， Kim T H ， Sterner E ， Ushiroda K ， Reyes M ， Zelenkovsky D and Kim S . 2020 . LGSVL simulator： a high fidelity simulator for autonomous driving // Proceedings of the 23rd IEEE International Conference on Intelligent Transportation Systems . Rhodes， Greece ： IEEE： 1 - 6 ［ DOI： 10.1109/ITSC45102.2020.9294422 http://dx.doi.org/10.1109/ITSC45102.2020.9294422 ］

Salvato E ， Fenu G ， Medvet E and Pellegrino F A . 2021 . Crossing the reality gap： a survey on sim-to-real transferability of robot controllers in reinforcement learning . IEEE Access ， 9 ： 153171 - 153187 ［ DOI： 10.1109/ACCESS.2021.3126658 http://dx.doi.org/10.1109/ACCESS.2021.3126658 ］

Saputra M R U ， Gusmao P ， Almalioglu Y ， Markham A and Trigoni N . 2019 . Distilling knowledge from a deep pose regressor network // Proceedings of 2019 IEEE/CVF International Conference on Computer Vision . Seoul， Korea （South）： IEEE： 263 - 272 ［ DOI： 10.1109/ICCV.2019.00035 http://dx.doi.org/10.1109/ICCV.2019.00035 ］

Scheel O ， Bergamini L ， Wolczyk M ， Osiński B and Ondruska P . 2022 . Urban driver： learning to drive from real-world demonstrations using policy gradients // Proceedings of the 5th Conference on Robot Learning . London， UK ： PMLR： 718 - 728

Schmidhuber J . 1987 . Evolutionary Principles in Self-Referential Learning， or on Learning How to Learn： the Meta-Meta-... Hook . München， Germany ： Technische Universität München ： 62 - 64

Shah S ， Dey D ， Lovett C and Kapoor A . 2018 . AirSim： high-fidelity visual and physical simulation for autonomous vehicles // Proceedings of the 11th International Conference on Field and Service Robotics . Cham ： Springer： 621 - 635 ［ DOI： 10.1007/978-3-319-67361-5_40 http://dx.doi.org/10.1007/978-3-319-67361-5_40 ］

Shen Y ， Li W Z and Lin M C . 2022 . Inverse reinforcement learning with hybrid-weight trust-region optimization and curriculum learning for autonomous maneuvering // Proceedings of 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems . Kyoto， Japan ： IEEE： 7421 - 7428 ［ DOI： 10.1109/IROS47612.2022.9981103 http://dx.doi.org/10.1109/IROS47612.2022.9981103 ］

So J ， Xie A ， Jung S ， Edlund J ， Thakker R ， Agha-Mohammadi A ， Abbeel P and James S . 2022 . Sim-to-Real via Sim-to-Seg： end-to-end off-road autonomous driving without real data ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/2210.14721.pdf https://arxiv.org/pdf/2210.14721.pdf

Song X Z ， Zheng S ， Cao W ， Yu J J Q and Bian J . 2022 . Efficient and effective multi-task grouping via meta learning on task combinations // Proceedings of the 36th Conference on Neural Information Processing Systems . New Orleans， USA ： MIT Press： 37647 - 37659

Song Y L ， Lin H ， Kaufmann E ， Dürr P and Scaramuzza D . 2021 . Autonomous overtaking in gran turismo sport using curriculum reinforcement learning // Proceedings of 2021 IEEE International Conference on Robotics and Automation . Xi’an， China ： IEEE： 9403 - 9409 ［ DOI： 10.1109/ICRA48506.2021.9561049 http://dx.doi.org/10.1109/ICRA48506.2021.9561049 ］

Stefik M . 1981 . Planning and meta-planning （MOLGEN： Part 2） . Artificial Intelligence ， 16 （ 2 ）： 141 - 169 ［ DOI： 10.1016/0004-3702（81）90008-4 http://dx.doi.org/10.1016/0004-3702（81）90008-4 ］

Su D A ， Douillard B ， Al-Rfou R ， Park C and Sapp B . 2022 . Narrowing the coordinate-frame gap in behavior prediction models： distillation for efficient and accurate scene-centric motion forecasting // Proceedings of 2022 International Conference on Robotics and Automation . Philadelphia， USA ： IEEE： 653 - 659 ［ DOI： 10.1109/ICRA46639.2022.9812368 http://dx.doi.org/10.1109/ICRA46639.2022.9812368 ］

Su Z D ， Yang R P and Wang F Y . 2018 . Parallel marine environment monitoring systems： architecture and application . Journal of Command and Control ， 4 （ 1 ）： 32 - 36

苏振东，杨瑞平，王飞跃 . 2018 . 海洋环境平行监测体系架构及应用 . 指挥与控制学报， 4 （ 1 ）： 32 - 36 ［ DOI： 10.3969/j.issn.2096-0204.2018.01.0032 http://dx.doi.org/10.3969/j.issn.2096-0204.2018.01.0032 ］

Sui C H ， Wang A ， Zhou S W ， Zang A K ， Pan Y H ， Liu H and Wang H P . 2023 . A survey on adversarial training for robust learning . Journal of Image and Graphics ， 28 （ 12 ）： 3629 - 3650

隋晨红，王奥，周圣文，臧安康，潘云豪，刘颢，王海鹏 . 2023 . 面向鲁棒学习的对抗训练技术综述 . 中国图象图形学报， 28 （ 12 ）： 3629 - 3650 ［ DOI： 10.11834/jig.220953 http://dx.doi.org/10.11834/jig.220953 ］

Sun R Y and Xiong H K . 2023 . Model distillation for high-level semantic understanding： a survey . Journal of Image and Graphics ， 28 （ 4 ）： 935 - 962

孙若禹，熊红凯 . 2023 . 高层语义分析中的模型蒸馏方法综述 . 中国图象图形学报， 28 （ 4 ）： 935 - 962 ［ DOI： 10.11834/jig.210337 http://dx.doi.org/10.11834/jig.210337 ］

Tessler C ， Efroni Y and Mannor S . 2019 . Action robust reinforcement learning and applications in continuous control // Proceedings of the 36th International Conference on Machine Learning . Long Beach， USA ： PMLR： 6215 - 6224

Tian Y L ， Shen Y ， Li Q and Wang F Y . 2020 . Parallel point clouds： point clouds generation and 3D model evolution via virtual-real interaction . Acta Automatica Sinica ， 46 （ 12 ）： 2572 - 2582

田永林，沈宇，李强，王飞跃 . 2020 . 平行点云：虚实互动的点云生成与三维模型进化方法 . 自动化学报， 46 （ 12 ）： 2572 - 2582 ［ DOI： 10.16383/j.aas.c200800 http://dx.doi.org/10.16383/j.aas.c200800 ］

Tobin J ， Fong R ， Ray A ， Schneider J ， Zaremba W and Abbeel P . 2017 . Domain randomization for transferring deep neural networks from simulation to the real world // Proceedings of 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems . Vancouver， Canada ： IEEE： 23 - 30 ［ DOI： 10.1109/IROS.2017.8202133 http://dx.doi.org/10.1109/IROS.2017.8202133 ］

Truong J ， Chernova S and Batra D . 2021 . Bi-directional domain adaptation for Sim2Real transfer of embodied navigation agents . IEEE Robotics and Automation Letters ， 6 （ 2 ）： 2634 - 2641 ［ DOI： 10.1109/LRA.2021.3062303 http://dx.doi.org/10.1109/LRA.2021.3062303 ］

Tseng W C ， Wang T H J ， Lin Y C and Isola P . 2022 . Offline multi-agent reinforcement learning with knowledge distillation // Proceedings of the 36th Conference on Neural Information Processing Systems . New Orleans， USA ： MIT Press： 226 - 237 ［ DOI： 10.48550/arXiv.2210.08872 http://dx.doi.org/10.48550/arXiv.2210.08872 ］

Voogd K L ， Allamaa J P ， Alonso-Mora J and Son T D . 2023 . Reinforcement learning from simulation to real world autonomous driving using digital twin . IFAC-PapersOnLine ， 56 （ 2 ）： 1510 - 1515 ［ DOI： 10.1016/j.ifacol.2023.10.1846 http://dx.doi.org/10.1016/j.ifacol.2023.10.1846 ］

Wang F Y . 2004a . Artificial societies， computational experiments， and parallel systems： a discussion on computational theory of complex social-economic systems . Complex Systems and Complexity Science ， 1 （ 4 ）： 25 - 35

王飞跃 . 2004a . 人工社会、计算实验、平行系统——关于复杂社会经济系统计算研究的讨论 . 复杂系统与复杂性科学， 1 （ 4 ）： 25 - 35 ［ DOI： 10.3969/j.issn.1672-3813.2004.04.002 http://dx.doi.org/10.3969/j.issn.1672-3813.2004.04.002 ］

Wang F Y . 2004b . Parallel system methods for management and control of complex systems . Control and Decision ， 19 （ 5 ）： 485 - 489 ， 514

王飞跃 . 2004b . 平行系统方法与复杂系统的管理和控制 . 控制与决策， 19 （ 5 ）： 485- 489 ， 514 ［ DOI： 10.3321/j.issn：1001-0920.2004.05.002 http://dx.doi.org/10.3321/j.issn：1001-0920.2004.05.002 ］

Wang F Y . 2007a . Research on the framework and application of parallel emergency management system PeMS . China Emergency Management ， 1 （ 12 ）： 22 - 27

王飞跃 . 2007a . 平行应急管理系统PeMS的体系框架及其应用研究 . 中国应急管理， 1 （ 12 ）： 22 - 27

Wang F Y . 2007b . The basic concepts and methods of parallel traffic management // Proceedings of 2007 China Transport Forum . Beijing ：［s.n.］： #

王飞跃 . 2007b . 平行交通管理的基本概念与方法 // 2007中国交通高层论坛论文集 . 北京：［s.n.］：） # 38

Wang F Y . 2013 . Parallel control： a method for data-driven and computational control . Acta Automatica Sinica ， 39 （ 4 ）： 293 - 302

王飞跃 . 2013 . 平行控制：数据驱动的计算控制方法 . 自动化学报， 39 （ 4 ）： 293 - 302 ［ DOI： 10.3724/SP.J.1004.2013.00293 http://dx.doi.org/10.3724/SP.J.1004.2013.00293 ］

Wang F Y . 2015 . Intelligence 5.0： parallel intelligence in parallel age . Journal of the China Society for Scientific and Technical Information ， 34 （ 6 ）： 563 - 574

王飞跃 . 2015 . 情报5.0：平行时代的平行情报体系 . 情报学报， 34 （ 6 ）： 563 - 574 ［ DOI： 10.3772/j.issn.1000-0135.2015.006.001 http://dx.doi.org/10.3772/j.issn.1000-0135.2015.006.001 ］

Wang F Y . 2021a . Parallel philosophy： origin and goal of intelligent industries and smart economics . Bulletin of Chinese Academy of Sciences ， 36 （ 3 ）： 308 - 318

王飞跃 . 2021a . 平行哲学：智能产业与智慧经济的本源及其目标 . 中国科学院院刊， 36 （ 3 ）： 308 - 318 ［ DOI： 10.16418/j.issn.1000-3045.20210301001 http://dx.doi.org/10.16418/j.issn.1000-3045.20210301001 ］

Wang F Y . 2021b . Parallel medicine： from warmness of medicare to medicine of smartness . Chinese Journal of Intelligent Science and Technology ， 3 （ 1 ）： 1 - 9

王飞跃 . 2021b . 平行医学：从医学的温度到智慧的医学 . 智能科学与技术学报， 3 （ 1 ）： 1 - 9 ［ DOI： 10.11959/j.issn.2096-6652.202101 http://dx.doi.org/10.11959/j.issn.2096-6652.202101 ］

Wang F Y . 2022 . Parallel management： the DAO to smart ecological technology for complexity management intelligence . Acta Automatica Sinica ， 48 （ 11 ）： 2655 - 2669

王飞跃 . 2022 . 平行管理：复杂性管理智能的生态科技与智慧管理之DAO . 自动化学报， 48 （ 11 ）： 2655 - 2669 ［ DOI： 10.16383/j.aas.c220773 http://dx.doi.org/10.16383/j.aas.c220773 ］

Wang F Y ， Gao Y C ， Shang X Q and Zhang J . 2018a . Parallel manufacturing and industries 5.0： from virtual manufacturing to intelligent manufacturing . Science and Technology Review ， 36 （ 21 ）： 10 - 22

王飞跃，高彦臣，商秀芹，张俊 . 2018a . 平行制造与工业5.0：从虚拟制造到智能制造 . 科技导报， 36 （ 21 ）： 10 - 22 ［ DOI： 10.3981/j.issn.1000-7857.2018.21.001 http://dx.doi.org/10.3981/j.issn.1000-7857.2018.21.001 ］

Wang F Y ， Gou C ， Wang J G ， Shen T Y ， Zheng W B and Yu H . 2019 . Parallel skin： a vision-based dermatological analysis framework . Pattern Recognition and Artificial Intelligence ， 32 （ 7 ）： 577 - 588

王飞跃，苟超，王建功，沈甜雨，郑文博，于慧 . 2019 . 平行皮肤：基于视觉的皮肤病分析框架 . 模式识别与人工智能， 32 （ 7 ）： 577 - 588 ［ DOI： 10.16451/j.cnki.issn1003-6059.201907001 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201907001 ］

Wang F Y and Jiang H G . 2021 . Parallel battery： the framework and process for an intelligent and ecological battery system and related services . Chinese Journal of Intelligent Science and Technology ， 3 （ 4 ）： 521 - 531

王飞跃，蒋怀光 . 2021 . 平行电池：智能生态化电池技术与服务体系的框架和流程 . 智能科学与技术学报， 3 （ 4 ）： 521 - 531 ［ DOI： 10.11959/j.issn.2096-6652.202152 http://dx.doi.org/10.11959/j.issn.2096-6652.202152 ］

Wang F Y ， Meng X B ， Du S C and Geng Z . 2021 . Parallel light field： the framework and processes . Chinese Journal of Intelligent Science and Technology ， 3 （ 1 ）： 110 - 122

王飞跃，孟祥冰，杜思聪，耿征 . 2021 . 平行光场：基本框架与流程 . 智能科学与技术学报， 3 （ 1 ）： 110 - 122 ［ DOI： 10.11959/j.issn.2096-6652.202112 http://dx.doi.org/10.11959/j.issn.2096-6652.202112 ］

Wang F Y ， Wang X ， Li L X and Li L . 2016a . Steps toward parallel intelligence . IEEE/CAA Journal of Automatica Sinica ， 3 （ 4 ）： 345 - 348 ［ DOI： 10.1109/jas.2016.7510067 http://dx.doi.org/10.1109/jas.2016.7510067 ］

Wang F Y ， Yang L Q ， Hu X Y ， Cheng X ， Han S S and Yang J . 2017a . Parallel networks and network softwarization： a novel network architecture . Scientia Sinica Informationis ， 47 （ 7 ）： 811 - 831

王飞跃，杨柳青，胡晓娅，程翔，韩双双，杨坚 . 2017a . 平行网络与网络软件化：一种新颖的网络架构 . 中国科学：信息科学）， 47 （ 7 ）： 811 - 831 ［ DOI： 10.1360/N112016-00047 http://dx.doi.org/10.1360/N112016-00047 ］

Wang F Y ， Zhang M ， Meng X B ， Wang R ， Wang X ， Zhang Z C ， Chen L ， Ge J H and Yang T . 2017b . Parallel surgery： an ACP-based approach for intelligent operations . Pattern Recognition and Artificial Intelligence ， 30 （ 11 ）： 961 - 970

王飞跃，张梅，孟祥冰，王蓉，王晓，张志成，陈鸰，葛均华，杨田 . 2017b . 平行手术：基于ACP的智能手术计算方法 . 模式识别与人工智能， 30 （ 11 ）： 961 - 970 ［ DOI： 10.16451/j.cnki.issn1003-6059.201711001 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201711001 ］

Wang F Y ， Zhang M ， Meng X B ， Wang Y ， Ma J N ， Liu W and Wang X . 2018b . Parallel eyes： an ACP-based smart ophthalmic diagnosis and treatment . Pattern Recognition and Artificial Intelligence ， 31 （ 6 ）： 495 - 504

王飞跃，张梅，孟祥冰，王雁，马娇楠，刘武，王晓 . 2018b . 平行眼：基于ACP的智能眼科诊疗 . 模式识别与人工智能， 31 （ 6 ）： 495 - 504 ［ DOI： 10.16451/j.cnki.issn1003-6059.201806002 http://dx.doi.org/10.16451/j.cnki.issn1003-6059.201806002 ］

Wang F Y ， Zheng N N ， Cao D P ， Martinez C M ， Li L and Liu T . 2017 . Parallel driving in CPSS： a unified approach for transport automation and vehicle intelligence . IEEE/CAA Journal of Automatica Sinica ， 4 （ 4 ）： 577 - 587 ［ DOI： 10.1109/jas.2017.7510598 http://dx.doi.org/10.1109/jas.2017.7510598 ］

Wang J Y ， Lin C Y ， Nie L ， Huang S J ， Zhao Y ， Pan X and Ai R . 2023 . WeatherDepth： curriculum contrastive learning for self-supervised depth estimation under adverse weather conditions ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/2310.05556.pdf https://arxiv.org/pdf/2310.05556.pdf

Wang X ， Li L X ， Yuan Y ， Ye P J and Wang F Y . 2016b . ACP-based social computing and parallel intelligence： societies 5.0 and beyond . CAAI Transactions on Intelligence Technology ， 1 （ 4 ）： 377 - 393 ［ DOI： 10.1016/j.trit.2016.11.005 http://dx.doi.org/10.1016/j.trit.2016.11.005 ］

Wang Y J ， Wang F Y ， Wang G ， Wang X ， Wang Y L and Li R . 2021 . Parallel hospitals： from hospital information system （HIS） to hospital smart operating system （HSOS） . Acta Automatica Sinica ， 47 （ 11 ）： 2585 - 2599

王拥军，王飞跃，王戈，王晓，王伊龙，李瑞 . 2021 . 平行医院：从医院信息管理系统到智慧医院操作系统 . 自动化学报， 47 （ 11 ）： 2585 - 2599 ［ DOI： 10.16383/j.aas.c210697 http://dx.doi.org/10.16383/j.aas.c210697 ］

Weiss K ， Khoshgoftaar T M and Wang D D . 2016 . A survey of transfer learning . Journal of Big Data ， 3 （ 1 ）： # 9 ［ DOI： 10.1186/s40537-016-0043-6 http://dx.doi.org/10.1186/s40537-016-0043-6 ］

Wymann B ， Espié E ， Guionneau C ， Christos D ， Rémi C and Andrew S . 2015 . Torcs， the open racing car simulator ［EB/OL］. ［ 2023-11-07 ］. http://torcs.sourceforge.net http://torcs.sourceforge.net

Xiao C X ， Lu P and He Q Z . 2023 . Flying through a narrow gap using end-to-end deep reinforcement learning augmented with curriculum learning and Sim2Real . IEEE Transactions on Neural Networks and Learning Systems ， 34 （ 5 ）： 2701 - 2708 ［ DOI： 10.1109/TNNLS.2021.3107742 http://dx.doi.org/10.1109/TNNLS.2021.3107742 ］

Yang J ， Wang X X and Zhao Y D . 2022 . Parallel manufacturing for industrial metaverses： a new paradigm in smart manufacturing . IEEE/CAA Journal of Automatica Sinica ， 9 （ 12 ）： 2063 - 2070 ［ DOI： 10.1109/JAS.2022.106097 http://dx.doi.org/10.1109/JAS.2022.106097 ］

Yang L N ， Liang X D ， Wang T R and Xing E . 2018 . Real-to-virtual domain unification for end-to-end autonomous driving // Proceedings of the 15th European Conference on Computer Vision . Munich， Germany ： Springer： 553 - 570 ［ DOI： 10.1007/978-3-030-01225-0_33 http://dx.doi.org/10.1007/978-3-030-01225-0_33 ］

Yang L Y ， Chen S Y ， Wang X ， Zhang J and Wang C H . 2019 . Digital twins and parallel systems： state of the art， comparisons and prospect . Acta Automatica Sinica ， 45 （ 11 ）： 2001 - 2031

杨林瑶，陈思远，王晓，张俊，王成红 . 2019 . 数字孪生与平行系统：发展现状、对比及展望 . 自动化学报， 45 （ 11 ）： 2001 - 2031 ［ DOI： 10.16383/j.aas.2019.y000002 http://dx.doi.org/10.16383/j.aas.2019.y000002 ］

Yang Y D ， Luo J ， Wen Y ， Slumbers O ， Graves D ， Ammar H B ， Wang J and Taylor M E . 2021 . Diverse auto-curriculum is critical for successful real-world multiagent learning systems ［EB/OL］. ［ 2023-11-30 ］. https://doi.org/10.48550/arXiv.2102.07659 https://doi.org/10.48550/arXiv.2102.07659

Ye F ， Wang P ， Chan C Y and Zhang J C . 2021 . Meta reinforcement learning-based lane change strategy for autonomous vehicles // IEEE Intelligent Vehicles Symposium . Nagoya， Japan ： IEEE： 223 - 230 ［ DOI： 10.1109/IV48863.2021.9575379 http://dx.doi.org/10.1109/IV48863.2021.9575379 ］

Yin Z H ， Li C R ， Sun L T ， Tomizuka M and Zhan W . 2021 . Iterative imitation policy improvement for interactive autonomous driving ［EB/OL］. ［ 2023-11-07 ］. https://arxiv.org/pdf/2109.01288.pdf https://arxiv.org/pdf/2109.01288.pdf

Yuan Y and Wang F Y . 2017 . Parallel blockchain： concept， methods and issues . Acta Automatica Sinica ， 43 （ 10 ）： 1703 - 1712

袁勇，王飞跃 . 2017 . 平行区块链：概念、方法与内涵解析 . 自动化学报， 43 （ 10 ）： 1703 - 1712 ［ DOI： 10.16383/j.aas.2017.c170543 http://dx.doi.org/10.16383/j.aas.2017.c170543 ］

Zhang H ， Li X and Wang F Y . 2021 . The basic framework and key algorithms of parallel vision . Journal of Image and Graphics ， 26 （ 1 ）： 82 - 92

张慧，李轩，王飞跃 . 2021 . 平行视觉的基本框架与关键算法 . 中国图象图形学报， 26 （ 1 ）： 82 - 92 ［ DOI： 10.11834/jig.200400 http://dx.doi.org/10.11834/jig.200400 ］

Zhang X W and Wang F Y . 2022 . Basic framework and key technologies of parallel tires . Chinese Journal of Intelligent Science and Technology ， 4 （ 3 ）： 445 - 457

张向文，王飞跃 . 2022 . 平行轮胎的基本架构与关键技术 . 智能科学与技术学报， 4 （ 3 ）： 445 - 457 ［ DOI： 10.11959/j.issn.2096-6652.202242 http://dx.doi.org/10.11959/j.issn.2096-6652.202242 ］

Zhao W S ， Queralta J P and Westerlund T . 2020 . Sim-to-real transfer in deep reinforcement learning for robotics： a survey // 2020 IEEE Symposium Series on Computational Intelligence . Canberra， Australia ： IEEE： 737 - 744 ［ DOI： 10.1109/SSCI47803.2020.9308468 http://dx.doi.org/10.1109/SSCI47803.2020.9308468 ］

Zhong C L ， Yang C ， Sun F C ， Qi J S ， Mu X D ， Liu H P and Huang W B . 2022 . Sim2Real object-centric keypoint detection and description // Proceedings of the 36th AAAI Conference on Artificial Intelligence . Virtual ： AAAI： 5440 - 5449 ［ DOI： 10.1609/aaai.v36i5.20482 http://dx.doi.org/10.1609/aaai.v36i5.20482 ］

Zhou W ， Li Y Y ， Yang Y X ， Wang H M and Hospedales T M . 2020 . Online meta-critic learning for off-policy actor-critic methods // Proceedings of the 34th International Conference on Neural Information Processing Systems . Vancouver， Canada ： Curran Associates Inc.： 17662 - 17673

Ziegler S and Höpler R . 2011 . Extending the IPG CarMaker by FMI compliant units // Proceedings of the 8th International Modelica Conference . Dresden， Germany ： LiU Electronic Press： 779 - 784 ［ DOI： 10.3384/ecp11063779 http://dx.doi.org/10.3384/ecp11063779 ］