浏览全部资源
扫码关注微信
收稿日期：2023-11-01，
修回日期：2024-01-22，
纸质出版日期：2024-11-16
移动端阅览
无人集群系统是当前人工智能和机器人领域备受关注的研究热点，已在多个领域展现出广阔的应用前景。对无人集群系统进行了深入综述和分析，着重探讨了协同决策和博弈控制两个关键方面，旨在通过智能体之间的信息共享和协作，提高系统效率，解决在智能体之间可能出现的利益冲突和决策问题。首先，对一些基本概念进行了明确阐述，包括智能体、集群智能和无人集群系统，有助于读者建立对这一领域的基本理解。随后，介绍了协同与博弈控制数学模型、集群协同与博弈决策、集群协同控制方法、集群博弈控制方法等算法，着重强调了协同决策和博弈控制的理论基础，以及它们如何应用于无人集群系统中，从而提高系统的整体性能。接下来，列举了集群协同与博弈在多个领域的一些典型应用案例，包括智能交通、无人机编队、物流配送和军事领域。这些实际案例展示了该技术的广泛应用领域，以及它对提高效率和解决复杂问题的潜力。最后，讨论了未来研究方向和挑战，包括对新技术和方法的需求，以应对不断发展的需求和问题，以及如何进一步推动无人集群系统的发展。本文为无人集群系统的进一步发展提供指导和参考，以推动该领域的发展和创新，为未来的科学和技术进步做出了一定贡献。
In the pursuit of furthering the understanding of unmanned swarm systems， this paper embarks on an expansive journey， delving even deeper into the intricacies of cooperative decision-making and game control. The two methodological pillars， carefully chosen for their unique contributions， play a pivotal role in steering unmanned swarm systems toward heightened efficiency and adaptability across diverse environments. First， the implementation of cooperative control stands as a cornerstone， fostering enhanced communication and collaboration among agents within the unmanned swarm system. This strategic approach not only minimizes conflicts but also streamlines tasks， contributing substantially to the augmentation of system efficiency. Cooperative control establishes a foundation for improved information exchange and seamless cooperation by promoting a cohesive environment where agents work in tandem. Second， the integration of game control methodologies plays a pivotal role in empowering agents to navigate conflicts of interest effectively. This approach goes beyond conflict resolution； it actively contributes to elevating decision-making processes and optimizing the overall interests of the cluster system. The dynamic nature of game control ensures that agents can strategically navigate complex scenarios， maximizing collective interests and ensuring the sustained efficiency of the unmanned swarm system. Additionally， in practical large-scale problems， a balanced combination of cooperation and games enhances the adaptive capabilities of intelligent system clusters in diverse environments. This approach effectively resolves conflicts of interest and decision-making challenges that may arise between agents. Regarding the implementation of the two methods， this study concentrates on utilizing the collaborative control method for tasks such as formation control， cluster path planning， and cluster task collaboration. Specific technical implementations are allocated to corresponding sub-items. The game control methods center around various game types， including self-play， evolutionary play， and reinforcement learning play. These approaches offer new prospects for addressing optimization challenges in cluster control. This study comprehensively reviews the application of cooperative and game control methods in the unmanned swarm system. Explicit explanations of fundamental concepts， including agents， swarm intelligence， and unmanned swarm systems， are provided to establish a basic understanding for readers. Subsequently， the mathematical models of cooperative and game control， swarm cooperation and game decisions， swarm cooperative control methods， swarm game control methods， and other algorithms are introduced. The emphasis is placed on the theoretical foundations of cooperative decision-making and game control， along with their applications in improving overall system performance in the unmanned swarm system. Furthermore， the paper delves into illustrative application scenarios， providing concrete examples of how swarm cooperation and game control methodologies find practical relevance across diverse fields. These exemplary cases span a spectrum of industries， including intelligent transportation， unmanned aerial vehicle（UAV） formation， logistics and distribution， and military domains. The paper offers valuable insights into the versatility and adaptability of unmanned swarm systems by demonstrating the tangible applications of these technologies in real-world settings. Finally， the paper discusses future research directions and challenges， emphasizing the necessity for new technologies and methods to address evolving needs and problems. The highlighted complex challenges， including the intricacy of large-scale swarm systems， collaboration among heterogeneous agents， adaptability to dynamic environments， autonomy of clusters， interpretability and safety of unmanned swarm systems， and self-healing capability， undoubtedly serve as key research focal points for future unmanned systems. Overall， this paper serves as a comprehensive guide and reference， not only delving into the theoretical foundations but also providing practical insights into the application of cooperative decision-making and game control in unmanned swarm systems. The forward-looking approach of this paper positions it as a valuable resource for those seeking to advance the field， foster development and innovation， and contribute to the ongoing scientific and technological progress in this domain.
Berner C ， Brockman G ， Chan B ， Cheung V ， Dębiak P ， Dennison C ， Farhi D ， Fischer Q ， Hashme S ， Hesse C ， Józefowicz R ， Gray S ， Olsson C ， Pachocki J ， Petrov M ， de Oliveira Pinto H P ， Raiman J ， Salimans T ， Schlatter J ， Schneider J ， Sidor S ， Sutskever I ， Tang J ， Wolski F and Zhang S S . 2019 . Dota 2 with large scale deep reinforcement learning ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1912.06680.pdf https://arxiv.org/pdf/1912.06680.pdf
Bohmer W ， Kurin V and Whiteson S . 2020 . Deep coordination graphs // Proceedings of the 37th International Conference on Machine Learning . Virtual ： JMLR.org： 980 - 991
Bramblett L ， Peddi R and Bezzo N . 2022 . Coordinated multi-agent exploration ， rendezvous， and task allocation in unknown environments with limited connectivity //Proceedings of 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. Kyoto， Japan ： IEEE： 12706 - 12712 ［ DOI： 10.1109/IROS47612.2022.9981898 http://dx.doi.org/10.1109/IROS47612.2022.9981898 ］
Brown N and Sandholm T . 2019 . Superhuman AI for multiplayer poker . Science ， 365 （ 6456 ）： 885 - 890 ［ DOI： 10.1126/science.aay2400 http://dx.doi.org/10.1126/science.aay2400 ］
Cao X J ， Zhang Z T ， Sun Y Z ， Wang P ， Xu S G ， Liu F Q ， Wang C ， Peng F ， Mu S Y ， Liu W Y and Yang Y . 2022 . The review of image processing and edge computing for intelligent transportation system . Journal of Image and Graphics ， 27 （ 6 ）： 1743 - 1767
曹行健 ， 张志涛 ， 孙彦赞 ， 王平 ， 徐树公 ， 刘富强 ， 王超 ， 彭飞 ， 穆世义 ， 刘文予 ， 杨铀 . 2022 . 面向智慧交通的图像处理与边缘计算 . 中国图象图形学报 ， 27 （ 6 ）： 1743 - 1767 ［ DOI： 10.11834/jig.211266 http://dx.doi.org/10.11834/jig.211266 ］
Cesare K ， Skeele R ， Yoo S H ， Zhang Y W and Hollinger G . 2015 . Multi-UAV exploration with limited communication and battery // Proceedings of 2015 IEEE International Conference on Robotics and Automation （ICRA） . Seattle， USA ： IEEE： 2230 - 2235 ［ DOI： 10.1109/ICRA.2015.7139494 http://dx.doi.org/10.1109/ICRA.2015.7139494 ］
Chaves A N ， Cugnasca P S and Jose J . 2014 . Adaptive search control applied to search and rescue operations using unmanned aerial vehicles （UAVs） . IEEE Latin America Transactions ， 12 （ 7 ）： 1278 - 1283 ［ DOI： 10.1109/TLA.2014.6948863 http://dx.doi.org/10.1109/TLA.2014.6948863 ］
Chen G C ， Mao X J ， Yang S ， Shen Y T ， Zhao W W and Zhang S B . 2021 . Research on self-organization method of target oriented Multi-UAV . Software Guide ， 20 （ 6 ）： 39 - 44
陈国春 ， 毛新军 ， 杨硕 ， 沈宇婷 ， 赵伟伟 ， 张少波 . 2021 . 面向目标定位的多无人机自组织方法研究 . 软件导刊 ， 20 （ 6 ）： 39 - 44 ［ DOI： 10.11907/rjdk.202147 http://dx.doi.org/10.11907/rjdk.202147 ］
Chen H . 2020 . Research on Formation Control of Fixed-Wing UAV Swarms in Complex Environments . Changsha ： National University of Defense Technology
陈浩 . 2020 . 复杂条件下固定翼无人机集群编队控制研究 . 长沙 ： 国防科技大学 ［ DOI： 10.27052/d.cnki.gzjgu.2020.000008 http://dx.doi.org/10.27052/d.cnki.gzjgu.2020.000008 ］
Chen J R ， Wang J J ， Hou X W ， Fang Z R ， Du J and Ren Y . 2021 . Advance into ocean： from bionic monomer to swarm intelligence . Acta Electronica Sinica ， 49 （ 12 ）： 2458 - 2467
陈健瑞 ， 王景璟 ， 侯向往 ， 方政儒 ， 杜军 ， 任勇 . 2021 . 挺进深蓝： 从单体仿生到群体智能 . 电子学报 ， 49 （ 12 ）： 2458 - 2467 ［ DOI： 10.12263/DZXB.20201448 http://dx.doi.org/10.12263/DZXB.20201448 ］
Chen M Z ， Qian T H ， Zhang S Z and Wang J Q . 2019 . Obstacle avoidance and cooperative path planning method of warehouse logistics robot cluster . Modern Electronics Technique ， 42 （ 22 ）： 174 - 177 ， 182
陈明智 ， 钱同惠 ， 张仕臻 ， 王嘉前 . 2019 . 仓储物流机器人集群避障及协同路径规划方法 . 现代电子技术 ， 42 （ 22 ）： 174- 177 ， 182 ［ DOI： 10.16652/j.issn.1004-373x.2019.22.037 http://dx.doi.org/10.16652/j.issn.1004-373x.2019.22.037 ］
Chen X ， Li G Y and Zhao L . 2018 . Research on UCAV game strategy of cooperative air combat task . Fire Control and Command Control ， 43 （ 11 ）： 17 - 23
陈侠 ， 李光耀 ， 赵谅 . 2018 . 多无人机协同打击任务的攻防博弈策略研究 . 火力与指挥控制 ， 43 （ 11 ）： 17 - 23 ［ DOI： 10.3969/j.issn.1002-0640.2018.11.004 http://dx.doi.org/10.3969/j.issn.1002-0640.2018.11.004 ］
China Electronics Technology Standardization Institute . 2021 . White Paper on the Development of Intelligent Unmanned Swarm Systems （中国电子技术标准化研究院 . 2021 . 智能无人集群系统发展白皮书）
Couzin I D ， Krause J ， Franks N R and Levin S A . 2005 . Effective leadership and decision-making in animal groups on the move . Nature ， 433 （ 7025 ）： 513 - 516 ［ DOI： 10.1038/nature03236 http://dx.doi.org/10.1038/nature03236 ］
Doshi-Velez F and Kim B . 2017 . Towards a rigorous science of interpretable machine learning ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1702.08608.pdf https://arxiv.org/pdf/1702.08608.pdf
Du J M ， Wu B and Wang L . 2015 . Aspiration dynamics in structured population acts as if in a well-mixed one . Scientific Reports ， 5 （ 1 ）： # 8014 ［ DOI： 10.1038/srep08014 http://dx.doi.org/10.1038/srep08014 ］
Duan H B ， Zhang D F ， Fan Y M and Deng Y M . 2019 . From wolf pack intelligence to UAV swarm cooperative decision-making . Scientia Sinica Informationis ， 49 （ 1 ）： 112 - 118
段海滨 ， 张岱峰 ， 范彦铭 ， 邓亦敏 . 2019 . 从狼群智能到无人机集群协同决策 . 中国科学 ： 信息科学） ， 49 （ 1 ）： 112 - 118 ［ DOI： 10.1360/N112018-00168 http://dx.doi.org/10.1360/N112018-00168 ］
Duan Y ， Cui B X and Xu X H . 2009 . Multi-agent reinforcement learning and its application to role assignment of robot soccer . Control Theory and Applications ， 26 （ 4 ）： 371 - 376
段勇 ， 崔宝侠 ， 徐心和 . 2009 . 多智能体强化学习及其在足球机器人角色分配中的应用 . 控制理论与应用 ， 26 （ 4 ）： 371 - 376
El-Tantawy S and Abdulhai B . 2010 . Towards multi-agent reinforcement learning for integrated network of optimal traffic controllers （MARLIN-OTC） . Transportation Letters ， 2 （ 2 ）： 89 - 110 ［ DOI： 10.3328/TL.2010.02.02.89-110 http://dx.doi.org/10.3328/TL.2010.02.02.89-110 ］
Esteva A ， Robicquet A ， Ramsundar B ， Kuleshov V ， Depristo M ， Chou K ， Cui C ， Corrado G ， Thrun S and Dean J . 2019 . A guide to deep learning in healthcare . Nature Medicine ， 25 （ 1 ）： 24 - 29 ［ DOI： 10.1038/s41591-018-0316-z http://dx.doi.org/10.1038/s41591-018-0316-z ］
Everett R and Roberts S J . 2018 . Learning against non-stationary agents with opponent modelling and deep reinforcement learning // 2018 AAAI Spring Symposia . Palo Alto， USA ： AAAI Press： 621 - 626
Fan J Q ， Wang Z R ， Xie Y C and Yang Z R . 2020 . A theoretical analysis of deep Q-learning //Proceedings of the 2nd Conference on Learning for Dynamics and Control. ［s.l.］： PMLR： 486 - 489
Fei A G ， Zhang L Y and Dong H L . 2020 . Thoughts on improving the autonomous combat capabilities of aircraft formations . Journal of Command and Control ， 6 （ 1 ）： 1 - 4
费爱国 ， 张陆游 ， 董洪乐 . 2020 . 提升飞机编队自主作战能力的若干思考 . 指挥与控制学报 ， 6 （ 1 ）： 1 - 4 ［ DOI： 10.3969/j.issn.2096-0204.2020.01.0001 http://dx.doi.org/10.3969/j.issn.2096-0204.2020.01.0001 ］
Fei S M ， Huo L and Li S Q . 2021 . Heterogeneous UAVs collaborative decision method based on policy improvement balance mechanism . Journal of Ordnance Equipment Engineering ， 42 （ 11 ）： 174 - 180
费思邈 ， 霍琳 ， 李诗琪 . 2021 . 基于策略增益均衡的异构无人机协同决策方法 . 兵器装备工程学报 ， 42 （ 11 ）： 174 - 180 ［ DOI： 10.11809/bqzbgcxb2021.11.028 http://dx.doi.org/10.11809/bqzbgcxb2021.11.028 ］
Forte P ， Mannucci A ， Andreasson H and Pecora F . 2021 . Online task assignment and coordination in multi-robot fleets . IEEE Robotics and Automation Letters ， 6 （ 3 ）： 4584 - 4591 ［ DOI： 10.1109/LRA.2021.3068918 http://dx.doi.org/10.1109/LRA.2021.3068918 ］
Gao C Y ， Tang Y T and Xu H B . 2021 . Research on the multi-agents formation . China New Telecommunications ， 23 （ 18 ）： 49 - 52
高炽扬 ， 汤雅婷 ， 徐海波 . 2021 . 多智能体编队问题的研究 . 中国新通信 ， 23 （ 18 ）： 49 - 52 ［ DOI： 10.3969/j.issn.1673-4866.2021.18.025 http://dx.doi.org/10.3969/j.issn.1673-4866.2021.18.025 ］
Ge C . 2021 . The bright future of smart transportation： building collaborative systems is the trend . Intelligent Connected Vehicles ， （ 5 ）： 79 - 81
葛成 . 2021 . 智慧交通前景广阔 构建协同体系大势所趋 . 智能网联汽车 ， （ 5 ）： 79 - 81
Guo B . 2020 . On intelligent IOT and future manufacturing——Embracing the era of human-computer-things swarm intelligence computing . Frontiers ， （ 13 ）： 32 - 42
郭斌 . 2020 . 论智能物联与未来制造——拥抱人机物融合群智计算时代 . 人民论坛学术前沿 ， （ 13 ）： 32 - 42 ［ DOI： 10.16619/j.cnki.rmltxsqy.2020.13.004 http://dx.doi.org/10.16619/j.cnki.rmltxsqy.2020.13.004 ］
Gupta J K ， Egorov M and Kochenderfer M . 2017 . Cooperative multi-agent control using deep reinforcement learning // Autonomous Agents and Multiagent Systems： AAMAS 2017 Workshops . São Paulo， Brazil ： Springer： 66 - 83 ［ DOI： 10.1007/978-3-319-71682-4_5 http://dx.doi.org/10.1007/978-3-319-71682-4_5 ］
Han L ， Ren Z ， Dong X W and Li Q D . 2018 . Research on cooperative control method and application for multiple unmanned aerial vehicles . Navigation Positioning and Timing ， 5 （ 4 ）： 1 - 7
韩亮 ， 任章 ， 董希旺 ， 李清东 . 2018 . 多无人机协同控制方法及应用研究 . 导航定位与授时 ， 5 （ 4 ）： 1 - 7 ［ DOI： 10.19306/j.cnki.2095-8110.2018.04.001 http://dx.doi.org/10.19306/j.cnki.2095-8110.2018.04.001 ］
Hernandez D ， Denamganaï K ， Gao Y ， York P ， Devlin S ， Samothrakis S and Walker J A . 2019 . A generalized framework for self-play training // Proceedings of 2019 IEEE Conference on Games （CoG） . London， UK ： IEEE： 1 - 8 ［ DOI： 10.1109/CIG.2019.8848006 http://dx.doi.org/10.1109/CIG.2019.8848006 ］
Hu J L and Wellman M P . 2003 . Nash Q-learning for general-sum stochastic games . The Journal of Machine Learning Research ， 4 ： 1039 - 1069
Huang K Q ， Xing J L ， Zhang J G ， Ni W C and Xu B . 2020 . Intelligent technologies of human-computer gaming . Scientia Sinica（Informationis） ， 50 （ 4 ）： 540 - 550
黄凯奇 ， 兴军亮 ， 张俊格 ， 倪晚成 ， 徐博 . 2020 . 人机对抗智能技术 . 中国科学 ： 信息科学） ， 50 （ 4 ）： 540 - 550 ［ DOI： 10.1360/N112019-00048 http://dx.doi.org/10.1360/N112019-00048 ］
Jiang L L ， Perc M and Szolnoki A . 2013 . If cooperation is likely punish mildly： insights from economic experiments based on the snowdrift game . PLoS One ， 8 （ 5 ）： # 64677 ［ DOI： 10.1371/journal.pone.0064677 http://dx.doi.org/10.1371/journal.pone.0064677 ］
Ju K ， Mao Z H ， Jiang B and Ma Y J . 2022 . Task allocation and reallocation for heterogeneous multiagent systems based on potential game . Acta Automatica Sinica ， 48 （ 10 ）： 2416 - 2428
鞠锴 ， 冒泽慧 ， 姜斌 ， 马亚杰 . 2022 . 基于势博弈的异构多智能体系统任务分配和重分配 . 自动化学报 ， 48 （ 10 ）： 2416 - 2428 ［ DOI： 10.16383/j.aas.c220003 http://dx.doi.org/10.16383/j.aas.c220003 ］
Khodayi-Mehr R ， Kantaros Y and Zavlanos M M . 2019 . Distributed state estimation using intermittently connected robot networks . IEEE Transactions on Robotics ， 35 （ 3 ）： 709 - 724 ［ DOI： 10.1109/TRO.2019.2897865 http://dx.doi.org/10.1109/TRO.2019.2897865 ］
Lei Y L ， Ding W R ， Li Y ， Song Y and Chai X H . 2023 . Review on biological swarm intelligence algorithm in UAV path planning . Radio Engineering ， 53 （ 7 ）： 1509 - 1519
雷耀麟 ， 丁文锐 ， 李雅 ， 宋丫 ， 柴兴华 . 2023 . 群体智能支撑的无人机群航路规划应用综述 . 无线电工程 ， 53 （ 7 ）： 1509 - 1519 ［ DOI： 10.3969/j.issn.1003-3106.2023.07.003 http://dx.doi.org/10.3969/j.issn.1003-3106.2023.07.003 ］
Leibo J Z ， Zambaldi V ， Lanctot M ， Marecki J and Graepel T . 2017 . Multi-agent reinforcement learning in sequential social dilemmas ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1702.03037.pdf https://arxiv.org/pdf/1702.03037.pdf
Lerer A and Peysakhovich A . 2018 . Maintaining cooperation in complex social dilemmas using deep reinforcement learning ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1707.01068.pdf https://arxiv.org/pdf/1707.01068.pdf
Li C ， Wang R X ， Huang J Z ， Jiang F L ， Wei X M and Sun Y X . 2023 . Autonomous decision-making and intelligent collaboration of UAV swarms based on reinforcement learning with sparse rewards . Acta Armamentarii ， 44 （ 6 ）： 1537 - 1546
李超 ， 王瑞星 ， 黄建忠 ， 江飞龙 ， 魏雪梅 ， 孙延鑫 . 2023 . 稀疏奖励下基于强化学习的无人集群自主决策与智能协同 . 兵工学报 ， 44 （ 6 ）： 1537 - 1546 ［ DOI： 10.12382/bgxb.2022.0177 http://dx.doi.org/10.12382/bgxb.2022.0177 ］
Li D Y ， Yin J L ， Zhang T L ， Han W and Bao H . 2023 . Four most basic elements in machine cognition . China Basic Science ， 25 （ 3 ）： 1 - 10 ， 22
李德毅 ， 殷嘉伦 ， 张天雷 ， 韩威 ， 鲍泓 . 2023 . 机器认知四要素说 . 中国基础科学 ， 25 （ 3 ）： 1- 10 ， 22 ［ DOI： 10.3969/j.issn.1009-2412.2023.03.001 http://dx.doi.org/10.3969/j.issn.1009-2412.2023.03.001 ］
Li H ， Liu D J and Liu Y . 2020 . Architecture design research of military intelligent wargame system . Fire Control and Command Control ， 45 （ 9 ）： 116 - 121
李航 ， 刘代金 ， 刘禹 . 2020 . 军事智能博弈对抗系统设计框架研究 . 火力与指挥控制 ， 45 （ 9 ）： 116 - 121 ［ DOI： 10.3969/j.issn.1002-0640.2020.09.021 http://dx.doi.org/10.3969/j.issn.1002-0640.2020.09.021 ］
Li L L ， Zhu R J ， Sui L Y ， Li Y F ， Xu M L and Fan H T . 2023 . The reinforcement learning approaches for intelligent collective system： a survey . Chinese Journal of Computers ， 46 （ 12 ）： 2573 - 2596
李璐璐 ， 朱睿杰 ， 隋璐瑶 ， 李亚飞 ， 徐明亮 ， 樊会涛 . 2023 . 智能集群系统的强化学习方法综述 . 计算机学报 ， 46 （ 12 ）： 2573 - 2596 ［ DOI： 10.11897/SP.J.1016.2023.02573 http://dx.doi.org/10.11897/SP.J.1016.2023.02573 ］
Li W ， Wu W J ， Wang H M ， Cheng X Q ， Chen H J ， Zhou Z H and Ding R . 2017 . Crowd intelligence in AI 2.0 era . Frontiers of Information Technology and Electronic Engineering ， 18 （ 1 ）： 15 - 43 ［ DOI： 10.1631/FITEE.1601859 http://dx.doi.org/10.1631/FITEE.1601859 ］
Li W H ， Wang X F ， Jin B ， Luo D J and Zha H Y . 2022 . Structured cooperative reinforcement learning with time-varying composite action space . IEEE Transactions on Pattern Analysis and Machine Intelligence ， 44 （ 11 ）： 8618 - 8634 ［ DOI： 10.1109/TPAMI.2021.3102140 http://dx.doi.org/10.1109/TPAMI.2021.3102140 ］
Li Y F ， Wu Q S ， Huang X ， Xu J L ， Gao W R and Xu M L . 2023 . Efficient adaptive matching for real-time city express delivery . IEEE Transactions on Knowledge and Data Engineering ， 35 （ 6 ）： 5767 - 5779 ［ DOI： 10.1109/TKDE.2022.3162220 http://dx.doi.org/10.1109/TKDE.2022.3162220 ］
Liang X L ， Sun Q ， Yin Z H ， Wang Y L and Liu P N . 2015 . Ｒeview on large-scale unmanned system swarm intelligence control method . Application Research of Computers ， 32 （ 1 ）： 11 - 16
梁晓龙 ， 孙强 ， 尹忠海 ， 王亚利 ， 刘苹妮 . 2015 . 大规模无人系统集群智能控制方法综述 . 计算机应用研究 ， 32 （ 1 ）： 11 - 16 ［ DOI： 10.3969/j.issn.1001-3695.2015.01.003 http://dx.doi.org/10.3969/j.issn.1001-3695.2015.01.003 ］
Littman M L . 1994 . Markov games as a framework for multi-agent reinforcement learning // Proceedings of the 11th International Conference on International Conference on Machine Learning . New Brunswick， USA ： Morgan Kaufmann Publishers Inc.： 157 - 163
Littman M L . 2001 . Friend-or-foe Q-learning in general-sum games // Proceedings of the 18th International Conference on Machine Learning . Williamstown， USA ： Morgan Kaufmann Publishers Inc.： 322 - 328
Liu J Q ， Hang P ， Na X X ， Huang C and Sun J . 2023 . Cooperative decision-making for CAVs at unsignalized intersections： a MARL approach with attention and hierarchical game priors ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/2409.05712v1.pdf https://arxiv.org/pdf/2409.05712v1.pdf
Liu X W ， Zhang Q ， Luo Y ， Lu X F and Dong C . 2021 . Radar network time scheduling for multi-target ISAR task with game theory and multiagent reinforcement learning . IEEE Sensors Journal ， 21 （ 4 ）： 4462 - 4473 ［ DOI： 10.1109/JSEN.2020.3029430 http://dx.doi.org/10.1109/JSEN.2020.3029430 ］
Liu Z ， Chen W D ， Wang H S ， Liu Y H ， Shen Y and Fu X Y . 2020 . A self-repairing algorithm with optimal repair path for maintaining motion synchronization of mobile robot network . IEEE Transactions on Systems， Man， and Cybernetics： Systems ， 50 （ 3 ）： 815 - 828 ［ DOI： 10.1109/TSMC.2017.2726104 http://dx.doi.org/10.1109/TSMC.2017.2726104 ］
Liu Z W ， Zhu G Y ， Hao H and Zhao F Q . 2022 . Intelligent vehicle technology innovation development strategy supporting the upgrading of traffic . Science and Technology Management Research ， 42 （ 8 ）： 34 - 41
刘宗巍 ， 朱光钰 ， 郝瀚 ， 赵福全 . 2022 . 支撑交通治理升级的智能汽车科技创新发展战略 . 科技管理研究 ， 42 （ 8 ）： 34 - 41 ［ DOI： 10.3969/j.issn.1000-7695.2022.8.005 http://dx.doi.org/10.3969/j.issn.1000-7695.2022.8.005 ］
Lowe R ， Wu Y ， Tamar A ， Harb J ， Abbeel P and Mordatch I . 2017 . Multi-agent actor-critic for mixed cooperative-competitive environments // Proceedings of the 31st International Conference on Neural Information Processing Systems . Long Beach， USA ： Curran Associates Inc.： 6382 - 6393
Luo T Z ， Subagdja B ， Wang D and Tan A H . 2019 . Multi-agent collaborative exploration through graph-based deep reinforcement learning // Proceedings of 2019 IEEE International Conference on Agents （ICA） . Jinan， China ： IEEE： 2 - 7 ［ DOI： 10.1109/AGENTS.2019.8929168 http://dx.doi.org/10.1109/AGENTS.2019.8929168 ］
Ma Y W . 2021 . Research on Swarm Intelligence Task Allocation Method for UAV Swarms Combat System . Harbin ： Harbin Engineering University
马雨微 . 2021 . 无人机集群作战系统的群智能任务分配方法研究 . 哈尔滨 ： 哈尔滨工程大学 ［ DOI： 10.27060/d.cnki.ghbcu.2021.000282 http://dx.doi.org/10.27060/d.cnki.ghbcu.2021.000282 ］
Ma Z Y and Bai Y . 2022 . Research of robotic swarm’s core technology in cooperative operations . Journal of China Academy of Electronics and Information Technology ， 17 （ 1 ）： 98 - 104
马征宇 ， 白阳 . 2022 . 机器人集群协同作战关键技术研究 . 中国电子科学研究院学报 ， 17 （ 1 ）： 98 - 104 ［ DOI： 10.3969/j.issn.1673-5692.2022.01.017 http://dx.doi.org/10.3969/j.issn.1673-5692.2022.01.017 ］
Mao H Y ， Zhang Z C ， Xiao Z and Gong Z B . 2018 . Modelling the dynamic joint policy of teammates with attention multi-agent DDPG ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1811.07029.pdf https://arxiv.org/pdf/1811.07029.pdf
Muller P ， Omidshafiei S ， Rowland M ， Tuyls K ， Perolat J ， Liu S Q ， Hennes D ， Marris L ， Lanctot M ， Hughes E ， Wang Z ， Lever G ， Heess N ， Graepel T and Munos R . 2020 . A generalized training approach for multiagent learning ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1909.12823.pdf https://arxiv.org/pdf/1909.12823.pdf
Niu Z Q ， Li C Y ， Dong H Y ， Zhang F ， Meng L Y ， Tong L and Wu S N . 2020 . Analyzing dispatching wave policies for e-commerce logistics based on the multi-agent-based simulation . Journal of System Simulation ， 32 （ 12 ）： 2415 - 2425
牛志强 ， 李朝阳 ， 董红宇 ， 张峰 ， 孟令云 ， 佟路 ， 吴盛楠 . 2020 . 基于多智能体仿真的电商物流配送波次策略分析（英文） . 系统仿真学报 ， 32 （ 12 ）： 2415 - 2425 ［ DOI： 10.16182/j.issn1004731x.joss.20-FZ0531E http://dx.doi.org/10.16182/j.issn1004731x.joss.20-FZ0531E ］
Nowak M A . 2006 . Five rules for the evolution of cooperation . Science ， 314 （ 5805 ）： 1560 - 1563 ［ DOI： 10.1126/science.1133755 http://dx.doi.org/10.1126/science.1133755 ］
Panait L and Luke S . 2005 . Cooperative multi-agent learning： the state of the art . Autonomous Agents and Multi-Agent Systems ， 11 （ 3 ）： 387 - 434 ［ DOI： 10.1007/s10458-005-2631-2 http://dx.doi.org/10.1007/s10458-005-2631-2 ］
Park H and Hutchinson S . 2018 . Robust rendezvous for multi-robot system with random node failures： an optimization approach . Autonomous Robots ， 42 （ 8 ）： 1807 - 1818 ［ DOI： 10.1007/s10514-018-9715-8 http://dx.doi.org/10.1007/s10514-018-9715-8 ］
Rashid T ， Samvelyan M ， de Witt C S ， Farquhar G ， Foerster ， Shimon J and Whiteson S . 2018 . QMIX： monotonic value function factorisation for deep multi-agent reinforcement learning ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1803.11485.pdf https://arxiv.org/pdf/1803.11485.pdf
Ren G S ， Chang J and Chen W S . 2018 . Present and prospect of intelligent autonomous control for UAV . Control and Information Technology ， （ 6 ）： 7 - 13
任广山 ， 常晶 ， 陈为胜 . 2018 . 无人机系统智能自主控制技术发展现状与展望 . 控制与信息技术 ， （ 6 ）： 7 - 13 ［ DOI： 10.13889/j.issn.2096-5427.2018.06.002 http://dx.doi.org/10.13889/j.issn.2096-5427.2018.06.002 ］
Reynolds C W . 1987 . Flocks， herds and schools： a distributed behavioral model //Proceedings of the 14th Annual Conference on Computer Graphics and Interactive Techniques. ［s.l.］： ACM： 25 - 34 ［ DOI： 10.1145/37401.37406 http://dx.doi.org/10.1145/37401.37406 ］
Şahin E . 2005 . Swarm robotics： from sources of inspiration to domains of application // Proceedings of the SAB 2004 International Workshop on Swarm Robotics . Santa Monica， USA ： Springer： 10 - 20 ［ DOI： 10.1007/978-3-540-30552-1_2 http://dx.doi.org/10.1007/978-3-540-30552-1_2 ］
Samuel A L . 1959 . Some studies in machine learning using the game of checkers . IBM Journal of Research and Development ， 3 （ 3 ）： 210 - 229 ［ DOI： 10.1147/rd.33.0210 http://dx.doi.org/10.1147/rd.33.0210 ］
Silver D ， Huang A ， Maddison C J ， Guez A ， Sifre L ， Van Den Driessche G ， Schrittwieser J ， Antonoglou I ， Panneershelvam V ， Lanctot M ， Dieleman S ， Grewe D ， Nham J ， Kalchbrenner N ， Sutskever I ， Lillicrap T ， Leach M ， Kavukcuoglu K ， Graepel T and Hassabis D . 2016 . Mastering the game of Go with deep neural networks and tree search . Nature ， 529 （ 7587 ）： 484 - 489 ［ DOI： 10.1038/nature16961 http://dx.doi.org/10.1038/nature16961 ］
Silver D ， Schrittwieser J ， Simonyan K ， Antonoglou I ， Huang A ， Guez A ， Hubert T ， Baker L ， Lai M ， Bolton A ， Chen Y T ， Lillicrap T ， Hui F ， Sifre L ， Van Den Driessche G ， Graepel T and Hassabis D . 2017 . Mastering the game of Go without human knowledge . Nature ， 550 （ 7676 ）： 354 - 359 ［ DOI： 10.1038/nature24270 http://dx.doi.org/10.1038/nature24270 ］
Su L and Xiong Q J . 2014 . Robustness index of spatial lattice structure based on system state equation . Spatial Structures ， 20 （ 4 ）： 54 - 58 ， 95
苏亮 ， 熊前锦 . 2014 . 基于系统状态方程的空间网格结构鲁棒性指标 . 空间结构 ， 20 （ 4 ）： 54- 58 ， 95 ［ DOI： 10.13849/j.issn.1006-6578.2014.04.054 http://dx.doi.org/10.13849/j.issn.1006-6578.2014.04.054 ］
Su Z ， Zhang Z ， Chen C ， Liu D Y and Liang X . 2022 . Deep reinforcement learning based swarm game confrontation of unmanned surface vehicles . Journal of Ordnance Equipment Engineering ， 43 （ 9 ）： 9 - 14
苏震 ， 张钊 ， 陈聪 ， 刘殿勇 ， 梁霄 . 2022 . 基于深度强化学习的无人艇集群博弈对抗 . 兵器装备工程学报 ， 43 （ 9 ）： 9 - 14 ［ DOI： 10.11809/bqzbgcxb2022.09.002 http://dx.doi.org/10.11809/bqzbgcxb2022.09.002 ］
Su Z Y ， Li Y L ， Xu Y C and Zhang Y J . 2020 . An UGV swarm formation reconfiguration method with space-time constraints . Journal of Transportation Systems Engineering and Information Technology ， 20 （ 2 ）： 211 - 217
苏致远 ， 李永乐 ， 徐友春 ， 章永进 . 2020 . 具有时空约束的无人车集群构型变换方法 . 交通运输系统工程与信息 ， 20 （ 2 ）： 211 - 217 ［ DOI： 10.16097/j.cnki.1009-6744.2020.02.031 http://dx.doi.org/10.16097/j.cnki.1009-6744.2020.02.031 ］
Sun Y X ， Peng Y H ， Li B ， Zhou J W ， Zhang X L and Zhou X Z . 2022 . Overview of intelligent game： enlightenment of game AI to combat deduction . Chinese Journal of Intelligent Science and Technology ， 4 （ 2 ）： 157 - 173
孙宇祥 ， 彭益辉 ， 李斌 ， 周佳炜 ， 张鑫磊 ， 周献中 . 2022 . 智能博弈综述： 游戏AI对作战推演的启示 . 智能科学与技术学报 ， 4 （ 2 ）： 157 - 173 ［ DOI： 10.11959/j.issn.2096-6652.202209 http://dx.doi.org/10.11959/j.issn.2096-6652.202209 ］
Sunehag P ， Lever G ， Gruslys A ， Czarnecki W M ， Zambaldi V ， Jaderberg M ， Lanctot M ， Sonnerat N ， Leibo J Z ， Tuyls K and Graepel T . 2017 . Value-decomposition networks for cooperative multi-agent learning ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1706.05296.pdf https://arxiv.org/pdf/1706.05296.pdf
Taylor P D and Jonker L B . 1978 . Evolutionary stable strategies and game dynamics . Mathematical Biosciences ， 40 （ 1/2 ）： 145 - 156
Vicsek T ， Czirók A ， Ben-Jacob E ， Cohen I and Shochet O . 1995 . Novel type of phase transition in a system of self-driven particles . Physical Review Letters ， 75 （ 6 ）： 1226 - 1229 ［ DOI： 10.1103/PhysRevLett.75.1226 http://dx.doi.org/10.1103/PhysRevLett.75.1226 ］
Wan Q ， Gu C L ， Sun S K ， Chen M X ， Huang H J and Jia X H . 2018 . Lifelong multi-agent path finding in a dynamic environment // Proceedings of the 15th International Conference on Control， Automation， Robotics and Vision . Singapore， Singapore ： IEEE： 875 - 882 ［ DOI： 10.1109/ICARCV.2018.8581181 http://dx.doi.org/10.1109/ICARCV.2018.8581181 ］
Wang C ， Wang J and Zhang X D . 2018 . A deep reinforcement learning approach to flocking and navigation of uavs in large-scale complex environments // Proceedings of 2018 IEEE Global Conference on Signal and Information Processing （GlobalSIP） . Anaheim， USA ： IEEE： 1228 - 1232 ［ DOI： 10.1109/GlobalSIP.2018.8646428 http://dx.doi.org/10.1109/GlobalSIP.2018.8646428 ］
Wang C Y ， Zhu Y M ， Zhang X Y ， Cao J ， Yuan L X and Tan J R . 2022 . Task cooperative framework based on multi-agent reinforcement learning in smart transportation scenarios . Artificial Intelligence View ， （ 4 ）： 50 - 60
王春阳 ， 朱燕民 ， 张心 译， 曹健 ， 原良晓 ， 谈佳睿 . 2022 . 智慧交通场景下基于多智能体强化学习的任务协同框架 . 人工智能 ， （ 4 ）： 50 - 60 ［ DOI： 10.16453/j.cnki.ISSN2096-5036.2022.04.005 http://dx.doi.org/10.16453/j.cnki.ISSN2096-5036.2022.04.005 ］
Wang H ， Liu S G and Zhang B Y . 2023 . Formation control of manned/unmanned aerial vehicles based on hierarchical structure . Electronics Optics and Control ， 30 （ 1 ）： 1 - 7
王欢 ， 刘树光 ， 张博洋 . 2023 . 基于分层控制结构的有人/无人机编队队形控制 . 电光与控制 ， 30 （ 1 ）： 1 - 7 ［ DOI： 10.3969/j.issn.1671-637X.2023.01.001 http://dx.doi.org/10.3969/j.issn.1671-637X.2023.01.001 ］
Wang H ， Zhao D J ， Yang H T ， Zhao H L ， Li Z and Li S L . 2015 . Research method of web collective intelligence in era of big data . Computer and Modernization ， （ 2 ）： 1 - 6
王华 ， 赵东杰 ， 杨海涛 ， 赵洪利 ， 李智 ， 李申龙 . 2015 . 大数据时代下网络群体智能研究方法 . 计算机与现代化 ， （ 2 ）： 1 - 6 ［ DOI： 10.3969/j.issn.1006-2475.2015.02.001 http://dx.doi.org/10.3969/j.issn.1006-2475.2015.02.001 ］
Wang J ， Cao L ， Chen X L ， Zhang L G and Lin Z Y . 2022 . Game reinforcement learning from the perspective of intelligent command and control . National Defense Technology ， 43 （ 5 ）： 13 - 21
王军 ， 曹雷 ， 陈希亮 ， 章乐贵 ， 林泽阳 . 2022 . 智能化指挥控制视角下的博弈强化学习 . 国防科技 ， 43 （ 5 ）： 13 - 21 ［ DOI： 10.13943/j.issn1671-4547.2022.05.03 http://dx.doi.org/10.13943/j.issn1671-4547.2022.05.03 ］
Wang L and Huang F . 2023 . An interdisciplinary survey of multi-agent games， learning， and control . Acta Automatica Sinica ， 49 （ 3 ）： 580 - 613
王龙 ， 黄锋 . 2023 . 多智能体博弈、学习与控制 . 自动化学报 ， 49 （ 3 ）： 580 - 613 ［ DOI： 10.16383/j.aas.c220680 http://dx.doi.org/10.16383/j.aas.c220680 ］
Wang L M and Han Y . 2023 . Overview of foreign artificial intelligence science and technology development in the military in 2022 . Tactical Missile Technology ， （ 2 ）： 25 - 33
王立盟 ， 韩雨 . 2023 . 2022年国外军事人工智能领域科技发展研究 . 战术导弹技术 ， （ 2 ）： 25 - 33 ［ DOI： 10.16358/j.issn.1009-1300.20230500 http://dx.doi.org/10.16358/j.issn.1009-1300.20230500 ］
Wang J ， Beni G . 1989 . Cellular robotic system with stationary robots and its application to manufacturing lattices // IEEE International Symposium on Intelligent Control . Albany， USA， IEEE： 132 - 137 ［ DOI： 10.1109/ISIC.1989.238706 http://dx.doi.org/10.1109/ISIC.1989.238706 ］
Wang T ， Yang S ， Qi X H ， Zhu Z W and Meng L J . 2022 . Distributed time-varying formation tracking control for linear multi-agent systems via adaptive technique . Fire Control and Command Control ， 47 （ 10 ）： 41 - 45
王坦 ， 杨森 ， 齐晓慧 ， 朱子薇 ， 孟丽洁 . 2022 . 线性多智能体系统分布式自适应时变编队跟踪控制 . 火力与指挥控制 ， 47 （ 10 ）： 41 - 45 ［ DOI： 10.3969/j.issn.1002-0640.2022.10.008 http://dx.doi.org/10.3969/j.issn.1002-0640.2022.10.008 ］
Wang X L . 2017 . Research on UAV Path Planning and Formation Control Method in Earth Observation . Wuhan ： Wuhan University
王小亮 . 2017 . 面向对地观测的无人机路径规划与编队控制方法研究 . 武汉 ： 武汉大学
Wang Y R ， Jing X C ， Jia F K ， Sun Y J and Tong Y . 2020 . Multi-target tracking method based on multi-agent collaborative reinforcement learning . Computer Engineering ， 46 （ 11 ）： 90 - 96
王毅然 ， 经小川 ， 贾福凯 ， 孙宇健 ， 佟轶 . 2020 . 基于多智能体协同强化学习的多目标追踪方法 . 计算机工程 ， 46 （ 11 ）： 90 - 96 ［ DOI： 10.19678/j.issn.1000-3428.0055904 http://dx.doi.org/10.19678/j.issn.1000-3428.0055904 ］
Wang Y Z ， Shan M and Wang D W . 2020 . Motion capability analysis for multiple fixed-wing UAV formations with speed and heading rate constraints . IEEE Transactions on Control of Network Systems ， 7 （ 2 ）： 977 - 989 ［ DOI： 10.1109/TCNS.2019.2929658 http://dx.doi.org/10.1109/TCNS.2019.2929658 ］
Wei Z Q ， Weng Z M ， Hua Y Z ， Dong X W and Ren Z . 2023 . Formation-containment tracking control for heterogeneous unmanned swarm systems with switching topologies . Acta Aeronautica et Astronautica Sinica ， 44 （ 2 ）： 326504
魏志强 ， 翁哲鸣 ， 化永朝 ， 董希旺 ， 任章 . 2023 . 切换拓扑下异构无人集群编队—合围跟踪控制 . 航空学报 ， 44 （ 2 ）： # 326504 ［ DOI： 10.7527/S1000-6893.2021.26504 http://dx.doi.org/10.7527/S1000-6893.2021.26504 ］
Wen L D ， Zhen Z Y ， Wan T C ， Hu Z and Yan C . 2023 . Distributed cooperative fencing scheme for UAV swarm based on self-organized behaviors . Aerospace Science and Technology ， 138 ： # 108327 ［ DOI： 10.1016/j.ast.2023.108327 http://dx.doi.org/10.1016/j.ast.2023.108327 ］
Wen M N ， Kuba J G ， Lin R J ， Zhang W N ， Wen Y ， Wang J and Yang Y D . 2022 . Multi-agent reinforcement learning is a sequence modeling problem // Proceedings of the 36th International Conference on Neural Information Processing Systems . New Orleans， USA ： Curran Associates Inc.： 16509 - 16521
Wu G H ， Jia W M ， Zhao J W ， Gao F F and Yao M L . 2022 . MARL-based design of multi-unmanned aerial vehicle assisted communication system with hybrid gaming mode . Journal of Electronics and Information Technology ， 44 （ 3 ）： 940 - 950
吴官翰 ， 贾维敏 ， 赵建伟 ， 高飞飞 ， 姚敏立 . 2022 . 基于多智能体强化学习的混合博弈模式下多无人机辅助通信系统设计 . 电子与信息学报 ， 44 （ 3 ）： 940 - 950 ［ DOI： 10.11999/JEIT210662 http://dx.doi.org/10.11999/JEIT210662 ］
Wu J H and Li D Y . 2023 . A review of UAV cluster formation control methods . Radio Communications Technology ， 49 （ 4 ）： 589 - 596
吴杰宏 ， 李丹阳 . 2023 . 无人机集群编队控制方法研究综述 . 无线电通信技术 ， 49 （ 4 ）： 589 - 596 ［ DOI： 10.3969/j.issn.1003-3114.2023.04.001 http://dx.doi.org/10.3969/j.issn.1003-3114.2023.04.001 ］
Wu W L ， Zhou X S ， Shen B and Zhao Y . 2022 . A review of swarm robotic systems property evaluation research . Acta Automatica Sinica ， 48 （ 5 ）： 1153 - 1172
武文亮 ， 周兴社 ， 沈博 ， 赵月 . 2022 . 集群机器人系统特性评价研究综述 . 自动化学报 ， 48 （ 5 ）： 1153 - 1172 ［ DOI： 10.16383/j.aas.c200964 http://dx.doi.org/10.16383/j.aas.c200964 ］
Xiao Z H ， Zhang P ， Chi W S and Liu C . 2021 . Hybrid control for UAV swarms based on Agent and cellular automata . Journal of Beijing University of Aeronautics and Astronautics ， 47 （ 11 ）： 2344 - 2359
肖宗豪 ， 张鹏 ， 迟文升 ， 刘畅 . 2021 . 基于Agent与元胞自动机的无人机集群混合式控制 . 北京航空航天大学学报 ， 47 （ 11 ）： 2344 - 2359 ［ DOI： 10.13700/j.bh.1001-5965.2020.0385 http://dx.doi.org/10.13700/j.bh.1001-5965.2020.0385 ］
Xuan S Z ， Zhou H and Ke L J . 2021 . Review of UAV swarm confrontation game . Command Information System and Technology ， 12 （ 2 ）： 27 - 31
轩书哲 ， 周昊 ， 柯良军 . 2021 . 无人机集群对抗博弈综述 . 指挥信息系统与技术 ， 12 （ 2 ）： 27 - 31 ［ DOI： 10.15908/j.cnki.cist.2021.02.005 http://dx.doi.org/10.15908/j.cnki.cist.2021.02.005 ］
Yang X ， Wang R and Zhang T . 2020 . Review of unmanned aerial vehicle swarm path planning based on intelligent optimization . Control Theory and Applications ， 37 （ 11 ）： 2291 - 2302
杨旭 ， 王锐 ， 张涛 . 2020 . 面向无人机集群路径规划的智能优化算法综述 . 控制理论与应用 ， 37 （ 11 ）： 2291 - 2302 ［ DOI： 10.7641/CTA.2020.00157 http://dx.doi.org/10.7641/CTA.2020.00157 ］
Yang X M ， Fu J S and Dong W D . 2017 . On flying weapon cluster collaborative planning . Journal of Command and Control ， 3 （ 4 ）： 336 - 339
杨新民 ， 付建苏 ， 董文德 . 2017 . 飞航武器集群协同规划方法 . 指挥与控制学报 ， 3 （ 4 ）： 336 - 339 ［ DOI： 10.3969/j.issn.2096-0204.2017.04.0336 http://dx.doi.org/10.3969/j.issn.2096-0204.2017.04.0336 ］
Yang Y D ， Luo R ， Li M ， Zhou M ， Zhang W N and Wang J . 2018 . Mean field multi-agent reinforcement learning //Proceedings of 2018 International Conference on Machine Learning［s.l.］. PMLR ： 5571 - 5580 .
Yongacoglu B ， Arslan G and Yuksel S . 2022 . Decentralized learning for optimality in stochastic dynamic teams and games with local control and global state information . IEEE Transactions on Automatic Control ， 67 （ 10 ）： 5230 - 5245 ［ DOI： 10.1109/TAC.2021.3121228 http://dx.doi.org/10.1109/TAC.2021.3121228 ］
You W J ， Dong C and Wu Q H . 2020 . Survey of layered architecture in large-scale FANETs . Computer Science ， 47 （ 9 ）： 226 - 231
游文静 ， 董超 ， 吴启晖 . 2020 . 大规模无人机自组网分层体系架构研究综述 . 计算机科学 ， 47 （ 9 ）： 226 - 231 ［ DOI： 10.11896/jsjkx.190900164 http://dx.doi.org/10.11896/jsjkx.190900164 ］
Yu M G ， He M ， Zhang D G ， Luo L and Kang K . 2021 . Approach to coordinated control of structured unmanned cluster based on evolutionary game . Fire Control and Command Control ， 46 （ 10 ）： 24 - 31 ， 38
禹明刚 ， 何明 ， 张东戈 ， 罗玲 ， 康凯 . 2021 . 基于演化博弈的结构化无人集群协作控制方法 . 火力与指挥控制 ， 46 （ 10 ）： 24- 31 ， 38 ［ DOI： 10.3969/j.issn.1002-0640.2021.10.004 http://dx.doi.org/10.3969/j.issn.1002-0640.2021.10.004 ］
Yu T T ， Liu J X ， Zeng Q S and Wu L G . 2021 . Dissipativity-based filtering for switched genetic regulatory networks with stochastic disturbances and time-varying delays . IEEE/ACM Transactions on Computational Biology and Bioinformatics ， 18 （ 3 ）： 1082 - 1092 ［ DOI： 10.1109/TCBB.2019.2936351 http://dx.doi.org/10.1109/TCBB.2019.2936351 ］
Yu T T ， Zhao Y ， Wang J H and Liu J X . 2022 . Event-triggered sliding mode control for switched genetic regulatory networks with persistent dwell time . Nonlinear Analysis： Hybrid Systems ， 44 ： # 101135 ［ DOI： 10.1016/j.nahs.2021.101135 http://dx.doi.org/10.1016/j.nahs.2021.101135 ］
Yuan S and Guo L . 2016 . Stochastic adaptive dynamical games . Scientia Sinica（Mathematica） ， 46 （ 10 ）： 1367 - 1382
袁硕 ， 郭雷 . 2016 . 随机自适应动态博弈 . 中国科学 ： （数学） ， 46 （ 10 ）： 1367 - 1382 ［ DOI： 10.1360/N012015-00355 http://dx.doi.org/10.1360/N012015-00355 ］
Zhang F and Chen W D . 2010 . Switched topology control for self-healing of mobile robot formation . Control Theory and Applications ， 27 （ 3 ）： 289 - 295
张飞 ， 陈卫东 . 2010 . 移动机器人编队自修复的切换拓扑控制 . 控制理论与应用 ， 27 （ 3 ）： 289 - 295 ［ DOI： 10.7641/j.issn.1000-8152.2010.3.CCTA081356 http://dx.doi.org/10.7641/j.issn.1000-8152.2010.3.CCTA081356 ］
Zhang G J and Yu Y L . 2020 . Convergence of gradient methods on bilinear zero-sum games ［EB/OL］. ［ 2023-11-01 ］. https://arxiv.org/pdf/1908.05699.pdf https://arxiv.org/pdf/1908.05699.pdf
Zhang R W ， Lai J and Chen X L . 2023 . Overview on game training methods of multi-agent reinforcement learning . Computer Technology and Development ， 33 （ 4 ）： 18 - 26
张人文 ， 赖俊 ， 陈希亮 . 2023 . 多智能体强化学习博弈训练方式研究综述 . 计算机技术与发展 ， 33 （ 4 ）： 18 - 26 ［ DOI： 10.3969/j.issn.1673-629X.2023.04.003 http://dx.doi.org/10.3969/j.issn.1673-629X.2023.04.003 ］
Zhang T T ， Lan Y S and Song A G . 2021 . An overview of autonomous collaboration technologies for unmanned swarm systems . Journal of Command and Control ， 7 （ 2 ）： 127 - 136
张婷婷 ， 蓝羽石 ， 宋爱国 . 2021 . 无人集群系统自主协同技术综述 . 指挥与控制学报 ， 7 （ 2 ）： 127 - 136 ［ DOI： 10.3969/j.issn.2096-0204.2021.02.0127 http://dx.doi.org/10.3969/j.issn.2096-0204.2021.02.0127 ］
Zhang W ， Ma D Z ， Gao T C ， Wu R R and Liu X . 2022 . Research on networktopology adaptive control technology of unmanned cluster . Fire Control and Command Control ， 47 （ 12 ）： 152 - 156
张炜 ， 马殿哲 ， 高天婵 ， 吴日任 ， 刘显 . 2022 . 无人集群网络拓扑结构自适应控制技术研究 . 火力与指挥控制 ， 47 （ 12 ）： 152 - 156 ［ DOI： 10.3969/j.issn.1002-0640.2022.12.024 http://dx.doi.org/10.3969/j.issn.1002-0640.2022.12.024 ］
Zhao Y ， Shen B ， Wu W L and Zhou X S . 2022 . Survey on modeling method of spatial cooperative behavior of swarm robots . Journal of Frontiers of Computer Science and Technology ， 16 （ 8 ）： 1706 - 1726
赵月 ， 沈博 ， 武文亮 ， 周兴社 . 2022 . 集群机器人空间协作行为模型构建方法综述 . 计算机科学与探索 ， 16 （ 8 ）： 1706 - 1726 ［ DOI： 10.3778/j.issn.1673-9418.2201057 http://dx.doi.org/10.3778/j.issn.1673-9418.2201057 ］
Zhen Z Y ， Jiang J ， Sun S S and Wang B L . 2022 . Cooperative Control and Decision of UAV Swarm Operations . Beijing ： National Defense Industry Press
甄子洋 ， 江驹 ， 孙绍山 ， 王波兰 . 2022 . 无人机集群作战协同控制与决策 . 北京 ： 国防工业出版社
Zhen Z Y ， Wen L D ， Wang B L ， Hu Z and Zhang D M . 2021 . Improved contract network protocol algorithm based cooperative target allocation of heterogeneous UAV swarm . Aerospace Science and Technology ， 119 ： # 107054 ［ DOI： 10.1016/j.ast.2021.107054 http://dx.doi.org/10.1016/j.ast.2021.107054 ］
Zheng Y ， Bao H ， Meng C C and Ma N . 2021 . A method of traffic police detection based on attention mechanism in natural scene . Neurocomputing ， 458 ： 592 - 601 ［ DOI： 10.1016/j.neucom.2019.12.144 http://dx.doi.org/10.1016/j.neucom.2019.12.144 ］
Zhu D D and Wu C . 2022 . Cooperation and confrontation in crowd intelligence . Computer Science ， 49 （ S2 ）： # 210900249
朱迪迪 ， 吴超 . 2022 . 群体智能中的协作与对抗 . 计算机科学 ， 49 （ S2 ）： # 210900249 ［ DOI： 10.11896/jsjkx.210900249 http://dx.doi.org/10.11896/jsjkx.210900249 ］
Zhu R J ， Wu S N ， Li L L ， Lyu P and Xu M L . 2022 . Context-aware multiagent broad reinforcement learning for mixed pedestrian-vehicle adaptive traffic light control . IEEE Internet of Things Journal ， 9 （ 20 ）： 19694 - 19705 ［ DOI： 10.1109/JIOT.2022.3167029 http://dx.doi.org/10.1109/JIOT.2022.3167029 ］
Zou Q J ， Jiang Y J ， Gao B ， Li W X and Zhang R B . 2022 . An overview of cooperative multi-agent deep reinforcement learning . Aero Weaponry ， 29 （ 6 ）： 78 - 88
邹启杰 ， 蒋亚军 ， 高兵 ， 李文雪 ， 张汝波 . 2022 . 协作多智能体深度强化学习研究综述 . 航空兵器 ， 29 （ 6 ）： 78 - 88 ［ DOI： 10.12132/ISSN.1673-5048.2022.0041 http://dx.doi.org/10.12132/ISSN.1673-5048.2022.0041 ］
相关文章
相关作者
相关机构
京公网安备11010802024621