Print

发布时间: 2020-07-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190600
2020 | Volume 25 | Number 7




    综述    




  <<上一篇 




  下一篇>> 




严肃游戏中虚拟角色行为建模综述
expand article info 刘翠娟1,2, 刘箴1, 柴艳杰1, 刘婷婷3, 陈效奕3
1. 宁波大学信息科学与工程学院, 宁波 315211;
2. 浙江万里学院智能控制研究所, 宁波 315100;
3. 宁波大学科学技术学院, 慈溪 315300
收稿日期: 2019-11-22; 修回日期: 2020-01-22; 预印本日期: 2020-01-29
基金项目: 国家自然科学基金项目(61761166005);浙江省自然科学基金项目(LY20F020007);宁波市科技创新2025专项(2019B10032);宁波市公益类科技计划项目(2019C50024)
第一作者简介: 刘翠娟, 1979年生, 女, 硕士, 讲师, 主要研究方向为虚拟现实和人工智能。E-mail:cuicuii@zwu.edu.cn;
柴艳杰, 女, 讲师, 主要研究方向为虚拟现实和人工智能。E-mail:chaiyanjie@nbu.edu.cn;
刘婷婷, 女, 副教授, 主要研究方向为虚拟现实和人工智能。E-mail:liutingting@nbu.edu.cn;
陈效奕, 男, 讲师, 主要研究方向为虚拟现实和人工智能。E-mail:chenxiaoyi@nbu.edu.cn.
中图法分类号: TP391.41
文献标识码: A
文章编号: 1006-8961(2020)07-1318-12

摘要

严肃游戏是计算机游戏一个新的发展方向，可以提供形象互动的模拟教学环境，已经广泛应用于科学教育、康复医疗、应急管理、军事训练等领域。虚拟角色是严肃游戏中模拟具有生命特征的图形实体，行为可信的虚拟角色能够提升用户使用严肃游戏的体验感。严肃游戏中的图形渲染技术已经逐步成熟，而虚拟角色行为建模的研究尚在初级阶段。可信的虚拟角色必须能够具有感知、情绪和行为能力。本文分别从游戏剧情与行为、行为建模方法、行为学习和行为建模评价等4个方面来分析虚拟角色行为建模研究。分析了有限状态机和行为树的特点，讨论了虚拟角色的行为学习方法。指出了强化学习的关键要素，探讨了深度强化学习的应用途径。综合已有研究，归纳了虚拟角色行为框架，该框架主要包括感觉输入、知觉分析、行为决策和动作4大模块。从情感计算的融入、游戏剧情和场景设计、智能手机平台和多通道交互4个角度讨论需要进一步研究的问题。虚拟角色的行为建模需要综合地考虑游戏剧情、机器学习和人机交互技术，构建具有自主感知、情绪、行为、学习能力、多通道交互的虚拟角色能够极大地提升严肃游戏的感染力，更好地体现寓教于乐。

关键词

严肃游戏; 虚拟角色; 行为建模; 情感建模; 行为学习

Virtual character behavior modeling in serious games: a review
expand article info Liu Cuijuan1,2, Liu Zhen1, Chai Yanjie1, Liu Tingting3, Chen Xiaoyi3
1. Faculty of Information Science and Engineering, Ningbo University, Ningbo 315211, China;
2. Intelligent Control Research Institute, Zhejiang Wanli University, Ningbo 315100, China;
3. College of Science and Technology, Ningbo University, Cixi 315300, China
Supported by: National Natural Science Foundation of China (61761166005); Natural Science Foundation of Zhejiang Province, China(LY20F020007)

Abstract

Serious games are a new development direction of computer games. They can simulate interactive professional teaching environment and have been widely used in many fields, such as science education, rehabilitation, emergency management, and military training. Serious medical rehabilitation games are mainly used for medical technology training and rehabilitation-assisted treatment. They can train and improve the professional skills of medical staff, reduce the pain and boredom of patients during rehabilitation, and assist patients in rehabilitation treatment. Serious games in military training are mainly used in military modeling and simulation and possess controllability, security, and low cost. Virtual characters are simulated entities with life characteristics for serious games. They have credible behavior and can improve users' experience in serious games. At present, graphics rendering in serious games has gradually matured, but the research on virtual character behavior modeling is only in its first stage. A credible virtual character should have perception, emotion, and behavior. It can respond to the user's operation in time and has a certain reasoning ability. Modeling the behavior of virtual characters requires the knowledge of psychology, cognitive science, and specific domain knowledge. This paper aims to present a control algorithm that reflects the behavior of a virtual character under certain circumstances. This algorithm is an interdisciplinary application, which involves computer graphics, human-computer interaction, and artificial intelligence technologies. This paper summarized the existing studies on virtual character's behavior modeling from four aspects, namely, game plot and behavior, behavior modeling method, behavior learning, and behavior modeling evaluation. In the aspect of game plots and behavior, the design of behavior should contain the plot. The behavior of virtual characters accordingly change with the change in the plot. This condition was illustrated by the virtual character behavior design in the rehabilitation and military training plots. In the aspect of behavior modeling, the behavior modeling methods of virtual characters were summarized. The characteristics of finite state machines and behavior trees were analyzed, the behavioral learning methods were compared, the key elements of reinforcement learning were indicated, and the application of deep reinforcement learning was discussed. Reinforcement learning has four elements, namely, environment, state, action, and reward. Virtual character behavior decision learning could be completed by constantly attempting to obtain environmental rewards. In the aspect of behavior modeling evaluation, three indexes were summarized to evaluate the effectiveness of the model, namely, the real-time behavior of virtual character, the emotion-integrated behavior, and the behavior interactivity. An extremely slow character behavior response will reduce the user's interest in participating in the game, and a timely response will provide the user an efficient and pleasant experience. Users aim to achieve emotional communication with virtual characters in a virtual environment to have a good sense of immersion. A virtual character behavior framework was summarized on the basis of existing studies. It included four modules, namely, sensory input, perception analysis, behavior decision making, and action. Emotional factors are valuable to create virtual characters with credible behavior and realistic movements. They could also increase the appeal of the game. Issues that need additional research were discussed from the perspective of affective computing intervention, game story and scene design, smart phone platform, and multichannel interaction. Virtual characters should be introduced to expand the game plot and assist in teaching to completely realize the function of serious games. Serious games are different from movies. Users do not passively accept, and they learn through constant interaction. A virtual scene without any plot and any virtual character is difficult to attract users. A narrative plot can make it easy to learn. Virtual characters with behavior and emotional expressiveness can enhance users' emotional experience and guide users to learn in a real-life-like situation. The popularity of mobile terminals provides various applications for serious games and attracts many users to use serious games. Multimodel interaction would be popular in the future because single-model interaction will limit user's interaction with the virtual character. A multichannel interaction method could improve the intelligence of virtual characters and could be realized with visual, auditory, tactile, and somatosensory models. The behavior modeling of virtual characters requires comprehensive consideration of game plots, machine learning, and human-computer interaction technologies. Rigid behaviors could not attract users. Building virtual models with autonomous perception, emotion, behavior, learning ability, and multimodel interaction could immensely enhance user's immersion. These models are the development direction of serious games. Serious games provide an intuitive means for education and training. The behavior modeling of virtual characters is a developing core technology of serious games. At present, many problems need to be urgently solved. Affective computing methods, game plots, smartphone operating platforms, and multimodel human-computer interaction should be considered to improve the behavior model of virtual characters. The integration of interdisciplinary knowledge is required to create behavioral credibility, autonomous emotional expression, and convenient interactive virtual characters. These characters could provide a better learning experience for users and are easy to be promoted.

Key words

serious game; virtual character; behavior modeling; emotion modeling; behavior learning

0 引言

随着信息技术的发展，计算机游戏产业越来越受欢迎。严肃游戏(serious game，SG)是计算机游戏发展到一定阶段的产物，它通过生动的剧情，以交互的方式实现对现实事件或过程的模拟。严肃游戏在国外的典型应用可以追溯到1994年，美国海军陆战队建立世界上第一个游戏军事训练机构，把游戏作为军队训练的一种辅助手段。2004年全球最火爆的《模拟人生》游戏，可以模拟社会生活情景，更加注重营造玩家的情绪体验。实际上，严肃游戏已经广泛地应用于科学教育、康复医疗、应急管理、军事训练等很多方面。

严肃游戏并非以娱乐为目的，而是以教育为目标。严肃游戏是将游戏的技术能力、表现手法、娱乐体验应用于教学和培训，通过任务体验和奖惩机制培养用户的思维能力，如注意力、反应力、认知力、思维力等。严肃游戏具有教育性、娱乐性和互动性等特点。

为了增强游戏的体验效果，需要引入具有自主行为表现的虚拟角色。虚拟角色一般是指不受玩家控制的虚拟生命体，是游戏世界里不可缺少的重要组成部分，一直贯穿游戏情节的始终。针对不同的剧情，虚拟角色可以扮演各种各样的身份，例如教师、消防员、医生等。虚拟角色具有不同的属性特点，如身份、个性、行为等，能更好地自我呈现出不同人物的情感和行为模式，进而激发用户身临其境的感觉，犹如在一个真实的社会情景中漫游。用户通过人机交互方式与虚拟角色进行互动。从人工智能发展的角度看，虚拟角色行为要具有自主性，其行为具有一定的规律性。随着严肃游戏剧情复杂度的提高，虚拟角色行为变得复杂，虚拟角色行为的可信性、自主性有待提高。行为建模应赋予虚拟角色感知外界环境的能力，同时具有情感表现力，做出符合逻辑的行为反应。此外，虚拟角色的行为建模应该具有很好的扩展性，从而可以快速满足扩展的功能和行为。

虚拟角色的行为建模是建立可信虚拟角色的关键技术，虚拟角色的自主行为是一个极具挑战性的研究课题。虚拟角色行为的智能性直接影响用户在严肃游戏中的体验效果。本文在综述国内外相关研究工作的基础上，重点分析严肃游戏中虚拟角色的行为建模，并指出本领域一些值得深入研究的问题，为进一步推进研究提供参考。

1 虚拟角色行为建模

虚拟角色行为建模具有一定的目的性(如教育、培训、康复等)，从用户需求的视角来看，虚拟角色行为建模有助于增强虚拟角色的真实感和可信度。

1.1 游戏剧情与行为

在不同剧情中虚拟角色通过互动行为实现相应的教育目的。严肃游戏通过虚拟场景、剧情、行为、目标、奖励等因素创造吸引用户的学习体验。与静态场景相比，用户更关注严肃游戏中的动态场景。虚拟角色是动态场景中的重要元素，虚拟角色的行为因而成为用户关注的焦点，不同剧情中虚拟角色的行为建模至关重要。在虚拟场景中应根据不同的剧情，采用不同的行为策略。根据不同的剧情，严肃游戏可分为教育游戏、心理治疗游戏、康复医疗游戏和模拟训练游戏等。

严肃游戏作为一种新的教学模式，把知识融入游戏中，能激发用户的学习兴趣(Roozeboom等，2017；Liang等，2017)。基于游戏的学习框架为用户(学生)提供更好的学习氛围(Gulec和Yilmaz，2016)，有助于提高学习效果和决策技能。在协作能力的培养方面，Terzidou等人(2016)将人工智能特性应用于游戏式合作学习。Milne等人(2009)利用逼真的人物头像作为虚拟辅导员来训练用户(学生)识别情绪能力、学习谈话技巧，进而指导用户采取适当的行为。

心理治疗游戏可以改善自闭症儿童的学习能力(Khowaja和Salim，2019)。自闭症儿童分为低功能自闭症和高功能自闭症两种。针对高功能自闭症儿童在情感能力上的缺陷，Fridenson-Hayo等人(2017)提出EmotiPlay，通过面部表情、声音和身体姿势识别帮助儿童理解和表达情绪，提升情感交互能力。

在医学领域，严肃游戏主要用于辅助技术培训和康复治疗，如紧急救护培训(Dankbaar等，2017)和模拟心肺复苏(de Sena等，2019)。此外，用户在互动过程中通过聚焦虚拟角色行为来分散注意力，在一定程度上缓解用户的疼痛，达到调节用户情绪的作用，在医疗康复领域具有广阔的应用前景(Ciman等，2018；陈浩等，2016)。图 1中用户通过体感交互和虚拟角色进行互动，辅助上肢的康复治疗(Lala和Nishida，2017)。



图 1 通过体感交互和虚拟角色(篮球运动员)进行互动(Lala和Nishida, 2017)
Fig. 1 Interact with virtual character (basketball player) through somatosensory interaction (Lala and Nishida, 2017)

严肃游戏在军事仿真领域主要用于作战模拟训练。采用虚拟角色辅助军事训练能有效降低训练成本和训练伤亡风险。由美国军方资助开发的《美国陆军》、《全能战士》等用于团队模拟训练，取得较好的效果。Smith(2009)采用智能体建模军事实体，通过虚拟现实技术实现军事模拟，游戏中的虚拟角色是优秀的全能战士化身。可以将复杂系统理论应用于严肃游戏的设计(安德鲁等，2010)，通过作战建模和仿真剧情展示现代战争过程。

上述各种剧情对虚拟角色的智能行为提出更高的要求，不同的剧情需要适当简化虚拟角色行为。例如作战仿真，根据作战环境简化虚拟角色的行为。虚拟角色行为具有选择性，不考虑远处的敌人，专注于近距离的敌人。在教学环境下简化教师行为，虚拟角色的行为满足剧情需要即可。虚拟角色行为建模应当难易适中，如果虚拟角色行为过于简单，会降低游戏的可玩性，无法调动用户参与游戏的积极性。如果虚拟角色行为过于复杂，智能性太高，会增加用户的挫败感，降低参与乐趣。如何根据剧情确定合适的虚拟角色行为是严肃游戏设计需要考虑的一个重要问题。虚拟角色行为建模曾得到许多研究者的关注。采用脚本方法控制虚拟人的动作是早期的虚拟角色行为建模方法(Perlin和Goldberg，1996)。随着计算机技术与图形学的迅速发展，采用运动捕捉技术可以使虚拟角色的动作越来越逼真。采用体感设备捕获用户数据(如手势)来驱动虚拟角色的行为(Ferracani等，2015；Matsas和Vosniakos，2017)，可以实现职业训练的目标(图 2)。结合人工智能在大规模、动态的游戏环境中创建具有适应性和复杂行为的虚拟角色(Merrick和Maher，2009)。根据环境中元素位置的3维坐标，可以设计虚拟角色的行为路径(Cangas等，2017)。在MerrimanMerriman等人(2018)研究中，参与者通过在Wii平衡板上的平衡移动来控制虚拟角色的动作。采用不确定信息处理技术来描述虚拟角色的行为也可以丰富剧情的表现力。例如，通过模糊推理来描述虚拟角色的情绪和行为，可以描述情绪和行为的多样性(刘箴等，2011); 采用正态云模型处理行走方向、社交距离、交流时身体朝向3个虚拟角色行为表现的不确定性(吴佳佳等，2019)。



图 2 基于用户手势执行动作的虚拟角色(Ferracani等，2015)
Fig. 2 Virtual character performing actions based on user's gestures (Ferracani et al., 2015)

1.2 虚拟角色行为建模方法

虚拟角色行为建模，通用的方法是设定规则，根据使用的规则形成不同的状态，不同状态之间的转换组成更复杂的行为。状态管理成为虚拟角色行为建模的关键。目前，主流的状态控制技术是有限状态机和行为树。

虚拟角色的简单行为一般用基于规则的有限状态机(finite state machines，FSM)或行为树来建模，采用一组包含节点的图来描述。有限状态机用于决策控制的方案，是游戏中虚拟角色行为的最常用建模方法之一，可用来实现虚拟角色的状态转换(Chittaro和Buttussi，2015；Cheng等，2018)。采用有限状态机描述虚拟角色行为，一个有限状态机拥有许多状态，不同状态之间根据输入信息相互转换。一个有限状态机在任何时刻都只能处于一种状态。Gongora和Irvine(2010)将FSM与模糊逻辑结合起来分析虚拟角色的行为。Syufagi等人(2013)采用Petri网建模虚拟角色行为。有限状态机的缺点是扩展性差，状态的规则很难设计，常常根据游戏的需要动态完善规则。随着游戏状态数量的增长，实现和维护状态转换非常困难。

随着虚拟角色的智能性增加，游戏开发过程的状态也不断增多。行为树是另外一项流行的决策控制技术(Derbali和Frasson，2012)。行为树是有限状态机的拓展，从一个行为树中添加或删除行为不会影响到其他树的运行。行为树扩展性好，从更高级的逻辑层面看，行为树可用于描述复杂的行为，它能解决虚拟角色的行为决策问题，其跳转条件和行为的可重用度非常高，使得它具有良好的可配置性(Perez等，2011)。行为树根据大量的经验数据，归纳并且抽象出具有相对普适性的规则，可以较好地表现事物之间内在的联系。行为树可以生成一些规则，从根节点到叶子节点都有相应的路径。可以用行为树算法对数据进行处理，从中提取规则，把这些规则用到虚拟角色的行为选择中，提高虚拟角色智能化水平。Ji和Ma(2014)提出的层次行为树具有通用性，通过行为树的条件和控制节点来响应更加复杂的虚拟角色行为。Nicolau等人(2017)采用行为树结构灵活地控制虚拟角色的行为。Zhang等人(2018)对行为树进行改进，通过动态子树挖掘来调整交叉点的选择，进而减少盲目搜索的概率。

虽然行为树已经在许多游戏和项目中使用，在虚拟角色行为建模方面，仍有不足之处：1)从运行方式看，所有操作都必须用节点，且每一帧都从根节点开始，访问的节点数量会非常庞大，消耗大量内存；2)行为树的智能性不足，缺乏灵活学习能力。

虚拟角色的行为建模需要结合机器学习来提升智能性。虚拟角色行为建模对比如表 1所示。从表 1中可以看出，现有的严肃游戏中虚拟角色行为建模主要是基于规则的状态转换，其交互行为都是提前定义的，通常在已经确定好的行为中进行选择，行为模型不够灵活，缺乏与机器学习的结合。虚拟角色的行为种类尚不够丰富，缺少对心理变量的建模。此外，虚拟角色的学习进化能力不足，很少会依据外界刺激来不断学习，进而调整自己的行为。这样的虚拟角色无法满足进化需求，其智能性和可信性有待提高。

表 1 虚拟角色行为建模对比表
Table 1 Virtual character behavior modeling comparison table

下载CSV
文献 建模方法 行为方式 考虑动机 学习能力
Derbali和Frasson(2012) 行为树 脚本 是 否
Syufagi等人(2013) Petri网 脚本 是 否
Chittaro和Buttussi(2015) FSM 脚本 否 否
Gulec和Yilmaz(2016) FSM 脚本 否 否
Terzidou等人(2016) FSM 脚本 否 否
Liang等人(2017) FSM 脚本 否 否
Cheng等人(2018) FSM 脚本 否 否

1.3 虚拟角色的行为学习

现有的虚拟角色技术在构建精美外观方面相对成熟，然而角色的行为尚不够智能，自我学习进化能力欠缺。这主要体现在目前脚本驱动的虚拟角色不够灵活，现有的行为模型主要是领域专家手工设置的，存在工程复杂、构建效率较低等缺点。为了达到较好的智能效果，虚拟角色的行为模型向具有学习能力的方向发展。

强化学习(reinforcement learning，RL)又称为增强学习，是机器学习的一个重要分支。RL来源于心理学中的行为主义理论，主要包含4个元素：环境、状态、动作和奖励(图 3)，主要目的是获得最多的累计奖励。RL通过试错与环境交互获得策略的改进，使动作从环境中获得的累积奖赏值最大。它的本质是解决决策问题，即自动进行决策，并且可以做连续决策。



图 3 强化学习图结构图
Fig. 3 Structural diagram of reinforcement learning

RL的目标是使虚拟角色学习如何实现与环境互动。在RL算法与技术的研究方面，Saridis(1997)首次系统地提出了采用RL来解决随机控制系统的学习问题。Dobrovsky等人(2017)采用交互式深度RL，利用领域专家的知识来指导学习过程，可以有效地提高学习速度和质量。在此基础上，利用交互式深度RL增加用户的反馈来指导学习，可用于自适应游戏，有助于使游戏适应用户的偏好和需求(Dobrovsky等，2019)。Sekhavat(2017)提出了一种个性化的康复游戏，将RL的思想用于难度调整，根据患者的技能实时自动调整难度设置。Georgila等人(2019)将RL用于智能教学，能有效改进人际交往技能。自主的、不确定行为表现使虚拟角色行为更加真实、可信。现实生活是充满噪声干扰的复杂环境，虚拟角色行为策略应当具有一定的随机性。田尊华等人(2010)利用不确定性函数仿真虚拟角色群体。

Q(quality)学习算法是RL中的一种，主要应用于不确定环境下的学习问题，通过学习选择能达到目标的最优动作。在学习过程中，虚拟角色尝试与环境交互，以获得最优的控制方案。Q学习算法具有良好的自适应和对非线性系统的学习能力，根据环境对动作的评价反馈信号来改进方案，增强适应性。许多案例将Q学习算法运用于虚拟角色的行为树设计。Andrade等人(2014)用Q学习算法修改游戏参数，评估用户技能。涂浩和刘洪星(2017)从状态空间、探索策略和报酬函数等方面改进Q学习算法，利用模拟退火算法中的Metropolis准则控制虚拟角色在学习进程中的探索次数。

RL注重决策能力。随着虚拟环境的复杂化，虚拟角色需要结合深度学习来从大规模数据中学习抽象表征。深度强化学习(deep reinforcement learning，DRL)是强化学习与深度学习的融合，直接根据输入信息进行调整，实现端对端的感知与控制，从学习方法上看，更接近人类思维方式。深度强化学习主要包括基于值函数的深度强化学习、基于策略梯度的深度强化学习和基于搜索与监督的深度强化学习3大类。2016年，AlphaGo融合了深度学习的强化学习技术，打败了围棋世界冠军李世石。随着DeepMind公司的崛起，DRL在严肃游戏中具有显著潜力(Andersen等，2018；刘全等，2018)。例如，将DRL应用于角色博弈和展现群体角色的合作和竞争算法(Andersen，2018；Tampuu等，2017)，RL与深度神经网络相结合实现复杂格斗游戏(Oh等，2019)，神经演化与RL相结合实现赛车的自动驾驶(Koutník等，2014)。Lee等人(2014)提出一个有监督的机器学习框架来建模教育互动叙事中的虚拟角色行为策略。

深度强化学习需要大量的训练数据，只有足够多的训练数据才能使算法达到预期性能。随着训练数据的增长，具有较高计算效率的深度学习更适合虚拟角色的复杂行为建模。结合大数据的强化学习可以作为虚拟角色行为学习的技术支撑，在人工智能领域具有很好的前景。虚拟角色通过不断地学习、进化来完善自身行为的适应性，虚拟角色之间、虚拟角色与用户的博弈，会提升游戏的娱乐性，进一步增强游戏的耐玩性。

1.4 虚拟角色行为建模评价

虚拟角色的行为是影响用户体验的重要因素。从用户体验的角度看，用户更关注虚拟角色行为建模的有效性，即用户对虚拟角色行为的认可度。下面从角色行为实时性、融合情感的行为和角色行为交互性3个指标评价虚拟角色行为建模。

1) 角色行为实时性。用户对游戏的实时性要求比较高，需要虚拟角色及时反馈。当用户与虚拟角色进行博弈时，虚拟角色能够与用户实时互动。比如和虚拟角色下围棋，如果用户走完棋，而虚拟角色的行为反应速度太慢，需要等待很久才落棋，用户就会对虚拟角色的行为感到失望，从而失去耐心，对游戏失去乐趣，进而降低用户体验的满意度。

2) 融合情感的行为。在游戏环境中，用户希望与虚拟角色之间实现情感共鸣(Sajjadi等，2019)(图 4)。当用户向虚拟角色微笑时，如果虚拟角色回复用户同样的笑脸，用户在情感层次上体验到互动效果。融合情感因素的虚拟角色的行为更有灵性，行为方式更符合人类的精神需求。用户在游戏体验过程的情感互动更加真实。带有情感体验的用户会在一定程度上认可虚拟角色的行为，形成一种高度的情感认可效应。Pacella和López-Pérez(2018)利用严肃游戏调节用户与虚拟角色在社交中的情绪表现。情感支撑的行为使虚拟角色更真实，能提高用户参与游戏的积极性，带给用户心理上的体验。因此，从用户体验的角度看，融合情感因素是评价虚拟角色行为建模的有效指标。



图 4 虚拟角色的不同情绪(Sajjadi等，2019)
Fig. 4 Different emotions of virtual characters (Sajjadi et al., 2019)((a) angry; (b) sad)

3) 角色行为的可交互性。严肃游戏中，用户与虚拟角色之间的互动是游戏的一个重要环节，它贯穿整个游戏过程，给用户带来交互式体验。在虚拟环境中，用户希望与虚拟角色之间通过多种途径进行互动(例如键盘、鼠标、语音和手势等)，实现教育和娱乐的效果。虚拟角色不断与用户进行互动，获取各种反馈信息来完善自身的行为。虚拟角色通过互动(例如聊天)可以提升用户体验。用户反复与虚拟角色互动会产生自我成就感，进而提升参与游戏的兴趣。虚拟角色的互动性为游戏制作者提供有价值的指导(Ravyse等，2017)，也是用户评价虚拟角色行为建模的重要指标。

游戏体验是用户在游戏过程中建立起来的一种纯主观感受。评价虚拟角色的行为建模应考虑上述各项因素。角色行为的实时性带给用户高效愉悦的体验，融合情感的角色为用户提供情感交流的途径，互动性强的虚拟角色能提升用户参与游戏的主动性。综合各种评价指标能更全面、更科学地评估虚拟角色行为的可信性，进一步提高行为建模的有效性。

2 虚拟角色行为框架

从心理学来看，人的行为产生过程是一个感知—决策—行动的循环学习过程。虚拟角色行为建模借鉴于这一思想，在虚拟环境中不断学习去实现自适应行为。其实现机制是：虚拟角色感知所处游戏环境的变化，根据规则并结合其自身状态和已有知识经验做出行为决策，进而采取适当的行动，及时应对环境中的变化。

行为建模的意义在于使虚拟角色具有和真实实体对象行为尽可能相似的能力。当面对行为问题时，很多研究往往借鉴人类自身行为，例如教育学习、医疗培训、各种康复训练等，都需要考虑用户以及虚拟角色对不同用户交互的理解与认知能力。虚拟角色行为决策呈现的最终效果既要具有真实感，又要适合虚拟场景的实时性。提升虚拟角色的智能性是加强虚拟场景真实性的一种有效手段，因此虚拟角色行为和决策模块的研究已经成为严肃游戏系统的重点研究问题之一。

人工智能是使用计算机技术来模拟、延伸人类的智能和心理，实现类人思维，并采取一些符合常理的行为。创建行为可信的虚拟角色，使虚拟角色不仅能表现“喜怒哀乐”，还能感知周围的环境，并做出在当前环境下最恰当的行为。具有情绪表达能力的虚拟角色能够通过身体姿态和表情来表达情感，响应用户的输入信息，提高用户参与严肃游戏的趣味性，体现情感化设计的理念。本文根据已有的研究成果，归纳总结出可信的虚拟角色行为建模框架如图 5所示。



图 5 虚拟角色行为建模
Fig. 5 Virtual character behavior modelling

虚拟角色主要行为结构是一个复杂的过程。虚拟角色个体首先通过感觉输入接收外部刺激信息，具有视觉、听觉、触觉等多通道的感知能力。知觉分析对信息进行加工，实现对环境的持续感知，并将加工的信息存入情景数据中，情景数据保存环境的多模态信息。全局数据用于全局推理判断，它调用知识库来完成对外部环境信息的语义解释。在完成对行为和情绪的触发判断后，将待执行的行为或情绪信息提交动作执行处理。信念、动机、个性是用来描述虚拟角色心理过程的变化量。需求包括生理需求、安全需求和社交需求。记忆模块包括短期记忆和长期记忆。社会性主要指虚拟角色的社会属性。情绪控制模块产生情绪语义，计算情绪应对策略，并根据对用户的情绪的反馈结果进行调整，采用机器学习算法来实现情绪学习。个体行为执行行为决策的语义信息，并选择最合适的行为代码提交动作执行处理。动作执行要调用其他参数信息，并通过虚拟角色的动作和表情等来与环境交互。

采用上述框架创建行为可信、动作逼真的虚拟角色可以增加游戏的体验感。如何有效地集成感觉输入、知觉分析、行为决策和动作是建模虚拟角色行为的关键。融合情绪因素的虚拟角色在特定条件下会选择更为合理的行为规划。伴随着交互需求的提高，人们期待未来的虚拟角色能够模拟人类的思维，例如认知推理、思考动机、情感响应等。

3 问题和挑战

严肃游戏可以模拟出极为真实的虚拟场景和虚拟角色外观，然而虚拟角色普遍存在行动机械、决策迟缓的问题，由此大大降低用户体验感。目前的虚拟角色智能性有很大提升空间，还无法真正模拟自然环境中类人的行为模式。因此，如何让虚拟角色的行为真实可信是目前的一个研究热点。虚拟角色的行为建模一直是严肃游戏的核心。虽然人们已经在严肃游戏领域取得了不少研究成果，但是这个领域仍有大量问题需要进一步探索和完善：

1) 需要融入情感计算。现有的游戏中虚拟角色的行为建模比较呆板，虚拟角色缺乏情感互动能力，急需合适的情感算法支撑。可信的虚拟角色不仅能展现合理的行为，还应具备类人的情感。互动的虚拟角色可看做有生命的智能体，能够唤起用户强烈的情绪体验。虚拟角色的行为交互是情感交流的重要途径，对于辅助心理康复的严肃游戏，用户对情绪体验要求较高，希望达到情感共鸣。比如，陪悲伤的用户一起流泪，宣泄情感；给失望的用户一个温暖的笑脸，语音聊天。虚拟角色的心理因素对行为规划具有不可忽略的影响，融合心理因素是提高游戏动机的重要手段。心理学领域已有大量的研究成果，值得借鉴和参考。然而这些模型计算复杂，不能简单移植到严肃游戏中。实现虚拟角色行为建模需要针对性强、更适合的心理模型、认知模型，甚至结合情绪感染模型。

2) 需要增强剧情和场景设计。沉浸式游戏体验旨在提高用户的参与度。精巧的设计(包括虚拟环境设计、游戏情节设计、虚拟角色形象设计等)，能缩小现实与虚拟的差距，提升游戏体验的沉浸感，进而提升用户参与游戏的兴趣。比如通过触觉和头盔显示器提升游戏的沉浸感(Asadipour等，2017；Avola等，2018)。虚拟角色行为设计上需考虑内在心理表达，能感知到用户在操作游戏过程中时而紧张、时而放松的情绪。虚拟角色应具备和用户的情感互动能力，这样可以增强用户体验的真实感，帮助用户沉浸到游戏的剧情中。沉浸式体验对用户的身体和生理都有一定的影响。当人们与虚拟角色互动时，身心完全投入情境当中，过滤掉所有不相关的知觉，进入一种沉浸的状态，实现更深层次的心理共鸣。沉浸式技术可以增强虚拟角色交互水平，也能激发用户的学习效率(Cheng等，2017)。用户只有真正步入虚拟角色的世界，才能更充分体验游戏世界带来的期望。

3) 支持智能手机运行平台。随着移动网络技术的发展，更多用户采用移动设备(例如智能手机)运行严肃游戏，如果将虚拟角色的应用载体扩大到智能手机上(Chiang等，2019)，会促进虚拟角色行为建模技术向着轻量化的方向发展，吸引更多用户参与游戏，提高用户对游戏的关注度。智能手机和头盔显示装置同样能够为用户提供更加便捷的游戏体验。严肃游戏的轻量化发展也存在很多急需解决的问题，例如，如何在智能手机上实现轻量化的人工智能算法就是其中的一个问题。

4) 支持多通道交互。虚拟角色作为严肃游戏的重要组成部分，与用户进行交互方式不仅仅是键盘和鼠标，还包括表情、声音和体感(陈浩等，2016)。而实际上单个游戏案例中支持交互方式比较单一，例如Hocine等人(2015)和Afyouni等人(2017)的方法主要是支持手腕交互，究其原因是感知方式相对单一。从用户需求的角度看，单一的交互方式会限制用户与虚拟角色交互的渴望，未来的用户更希望与虚拟角色进行多通道交互(Psaltis等，2018)。多通道交互方式能体现虚拟角色行为建模的智能性，主要涉及多通道信号的感知获取、处理和反馈输出3大关键技术。如何建立基于虚拟视觉、听觉、触觉、嗅觉等多通道感知的交互模型是一个有待解决的问题。

4 结语

严肃游戏是计算机游戏一个新的发展方向，它集成了计算机图形学、虚拟现实、人机交互和人工智能。它强调在游戏中注入教育内容，实现教学过程的寓教于乐，同时严肃意味着教育内容是积极健康的。结合机器学习、自然语言处理、计算机视觉和情感分析等相关技术，实现协同计算，使游戏中虚拟角色的行为更加生动自然，而不仅仅是已经熟悉的简单效果。沉浸式媒体可以为这些虚拟角色提供所需的交互平台，在虚拟场景中融入虚拟角色能更好实现教育效果。本文综合梳理了严肃游戏中虚拟角色的行为建模技术，指出现有的虚拟角色行为学习能力欠缺，自主行为能力有待提高，不能满足虚拟角色智能性的要求。根据已有研究归纳出通用的虚拟角色行为框架。世界充满噪声，存在很多不确定因素。虚拟角色的行为建模应结合不确定信息处理技术，也不能依靠一些简单的推理规则，要融合机器学习，这样才可能模拟一些高级的社会行为。针对本领域的发展前景，提出有待进一步探索和完善的工作。

伴随着5G技术的发展，严肃游戏正迎来大发展时期，它将融入社会生活的很多方面。人类将进入万物互联时代，新的数字消费业态不仅为虚拟角色的应用提供更加便捷的方式，也将用户体验将作为研究的重要核心。增强现实技术连接了虚拟世界和现实世界，具有用户基数较大、移动性较强的优势，提高了虚拟角色的互动性。借助头盔显示器，通过多媒体和3维建模以及场景融合等增强现实技术和手段使虚拟世界和真实场景达到无缝叠加。结合人工智能技术、融入情感模型、基于增强现实的虚拟角色给用户带来更加丰富和逼真的游戏体验。用户体验到可信的行为和情感，不仅起到娱乐和教育的作用，也在一定程度上满足用户的精神需求，起到心理调节的效果，在教育和康复医疗领域具有很好的应用前景。相信在不久的未来，严肃游戏会被更多用户所喜爱，与虚拟角色互动成为一种学习知识和自我提高的愉悦体验。

参考文献

  • Afyouni I, Rehman F U, Qamar A M, Ghani S, Hussain S O, Sadiq B, Rahman M A, Murad A, Basalamah S. 2017. A therapy-driven gamification framework for hand rehabilitation. User Modeling and User-Adapted Interaction, 27(2): 215-265 [DOI:10.1007/s11257-017-9191-4]
  • Andersen P A, Goodwin M and Granmo O C. 2018. Deep RTS: a game environment for deep reinforcement learning in real-time strategy games//Proceedings of 2018 IEEE Conference on Computational Intelligence and Games. Maastricht, Netherlands: IEEE: 1-8[DOI: 10.1109/CIG.2018.8490409]
  • Andersen P A. 2018. Deep Reinforcement Learning Using Capsules in Advanced Game Environments. Norway: University of Agder
  • Andrade K D O, Fernandes G, Caurin G A P, Siqueira A A G, Romero R A F and Pereira R D L. 2014. Dynamic player modelling in serious games applied to rehabilitation robotics//Proceedings of Joint Conference on Robotics: SBR-LARS Robotics Symposium and Robocontrol. Sao Carlos: IEEE: 211-216[DOI: 10.1109/SBR.LARS.Robocontrol.2014.41]
  • Asadipour A, Debattista K, Chalmers A. 2017. Visuohaptic augmented feedback for enhancing motor skills acquisition. The Visual Computer, 33(4): 401-411 [DOI:10.1007/s00371-016-1275-3]
  • Avola D, Cinque L, Foresti G L, Marini M R, Pannone D. 2018. VRheab:a fully immersive motor rehabilitation system based on recurrent neural network. Multimedia Tools and Applications, 77(19): 24955-24982 [DOI:10.1007/s11042-018-5730-1]
  • Cangas A J, Navarro N, Parra J M A, Ojeda J J, Cangas D, Piedra J A, Gallego J. 2017. Stigma-stop:a serious game against the stigma toward mental health in educational settings. Frontiers in Psychology, 8: #1385 [DOI:10.3389/fpsyg.2017.01385]
  • Chen H, Liu Z, Chen T, Liu T T, Liu C J, Zhu X Y. 2016. Kinect based serious game of entertainment and body exercise for elderly. Journal of System Simulation, 28(10): 2586-2592 (陈浩, 刘箴, 陈田, 刘婷婷, 刘翠娟, 朱宪莹. 2016. 一个面向老年人娱乐健身的体感严肃游戏研究. 系统仿真学报, 28(10): 2586-2592) [DOI:10.16182/j.cnki.joss.2016.10.042]
  • Cheng M T, Lin Y W, She H C, Kuo P C. 2017. Is immersion of any value? Whether, and to what extent, game immersion experience during serious gaming affects science learning. British Journal of Educational Technology, 48(2): 246-263 [DOI:10.1111/bjet.12386]
  • Cheng X Y, Wang Y C, Sankar C S. 2018. Using serious games in data communications and networking management course. Journal of Computer Information Systems, 58(1): 39-48 [DOI:10.1080/08874417.2016.1183465]
  • Chiang F K, Chang C H, Hu D, Zhang G R, Liu Y. 2019. Design and development of a safety educational adventure game. International Journal of Emerging Technologies in Learning, 14(3): 201-218 [DOI:10.3991/ijet.v14i03.9268]
  • Chittaro L, Buttussi F. 2015. Assessing knowledge retention of an immersive serious game vs. a traditional education method in aviation safety. IEEE Transactions on Visualization and Computer Graphics, 21(4): 529-538 [DOI:10.1109/TVCG.2015.2391853]
  • Ciman M, Gaggi O, Sgaramella T M, Nota L, Bortoluzzi M, Pinello L. 2018. Serious games to support cognitive development in children with cerebral visual impairment. Mobile Networks and Applications, 23(6): 1703-1714 [DOI:10.1007/s11036-018-1066-3]
  • Dankbaar M E W, Roozeboom M B, Oprins E A P B, Rutten F, van Merrienboer J J G, van Saase J L C M, Schuit S C E. 2017. Preparing residents effectively in emergency skills training with a serious game. Simulation in Healthcare, 12(1): 9-16 [DOI:10.1097/SIH.0000000000000194]
  • de Sena D P, Fabrício D D, da Silva V D, Bodanese L C, Franco A R. 2019. Comparative evaluation of video-based on-line course versus serious game for training medical students in cardiopulmonary resuscitation:a randomised trial. PLoS One, 14(4): #e0214722 [DOI:10.1371/journal.pone.0214722]
  • Derbali L, Frasson C. 2012. Assessment of learners' motivation during interactions with serious games:a study of some motivational strategies in food-force. Advances in Human-Computer Interaction, 2012: #624538 [DOI:10.1155/2012/624538]
  • Dobrovsky A, Borghoff U M and Hofmann M. 2017. An approach to interactive deep reinforcement learning for serious games//Proceedings of the 7th IEEE International Conference on Cognitive Infocommunications. Wroclaw: IEEE: 85-90[DOI: 10.1109/CogInfoCom.2016.7804530]
  • Dobrovsky A, Borghoff U M and Hofmann M. 2019. Improving adaptive gameplay in serious games through interactive deep reinforcement learning//Klempous R, Nikodem J and Baranyi P Z, eds. Cognitive Infocommunications, Theory and Applications. Cham: Springer: 411-432[DOI: 10.1007/978-3-319-95996-2_19]
  • Ferracani A, Pezzatini D, Seidenari L, Bimbo A D. 2015. Natural and virtual environments for the training of emergency medicine personnel. Universal Access in the Information Society, 14(3): 351-362 [DOI:10.1007/s10209-014-0364-1]
  • Fridenson-Hayo S, Berggren S, Lassalle A, Tal S, Pigat D, Meir-Goren N, O'Reilly H, Ben-Zur S, Bölte S, Baron-Cohen S, Golan O. 2017. 'Emotiplay':a serious game for learning about emotions in children with autism:results of a cross-cultural evaluation. European Child and Adolescent Psychiatry, 26(8): 979-992 [DOI:10.1007/s00787-017-0968-0]
  • Georgila K, Core M G, Nye B D, Karumbaiah S, Auerbach D and Ram M. 2019. Using reinforcement learning to optimize the policies of an intelligent tutoring system for interpersonal skills training//Proceedings of the 18th International Conference on Autonomous Agents and Multi Agent Systems. Montreal: International Foundation for Autonomous Agents and Multiagent Systems: 737-745
  • Gongora M, Irvine D. 2010. ReAd:reactive-adaptive methodology to enable evolving intelligent agents for virtual environments. Evolving Systems, 1(2): 111-127 [DOI:10.1007/s12530-010-9011-0]
  • Gulec U, Yilmaz M. 2016. A serious game for improving the decision making skills and knowledge levels of Turkish football referees according to the laws of the game. SpringerPlus, 5: #622 [DOI:10.1186/s40064-016-2227-0]
  • Hocine N, Gouaïch A, Cerri S A, Mottet D, Froger J, Laffont I. 2015. Adaptation in serious games for upper-limb rehabilitation:an approach to improve training outcomes. User Modeling and User-Adapted Interaction, 25(1): 65-98 [DOI:10.1007/s11257-015-9154-6]
  • Ilachinski A. 2010. Artificial War: Multiagent-Based Simulation of Combat. Zhang Z X, Gao C R and Guo F L, trans. Beijing: Publishing House of Electronics Industry (安德鲁. 2010.人工战争: 基于多Agent的作战仿真.张志祥, 高春蓉, 郭福亮, 译.北京: 电子工业出版社)
  • Ji L X, Ma J H. 2014. Research on the behavior of intelligent role in computer games based on behavior tree. Applied Mechanics and Materials, 509: 165-169 [DOI:10.4028/www.scientific.net/AMM.509.165]
  • Khowaja K, Salim S S. 2019. Serious game for children with autism to learn vocabulary:an experimental evaluation. International Journal of Human-Computer Interaction, 35(1): 1-26 [DOI:10.1080/10447318.2017.1420006]
  • Koutník J, Schmidhuber J and Gomez F. 2014. Online evolution of deep convolutional network for vision-based reinforcement learning//Proceedings of the 13th International Conference on Simulation of Adaptive Behavior. Castellón, Spain: Springer: 260-269[DOI: 10.1007/978-3-319-08864-8_25]
  • Lala D, Nishida T. 2017. A data-driven passing interaction model for embodied basketball agents. Journal of Intelligent Information Systems, 48(1): 27-60 [DOI:10.1007/s10844-015-0386-z]
  • Lee S Y, Rowe J P, Mott B W, Lester J C. 2014. A supervised learning framework for modeling director agent strategies in educational interactive narrative. IEEE Transactions on Computational Intelligence and AI in Games, 6(2): 203-215 [DOI:10.1109/TCIAIG.2013.2292010]
  • Liang H, Chang J, Kazmi I K, Zhang J J, Jiao P F. 2017. Hand gesture-based interactive puppetry system to assist storytelling for children. The Visual Computer, 33(4): 517-531 [DOI:10.1007/s00371-016-1272-6]
  • Liu Q, Zhai J W, Zhang Z Z, Zhong S, Zhou Q, Zhang P, Xu J. 2018. A survey on deep reinforcement learning. Chinese Journal of Computers, 41(1): 1-27 (刘全, 翟建伟, 章宗长, 钟珊, 周倩, 章鹏, 徐进. 2018. 深度强化学习综述. 计算机学报, 41(1): 1-27) [DOI:10.11897/SP.J.1016.2018.00001]
  • Liu Z, He S H, Chai Y J. 2011. An emotion cognitive appraisal model for virtual characters. Pattern Recognition and Artificial Intelligence, 24(2): 160-167 (刘箴, 何少华, 柴艳杰. 2011. 一种虚拟角色的情绪认知评价模型. 模式识别与人工智能, 24(2): 160-167) [DOI:10.3969/j.issn.1003-6059.2011.02.002]
  • Matsas E, Vosniakos G C. 2017. Design of a virtual reality training system for human-robot collaboration in manufacturing tasks. International Journal on Interactive Design and Manufacturing (IJIDeM), 11(2): 139-153 [DOI:10.1007/s12008-015-0259-2]
  • Merrick K E and Maher M L. 2009. Non-player characters in multiuser games//Merrick K E and Maher M L, eds. Motivated Reinforcement Learning. Berlin, Heidelberg: Springer: 3-16[DOI: 10.1007/978-3-540-89187-1_1]
  • Merriman N A, Roudaia E, Romagnoli M, Orvieto I, Newell F N. 2018. Acceptability of a custom-designed game, CityQuest, aimed at improving balance confidence and spatial cognition in fall-prone and healthy older adults. Behaviour and Information Technology, 37(6): 538-557 [DOI:10.1080/0144929X.2018.1462402]
  • Milne M, Powers D and Leibbrandt R. 2009. Development of a software-based social tutor for children with autism spectrum disorders//Proceedings of the 21st Annual Conference of the Australian Computer-Human Interaction Special Interest Group: Design: Open. Melbourne: ACM: 265-268[DOI: 10.1145/1738826.1738870]
  • Nicolau M, Perez-Liebana D, O'Neill M, Brabazon A. 2017. Evolutionary behavior tree approaches for navigating platform games. IEEE Transactions on Computational Intelligence and AI in Games, 9(3): 227-238 [DOI:10.1109/TCIAIG.2016.2543661]
  • Oh I, Rho S, Moon S, Son S, Lee H and Chung J. 2019. Creating pro-level AI for a real-time fighting game using deep reinforcement learning[EB/OL]. https://arxiv.org/pdf/1904.03821.pdf
  • Pacella D, López-Pérez B. 2018. Assessing children's interpersonal emotion regulation with virtual agents:the serious game Emodiscovery. Computers and Education, 123: 1-12 [DOI:10.1016/j.compedu.2018.04.005]
  • Perez D, Nicolau M, O'Neill M and Brabazon A. 2011. Evolving behaviour trees for the Mario AI competition using grammatical evolution//Proceedings of the International Conference on Applications of Evolutionary Computation. Torino: Springer: 123-132[DOI: 10.1007/978-3-642-20525-5_13]
  • Perlin K and Goldberg A. 1996. Improv: a system for scripting interactive actors in virtual worlds//Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques. New Orleans, USA: ACM: 205-216[DOI: 10.1145/237170.237258]
  • Psaltis A, Apostolakis K C, Dimitropoulos K, Daras P. 2018. Multimodal student engagement recognition in prosocial games. IEEE Transactions on Games, 10(3): 292-303 [DOI:10.1109/TCIAIG.2017.2743341]
  • Ravyse W S, Blignaut A S, Leendertz V, Woolner A. 2017. Success factors for serious games to enhance learning:a systematic review. Virtual Reality, 21(1): 31-58 [DOI:10.1007/s10055-016-0298-4]
  • Roozeboom M B, Visschedijk G, Oprins E. 2017. The effectiveness of three serious games measuring generic learning features. British Journal of Educational Technology, 48(1): 83-100 [DOI:10.1111/bjet.12342]
  • Sajjadi P, Hoffmann L, Cimiano P, Kopp S. 2019. A personality-based emotional model for embodied conversational agents:effects on perceived social presence and game experience of users. Entertainment Computing, 32: #100313 [DOI:10.1016/j.entcom.2019.100313]
  • Saridis G N. 1977. Self-Organizing Control of Stochastic Systems. New York: Marcel Dekker
  • Sekhavat Y A. 2017. MPRL: multiple-periodic reinforcement learning for difficulty adjustment in rehabilitation games//Proceedings of the 5th IEEE International Conference on Serious Games and Applications for Health. Perth: IEEE: 1-7[DOI: 10.1109/SeGAH.2017.7939260]
  • Smith R D. 2009. Military Simulation and Serious Games:Where We Came From and Where We Are Going. [s.l.]: Modelbenders Press
  • Syufagi M A, Hariadi M, Purnomo M H. 2013. Petri net model for serious games based on motivation behavior classification. International Journal of Computer Games Technology, 2013: #851287 [DOI:10.1155/2013/851287]
  • Tampuu A, Matiisen T, Kodelja D, Kuzovkin I, Korjus K, Aru J, Aru J, Vicente R. 2017. Multiagent cooperation and competition with deep reinforcement learning. PLoS One, 12(4): #e0172395 [DOI:10.1371/journal.pone.0172395]
  • Terzidou T, Tsiatsos T, Miliou C, Sourvinou A. 2016. Agent supported serious game environment. IEEE Transactions on Learning Technologies, 9(3): 217-230 [DOI:10.1109/TLT.2016.2521649]
  • Tian Z H, Zhao L, Jia Y. 2010. Research on modeling action with uncertain results based on probability interval. Computer Science, 37(1): 201-203, 207 (田尊华, 赵龙, 贾焰. 2010. 基于概率区间的不确定性动作建模研究. 计算机科学, 37(1): 201-203, 207) [DOI:10.3969/j.issn.1002-137X.2010.01.047]
  • Tu H, Liu H X. 2017. An improved Q-learning algorithm and its application in behavior tree. Computer Applications and Software, 34(12): 235-239 (涂浩, 刘洪星. 2017. 一种改进型Q学习算法及其在行为树中的应用. 计算机应用与软件, 34(12): 235-239) [DOI:10.3969/j.issn.1000-386x.2017.12.045]
  • Wu J J, Liu Z, Liu T T, Wang J. 2019. Uncertainty model to generate virtual characters' behavior in serious games for social training. Journal of Image and Graphics, 25(9): 1558-1568 (吴佳佳, 刘箴, 刘婷婷, 王瑾. 2019. 辅助社交训练严肃游戏中虚拟角色行为表现的不确定性模型. 中国图象图形学报, 25(9): 1558-1568) [DOI:10.11834/jig.180581]
  • Zhang Q, Xu K, Jiao P and Yin Q J. 2018. Behavior modeling for autonomous agents based on modified evolving behavior trees//Proceedings of the 7th IEEE Data Driven Control and Learning Systems Conference (DDCLS). Enshi: IEEE: 1140-1145[DOI: 10.1109/DDCLS.2018.8515939]