“察言观色”是人类维持社会生活的基本能力。AI需要有情商才能更好地服务人类，而感知人类情感是情商的基础能力。尽管我们感知情感的手段非常多样，但通过双眼“观察”是人类感知他人情感的最主要渠道。随着第三次AI热潮的到来，赋予AI像人一样察言观色的能力成为计算机视觉和模式识别领域的重要研究课题。

表情识别是基于视觉的情感感知研究的核心任务之一。但与人脸识别因深度学习而得以基本解决不同，面部表情及其他情感行为识别并未因深度学习而取得巨大进步，挑战仍然存在。同时，研究者们开始关注情感感知的深度和广度，如微表情分析、视线估计与跟踪、生理信号(心率、呼吸率等)测量等面部“显微”感知技术。这些技术在特定行业任务上的应用也开始崭露头角，如驾驶员状态监控、自闭症和抑郁症等精神性疾病辅助诊断、学生专注度评估和老年人陪护等。

《中国图象图形学报》策划出版的“基于视觉的情感感知技术与应用”专刊，邀请业内专家共同组织，收录国内学者在自动表情识别、生理信号测量、视线估计和精神性疾病辅助诊断等方面具有创新性、突破性的研究成果。本期专刊征文得到了所选专题相关研究领域专家和学者的热情响应，为本专刊提供了优质的稿源，集中反映了研究团队的交叉性，研究主题的广泛性和研究成果的前沿性。在本期收录的稿件中，有专家依据长期科研经验撰写的领域综述，针对最新研究和未来发展撰写的前沿进展，追根溯源，洞察未来；有来自不同研究方向的最新研究，提供多元化的子方向科研成果；有来自临床医学专家的合作研究，提供最有现实意义的科研探讨。

我们期待广大读者和科技人员通过本期“基于视觉的情感感知技术与应用”专刊，能够更深入、更全面地了解该领域的最新方法和应用，有更多学者发起相关研究，产生具有国际影响力的优秀成果，为领域发展做出新的贡献。

编者按

为了促进我国情感计算领域的发展，及时反映我国学者在基于视觉的情感感知领域的最新研究进展，《中国图象图形学报》邀请长期深耕该领域的知名学者，一线科研人员和青年学者们，围绕计算机视觉在情感感知方面的技术创新，在相关场景中的实际应用等主题开展研究，并形成该专刊。经过严格的评审和修订，“基于视觉的情感感知技术与应用”专刊共收录学术论文14篇，包括4篇特邀“综述”、1篇“数据集论文”、4篇“人脸表情识别”论文、2篇“精神状况评估”论文和3篇“生理信号和心理状态分析”论文。

在4篇特邀综述中，《面部动作单元检测方法进展与挑战》介绍了用于精确刻画人脸表情变化的面部动作单元(AU)相关研究，总结了AU检测技术发展现状、挑战和未来发展趋势。《面部表情分析进展和挑战》一文则系统概述了面部表情分析的相关任务、进展、挑战和未来趋势，特别是对该领域发展现状给出了一些观点和建议。《深度人脸表情识别研究进展》重点介绍了近十年来基于深度学习的人脸表情识别的研究现状以及相关人脸表情数据库的发展情况，从静态和动态人脸表情识别等维度进行了详细的介绍，并对该领域的未来研究方向和机遇挑战进行了总结和展望。《基于rPPG的生理指标测量方法综述》一文从心率、呼吸率等生理信号遥测算法所依据的假设或先验知识出发，对rPPG相关文献进行了总结和讨论，从评测任务、评测数据、评测指标及评测协议等4个方面系统整理了基于rPPG的生理指标测量方法和关键技术，讨论了该方向面临的挑战，展望了可能的技术路线。

数据集论文《真实环境下的多模态情感数据集MED》收集、标注并将公开发布一个自然状态下的视频数据集，其中包含来自电影、电视剧和综艺节目的1839段表情视频片段，可补充该领域的数据丰富度。在“人脸表情识别”论文中，《持续学习改进的人脸表情识别》探究了有效利用人脸识别预训练网络来提升表情识别性能的方法；《多任务学习和对抗学习结合的自发与非自发表情识别》通过多任务学习和对抗学习捕获面部行为的时空模式，及学习身份无关的面部特征，以实现有效的自发与非自发表情区分；《采用时空注意力机制的人脸微表情识别》提出了时空注意力网络以实现对高表情强度面部区域和视频帧的关注，从而更有效地识别人脸微表情；《结合自监督学习和生成对抗网络的小样本人脸属性识别》尝试了基于旋转的自监督学习等方法提高小样本数据集上的人脸属性识别准确率。

在“精神状况评估”论文中，《深度空时婴幼儿表情识别模型下的ASD自动筛查》和《面部动态特征描述的抑郁症识别》分别研究了基于表情识别的高危孤独症谱系障碍婴幼儿筛查方法和挖掘宏观/微观面部结构信息动态特征的抑郁症自动识别方法。在“生理信号和心理状态分析”论文中，《面向远程光体积描记的人脸检测与跟踪》和《多视角神经网络非接触式脉搏信号提取》对远程光体积描记(rPPG)这一基于视频的非接触心率测量方法进行研究，提高心率估计精度；《面向情绪调节的多模态人机交互技术》通过识别用户情绪、文本对话和体感交互等实现对用户情绪的调节，为现代社会中可能存在心理问题的人们提供帮助。

专刊编委

山世光   研究员，中国科学院计算技术研究所

郑文明   教授，东南大学

邓伟洪   教授，北京邮电大学

赵启军  教授，四川大学/西藏大学

韩琥  副研究员，中国科学院计算技术研究所