摘要:目的热力图回归方法因能够提供丰富的空间信息,在人体姿态估计领域受到广泛关注。然而,由于传统真值热力图通常由固定标准差的2D高斯核覆盖标注点位置生成,当人体尺度变化较大时,固定的高斯核覆盖范围可能与关键点的实际语义区域不匹配,导致模型对关键点定位的模糊性和语义不确定性。对此,提出面向自下而上人体姿态估计的自适应真值热力图生成方法。方法首先设计一种自适应真值热力图生成模块,通过学习图像中关键点的固有尺度信息以及近邻关键点之间的几何关系生成自适应尺度因子,为图像定制尺度自适应的真值热力图。另外,由于现有方法使用的热力图损失函数未能有效捕捉局部结构的相关性,导致其对关键点位置偏差不敏感。为此,提出局部概率一致性损失函数,通过在热力图的局部区域上计算结构相似性,提升模型对局部结构的学习和理解,同时引入动态权重来平衡样本的贡献,进一步引导模型优化方向,提高模型鲁棒性。结果在两个公开数据集MS COCO(Microsoft common objects in context)和CrowdPose上进行实验评估,实验结果表明所提方法相较对比工作,关键点检测平均准确率分别提高1.6%与6.5%,达到72.1%和74.1%,验证了所提方法的有效性。此外,所提方法在拥挤场景的CrowPose数据集上也能带来显著的性能提升,这进一步表明其能够有效缓解复杂场景中的人体尺度变化带来的问题。同时消融实验验证了所提方法的有效性。结论提出的面向自下而上人体姿态估计的自适应真值热力图生成方法,通过学习图像中关键点的固有尺度信息以及近邻关键点之间的几何关系生成自适应热力图作为真值,结合局部概率一致性损失函数来处理图像中尺度变化问题,有效提高了人体姿态估计准确率。
摘要:目的多数的行人轨迹预测方法专注于序列化数据的特征,忽略了对行人轨迹的社会语义进行学习。因此,本文着重研究行人轨迹中的社会特征与人类行走特征,提出结合社会约束与轨迹终点的路径逐步估计网络(path stepwise estimation network combining social constraints and trajectory endpoints,PSEN)。方法根据人在行走中对路径规划的3个特征:1)社会约束,将人群按照社交约束,依据运动学信息进行分类,并根据社交权重得到被预测行人与类内其他行人的社交注意力,从而影响后续的路径估计网络;2)通过模拟行人会先确定终点,有目的性地规划自己行走的路径这一特征,设计一个终点估计网络,通过时空序列对终点进行预测,对完整的路径规划提供参考价值;3)行人不断根据周边环境与终点进行局部路径微调并重新分配注意力的特征,搭建终点与路径微调网络,实现自动根据环境进行微调路径规划的效果。结果实验在ETH/UCY(Eidgenössische Technische Hochschule Zürich pedestrian and University of Cyprus pedestrain)数据集上与6种基线方法进行比较,在SDD(Stanford drone dataset)数据集上与5种基线方法进行对比。在ETH/UCY整个数据集中,平均位移误差(average displacement error,ADE)和最终位移误差(final displacement error,FDE)平均降低5.1%和7.5%,在SDD数据集中,ADE和FDE平均降低1%和2%。针对行人较为密集的场景,如ZARA1、ZARA2和UNIV数据集的预测效果均提升10%以上。在ETH/UCY数据集上进行消融实验,证明PSEN各模块均能够提高行人轨迹预测任务的效果,ADE和FDE分别平均降低19%和31%。结论本文提出的结合社会约束与轨迹终点的路径逐步估计网络(PSEN),综合了真实世界中行人场景的3个特点,在ETH/UCY和SDD数据集上取得了更优异效果。