具身智能通过“身体—环境—任务”闭环交互,被视为迈向通用人工智能的核心路径。然而,与模型参数和训练数据的高速扩张形成鲜明对照,其评测体系仍处于“任务碎片化、指标多元化、平台封闭化”的自发状态,造成同一功能在不同研究中的性能差异超过10%,却无法判定来源是算法创新、数据扩充还是评测偏差,严重阻碍了技术迭代与产业落地。本文围绕“从感知到执行”的完整链路,对2020—2025年间发表于CVPR(IEEE/CVF Conference on Computer Vision and Pattern Recognition)、ICRA(IEEE International Conference on Robotics and Automation)、NeurIPS(Conference on Neural Information Processing Systems)等顶级会议与 Nature、IJRR(International Journal of Robotic Research)、JMLR(Journal of Machine Learning Research)等期刊的百余篇文献进行系统梳理,首次提出“静态数据集—仿真平台—真实机器人”三级金字塔式评测范式,并从感知、认知、决策、执行4个环节拆解出20余项核心能力维度与量化指标,分别从方法学假设、适用边界、固有局限和成本—可信度曲线4个角度进行横向对比。本文进一步汇总了46套主流基在数据规模、任务类型、评估指标、开源程度和安全伦理考量等维度的差异。基于此,提出“能力导向、协议统一、三级协同”的未来框架:1)在任务层,由“功能对标”转向“能力对标”,建立可分解、可溯源、可加权的多维误差体系;2)在协议层,制定统一的场景描述、接口规范与指标定义,实现跨平台、跨任务、跨模型的可比性;3)在系统层,构建可远程接入、7 × 24 h运行的共享机器人集群,形成“仿真预训练—真机微调—在线更新”的闭环追踪,降低重复建设成本,打通从实验室到场景落地的“最后一公里”。最后讨论了安全伦理、文化偏见和能效评估等新维度如何纳入量化框架,并给出标准化路线图的短、中、长期目标。本文工作为具身智能从“技术涌现”走向“科学共识”提供了可操作的评测基础设施与参考范式,具体的静态—仿真—真机榜单展示在:https://opencompass.org.cn/embodied-intelligence。
目的无监督可见光-红外行人重识别(Unsupervised Visible-Infrared Person Re-identification,USVI-ReID)旨在无标注条件下实现跨模态行人匹配。然而,现有方法中的困难样本挖掘策略通常未考虑困难正负样本在对比学习中的不同优化作用,导致模型的类内紧凑性不足且类间分离性有限。针对上述问题,提出一种角色感知难样本建模方法,在嵌入空间中对困难正负样本进行差异化建模,以协同优化类内一致性与类间判别性。方法首先,基于共享伪标签构建模态特定身份中心,并利用同一身份在不同模态中心之间的偏移生成困难正样本,使生成样本能够在保持身份一致性的同时包含更具挑战性的跨模态差异;其次,通过子簇划分与近邻簇搜索,挖掘不同身份间的局部相似关系,并沿近邻簇方向构造困难负样本,以增强模型对易混淆身份的判别能力;此外,受课程学习思想启发,引入渐进式训练策略,通过逐步调整困难样本生成幅度控制训练难度,提高模型优化稳定性。结果在SYSU-MM01和RegDB两个公开可见光-红外行人重识别数据集上的实验结果表明,所提方法能够有效提升无监督跨模态特征学习性能。在SYSU-MM01数据集全搜索模式下,相比现有最优方法,Rank-1和mAP(mean average precision)分别提升5.5%和4.1%;在RegDB数据集的可见光-热成像搜索模式中,Rank-1和mAP分别达到93.0%和86.2%。结论通过区分困难正负样本在对比学习中的优化角色,并针对性地构造跨模态变化样本和类别边界样本,所提方法能够同时增强跨模态一致性和身份判别能力,为无监督可见光-红外行人重识别提供了一种有效的难样本建模策略。
目的夜间甜瓜识别和采摘严重依赖人工光源。不同人工补光配置下,甜瓜果实和茎部的图像表观可能不同,语义分割模型的训练和跨配置测试结果也可能存在差异。为助力夜间农产品识别和采摘,构建了多颜色人工光照甜瓜分割图像数据集MelonNightColor。方法在保持相机位置、拍摄距离和补光灯方位一致的条件下,切换补光灯红、绿、蓝通道配置,获取红、蓝、绿、青、紫、黄、白7种人工补光配置下的夜间甜瓜图像。当前已发布5474张图像及像素级标注(覆盖782个拍摄位置,标注背景、甜瓜果实和茎部3个类别)。以拍摄位置为最小划分单元划分训练集、验证集和测试集,确保同一场景的7种颜色图像不跨集合,并组织为7个单颜色子集和4个组合颜色子集。采用9种代表性语义分割模型进行基线评测,并以UNet构建7×7跨颜色泛化矩阵。结果9种模型在7种光源下的背景、果实和茎部的类别交并比(intersection over union,IoU)均值分别为99.05%、86.39%和38.84%,茎部因形态细长且易受遮挡影响而分割难度最大。白光和黄光下9种模型平均交并比(mean intersection over union,mIoU)均值较高,分别达78.17%和77.94%;红光和蓝光下相对较低,分别为72.93%和73.23%。UNet同颜色测试平均mIoU为80.38%,跨颜色测试平均mIoU为44.25%。该结果显示,在本数据集的设备、品种和采集条件下,不同补光配置及自动成像过程共同作用下,训练与测试补光配置不一致时模型性能出现明显下降。结论MelonNightColor提供了夜间甜瓜多颜色成组图像和像素级标注。未来,数据集MelonNightColor可为特定夜间人工补光条件下的甜瓜语义分割基线评测和跨配置模型研究提供公开数据基础。数据集已在中国科学院科学数据银行公开,数字对象标识符(digital object identifier,DOI)为https://doi.org/10.57760/sciencedb.j00240.00237。