摘要:目的遮挡行人重识别因可见区域缺失和遮挡噪声干扰,导致特征判别性不足、鲁棒性差。现有方法多局限于单视图表征,存在通道判别性建模不充分、显著区域过拟合等问题。方法提出一种融合通道注意力增强、显著性引导擦除与门控正则化的多视角学习框架。该方法首先采用挤压激励残差网络(squeeze-and-excitation residual network,SE-ResNet)作为骨干网络,通过通道注意力机制自适应增强判别性特征。进而,设计Top-k显著性引导软擦除模块,利用类激活图定位关键区域并进行平滑抑制,迫使网络发掘多样化辅助特征,以缓解过拟合。此外,引入门控正则化机制,对特征通道选择概率施加熵约束,提升选择过程的稀疏性与稳定性。在训练阶段,通过加权融合多视图特征并借助特征对齐损失实现信息协同;推理阶段仅需单视图特征即可完成高效检索。结果在4个代表性数据集上的实验表明,所提方法均取得领先性能。其中,在专门针对遮挡行人重识别的数据集Occluded-REID(occluded person re-identification)上,平均精度均值(mean average precision,mAP)与首位命中率(rank-1 accuracy,Rank-1)分别达到83.4%与92.8%;在大型多场景复杂数据集MSMT17(multi-scene multi-time)上,分别达到71.4%与89.6%,较先进方法MVIIP(multi-view information integration and propagation)有显著提升。在基于DukeMTMC(Duke multi-target multi-camera)构建的合成遮挡数据集P-DukeMTMC和经典通用行人重识别基准数据集Market-1501上,所提方法同样表现优异,验证了其针对合成与自然遮挡的普适性。结论所提方法在遮挡与多场景任务中均表现出良好的适应性、鲁棒性和泛化能力,适用于复杂监控场景下的行人检索。
摘要:目的多模态情感识别旨在融合文本、视觉与语音等模态信息识别对象情感状态。然而,模态间固有的异质性问题使得情感语义与模态特有噪声纠缠,限制模型的可解释性。而且,现有融合策略难以充分捕捉模态间情感语义特征的细粒度关联,导致融合表示判别性不足。为此,提出一种多模态情感识别的可解释可逆解耦与自适应融合方法。方法设计IAMD(invertible attention mask-based disentanglement)模块,构建各模态特征表示与情感语义因子之间的可逆映射,并结合注意力掩码将隐式特征解耦为跨模态一致性的共享特征与保留各模态独有属性的特有特征。构建MIC(mutual information constraint)机制,使用互信息约束共享特征、特有特征和情感标签间的依赖关系,增强语义一致性建模同时减少模态噪声冗余。提出SGAFF(semantic-guided adaptive feature fusion)模块,利用共享特征的上下文信息对特有特征进行语义引导,实现共享与特有引导双分支的自适应融合。结果在CMU-MOSI(Carnegie Mellon University Multimodal Opinion-level Sentiment Intensity)数据集上,相较于DLF(disentangled language focused)模型,本文模型在平均绝对误差(mean absolute error,MAE)降低了2.4%,七分类准确率(7-class accuracy,Acc-7)提升了2.9%;在CMU-MOSEI(Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity)数据集上,相较于TMBL(Transformer-based multimodal binding learning)模型,MAE降低了2.6%,皮尔逊相关系数(Pearson correlation coefficient,Corr)提升了1.7%;在UR-FUNNY(University of Rochester-FUNNY)数据集上,相较于MISA(modality-invariant and specific analysis)模型,F1值(F1-score)提升了5.6%。结论所提方法实现了情感语义信息与模态特有噪声的可解释解耦,并促进跨模态情感语义特征的细粒度交互。该方法适用于模态异质性较复杂的多模态场景及对情感识别指标有较高要求的任务。本文代码已开源至https://doi.org/10.57760/sciencedb.j00240.00138。
摘要:目的针对三维目标检测任务中,点云经柱体化映射为二维伪图像时易导致的几何细节丢失,以及伪图像特征提取阶段建模不足的问题,提出一种动态空间全局注意力增强的伪图像特征3D目标检测模型。方法首先,设计动态空间全局注意力机制,通过为每个样本生成自适应卷积核实现针对性的局部结构建模,并结合全局自注意力以增强空间特征交互与长程依赖建模能力,从而在稀疏伪图像上恢复更多几何信息;其次,构建高效多尺度伪图像特征融合网络,在兼顾细粒度局部特征和全局语义的同时,通过多尺度特征融合浅层空间细节与深层语义;最后,提出双重感知动态上采样,在DySample的基础上采用边缘感知与小目标显著性增强双通路设计,优化上采样过程并提升空间细节恢复与目标检测性能。结果在 KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)和 DAIR-V2X-V两个公开数据集上的模型评估结果表明,与基线模型PointPillars相比,本文方法在KITTI数据集中等难度下对汽车、行人和骑行者类别的平均精度(average precision,AP)分别提升 2.51%、6.07% 和 10.33%,平均精度均值(mean average precision,mAP)提升6.3%;在 DAIR-V2X-V数据集中等难度下对汽车、行人和骑行者类别的AP分别提升 0.07%、6.48% 和 8.70%,mAP 提升 5.09%。结论所提方法通过利用动态空间全局注意力机制、采用高效多尺度特征融合策略及双重感知动态上采样设计,有效缓解柱体化投影带来的几何信息损失,增强伪图像的空间结构与语义表达能力,从而显著提升稀疏点云场景下的三维目标检测性能。
摘要:目的东巴画作为纳西族珍贵的文化遗产,其绘画主体通过独特的符号体系、绘画色调与笔触技法传递复杂情感。现有视觉—语言模型的预训练范式偏向通用对象分类任务,面对东巴画这类具有特定文化属性的艺术形式时,难以有效建立多维度情感语义与绘画色彩结构、笔触纹理美学特征之间的映射关系,存在领域偏移引发的情感语义映射偏差问题。为此,本文提出一种融合颜色笔触特征的东巴画情感分类方法。方法针对东巴画的色彩结构与笔触纹理特征,提出双域颜色笔触特征提取机制,通过空间域和频率域捕捉其线条走向与边缘细节信息;基于多模态模型的跨模态对齐空间,构建渐进式自适应融合架构,动态平衡通用视觉信息与特定艺术特征的贡献权重,以适配东巴画多元的绘画风格差异;针对标签不平衡场景下的多情感共存问题,引入绘画主体的对象类别先验知识,设计类别引导的级联问答推理机制,强化分类任务的逻辑性与准确性,有效提升模型在东巴画场景下的领域泛化能力。结果结合纳西族文化典籍与历史文献考证,本文构建了包含14维情感标签的东巴画多标签情感分类数据集,为东巴画情感分析研究提供数据支撑。在该数据集上的实验结果表明,本文方法的mAP(mean average precision)指标达到91.77%,精确匹配准确率达到84.81%,相较于排名第2的TAI++(text as image++)模型分别提高了1.25%和8.86%。结论本文方法为民族艺术情感理解提供了新的技术路径,对文化遗产数字化保护与传承具有重要意义。
摘要:目的针对深度学习在多光谱遥感应用中面临的数据获取困难与标注成本高昂问题,以及现有基础生成模型难以直接适配多光谱数据且从零训练计算开销巨大的现状,提出了一种面向多光谱遥感图像生成的参数高效适配扩散模型。方法该方法采用参数高效微调策略,通过在冻结的预训练扩散模型中嵌入各种低参数微调模块,不同于通用可控生成方法仅以数据驱动方式建模图像,本文在适配训练中显式引入遥感光谱物理约束,并针对地物语义—空间映射设计了文本感知编码机制。该方法实现了从RGB图像域向四波段图像域的低成本迁移,不同微调模块综合了光谱与空间纹理适配。在此基础上,引入基于归一化植被指数(normalized difference vegetation index, NDVI)和归一化水体指数(normalized difference water index, NDWI)的物理一致性损失,强制约束红光与近红外波段间的光谱相关性。此外,提出文本感知空间语义编码机制,利用语义分割掩膜实现对地物空间布局的精确控制。结果在FLAIR(French land cover from Aerospace Imagry)、Five-Billion-Pixels及IRSAMap等数据集上的实验表明,与ControlNet、T2I-Adapter等主流方法相比,本文方法在光谱保真度与语义对齐度上均有所提升,生成的近红外波段具备明确的物理意义。此外,利用生成数据辅助训练在下游开放词汇分割任务上取得了一定的精度提升,验证了该方法作为数据增强手段的可行性。结论本框架有效解决了RGB基础模型向多光谱遥感领域迁移时的通道不匹配与物理特征丢失问题,实现了低资源消耗下的高质量、可控多光谱数据生成,为缓解遥感解译任务中的数据稀缺问题提供了有效的数据增强方案。