目的遮挡行人重识别因可见区域缺失和遮挡噪声干扰,导致特征判别性不足、鲁棒性差。现有方法多局限于单视图表征,存在通道判别性建模不充分、显著区域过拟合等问题。方法提出一种融合通道注意力增强、显著性引导擦除与门控正则化的多视角学习框架。该方法首先采用挤压激励残差网络(squeeze-and-excitation residual network,SE-ResNet)作为骨干网络,通过通道注意力机制自适应增强判别性特征。进而,设计Top-k显著性引导软擦除模块,利用类激活图定位关键区域并进行平滑抑制,迫使网络发掘多样化辅助特征,以缓解过拟合。此外,引入门控正则化机制,对特征通道选择概率施加熵约束,提升选择过程的稀疏性与稳定性。在训练阶段,通过加权融合多视图特征并借助特征对齐损失实现信息协同;推理阶段仅需单视图特征即可完成高效检索。结果在4个代表性数据集上的实验表明,所提方法均取得领先性能。其中,在专门针对遮挡行人重识别的数据集Occluded-REID(occluded person re-identification)上,平均精度均值(mean average precision,mAP)与首位命中率(rank-1 accuracy,Rank-1)分别达到83.4%与92.8%;在大型多场景复杂数据集MSMT17(multi-scene multi-time)上,分别达到71.4%与89.6%,较先进方法MVIIP(multi-view information integration and propagation)有显著提升。在基于DukeMTMC(Duke multi-target multi-camera)构建的合成遮挡数据集P-DukeMTMC和经典通用行人重识别基准数据集Market-1501上,所提方法同样表现优异,验证了其针对合成与自然遮挡的普适性。结论所提方法在遮挡与多场景任务中均表现出良好的适应性、鲁棒性和泛化能力,适用于复杂监控场景下的行人检索。
目的多模态情感识别旨在融合文本、视觉与语音等模态信息识别对象情感状态。然而,模态间固有的异质性问题使得情感语义与模态特有噪声纠缠,限制模型的可解释性。而且,现有融合策略难以充分捕捉模态间情感语义特征的细粒度关联,导致融合表示判别性不足。为此,提出一种多模态情感识别的可解释可逆解耦与自适应融合方法。方法设计IAMD(invertible attention mask-based disentanglement)模块,构建各模态特征表示与情感语义因子之间的可逆映射,并结合注意力掩码将隐式特征解耦为跨模态一致性的共享特征与保留各模态独有属性的特有特征。构建MIC(mutual information constraint)机制,使用互信息约束共享特征、特有特征和情感标签间的依赖关系,增强语义一致性建模同时减少模态噪声冗余。提出SGAFF(semantic-guided adaptive feature fusion)模块,利用共享特征的上下文信息对特有特征进行语义引导,实现共享与特有引导双分支的自适应融合。结果在CMU-MOSI(Carnegie Mellon University Multimodal Opinion-level Sentiment Intensity)数据集上,相较于DLF(disentangled language focused)模型,本文模型在平均绝对误差(mean absolute error,MAE)降低了2.4%,七分类准确率(7-class accuracy,Acc-7)提升了2.9%;在CMU-MOSEI(Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity)数据集上,相较于TMBL(Transformer-based multimodal binding learning)模型,MAE降低了2.6%,皮尔逊相关系数(Pearson correlation coefficient,Corr)提升了1.7%;在UR-FUNNY(University of Rochester-FUNNY)数据集上,相较于MISA(modality-invariant and specific analysis)模型,F<sub>1</sub>值(F<sub>1</sub>-score)提升了5.6%。结论所提方法实现了情感语义信息与模态特有噪声的可解释解耦,并促进跨模态情感语义特征的细粒度交互。该方法适用于模态异质性较复杂的多模态场景及对情感识别指标有较高要求的任务。本文代码已开源至https://doi.org/10.57760/sciencedb.j00240.00138。