最新刊期

    2026 年 第 31 卷 第 11 期

      综述

    • 三维高斯溅射语义扩展研究综述 AI导读

      李丽芬, 张思佳, 张荣华
      2026, 31(11): 3819-3836. DOI: 10.11834/jig.250582
      三维高斯溅射语义扩展研究综述
      摘要:三维高斯溅射(3D Gaussian splatting, 3DGS)作为新一代三维场景表示与重建的核心技术,在实时渲染与高质量重建方面取得了巨大成功,但其固有的语义缺失限制了其在智能场景理解与交互式图形学等任务中的应用。为弥补语义鸿沟,将视觉语言模型(vision-language model ,VLM)多模态感知技术与3DGS框架深度融合成为研究前沿。尽管相关技术发展迅速,但现有研究缺乏系统性的技术分类与梳理。本文首次提出了一种基于语义信息流的三阶段分类框架,将3DGS语义扩展流程解构为语义感知、语义绑定与语义查询3个核心阶段,为系统性地解决开放词汇场景泛化难、动态语义一致性差及实时交互受限等核心问题提供了统一的分析视角。首先,阐述3DGS基本原理与语义表征理论;然后,基于所提框架深入剖析了各阶段的代表性方法、核心挑战和技术路线;最后,总结了当前研究面临的技术挑战并展望了未来方向。  
      关键词:三维高斯溅射(3DGS);视觉语言模型(VLM);语义感知;语义绑定;语义查询;开放词汇   
      761
      |
      688
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152863584 false
      更新时间:2026-11-17
    • 图神经网络在多变量时间序列分类中的应用综述 AI导读

      李贳宸, 孙杰, 孙志林
      2026, 31(11): 3837-3862. DOI: 10.11834/jig.250529
      图神经网络在多变量时间序列分类中的应用综述
      摘要:多变量时间序列(multivariate time series,MTS)分类是数据科学中的一项关键任务,旨在从具有复杂时空依赖性的多维数据流中识别模式。图神经网络(graph neural network,GNN)凭借其强大的结构化数据建模能力为这一领域带来了范式转变。然而,现有研究呈现出方法多样化但缺乏统一理论指导的局面。本文系统梳理了GNN在MTS分类中的应用进展,并首次提出从“时空依赖耦合范式”(spatio-temporal dependency coupling paradigm)角度审视该领域的统一分析框架,将现有模型划分为解耦式(decoupled)、耦合式(coupled)和演化式(evolutionary)三大类别,揭示了不同设计在模型灵活性、计算效率和动态适应性之间的核心权衡。基于此框架,本文超越了对模型机制的简单描述,深入剖析了各类方法在处理现实世界数据中普遍存在的异质性(heterogeneity)、非平稳性(non-stationarity)和因果混淆(causal confounding)等根本性挑战时的内在假设与理论局限。此外,通过对交通、医疗、金融和工业等关键应用领域的跨域综合分析,提炼出驱动模型选择和图构建策略的普适性原则。最后,本文总结了现有挑战,并进一步勾勒出一份旨在构建更鲁棒、可解释和支持干预的下一代时空图智能模型的挑战性研究议程,强调了从关联建模向因果推理演进的必要性。研究表明,GNN在MTS分类中展现的巨大潜力正推动该领域迈向一个更深刻、更具挑战性的新阶段。为了促进相关研究的复现与发展,本文汇总了文中涉及的主流算法代码、数据集及评估指标,并在https://github.com/sunjieseu/GNN-MTSC-Survey上开源维护。  
      关键词:多变量时间序列分类(MTSC);图神经网络(GNN);时空数据挖掘;图表示学习;深度学习   
      26
      |
      8
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 180305927 false
      更新时间:2026-11-17

      图像处理和编码

    • 稀疏重建与交叉引导的高光谱与多光谱图像融合 AI导读

      薛吉则, 俞凤梅, 刘颖
      2026, 31(11): 3863-3875. DOI: 10.11834/jig.250618
      稀疏重建与交叉引导的高光谱与多光谱图像融合
      摘要:目的针对现有高光谱与多光谱图像融合算法光谱重建策略不足和模态融合机制缺失的问题,提出一种稀疏重建与交叉引导的高光谱多光谱图像融合算法(hyperspectral and multispectral image fusion via sparse reconstruction and cross-guidance, HMIF-SRNet)。方法该算法采用端到端的融合架构,通过预处理、特征提取、核心融合和特征重建4个模块实现高质量融合。为了光谱信息的高效利用和精确保真以及双模态信息的充分互补,设计了两个核心模块:光谱稀疏重建单元(spectral reconstruction unit,SRU)和交叉引导单元(cross-reference unit,CRU)。具体而言,SRU模块采用双重统计门控策略和动态稀疏重建机制,自适应优化光谱维度的信息表达,有效降低光谱冗余;CRU模块通过交叉引导机制实现高光谱和多光谱特征的互补融合,增强了跨模态信息的交互效果。两个核心模块通过串行级联实现递进式的特征优化。结果HMIF-SRNet在峰值信噪比(peak signal-to-noise ratio,PSNR)、相对全局无量纲误差(relative dimensionless global error in synthesis,ERGAS)和通用图像质量指数(universal image quality index,UIQI)3项指标上取得最优结果;在深度学习类对比方法中SAM(spectral angle mapper)指标最优,传统变换方法SAM数值更低,但整体图像重建性能较差。其中,在CAVE(cave multispectral image database)数据集上PSNR相比次优方法提升了4.41 dB,SAM减少了32.0%,在真实场景下展现出卓越的鲁棒性。结论通过轻量化网络架构设计,该算法在保持优异融合性能的同时有效降低了计算复杂度,验证了动态稀疏重建策略与交叉引导融合机制的有效性。  
      关键词:高光谱图像(HSI);多光谱图像(MSI);图像融合;全局特征;稀疏注意力   
      288
      |
      494
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152517546 false
      更新时间:2026-11-17
    • 融合多对抗引导和哈希纠错的鲁棒图像隐写 AI导读

      李荣, 张祎, 张明亮, 刘燕美, 罗向阳
      2026, 31(11): 3876-3892. DOI: 10.11834/jig.260049
      融合多对抗引导和哈希纠错的鲁棒图像隐写
      摘要:目的图像隐写是信息隐藏技术的重要分支,其核心目标是将秘密信息嵌入载体图像中实现隐蔽通信,在军事通信与隐私保护等领域具有重要意义。基于编码—解码网络的鲁棒图像隐写方法通过端到端训练,在兼顾高容量、良好视觉质量与强鲁棒性方面取得显著进展。然而,现有方法多侧重于全局视觉质量优化,缺乏对局部空间特征的自适应能力,导致平滑区域易产生伪影、纹理区域细节丢失;同时,受限于纠错机制的能力,现有方法在复杂信道干扰下信息恢复性能仍显不足。为此,提出一种融合多对抗引导和哈希纠错的鲁棒图像隐写方法。方法首先,将隐写分析网络引入对抗训练,利用其对平滑区域嵌入修改的高敏感性,引导秘密信息嵌入低敏感的纹理区域,从而降低嵌入扰动的可感知性。其次,设计双级纠错机制:在发送端,先通过BCH(Bose-Chaudhuri-Hocquenghem)码对信息进行初步校正;针对BCH无法纠正的错误,则根据纠错位置与自然图像哈希的映射,从共享图像库中检索对应图像,并与载密图像同时传输。接收端则利用哈希生成模型计算哈希值以定位错误位置,并与BCH纠错协同恢复信息。同时,为确保哈希映射的唯一性,提出一种无歧义的哈希映射方案,从而系统性地保障信息在干扰信道中恢复的准确性。结果实验结果显示,与当前先进方法相比,所提方法在图像质量上显著提升,PSNR(peak signal-to-noise ratio)和MS-SSIM(multi-scale structural similarity index)分别提高5.89%和3.11%,LPIPS(learned perceptual image patch similarity)降低30.21%,表明视觉不可感知性更高。在鲁棒性方面,对多数常见非几何攻击,秘密信息提取正确率达100%;特别地,在“旋转60°—缩放—裁剪”复合攻击下,提取正确率提升30.88个百分点。结论该方法兼顾高视觉质量与强鲁棒性,为构建实用化隐写系统提供了有效新思路。  
      关键词:隐蔽通信;鲁棒隐写;图像隐写;纠错;哈希映射   
      407
      |
      332
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152832334 false
      更新时间:2026-11-17

      图像分析和识别

    • 显著性引导擦除与门控正则化的遮挡行人重识别 AI导读

      叶学义, 薛智权, 蒋德琦, 戴渝琛, 王佳欣
      2026, 31(11): 3893-3908. DOI: 10.11834/jig.250576
      显著性引导擦除与门控正则化的遮挡行人重识别
      摘要:目的遮挡行人重识别因可见区域缺失和遮挡噪声干扰,导致特征判别性不足、鲁棒性差。现有方法多局限于单视图表征,存在通道判别性建模不充分、显著区域过拟合等问题。方法提出一种融合通道注意力增强、显著性引导擦除与门控正则化的多视角学习框架。该方法首先采用挤压激励残差网络(squeeze-and-excitation residual network,SE-ResNet)作为骨干网络,通过通道注意力机制自适应增强判别性特征。进而,设计Top-k显著性引导软擦除模块,利用类激活图定位关键区域并进行平滑抑制,迫使网络发掘多样化辅助特征,以缓解过拟合。此外,引入门控正则化机制,对特征通道选择概率施加熵约束,提升选择过程的稀疏性与稳定性。在训练阶段,通过加权融合多视图特征并借助特征对齐损失实现信息协同;推理阶段仅需单视图特征即可完成高效检索。结果在4个代表性数据集上的实验表明,所提方法均取得领先性能。其中,在专门针对遮挡行人重识别的数据集Occluded-REID(occluded person re-identification)上,平均精度均值(mean average precision,mAP)与首位命中率(rank-1 accuracy,Rank-1)分别达到83.4%与92.8%;在大型多场景复杂数据集MSMT17(multi-scene multi-time)上,分别达到71.4%与89.6%,较先进方法MVIIP(multi-view information integration and propagation)有显著提升。在基于DukeMTMC(Duke multi-target multi-camera)构建的合成遮挡数据集P-DukeMTMC和经典通用行人重识别基准数据集Market-1501上,所提方法同样表现优异,验证了其针对合成与自然遮挡的普适性。结论所提方法在遮挡与多场景任务中均表现出良好的适应性、鲁棒性和泛化能力,适用于复杂监控场景下的行人检索。  
      关键词:遮挡行人重识别;判别性特征挖掘;通道注意力增强;显著性引导擦除;门控正则化   
      198
      |
      523
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152502596 false
      更新时间:2026-11-17
    • 多模态情感识别的可解释可逆解耦与自适应融合 AI导读

      杨皎皎, 孙强, 朱霞天
      2026, 31(11): 3909-3925. DOI: 10.11834/jig.260004
      多模态情感识别的可解释可逆解耦与自适应融合
      摘要:目的多模态情感识别旨在融合文本、视觉与语音等模态信息识别对象情感状态。然而,模态间固有的异质性问题使得情感语义与模态特有噪声纠缠,限制模型的可解释性。而且,现有融合策略难以充分捕捉模态间情感语义特征的细粒度关联,导致融合表示判别性不足。为此,提出一种多模态情感识别的可解释可逆解耦与自适应融合方法。方法设计IAMD(invertible attention mask-based disentanglement)模块,构建各模态特征表示与情感语义因子之间的可逆映射,并结合注意力掩码将隐式特征解耦为跨模态一致性的共享特征与保留各模态独有属性的特有特征。构建MIC(mutual information constraint)机制,使用互信息约束共享特征、特有特征和情感标签间的依赖关系,增强语义一致性建模同时减少模态噪声冗余。提出SGAFF(semantic-guided adaptive feature fusion)模块,利用共享特征的上下文信息对特有特征进行语义引导,实现共享与特有引导双分支的自适应融合。结果在CMU-MOSI(Carnegie Mellon University Multimodal Opinion-level Sentiment Intensity)数据集上,相较于DLF(disentangled language focused)模型,本文模型在平均绝对误差(mean absolute error,MAE)降低了2.4%,七分类准确率(7-class accuracy,Acc-7)提升了2.9%;在CMU-MOSEI(Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity)数据集上,相较于TMBL(Transformer-based multimodal binding learning)模型,MAE降低了2.6%,皮尔逊相关系数(Pearson correlation coefficient,Corr)提升了1.7%;在UR-FUNNY(University of Rochester-FUNNY)数据集上,相较于MISA(modality-invariant and specific analysis)模型,F1值(F1-score)提升了5.6%。结论所提方法实现了情感语义信息与模态特有噪声的可解释解耦,并促进跨模态情感语义特征的细粒度交互。该方法适用于模态异质性较复杂的多模态场景及对情感识别指标有较高要求的任务。本文代码已开源至https://doi.org/10.57760/sciencedb.j00240.00138。  
      关键词:多模态情感识别;可解释;可逆解耦;注意力掩码;自适应融合   
      408
      |
      427
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 153981324 false
      更新时间:2026-11-17
    • 融合黑暗感知提示的夜间目标跟踪框架 AI导读

      姜彦吉, 宗亚利, 董浩, 张海洋, 刘大千, 费博雯, 陈鹏达
      2026, 31(11): 3926-3943. DOI: 10.11834/jig.260034
      融合黑暗感知提示的夜间目标跟踪框架
      摘要:目的针对夜间低光照环境下目标特征退化与背景噪声导致跟踪器特征匹配失效及模板更新漂移的问题,提出一种融合黑暗感知提示的夜间目标跟踪框架(nighttime object tracking framework via fusing darkness perception prompts,ProDAPT)。不同于现有方法仅在输入端进行简单的像素级叠加或浅层特征注入,ProDAPT创新性地以冻结的Transformer为基础,构建全链路黑暗感知提示机制。方法首先,提出跨层层级一致性提示生成器(cross- layer consistent prompt generator,CTCP),利用迭代反向投影与跨层语义约束,在深层特征空间中强制恢复被噪声稀释的目标结构;其次,设计提示语义校准注意力(prompt semantic calibration attention,PSCA),通过提示特征的结构先验作为显式偏置校正Transformer的注意力分布,有效抑制夜间相似干扰物导致的注意力弥散;最后,提出能量感知双重门控更新策略(energy-aware dual gating update,EDGU),利用提示能量作为独立于分类分数的结构完整性的度量指标,实现更加可靠的动态模板更新。结果在NAT2021(nighttime aerial tracking 2021)、LLOT(low-light object tracking)和UAVDark135(unmanned aerial vehicle dark tracking 135)这3个主流基准数据集及自采的4 K分辨率自动驾驶跟车数据集上进行实验。该算法在这3个公开数据集上的成功率分别达到0.557、0.585和0.608,其中在NAT2021上相比同类提示学习方法DCPT(darkness clue-prompted tracking)提升了3.1%;在单张NVIDIA A100上的推理速度达到76.8帧/s,参数量仅为全量微调的7.03%,并在自采数据集的真实夜间场景中也展示了良好跟踪效果。结论该方法通过全链路黑暗感知机制,有效增强了夜间特征鉴别力与更新可靠性,为解决夜间视觉跟踪任务中的感知与决策断层问题提供了新的有效途径。  
      关键词:视觉目标跟踪(VOT);夜间跟踪;视觉提示学习(VPL);Transformer;跨层一致性;注意力校准;自动驾驶   
      280
      |
      405
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152513358 false
      更新时间:2026-11-17
    • 面向动态交通场景的3D目标检测 AI导读

      张兴旺, 王俊帆, 缪其恒, 董哲康, 何志伟, 马国进
      2026, 31(11): 3944-3959. DOI: 10.11834/jig.250543
      面向动态交通场景的3D目标检测
      摘要:目的在动态交通场景下,现有纯视觉3D交通目标检测仍面临两大瓶颈:一是固定的体素采样策略难以适应多变场景;二是时序信息利用不足导致模型对遮挡目标感知受限。针对上述问题,提出了一种面向动态交通场景的3D目标检测框架。方法设计了自适应体素特征采样策略,通过端到端的流程评估场景复杂度(包括特征裁剪和统计量提取等),动态选择采样方式,实现了不同场景采样的自适应优化。提出了时序分组融合模块,通过将连续多帧鸟瞰图(bird’s-eye-view,BEV)特征分组融合,实现了高效的时空信息建模,增强了对动态目标的鲁棒性。结果在权威公开数据集上的实验表明,所提方法在轻量化配置ResNet50(residual network)下相较于基线模型,平均精度均值(mean average precision,mAP)提高了0.8%,nuScenes综合检测指标(nuScenes detection score,NDS)提高了0.8%,优于Fast-BEV等主流方法;在高性能配置ResNet101下,mAP和NDS进一步提升了1.6%和2.3%。消融实验验证了自适应体素特征采样策略和时序分组融合模块各自的有效性,可视化结果也表明该方法在遮挡和动态场景下具有更完整、更精准的检测能力。结论本文通过自适应采样策略与时序分组融合模块,有效提升了纯视觉3D目标检测在动态交通场景下的性能与适应性。未来工作将聚焦于增强短时序建模能力和引入更细粒度的局部自适应机制。代码开源地址:https://www.scidb.cn/s/rA7ZFf。  
      关键词:3D目标检测;鸟瞰图(BEV);时序融合;自适应采样;动态交通场景   
      248
      |
      417
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152718825 false
      更新时间:2026-11-17
    • 动态空间全局注意力增强的伪图像特征3D目标检测 AI导读

      李幸, 郑钰辉
      2026, 31(11): 3960-3975. DOI: 10.11834/jig.250583
      动态空间全局注意力增强的伪图像特征3D目标检测
      摘要:目的针对三维目标检测任务中,点云经柱体化映射为二维伪图像时易导致的几何细节丢失,以及伪图像特征提取阶段建模不足的问题,提出一种动态空间全局注意力增强的伪图像特征3D目标检测模型。方法首先,设计动态空间全局注意力机制,通过为每个样本生成自适应卷积核实现针对性的局部结构建模,并结合全局自注意力以增强空间特征交互与长程依赖建模能力,从而在稀疏伪图像上恢复更多几何信息;其次,构建高效多尺度伪图像特征融合网络,在兼顾细粒度局部特征和全局语义的同时,通过多尺度特征融合浅层空间细节与深层语义;最后,提出双重感知动态上采样,在DySample的基础上采用边缘感知与小目标显著性增强双通路设计,优化上采样过程并提升空间细节恢复与目标检测性能。结果在 KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)和 DAIR-V2X-V两个公开数据集上的模型评估结果表明,与基线模型PointPillars相比,本文方法在KITTI数据集中等难度下对汽车、行人和骑行者类别的平均精度(average precision,AP)分别提升 2.51%、6.07% 和 10.33%,平均精度均值(mean average precision,mAP)提升6.3%;在 DAIR-V2X-V数据集中等难度下对汽车、行人和骑行者类别的AP分别提升 0.07%、6.48% 和 8.70%,mAP 提升 5.09%。结论所提方法通过利用动态空间全局注意力机制、采用高效多尺度特征融合策略及双重感知动态上采样设计,有效缓解柱体化投影带来的几何信息损失,增强伪图像的空间结构与语义表达能力,从而显著提升稀疏点云场景下的三维目标检测性能。  
      关键词:计算机视觉;自动驾驶;三维目标检测;注意力机制;特征融合;上采样   
      168
      |
      410
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 153127992 false
      更新时间:2026-11-17
    • 面部动作单元检测的时空融合网络 AI导读

      黄海琳, 王加俊
      2026, 31(11): 3976-3990. DOI: 10.11834/jig.250503
      面部动作单元检测的时空融合网络
      摘要:目的面部动作单元(action unit,AU)检测是情感计算与计算机视觉中的重要研究问题,现有方法往往在空间关系建模和时间动态建模方面存在不足,导致检测的准确率与鲁棒性受限。为此,提出一种时空融合的统一AU检测框架,以同时捕捉AU间空间依赖与跨帧时间演化。方法本文在利用ResNet-18(residual network)进行特征提取的基础上,设计了空间关系建模(spatial relationship modeling,SRM)模块与时间关系建模(temporal relationship modeling,TRM)模块。SRM通过图神经网络显式建模帧内AU的协同激活与对抗模式,TRM结合帧间差分与图建模以捕捉动态变化。进一步提出时空特征融合(spatio-temporal feature fusion,SFF)策略,自适应平衡空间与时间特征的重要性。最终利用基于余弦相似度的分类模块完成AU识别,并采用加权交叉熵损失解决类别不平衡问题。结果在BP4D(Binghamton protocol 4-dimensional)和DISFA(Denver intensity of spontaneous facial action)两个公开数据集上的实验表明,所提方法在保持低计算与存储开销的同时,取得了先进水平的检测性能。在BP4D数据集上,平均F1分数达到66.00%,优于最新方法;在DISFA数据集上,平均F1分数为65.34%,接近最优结果。消融实验验证了SRM、TRM和SFF三者协同作用的重要性,不同AU的检测结果也表明该方法在动态AU识别方面优势显著。结论本文提出的时空融合AU检测框架,能够有效整合空间与时间两方面信息,提升检测的准确率和鲁棒性,同时具备轻量化的计算优势。该研究为复杂动态场景下的面部动作单元检测提供了一种高效的解决方案,对情绪识别及人机交互等应用具有积极意义。  
      关键词:面部动作单元(AU);AU检测;时空建模;图神经网络;特征融合   
      197
      |
      456
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 153981497 false
      更新时间:2026-11-17

      图像理解和计算机视觉

    • 用于语音驱动整体人体运动的自适应扩散模型 AI导读

      宣恩允, 李游, 李梓维, 姚萌萌, 郭仁忠
      2026, 31(11): 3991-4004. DOI: 10.11834/jig.250531
      用于语音驱动整体人体运动的自适应扩散模型
      摘要:目的语音驱动的整体运动生成旨在同时实现富有表现力的手势和与语音精确同步的面部表情。这两个任务具有不同本质:手势生成是非确定性的,同一段语音可对应多种自然动作,需要高多样性;而面部表情生成是确定性的,需要与音素精确对应,要求高准确性。现有方法面临3个关键局限:1)采用固定架构设计强制施加任务间关系,阻碍模型捕捉手势与表情之间的真实动态联系;2)使用人工设计的静态损失权重,无法适应训练过程中任务重要性的动态变化;3)过度依赖最小化与真实数据的差异,导致手势过拟合而抑制多样性。本文旨在开发一个统一的自适应框架,在无需人工干预的情况下同时满足上述的双重目标。方法提出一个基于扩散模型的新框架,通过基于任务不确定性的多任务学习,自适应地平衡确定性的面部表情生成与非确定性的手势生成。该方法引入可学习的不确定性损失权重,能够在训练期间动态调整损失权重,使手势和表情任务自主挖掘并优化它们之间的关系,达到最优的效果,并且该方法减轻了调整参数的负担。结果在 BEAT(body-expression-audio-text) 数据集上的实验表明,本文方法在面部表情的 FD(Fréchet distance)指标上达到 9.18(最优),在手势多样性上达到 52.5(最高)。用户研究进一步验证了该方法在手势多样性、面部同步性和整体运动质量等方面的优越性。结论本文提出的自适应扩散框架通过自适应任务平衡机制,成功解决了整体运动生成中面部同步性与手势多样性之间的权衡问题,实现了两个基本标准的同时满足,为语音驱动的虚拟形象动画提供了一种有效的解决方案。代码地址:https://doi.org/10.57760/sciencedb.j00240.00175。  
      关键词:协同语音运动生成;语音驱动手势生成;多任务学习(MTL);扩散模型;人工智能生成内容   
      285
      |
      452
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 155139771 false
      更新时间:2026-11-17
    • 面向自监督学习的课程式动态数据剪枝方法

      刘文昊, 张钊铭, 张晔, 郭裕兰
      2026, 31(11): 4005-4020. DOI: 10.11834/jig.250542
      面向自监督学习的课程式动态数据剪枝方法
      摘要:目的动态数据剪枝是提升自监督预训练效率的重要手段,但现有方法多基于瞬时损失进行剪枝,难以应对自监督训练中损失波动剧烈、优化不稳定的问题,易造成关键样本被误剪和模型性能退化。针对上述缺陷,本文提出了面向自监督学习的课程式动态数据剪枝方法。方法首先设计指数损失重要性表征,通过动量系数对样本历史损失做指数移动平均,获取时序平滑且对短期损失波动鲁棒的样本价值表征,避免因瞬时损失扰动而误判关键样本;在此基础上,进一步提出课程式动态剪枝策略。该策略通过一维聚类进行样本分组,形成从易到难的课程集合,进而引入滑动窗口机制来动态控制各课程的训练进度,引导模型渐进式学习以有效保障训练过程的稳定性。结果在8个二维图像与三维点云基准数据集上,采用掩码自编码器(masked autoencoder,MAE)、动量对比学习(momentum contrast,MoCo)、点云掩码自编码器(point cloud masked autoencoder,PointMAE)等主流预训练框架,结合视觉Transformer(vision transformer,ViT)、残差网络(residual network,ResNet)等骨干网络开展了5组系统的对比实验。实验结果显示,在更高的数据剪枝率下,本文方法的性能全面优于现有的动态剪枝方法。同时,与全量数据训练策略相比,本文方法在下游任务上取得了近乎无损的性能。消融实验也验证了本文方法中各核心组件的有效性。结论本文方法通过指数损失驱动的样本重要性度量与课程式动态剪枝策略,有效突破了现有数据剪枝方法在自监督学习场景的应用局限,在性能近乎无损的前提下大幅提升了自监督预训练效率(在ImageNet-1K数据集上最高可剪枝30.6%的训练数据),为视觉模型的高效自监督训练提供了可靠的技术支撑。  
      关键词:自监督学习(SSL);动态数据剪枝;动态课程学习;指数损失表征;高效预训练   
      2
      |
      4
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 180306436 false
      更新时间:2026-11-17
    • 融合颜色笔触特征的东巴画情感分类 AI导读

      杨荣懿, 钱文华, 刘朋, 曹进德
      2026, 31(11): 4021-4036. DOI: 10.11834/jig.260014
      融合颜色笔触特征的东巴画情感分类
      摘要:目的东巴画作为纳西族珍贵的文化遗产,其绘画主体通过独特的符号体系、绘画色调与笔触技法传递复杂情感。现有视觉—语言模型的预训练范式偏向通用对象分类任务,面对东巴画这类具有特定文化属性的艺术形式时,难以有效建立多维度情感语义与绘画色彩结构、笔触纹理美学特征之间的映射关系,存在领域偏移引发的情感语义映射偏差问题。为此,本文提出一种融合颜色笔触特征的东巴画情感分类方法。方法针对东巴画的色彩结构与笔触纹理特征,提出双域颜色笔触特征提取机制,通过空间域和频率域捕捉其线条走向与边缘细节信息;基于多模态模型的跨模态对齐空间,构建渐进式自适应融合架构,动态平衡通用视觉信息与特定艺术特征的贡献权重,以适配东巴画多元的绘画风格差异;针对标签不平衡场景下的多情感共存问题,引入绘画主体的对象类别先验知识,设计类别引导的级联问答推理机制,强化分类任务的逻辑性与准确性,有效提升模型在东巴画场景下的领域泛化能力。结果结合纳西族文化典籍与历史文献考证,本文构建了包含14维情感标签的东巴画多标签情感分类数据集,为东巴画情感分析研究提供数据支撑。在该数据集上的实验结果表明,本文方法的mAP(mean average precision)指标达到91.77%,精确匹配准确率达到84.81%,相较于排名第2的TAI++(text as image++)模型分别提高了1.25%和8.86%。结论本文方法为民族艺术情感理解提供了新的技术路径,对文化遗产数字化保护与传承具有重要意义。  
      关键词:东巴画;情感分类;颜色笔触特征;自适应特征融合;级联推理   
      253
      |
      423
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152831637 false
      更新时间:2026-11-17

      遥感图像处理

    • 面向遥感图像超分辨率的局部感知状态空间模型 AI导读

      赵公博, 于珂, 王峰
      2026, 31(11): 4037-4052. DOI: 10.11834/jig.250580
      面向遥感图像超分辨率的局部感知状态空间模型
      摘要:目的遥感图像超分辨率(remote sensing image super-resolution,RSISR)旨在从低分辨率观测中重建高分辨率影像,实现细节纹理恢复与全局结构保持。然而,现有方法难以兼顾全局依赖建模与局部特征表达。尽管状态空间模型(state space model,SSM)在长程依赖建模方面具有线性复杂度优势,但其一维展开机制易导致局部语义破坏与像素次序扰动,并在性能与计算效率之间陷入权衡。方法为应对上述局限,本文提出基于局部感知的状态空间重建框架 LAMA-SR(local-aware Mamba for super-resolution)。首先,对输入遥感影像显式施加二维旋转位置编码(two-dimensional rotary position embedding,RoPE-2D),以建立像素之间的相对空间约束与跨区域关联性,从而缓解一维扫描导致的空间邻接关系丢失问题。随后,编码后的特征通过二维选择性扫描进行全局依赖建模,以在线性计算复杂度下刻画长程上下文。同时,引入轻量卷积式局部信息聚合器(local information aggregator,LIA),以增强局部上下文聚合与细粒度纹理恢复,实现对细节区域的补偿性重建。该设计在全局建模能力与局部细节保真度之间形成协同。结果在多个遥感图像基准数据集上,LAMA-SR 相较于主流卷积神经网络(convolutional neural network,CNN)和 Transformer模型,在峰值信噪比(peak signal-to-noise ratio,PSNR)与结构相似性指数(structural similarity index,SSIM)等指标上均取得显著提升。同时,该模型保持了较低的参数规模与计算开销,展现出优越的效率—效果平衡性。结论实验结果验证了所提出 LAMA-SR 框架在遥感图像超分辨率任务中的有效性与普适性。其在保留 Mamba 长程依赖建模优势的同时,显著改善了局部语义一致性与细节重建能力。  
      关键词:深度学习;超分辨率重建;Mamba;位置编码;注意力机制   
      317
      |
      400
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152832569 false
      更新时间:2026-11-17
    • 纪璎芮, 王晨昊, 陈静波, 岳安志, 席智浩, 陈建胜
      2026, 31(11): 4053-4067. DOI: 10.11834/jig.260089
      多光谱遥感图像可控生成的扩散模型参数高效适配与光谱一致性学习
      摘要:目的针对深度学习在多光谱遥感应用中面临的数据获取困难与标注成本高昂问题,以及现有基础生成模型难以直接适配多光谱数据且从零训练计算开销巨大的现状,提出了一种面向多光谱遥感图像生成的参数高效适配扩散模型。方法该方法采用参数高效微调策略,通过在冻结的预训练扩散模型中嵌入各种低参数微调模块,不同于通用可控生成方法仅以数据驱动方式建模图像,本文在适配训练中显式引入遥感光谱物理约束,并针对地物语义—空间映射设计了文本感知编码机制。该方法实现了从RGB图像域向四波段图像域的低成本迁移,不同微调模块综合了光谱与空间纹理适配。在此基础上,引入基于归一化植被指数(normalized difference vegetation index, NDVI)和归一化水体指数(normalized difference water index, NDWI)的物理一致性损失,强制约束红光与近红外波段间的光谱相关性。此外,提出文本感知空间语义编码机制,利用语义分割掩膜实现对地物空间布局的精确控制。结果在FLAIR(French land cover from Aerospace Imagry)、Five-Billion-Pixels及IRSAMap等数据集上的实验表明,与ControlNet、T2I-Adapter等主流方法相比,本文方法在光谱保真度与语义对齐度上均有所提升,生成的近红外波段具备明确的物理意义。此外,利用生成数据辅助训练在下游开放词汇分割任务上取得了一定的精度提升,验证了该方法作为数据增强手段的可行性。结论本框架有效解决了RGB基础模型向多光谱遥感领域迁移时的通道不匹配与物理特征丢失问题,实现了低资源消耗下的高质量、可控多光谱数据生成,为缓解遥感解译任务中的数据稀缺问题提供了有效的数据增强方案。  
      关键词:图像生成;扩散模型;多光谱数据;近红外(NIR);低秩参数微调   
      305
      |
      457
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152719066 false
      更新时间:2026-11-17
    • 多尺度多语义融合协同的遥感图像字幕生成方法 AI导读

      周凯立, 王鹏, 程剑
      2026, 31(11): 4068-4084. DOI: 10.11834/jig.250591
      多尺度多语义融合协同的遥感图像字幕生成方法
      摘要:目的遥感图像字幕生成(remote sensing image captioning, RSIC)作为融合计算机视觉与自然语言处理的跨模态任务,能将遥感图像中的关键地物、场景及关联关系转化为通俗文本,在灾害应急、农业监测等领域具有重要应用价值。然而,现有RSIC方法存在特征提取不全面如忽视多尺度纹理特征或单一语义特征依赖、跨模态信息对齐不足的问题。为此,提出一种集成多模块的RSIC新方法。方法在特征提取阶段,设计多尺度特征融合模块(multi-scale feature fusion module, MSFFM)与混合语义融合模块(hybrid semantic integration module, HSIM):MSFFM通过结合空间—通道注意力及频域增强,强化纹理与结构信息;HSIM利用局部特征、全局语义特征,经特征维度对齐与自注意力融合,丰富图像语义表达。在文本生成阶段,构建跨模态注意力模块,融合LSTM(long short-term memory )隐状态与单词嵌入向量生成引导信号,实现视觉—文本特征深度对齐;同时设计跨模态特征对齐损失,以温度缩放交叉熵最小化图像与文本特征语义差异。结果实验在UCM-Captions、RSICD及自建SAR-Captions数据集上验证,所提方法在BLEU1-BLEU4(bilingual evaluation understudy)、METEOR(metric for evaluation of translation with explicit ordering)、ROUGE(recall-oriented understudy for gisting evaluation)、CIDEr(consensus-based image description evaluation)指标上均优于对比模型。其中,在SAR-Captions数据集上,BLEU4值达到 0.857 0、CIDEr值达到4.260 6,较基线模型提升显著;消融实验表明MSFFM、HSIM及跨模态对齐模块对性能提升的关键作用。结论所提出的RSIC模型,能有效整合多源特征、优化跨模态对齐,为遥感图像(尤其是SAR图像)的语义解读提供高效解决方案。本文构建的人工标注SAR-Captions 图像字幕数据集已部分开源至https://github.com/hhhyrt/SAR-image-caption-datasets。  
      关键词:遥感图像字幕生成(RSIC);多尺度;混合语义;注意力机制;特征提取;跨模态对齐   
      201
      |
      312
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152863520 false
      更新时间:2026-11-17
    • 多样性提示引导的跨域小样本高光谱图像分类 AI导读

      何梦瑶, 何进荣, 刘寒池
      2026, 31(11): 4085-4100. DOI: 10.11834/jig.250585
      多样性提示引导的跨域小样本高光谱图像分类
      摘要:目的遥感高光谱图像分类面临标注数据稀缺、小样本模型易过拟合等挑战,尤其在标注样本数量较少的情况下,模型泛化能力严重不足。为提升小样本条件下的模型鲁棒性与分类精度,需要研究有效的数据扩增与语义增强方法。利用预训练语言模型生成多样性语义提示,开发了能够生成多样性训练样本并严格保持类别一致性的数据扩增技术,旨在增强类别语义表示的丰富性,显著提升模型在目标域上的分类准确率与泛化能力。方法融合HyperBlend数据增强与PromptMix语义增强方法。HyperBlend通过对同类图像进行裁剪—拼接—掩码,生成外观多样、语义一致的混合样本。PromptMix则利用预训练语言模型为每个类别生成多样性文本提示,并通过随机选择与正则化损失丰富语义表征。最终,通过融合分类、跨模态对齐、对比学习及多样性正则化损失进行端到端优化。结果在IP(Indian pines)、HT (Houston)、SA(Salinas)和LK(WHU-Hi-LongKou)4个标准高光谱数据集上进行实验,取得了显著提升。在IP数据集上,与SCFDA(spectral context-aware frequency domain alignment)方法相比,总体准确率(overall accuracy,OA)提升3.8%,平均准确率(average accuracy,AA)提升2.67%,Kappa系数(KC)提升4.3%。在SA数据集上,与MEDPL(momentum-enhanced dual-prototype learning framework)方法相比总体准确率(OA)提升1.16%,平均准确率(AA)提升0.84%,Kappa系数(KC)提升1.28%。在LK与HT数据集上,分类性能与现有最佳结果SCFDA和MEDPL方法基本持平,保持了竞争力。结论提出HyperBlend方法,通过结构化图像混合与掩码操作,低成本生成高质量多样性训练数据;提出PromptMix机制,从语义层面引入多样性提示,增强模型语义判别能力。二者提升了模型的鲁棒性与泛化性能。方法实现简单,无需复杂结构或大量参数,为高光谱图像分析及小样本学习任务提供了实用参考。  
      关键词:高光谱图像(HSI);跨域小样本学习;HyperBlend数据增强方法;PromptMix机制;多模态特征对齐   
      257
      |
      369
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 153576853 false
      更新时间:2026-11-17
    • 张智豪, 付志涛, 嵇娅帅, 张歆山, 唐伯惠
      2026, 31(11): 4101-4118. DOI: 10.11834/jig.250573
      UKT-GAN:面向SAR到光学图像双保真转换的单向知识迁移生成对抗网络
      摘要:目的针对现有合成孔径雷达(synthetic aperture radar,SAR)到光学图像转换方法采用单一生成器难以兼顾全局语义一致性与局部纹理真实性的问题,提出一种单向知识迁移生成对抗网络(unidirectional knowledge transfer generative adversarial network,UKT-GAN),通过双分支网络间的单向知识迁移,实现生成图像在全局与局部层面的双重保真。方法UKT-GAN由细节重建子网络与语义保持子网络构成。其中,细节重建子网络专注于图像局部纹理结构细节的生成,语义保持子网络则负责保障全局语义信息的一致性。通过在两个子网络的输出中添加单向一致性约束,将细节重建子网络的细节生成能力迁移至语义保持子网络,从而对语义保持子网络的生成图像进行局部纹理结构细节的优化调整,确保了语义保持子网络生成的图像在全局语义信息与局部纹理结构细节上均具备高度的保真度。结果在本文的5个数据集上,相比于当前主流的6种转换方法,UKT-GAN取得了更优的定量结果。在SEN1-2的农田、山地子数据集和WHU-OPT-SAR数据集上,其PSNR(peak signal-to-noise ratio)、SSIM(structure similarity index measure)、LPIPS(learned perceptual image patch similarity)和RMSE(root mean square error )4项指标全面领先;在SEN1-2的建筑物和森林子数据集上,其SSIM和LPIPS两项指标取得了最优值。结论实验结果表明,在SAR到光学图像转换方面,UKT-GAN通过单向知识迁移能够有效整合细节重建子网络和语义保持子网络间的互补性优势,生成结构更清晰、细节更丰富的光学图像。本文代码开源地址:https://www.scidb.cn/s/YNjqIf。  
      关键词:图像转换;生成对抗网络(GAN);SAR图像;光学图像;知识迁移;双分支网络   
      243
      |
      311
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 155139803 false
      更新时间:2026-11-17
    • 面向细节保持全色锐化的棱镜金字塔融合网络 AI导读

      黄珊珊, 刘春晓
      2026, 31(11): 4119-4132. DOI: 10.11834/jig.250527
      面向细节保持全色锐化的棱镜金字塔融合网络
      摘要:目的为了解决传统全色锐化方法中空间细节恢复不足、光谱保持不稳定及上采样退化等问题,本文提出一种基于棱镜金字塔融合(prism pyramid fusion,PPFusion)的细节保持型全色锐化网络,以实现空间与光谱特征的协同优化。方法所提网络首先对低分辨率多光谱图像(low-resolution multispectral image,LRMS)进行上采样,使其与全色图像(panchromatic image,PAN)在空间尺度上对齐,并将二者堆叠作为网络输入。网络的主干部分由差分增强卷积模块(differentially enhanced convolution module,DEConv)与Restormer模块组成,两者并行提取高频纹理与长程光谱依赖特征,并通过多次特征交互实现逐级细节恢复。随后,融合阶段设计了层次化内容引导的注意力融合模块(hierarchical content-guided attention fusion module,HCGAF),将LRMS、PAN、初步融合结果及前一阶段融合特征进行多尺度内容引导融合,以获得光谱一致且纹理丰富的最终输出。此外,提出了双分支注意力引导的共享上采样模块(dual-branch attention-guided shared upsampling module,DASU)作为正则化约束,上采样模块独立学习从低分辨率到高分辨率域的映射,并在损失函数中设计了主干输出与上采样输出之间的一致性约束,从而稳定训练并提升模型的泛化能力。结果在WorldView-3、高分二号和QuickBird三个数据集上的实验结果表明,本文提出的PPFusion在PSNR(peak signal-to-noise ratio)、SAM(spectral angle mapper)、ERGAS(erreur relative globale adimensionnelle de synthèse)及QNR(quality with no reference)等指标上整体优于现有代表性方法,并在复杂场景下生成纹理更清晰、边缘更自然的融合图像。消融实验进一步验证了DEConv模块在高频增强、Restormer模块在光谱建模、HCGAF模块在层次融合及DASU约束在稳定训练中的关键作用。结论所提出的PPFusion网络通过“差分增强—Restormer重建—层次化融合—上采样约束”四者协同机制,在光谱一致性与空间锐度之间取得了良好平衡,为高分辨率遥感图像的融合与重建提供了一种高效、可扩展的新思路。  
      关键词:注意力机制;卷积神经网络(CNN);Restormer编码器;特征融合;差分卷积;全色锐化   
      309
      |
      336
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 152718745 false
      更新时间:2026-11-17

      医学图像处理

    • 刘善洁, 童孟军
      2026, 31(11): 4133-4146. DOI: 10.11834/jig.250592
      Swin-EdgeNet:基于Transformer的多尺度边缘增强医学图像分割模型
      摘要:目的传统医学图像分割方法依赖手工特征提取,难以应对复杂多样的医学图像,而现有深度学习方法在边缘细节保留和多尺度特征提取方面仍存在不足。本文旨在提出一种新型深度学习框架,以提升医学图像分割的精度与鲁棒性。方法提出融合Swin Transformer与U-Net的混合架构,其中编码器采用Swin Transformer V2-B以捕获分层特征及长范围依赖关系,解码器引入多尺度边缘密集模块(multi-scale edge dense module,MS-EDM)以增强边缘保留能力,并结合双重注意力机制(包括细节增强双重注意力(detail-enhanced dual attention,DEVA)与双重注意力(dual attention,DA))以动态聚焦关键区域。为进一步优化模型效率,将传统Conv2d层替换为KanConv,在保持性能的同时减少参数数量。结果在ISIC2018(International Skin Imaging Collaboration)皮肤病变、肺部分割、眼底血管分割和息肉分割4个公开数据集上的实验表明,本文方法在多项评价指标上均优于当前主流方法。具体而言,在ISIC2018数据集中,Dice和IoU(intersection over union)分别达到89.87%与83.97%;在肺部分割任务中Dice系数达97.62%;在眼底血管分割中灵敏度达80.19%,显著优于对比方法;在息肉分割任务中Dice系数达93.80%,召回率提升6.58%。可视化结果进一步验证了本文方法在边缘保留与小目标识别方面的优势。结论本文提出的融合Swin Transformer与多尺度边缘增强机制的分割模型,能够有效综合Transformer的全局建模能力与CNN(convolutional neural network)的局部特征提取优势,在多种医学图像分割任务中均表现出更优的分割精度与泛化能力。  
      关键词:医学图像分割;神经网络架构;Swin Transformer;U-Net;多尺度特征提取;注意力机制   
      200
      |
      358
      |
      0
      <HTML>
      <网络PDF><WORD><Meta-XML>
      <引用本文> <批量引用> 153128077 false
      更新时间:2026-11-17
    0