最新刊期

    王思芳, 吴晗, 李嘉巍, 张宇航

    DOI:10.11834/jig.260374
    img
    摘要:三维场景理解是具身智能体感知环境、理解指令并支持行动决策的重要基础。随着视觉—语言及多模态基础模型向三维领域拓展,相关研究已从场景感知与空间语义理解延伸至动态预测和具身交互。然而,现有综述多聚焦于单一任务或特定模型,对相关技术的能力边界及相互依赖缺少系统梳理。本文依据模型能力及其信息依赖关系,构建涵盖三维感知、语言驱动理解、世界模型与动态预测、具身智能体决策与交互的四层研究框架。该框架用于刻画不同层次间的能力关联,而非规定固定的任务执行顺序。在此基础上,本文梳理各层次的代表性方法、常用数据集与评价指标,并结合任务设置和评测协议分析不同技术路线的能力及适用范围。分析表明,二维基础模型迁移为开放词汇三维感知提供了重要路径,三维多模态模型促进了场景信息与语言语义的联合建模,部分世界模型进一步探索未来状态预测与动作条件预测,具身智能体则将场景认知应用于导航和机器人操作,并通过环境反馈调整行动。当前,该领域仍面临高质量三维数据不足、跨模态迁移中的几何与语义失配、空间推理稳定性不足及模型部署效率受限等挑战,跨任务评测标准也有待统一。针对这些问题,本文讨论三维原生基础模型、几何约束引导的空间推理、高效模型部署与跨任务统一评测等未来研究方向。本文涉及的代表性算法、数据集和评价指标可通过https://github.com/sunflower0504/Foundation-Models-3D-Spatial-Intelligence-Survey获取。  
    关键词:三维空间智能;具身决策;基础模型;三维场景理解;世界模型;具身智能   
    0
    |
    0
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 180708519 false
    更新时间:2026-11-18

    余梓彤, 叶硕, 林讯, 王俊, 马辉, 郭丹, 邹博超, 胡瑞敏, 单彩峰, 刘青山, 赵耀, 操晓春, 山世光

    DOI:10.11834/jig.260599
    img
    摘要:现实视觉场景中,决定识别、判断与决策的关键信息往往并非显著目标或主导语义,而是以信号微弱、空间微小或依赖上下文关系等形式存在,呈现出“视觉显著性低而任务判别价值高”的共同特征。现有研究围绕微表情、微小目标、工业与医学异常、伪装目标、生成内容鉴别、生物特征防伪及基于远程光电容积脉搏波(remote photoplethysmography,rPPG)的非接触式生理信号测量等任务形成了大量方法,但不同方向长期独立发展,尚缺乏对这类低显著视觉证据的统一认识与系统建模。为此,本文从视觉证据的微弱性、稀疏性与隐现性三类典型外在表现出发,并进一步将其归结为观测临界性、表征易失性与判别欠定性三个相互关联的核心困难,系统提出微视觉计算的概念与研究框架,将其概括为从复杂视觉信息中发现、恢复、表征、关联,以支撑精细感知、状态理解与可靠决策的视觉计算过程。在方法层面,本文从输入层的信号增强与数据生成、模型层的精细判别与稳健表征,以及数据与任务层的多模态与多任务统一学习三个层次梳理共性技术机制,并分析不同方法在微弱信息保持、局部证据发现、时空关系建模、跨域泛化和知识迁移等方面的特点与局限。在应用层面,本文以观测临界性、表征易失性和判别欠定性为统一分析维度,归纳十类代表性微视觉任务及其典型数据集,并通过统一或可比的评测协议分析不同核心困难在代表性算法中的具体表现。在此基础上,本文进一步从微视觉基础模型与统一表征学习、微视觉生成与理解一体化、微视觉应用由显式目标识别走向潜在状态感知,以及开放环境下的可信微视觉计算四个方面讨论未来发展趋势,推动微视觉计算由分散的任务建模走向统一能力构建,由单纯的微弱信息识别进一步走向对复杂场景中潜在状态的理解与可信决策。本文旨在建立贯通不同任务、场景与技术路线的微视觉计算统一视角,为低显著高价值视觉信息的系统研究提供概念框架、方法体系与发展参考。  
    关键词:微视觉计算;微弱视觉信号;低可观测性;多模态学习;视觉基础模型   
    0
    |
    0
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 180708455 false
    更新时间:2026-11-18

    袁箫蝶, 万剑雄, 李雷孝, 林浩

    DOI:10.11834/jig.260418
    img
    摘要:点云配准是三维计算机视觉与机器人感知中的核心问题,其本质是一个非凸优化问题,并旨在估计将不同坐标系下的点云对齐至统一参考系的最优刚体变换。该技术在自动驾驶、三维重建、机器人导航与数字孪生等领域具有广泛的应用。现有综述多从监督策略、中间变量或配准阶段等角度分类,尚缺乏从优化模型出发的系统性梳理。本文从优化视角出发,将现有点云配准方法划分为三类:基于几何距离最小化的方法以迭代最近点及其变体为代表,其直接最小化点云间的欧氏距离;基于鲁棒损失最小化的方法则在此基础上借助非线性核函数、截断机制或自适应加权策略抑制离群点的影响;基于概率分布差异最小化的方法将点云建模为概率分布,通过最小化分布间的差异完成配准,无需显式建立点对应关系。针对每类方法,本文系统梳理其优化目标的数学形式、核心设计思想及相应求解方式,并从收敛特性、求解方式及适用场景等方面进行横向对比。最后,本文对现有工作进行总结,并提出今后在该领域的研究建议与展望。  
    关键词:点云配准;非凸优化;几何距离;鲁棒损失;概率分布对齐   
    0
    |
    0
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 180708425 false
    更新时间:2026-11-18

    王同罕, 李夏宁, 贾惠珍, 伍家松

    DOI:10.11834/jig.260455
    img
    摘要:目的真实场景图像失真呈现多尺度与空间非均匀特性,现有无参考图像质量评价方法难以同步捕获全局语义与局部纹理,且多阶段特征融合策略固定,导致预测精度、主观一致性及泛化性能受限。方法提出一种基于扩散先验的多尺度层级自适应无参考图像质量评价方法。以预训练扩散模型为骨干,首先通过变分自编码器(variational autoencoder,VAE)获取全局语义,并构建包含频域感知增强与跨尺度注意力融合的多级特征提取分支补偿高频细节损失;其次设计质量条件嵌入模块,将质量描述文本经文本适配器转换为条件嵌入以引导去噪;随后提出层级自适应质量解码器,通过层级自适应注意力融合机制动态聚合多阶段特征;最终经多层感知器回归质量分数。结果在CLIVE、KonIQ-10k、LIVEFB和SPAQ四个数据集上的实验表明,所提方法的皮尔森线性相关系数(Pearson linear correlation coefficient,PLCC)和斯皮尔曼等级相关系数(Spearman rank-order correlation coefficient,SRCC)均为最优或次优:在KonIQ-10k上,PLCC达0.955、SRCC达0.946,较第2名提升0.63%和0.53%;在CLIVE上,PLCC达0.924、SRCC达0.907,较第2名提升1.43%和1.80%;在LIVEFB上,PLCC达0.706、SRCC达0.589,较第2名PLCC提升3.67%、SRCC提升1.90%。消融实验验证了多级特征提取分支及层级自适应融合机制的有效性,完整模型较基线PLCC和SRCC均有显著提升。泛化实验表明,本文方法在跨数据集迁移中平均性能表现良好。结论本文方法通过全局语义与局部纹理的协同提取及内容驱动的自适应特征融合,有效提升了真实场景下质量预测的精度、主观一致性与泛化性能,为无参考图像质量评价提供了一种有效方案。本文所提方法的源代码及相关数据集已发布至https://github.com/ECUT-VQA/Diffusion-prior-multi-scale-hierarchical-adaptive-no-reference-image-quality-assessment/tree/master。  
    关键词:图像质量评价;扩散模型;真实失真;特征提取;层级融合   
    1
    |
    0
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 180708380 false
    更新时间:2026-11-18

    付淇, 朱涛, 刘德喜, 曹重华, 况思睿, 黄筠婷

    DOI:10.11834/jig.260488
    img
    摘要:目的针对弱监督视频异常检测中深层时域聚合易平滑高频瞬态特征、削弱细粒度异常感知的问题,本文构建轻量化检测网络,并同时提高识别精度与推理效率。方法提出轻量化时频协同网络(time-frequency collaborative network, TFC-Net)。TFC-Net采用多尺度时域分支建模宏观语义;频域补偿分支先将时序信号经快速傅里叶变换映射至频域,再通过复频谱交互抑制冗余噪声、增强微观动态表征,最后经逆傅里叶变换重构回时域,从而保留异常片段的时间定位能力;TFC-Net基于视频级多示例学习框架,无需复杂目标跟踪模块与高开销视觉语言模型。结果TFC-Net在UCF-Crime、ShanghaiTech数据集上帧级曲线下面积(area under the curve, AUC)分别为88.91%、97.82%;检测头参数量为3.08 M,乘加运算量(multiply-accumulate operations, MACs)为5.90 G。结论TFC-Net在维持较高检测精度的同时大幅降低计算开销,适用于低延迟、大规模视频异常筛查场景。  
    关键词:视频异常检测;时频协同;频域补偿;多示例学习;轻量化网络   
    13
    |
    26
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 180390704 false
    更新时间:2026-11-17

    苏雪平, 陈翔, 郭晨曦, 李云红, 王力斌

    DOI:10.11834/jig.260201
    img
    摘要:目的针对低质量视频和远距离场景下人脸与步态识别精度下降的问题,本文提出一种融合时序上下文的跨模态身份识别算法,以提升复杂航空场景下身份识别的准确性与鲁棒性。方法首先,针对低质量视频人脸图像模糊、遮挡及时序不一致问题,提出基于动态空间-时间-通道模型(Dynamic Spatial-Temporal-Channel Model,DSTC)的低质量视频人脸恢复算法,实现跨帧细节补偿与身份特征增强;其次,针对步态识别中多尺度动态信息建模不足问题,提出融合空间与通道重构卷积(Spatial and Channel Reconstruction Convolution,SCConv)与多尺度动态增强模块(Multi-Scale Dynamic Augmentation Module,MS-DAM)的步态特征提取算法,提升模型对复杂行走条件的适应能力;最后,针对未充分融合人脸与步态异构信息的问题,提出跨模态上下文感知时序融合(Context-aware Temporal,CoT)特征融合的身份识别算法,实现人脸与步态信息的有效互补。结果,DSTC方法在Labeled Faces in the Wild(LFW)数据集和自建无感考勤数据集上分别达到PSNR(27.43, 26.22)、SSIM(0.813, 0.801)、LPIPS(0.189, 0.197);步态识别在CASIA-B数据集的NM、BG和CL场景下Rank-1准确率分别为97.6%、94.6%和84.9%;跨模态CoT融合算法在CASIA-B人脸-步态数据集上正常行走(Normal Walking,NM)、携带背包(Bag,BG)和服装变化(Clothing,CL)场景下的Rank-1准确率分别达到97.8%、95.4%和86.9%,性能均优于现有主流算法。结论本文提出的跨模态身份识别算法有效利用人脸与步态互补信息,显著提升航空领域下身份识别的精度。三个子模块形成递进式协同:DSTC为后续跨模态融合提供高质量人脸特征,与基于SCConv+MS-DAM的步态分支共同构成CoT融合的特征基础,在保证轻量化的同时实现复杂场景下鲁棒的身份识别。  
    关键词:跨模态身份识别;人脸恢复;人脸识别;步态识别;时序上下文融合   
    52
    |
    92
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 176539633 false
    更新时间:2026-11-17

    张润华, 郝晓辉, 李波, 厍睿

    DOI:10.11834/jig.260471
    img
    摘要:目的面向低空无人机巡检、夜间搜救和应急监测中的机载红外感知链路,研究如何将高动态红外图像转换为固定八位输入时保留当前场景中的有效灰度层次,并设计适合数字信号处理器多核并行运行的处理方式。方法将高动态红外图像转换为八位图像时,先依据当前帧实际出现的灰度内容确定需要保留的层次,再结合像素数量和灰度级占用安排输出灰度空间,通过连续曲线压缩高热区域所在的亮端,保持主体和阴影过渡的连续层次,并保留低对比目标已有的灰度差异。映射曲线形成后保存为当前帧查找表,像素转换通过查表完成。在端侧实现中,将查找表作为多个核心共同读取的只读数据,在德州仪器TMS320C6678八核数字信号处理器上按图像区域并行完成转换。结果构造高热、坏点、阴影和联合干扰四类复杂场景,采用峰值信噪比、结构相似性、色调映射图像质量和目标有效灰度覆盖率评价处理结果,并与三种动态范围压缩方法比较。四种目标检测框架下,该方法在交并比阈值0.5~0.95上的平均精度均值(mean average precision,mAP@[0.5:0.95])相对于各框架中最佳对比方法提高2.9~3.7个百分点。TMS320C6678端侧实验在640×512分辨率下进行,单帧总时间由原始算法的78.33 ms降至端侧硬件加速算法的6.10 ms,帧率由12.77帧/s提高至163.93帧/s,加速比达到12.84。结论本文所提出方法按照当前场景实际出现的灰度内容重新分配固定八位输出中的灰度层次,并把每帧生成的映射关系保存为查找表供多个核心复用,在保持红外图像有效层次的同时,为机载视觉处理提供了适合多核端侧实时运行的转换方式。  
    关键词:复杂场景;高动态红外图像;自适应处理;曲线映射;端侧硬件加速   
    27
    |
    63
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897496 false
    更新时间:2026-11-13

    刘聪聪, 薛涵, 方志军

    DOI:10.11834/jig.260486
    img
    摘要:目的可编辑三维服装资产在数字时尚、虚拟试衣、游戏动画和三维内容创作中具有重要应用价值。现有文本驱动服装编辑方法多分别处理几何与纹理,局部编辑时直接生成完整服装表示易引起非目标参数漂移、目标修改不准确和仿真不稳定。为此,本文提出文本驱动的三维服装几何与纹理编辑框架。方法本文构建两阶段顺序式框架。给定穿衣人物图像和文本编辑指令,本框架首先将用户指令拆分为几何与纹理编辑指令。几何编辑分支在参数化缝纫图空间中确定可编辑字段,由语言模型生成字段级编辑计划,再通过确定性程序完成路径、范围及方向检查和非目标变化回滚,经缝合与物理仿真生成三维网格。纹理编辑分支依次接入现有图像编辑模型、服装区域提取和图像引导纹理迁移模块,实现颜色、材质或图案编辑。此外,本文构建了GeometryEdit-10K数据集,并在GeometryEdit-1200上开展定量评价。结果在GeometryEdit-1200上,本文方法的L1范数倒角距离(L1-norm Chamfer distance,CD-L1)为3.501,阈值为1.0的F分数(F-score at a threshold of 1.0,F@1)为0.820;较AIpparel,前者下降48.9%,后者提高23.1%。目标命中率为0.568,非目标漂移率为0.013;较ChatGarment,二者分别提高55.2%和降低97.9%。纹理实验表明,在所测试样例和所采用指标下,本文流程获得了更好的编辑方向一致性。结论本文提出的字段约束局部编辑流程能够改善目标字段执行并减少非目标字段变化,增强局部几何编辑的可控性。通过顺序衔接现有纹理生成与迁移模块,该框架能够形成由服装结构编辑到外观编辑的完整流程。  
    关键词:三维服装;文本驱动编辑;局部几何编辑;参数化缝纫图;纹理迁移   
    28
    |
    74
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897463 false
    更新时间:2026-11-13

    石纤, 扈振义, 刘茂福, 胡慧君, 张效康

    DOI:10.11834/jig.260497
    img
    摘要:目的自然灾害多模态摘要旨在为多篇图文新闻报道生成自然灾害事件概要,以辅助快速掌握灾情进展。然而,通用多模态大模型在处理自然灾害领域的长文本与多图像时,对灾害事件要素的利用不稳定,进而影响摘要的语义聚焦程度与事实一致性。方法针对上述问题,提出一种事件知识增强的自然灾害多模态摘要生成方法EKE-MMS(Event Knowledge-Enhanced Multimodal Summarization for Natural Disasters)。该方法通过事件知识筛选灾害关键句,利用灾害类型知识模板引导局部摘要生成,再结合新闻发布时间和事件基本描述对局部摘要进行时序融合,最终生成事件级摘要。结果在自建自然灾害多模态摘要数据集上的实验结果表明,针对BERTScore、ROUGE-L和CFSR,EKE-MMS方法最优分别提升了5.62%、3.27%和4.21%,且在人类偏好奖励模型的评测中表现更优。结论EKE-MMS能够有效缓解复杂多源输入下灾害事件要素利用不稳定问题,提升摘要的语义质量和生成事实一致性。  
    关键词:多模态摘要;自然灾害;事件知识;跨文档聚合;事实一致性   
    28
    |
    63
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897424 false
    更新时间:2026-11-13

    侯志强, 李俊歌, 马素刚, 刘洋, 刘璐, 余旺盛

    DOI:10.11834/jig.260252
    img
    摘要:目的实时语义分割在自动驾驶、视频监控和增强现实等场景中具有重要应用价值,但现有方法在保持高推理速度的同时,往往难以同时保证边界细节的精确刻画和全局语义的一致性。针对这一问题,该文提出一种边缘-主体特征增强网络。方法首先通过多分支协同架构与模块化注意力机制,有效提升模型对边界区域、语义信息及多尺度结构的建模能力。首先,提出边缘-主体特征解耦模块,实现边缘与主体特征的结构性分离与互补增强;其次,设计多尺度感知金字塔模块,结合多尺度平均池化与深度可分离空洞卷积,显著提升多尺度上下文建模能力并缓解空洞卷积伪影;最后,构建特征注意力融合模块,融合细粒度结构特征与语义特征,通过注意力机制强化关键区域表达。结果实验结果表明,在Cityscapes数据集上,所提算法在保持65 frame/s(FPS)推理速度的同时,平均交并比(mean intersection over union,mIoU)达到79.5%;在CamVid数据集上,mIoU达到83.0%,速度保持在108.1FPS,显著优于现有主流方法。结论所提方法在精度与效率之间实现了良好平衡,适用于对实时性和高精度均有较高要求的语义分割任务。https://www.scidb.cn/s/RJnYNr  
    关键词:实时语义分割;多分支;信息分解;多尺度上下文;注意力机制   
    29
    |
    74
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897380 false
    更新时间:2026-11-13

    欧阳欢, 范大昭, 杨文, 王焕志, 张瑞

    DOI:10.11834/jig.260473
    img
    摘要:近年来,国内低空经济快速发展,相关产业规模持续扩大。广域基础设施建设推动电力塔、通信塔、风力发电机等杆件、桁架式结构的航空障碍物数量显著增长,对低空经济运行安全形成制约。该类目标在多模态遥感数据中特征响应较弱,加之障碍物排查往往覆盖数千平方公里范围,传统作业模式难以兼顾探测的高精度与高时效性。多模态遥感与智能解译手段为弱响应障碍物的自动化排查提供了技术基础。本文以广域障碍物事先探测及应用部署为主线,首先围绕光学影像‑激光点云联合感知的弱响应障碍物探测全链路,系统梳理点云非地面点簇提取、弱响应障碍物智能识别、电力设施拓扑关联推理、障碍物结构描述与轻量化表征等关键技术的研究进展,剖析现有算法在广域障碍物快速排查场景下的适用性与局限性。然后聚焦障碍物数据组织、编码方法及应用部署相关问题,梳理面向全量数据管理与边缘端数据应用的现有技术方案,结合低空经济业务场景剖析现存局限及适用方案,并给出障碍物数据的多领域应用方向。最后提出弱响应航空障碍物遥感探测与应用部署环节亟待突破的前沿问题,以期为航空障碍物智能感知及飞行安全应用提供参考。  
    关键词:低空飞行安全;弱响应航空障碍物;多模态遥感探测;目标智能识别;轻量化三维表征;数据组织与编码   
    36
    |
    56
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897339 false
    更新时间:2026-11-13

    林晓勇, 焦恺谊, 汪凌峰

    DOI:10.11834/jig.260121
    img
    摘要:目的现有前馈式三维高斯泼溅(feed-forward three-dimensional Gaussian splatting,FF-3DGS)模型在稀疏视角输入及外部条件变化下,常面临几何重建不稳定及纹理细节退化等难题。同时,部分方法通过复杂跨视角注意力或特征细化网络增强表征,增加了计算开销;多类高斯属性的联合回归还可能引入任务间的特征竞争。为突破上述性能瓶颈,构建了一种兼顾重建质量与参数规模的轻量级前馈重建框架。方法提出一种语义锚点驱动的块级混合专家前馈模型(semantic-anchor guided mixture-of-experts for feed-forward 3D Gaussian splatting,SAGE-Splat)。该模型首先将单目深度、局部纹理与全局语义等多模态先验对齐至统一表征空间;随后,提取对比语言—图像预训练(contrastive language-image pre-training,CLIP)语义特征作为跨视角稳定锚点,在统一空间内建立图像块级参照系,以促进跨视角下同一语义实体特征分配的一致性;最后,引入任务条件化单层混合专家(mixture of experts,MoE)路由器,通过 Gumbel-TopK 策略稀疏激活特定专家网络,实现对高斯椭球均值、协方差、颜色及不透明度等四类属性的解耦回归。结果实验结果表明,SAGE-Splat以15 M参数在多个数据集上取得了具有竞争力的性能。在RealEstate10K数据集上结构相似性达到0.729,在DL3DV数据集上峰值信噪比达到23.17。结论该模型验证了语义锚点路由与任务条件化专家分配在参数规模和重建质量之间的平衡作用,为高质量稀疏视角三维重建提供了一种轻量化实现路径。  
    关键词:三维重建;高斯泼溅;多任务学习;混合专家模型;轻量化架构   
    21
    |
    64
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897309 false
    更新时间:2026-11-13

    刘金柏, 柳欣, 彭淑娟

    DOI:10.11834/jig.260500
    img
    摘要:目的多模态讽刺检测需联合分析图像与文本信息,识别字面含义与真实态度相背离的讽刺表达。现有方法多基于全局表示或词元级特征进行跨模态交互,难以充分刻画短语级局部语义冲突;同时,联合训练中容易出现文本模态主导,导致视觉信息学习不足。针对上述问题,提出一种结合局部语义冲突建模与模态重平衡的多模态讽刺检测模型。方法首先通过局部语义冲突感知模块将细粒度局部特征聚合为语义连贯的文本短语与视觉短语,并采用去相关正则减少不同短语表示间的语义冗余。其次,联合建模图文短语间的语义相关性与差异性,抑制无关短语对产生的差异干扰,并聚合具有判别性的局部冲突线索。最后,动态原型引导的模态重平衡策略分别维护文本与视觉类别原型,根据原型分类难度动态调节两模态的监督强度,以缓解文本主导并促进视觉分支学习。结果在MMSD1.0(Multimodal Sarcasm Detection Dataset 1.0)和MMSD2.0数据集上,所提模型的准确率分别达到94.14%和86.20%,F1值分别达到92.78%和85.27%,均优于现有对比方法。结论所提模型能够有效增强多模态讽刺检测中局部图文冲突信息的建模与利用,并缓解联合训练中的模态学习失衡,从而提升模型对复杂图文讽刺语义的判别能力。代码开源地址为:https://doi.org/10.57760/sciencedb.j00240.0009p。  
    关键词:多模态讽刺检测;局部语义冲突;短语级表示;跨模态不一致;槽注意力;模态重平衡   
    20
    |
    45
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897261 false
    更新时间:2026-11-13

    曾健烘, 周欣玥, 江楠峰, 王大寒

    DOI:10.11834/jig.260432
    img
    摘要:目的针对复杂形变文档图像中局部几何恢复不足、背景交互冗余和通道响应重复等问题,提出动态感受聚合网络(dynamic receptive aggregation network,DRA-Net),以提高文档图像校正(document image rectification,DIR)的几何恢复质量。本文聚焦复杂形变条件下的页面几何结构恢复,并在公开测试集上进行定量评估。方法DRA-Net 采用层次化编码器与解码器结构,由动态感受聚合卷积(dynamic receptive aggregation convolution,DRAConv)、层次稀疏选择注意力(hierarchical sparse selective attention,HSSA)和显著性感知特征精炼模块(saliency-aware feature refinement module,SAFRM)构成。DRAConv 通过通道重加权、感受野响应重排和空间调制聚合局部几何特征;HSSA 将稀疏响应分支与稠密上下文分支按可学习比例融合,以兼顾选择性交互和结构信息传播;SAFRM 结合局部卷积与门控调制精炼通道响应。网络通过反向映射监督、像素重建约束和结构相似性约束联合训练。结果在 DocUNet 和 DIR300 完整公开测试集上与7种代表性方法比较,DRA-Net 在局部失真(local distortion,LD)和对齐失真(aligned distortion,AD)两项几何指标上均取得本次对比的最佳结果。在 DIR300 上,LD 和 AD 分别为5.5687和0.1911,相较次优结果分别降低约12.4%和19.4%。模块消融及损失权重实验进一步验证了所采用配置的有效性。在统一测试条件下,单图推理耗时为31.434 ms,峰值显存占用为885.06 MB。结论DRA-Net 通过局部特征聚合、空间交互选择和通道响应精炼的协同配置改善复杂文档的几何校正质量。其优势主要体现在本次公开基准的几何指标上,并不意味着在全部光学字符识别(optical character recognition,OCR)指标、理论计算量或商业系统整体性能上全面领先。未来的工作将进一步优化文本识别适配性与模型计算开销。  
    关键词:文档图像校正;动态感受聚合网络;动态感受聚合卷积;层次稀疏选择注意力;显著性感知特征精炼   
    19
    |
    49
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897196 false
    更新时间:2026-11-13

    彭伟恒, 李莉, 帅永旻, 余磊

    DOI:10.11834/jig.260412
    img
    摘要:目的在机器视觉系统中,估计人工光源的频闪频率对于消除如摩尔纹、特征丢失等成像失真具有重要意义。单点光电传感器难以提供空间信息,传统帧式相机难以稳定感知高频光强变化;事件相机虽兼具高时间分辨率与空间信息,但在动态场景中易受到干扰;尤其是机械周期运动能够产生与真实频闪相似的谱峰,仅依靠幅值难以区分。针对此问题,提出一种面向复杂动态场景的事件相机空间分辨频闪频率估计算法。方法首先将异步事件流重构为空间区块时序信号,结合基于恒虚警率的局部统计模型与频谱尖锐度筛选频闪候选;然后利用谐波一致性验证恢复被倍频掩盖的真实基频;最后针对机械周期伪影与真实频闪在幅度谱上高度相似这一难点,利用光源受照区块相位同步而机械扫描区块存在空间相位差异的物理特性,在复数频谱域构建幅度加权相位锁定值判据,实现两类周期信号的有效区分。结果自主构建了包含140组序列的高动态频闪数据集,其中100组为测试序列,40组为补充验证序列,涵盖纯净光源、随机运动干扰及机械周期干扰等多类场景。本文方法在100组测试序列上的综合错误率为3%,40组补充验证序列均未出现错误。结论所提方法联合利用局部频谱统计、谐波结构和空间相位一致性,实现了复杂动态场景下频闪信号与多类干扰的有效分离,在保留频闪空间位置的同时提高了真实基频估计的准确性与鲁棒性。  
    关键词:事件相机;频闪频率估计;数字信号处理;幅度加权相位锁定值;恒虚警率   
    23
    |
    42
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897133 false
    更新时间:2026-11-13

    李建东, 康栩赫, 曲海成, 武聪

    DOI:10.11834/jig.260530
    img
    摘要:目的可见光-红外(RGB-T)目标检测依赖两路传感器的互补信息,但可能因传感器失效、遮挡或通信中断等导致单路模态暂不可用,进而引发完整双模态检测器出现特征污染和检测性能下降。为此,本文提出一种面向模态缺失的三分支受保护主路径检测器TPB-DETR(Tri-branch Protected-Base DETR)。方法TPB-DETR以分支保护融合编码器(Branch-Protected Fusion Encoder,BPF Encoder)为核心,结合缺失辅助上下文补偿(Missing-Auxiliary Context Compensation,MACC)和三分支课程训练(Three-Branch Curriculum Training,TBCT)进行检测。BPF Encoder根据RGB+IR、RGB-only和IR-only三种分支状态选择真实可靠特征作为受保护主路径,并将辅助路径信息限制为门控残差更新和高层辅助注意力,降低强制融合对主路径表征的污染;MACC从真实可用分支生成伪辅助上下文,避免直接使用零占位缺失分支;TBCT在同一检测器中交替采样并优化完整RGB+IR、RGB-only和IR-only三种状态,动态课程权重作为其内部更新频率调度机制。结果在FLIR数据集上,TPB-DETR在RGB+IR、RGB-only和IR-only输入下分别取得47.32、34.99和46.17 mAP,缺失平均mAP为40.58;在LLVIP数据集上,三种输入状态分别取得70.30、53.71和69.25 mAP,缺失平均mAP为61.48。FLIR消融结果显示,保留MACC与相同TBCT,将BPF Encoder替换为GM-DETR式MSFI/CMSF融合后,缺失平均mAP由40.58降至38.86。LLVIP上的对应消融进一步验证了BPF Encoder的有效性。结论本文方法在完整输入精度与缺失输入鲁棒性之间取得稳定平衡,验证了受保护主路径、伪辅助上下文和三分支训练调度提升可见光-红外检测器在单路模态不可用条件下的部署适应性。  
    关键词:可见光-红外目标检测;模态缺失;保护融合;分支状态感知;三分支课程训练   
    19
    |
    46
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 179897075 false
    更新时间:2026-11-13

    张文博, 张光阳, 黄渊万, 黄伟权, 李孝辉, 周稚麟, 杨平吕, 周则明, 陈强

    DOI:10.11834/jig.260366
    img
    摘要:目的针对夜间缺乏太阳短波辐射导致气象卫星可见光与近红外(visible and near-infrared, VIS-NIR)波段观测缺失、相关遥感产品难以连续获取的问题,以构建面向夜间缺失波段信息补全的大规模数据集为主要目标,同时解决相关研究生成光谱波段覆盖不足与公开可用的夜间缺失波段信息补全数据集稀缺问题。方法基于Himawari-8/9多波段观测数据,构建包含多波段红外亮温观测(multi-band infrared brightness temperature, MIBT)、VIS-NIR、观测几何角度和水陆掩膜信息的VIS-NIR-70K数据集,并选取代表性生成模型进行定量与定性评估。结果实验表明,MIBT能够为补全VIS-NIR缺失信息提供有效条件。扩散模型的生成性能优于基于生成对抗网络(generative adversarial network, GAN)的模型,其中,原始图像空间扩散模型在结构保持、纹理细节和分布一致性方面表现更优,多波段VIS-NIR的平均结构相似性指数(structural similarity index measure, SSIM)提升至0.864。同时,其在真彩色(true-color imagery, TCI)观测生成、低云区域、台风场景和夜间全图补全中展现出较好的重建性能,TCI波段的平均SSIM提升至0.881。结论VIS-NIR-70K缓解了夜间卫星缺失波段信息补全领域的数据资源不足,为全天时地气系统观测和生成式遥感研究提供了数据基础。完整的MIBT多波段是VIS-NIR生成质量的关键信息来源,卫星天顶角(satellite zenith angle, SAZ)与水陆掩膜信息(land-sea mask, Landsea)组合可以提高生成结果的稳定性。数据集链接:(ScienceDB:https://doi.org/10.57760/sciencedb.j00240.00227).  
    关键词:多波段卫星图像;缺失波段补全;多波段数据集;VIS-NIR生成;生成式算法;Himawari-8/9   
    140
    |
    273
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 174984459 false
    更新时间:2026-11-02

    邹亚琦, 朱旅潍, 高颖, 王馨静, 李金玉

    DOI:10.11834/jig.260431
    img
    摘要:目的高效立体匹配需要兼顾匹配精度与推理效率,而低维代价体压缩容易削弱复杂区域的匹配判别能力。针对弱纹理、遮挡和目标边界等区域的视差估计不稳定问题,本文提出一种基于低维代价体反馈修正的快速迭代立体匹配方法FLISNet(Fast Iterative Stereo Matching with Low-Dimensional Cost Volume Feedback Correction,FLISNet),以提升匹配稳定性与细节恢复能力。方法首先,采用共享权重的特征提取网络获得多尺度匹配特征和上下文特征。随后,通过低维特征投影,通道注意力加权和分组相关计算构建紧凑代价表征,在降低代价体规模的同时保留有效匹配响应。在此基础上,设计反馈递归修正机制,将中间视差估计编码为空间反馈特征,并以残差调制方式对低维代价体进行自适应更新,使当前预测结果参与后续代价修正。其中,FLISNet和FLISNet+分别采用8次和18次反馈递归修正,对应标准设置和精度增强设置。最后,构建多尺度结构补偿模块,融合多尺度上下文特征与门控残差信息,采用由粗到细的级联补偿策略逐步恢复高分辨率视差细节。结果在多类公开立体匹配数据集上的实验结果表明,FLISNet在保持较低推理耗时的同时获得了具有竞争力的匹配精度。标准版本FLISNet在Scene Flow上取得0.68px的EPE和32ms的推理耗时,达到与CoEx相近的精度水平。进一步增加反馈递归修正次数后,FLISNet+将Scene Flow上的EPE降至0.56 px,较Fast-ACVNet+和LightStereo分别降低5.1%和6.7%。在KITTI真实道路场景中,FLISNet+相比LBSM-L-Refine分别降低26.6%和26.2%的主要误差指标,说明增强版本能够进一步改善道路场景中的视差估计效果。在ETH3D数据集上,FLISNet+的Bad2.0误差为0.54%,低于所列对比方法。零样本实验结果表明,FLISNet在未进行目标域微调的情况下仍能保持较稳定的匹配性能,具有一定的跨域适应能力。结论本文方法通过紧凑代价表征,反馈递归修正和多尺度结构补偿,缓解了低维代价体条件下匹配判别能力不足和复杂区域细节恢复不足的问题,在保持较低推理耗时的同时获得了具有竞争力的匹配精度,为快速立体匹配任务提供了一种有效方案。  
    关键词:双目立体匹配;轻量化网络;低维代价体;迭代优化;视差细化   
    58
    |
    140
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 176553626 false
    更新时间:2026-11-02

    孟勃, 丁泽刚

    DOI:10.11834/jig.260487
    img
    摘要:目的扩散反演超分辨率(diffusion inversion super-resolution,InvSR)能够通过估计扩散中间状态所需噪声,以较少反向采样步数完成图像重建,但原始噪声预测网络在高分辨率特征压缩阶段缺少对局部边缘和细粒度纹理的显式保持,瓶颈层尚未协同建模跨区域结构上下文与局部纹理连续性,固定采样路径也难以适配不同退化输入。为提高扩散反演超分辨率模型的细节保真能力和采样路径适配能力,提出一种面向InvSR的细节保真噪声预测与采样路径自调度方法。方法以InvSR模型为基线,从噪声预测网络和采样策略两方面进行改进。首先,设计高频保持下采样模块(high-frequency preserving downsampling module,HPDM),在高分辨率阶段引入多尺度深度卷积编码和邻域重排下采样,使特征压缩过程尽量保留边缘响应和邻域细节。其次,在瓶颈层引入结构纹理双分支融合模块(structure-texture dual-branch fusion module,STDFM),分别建模长程结构依赖和局部纹理连续性,并通过门控机制融合两类特征。最后,构建采样路径预测模块(sampling path prediction module,SPPM),利用离线恢复效用生成路径标签,训练轻量级卷积神经网络根据输入低质量图像预测时间步组合,实现输入相关的反向扩散推理。结果在ImageNet-Test数据集上,与InvSR-1相比,本文方法的SSIM(structural similarity index measure)由0.6789提高至0.6808,NIQE(natural image quality evaluator)由4.3815降低至4.0004,PI(perceptual index)由3.0866降低至2.9565,CLIP-IQA(contrastive language-image pre-training based image quality assessment)由0.7093提高至0.7274,其中NIQE和PI在所比较方法中取得最优结果;模型参数量由33.84 M降低至28.47 M,减少约15.9%。与此同时,PSNR(peak signal-to-noise ratio)由24.14 dB降至23.65 dB,LPIPS(learned perceptual image patch similarity)由0.2517升至0.2634,表明不同质量指标之间仍存在一定权衡。在RealSR(real-world super-resolution)数据集上,本文方法的PSNR由24.50 dB提高至24.71 dB,NIQE和PI分别由4.2189、3.7779降低至3.9566、3.6148,CLIP-IQA由0.6918提高至0.6966;在RealSet80数据集上,NIQE和PI分别由4.0284、3.4666降低至3.8938、3.4479,但CLIP-IQA和MUSIQ(multi-scale image quality transformer)未优于InvSR-1。结论所提方法在不改变InvSR主体扩散反演流程的基础上,通过高分辨率细节保真压缩、瓶颈层结构纹理协同建模和采样路径自调度,提高了噪声预测网络的细节保持能力和不同退化图像下的推理适配能力,为低步数扩散式图像超分辨率提供了一种有效改进思路。  
    关键词:单幅图像超分辨率;扩散模型;扩散反演;多尺度特征增强;噪声预测网络;采样路径预测;真实世界图像复原   
    83
    |
    146
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 176553584 false
    更新时间:2026-11-02

    刘焰锋, 王迪, 郭昊南, 张敬, 张乐飞, 张良培

    DOI:10.11834/jig.260375
    img
    摘要:目的显著目标检测是遥感图像理解的重要基础任务。针对像素级标注成本高、视觉基础模型的通用先验难以有效适配复杂遥感场景的问题,提出一种视觉基础模型驱动的低标注遥感显著目标检测方法,以提高无标签样本利用效率和检测精度。方法首先,本文构建了ST-SAM3渐进式自训练框架,该框架利用少量标注样本对SAM3进行轻量级微调,通过迭代提示推理获得无标签样本的细化伪掩码,并构建多维度的伪标签可靠性评估策略,从而筛选高质量无标签样本并生成可靠伪标签。进一步地,本文提出DistillMatch半监督蒸馏学习框架。该框架在尺度扰动和旋转扰动下约束学生预测与教师伪标签保持几何一致;同时设计统计信息蒸馏策略,从特征分布层面增强学生模型对遥感显著目标结构和语义响应的建模能力。结果本文在ORSSD、EORSSD、ORSI-4199数据集上,以5%和10%的低标注比例进行实验。结果表明,本文方法在定量指标上显著优于现有半监督方法,验证了渐进式可靠伪标签构建、几何一致性学习与统计信息蒸馏的有效性。结论该研究表明,借助SAM3基础模型的通用分割先验与提示推理能力,可在无需额外人工干预下提升无标签样本的利用效率,缓解深度网络模型对大规模像素级标注的依赖,为低标注空天遥感显著目标检测提供了一种有效可行的技术路径。代码仓库及数据地址:https://github.com/lyf0801/ST-SAM3.  
    关键词:遥感显著目标检测;半监督学习;视觉基础模型;渐进式自训练;几何一致性学习;统计信息蒸馏   
    185
    |
    164
    |
    0
    <HTML>
    <网络PDF><WORD><Meta-XML>
    <引用本文> <批量引用> 176553533 false
    更新时间:2026-11-02
0