最新刊期
-
面向可控零样本艺术字生成的多条件扩散方法 AI导读
摘要：目的零样本艺术字生成需从独立参考样本中重组字符身份、字形结构和视觉字效。针对现有方法整体建模艺术字风格、异构条件协调不足，导致未见属性组合下结构扭曲和风格偏移的问题，提出一种面向可控零样本艺术字生成的多条件扩散方法。方法提出组合式多条件扩散模型，以独立的字符、字形和字效参考图作为生成条件；设计跨域特征聚合模块，以字符特征为结构锚点，降低字形与字效信息之间的相互干扰；引入基于自适应实例归一化的跳跃连接，传递多尺度结构特征与风格统计信息；采用组合式对比学习约束匹配与不匹配属性组合。为弥补现有数据集在属性多样性、结构复杂度和组合覆盖方面的不足，并系统评估模型对未见字符、字形和字效组合的泛化能力，构建包含921，600幅图像、30种字形和30种字效的中英文艺术字数据集SSAFv2。结果在SSAFv2的未见字符—已见风格（unseen character-seen style，UCSS）、已见字符—未见风格（seen character-unseen style，SCUS）和未见字符—未见风格（unseen character-unseen style，UCUS）中文子集上，提出模型的L1损失分别为0.1754、0.1417和0.1759，弗雷歇初始距离（Fréchet Inception Distance，FID）分别为34.58、30.19和52.73，结构相似性（structural similarity index measure，SSIM）分别为0.6351、0.8600和0.4870，整体优于对比方法；在Fonts、TE141K-EN和SSAFv2-EN数据集上的表现也优于对比方法。定性结果与用户评价表明，该方法能够较好地保持复杂字符结构和局部字效细节。结论将字符、字形和字效作为独立属性进行建模，并通过跨域特征聚合与组合式对比学习实现多条件协同，可有效缓解异构属性融合中的特征干扰与错误耦合，增强模型对属性差异及其组合关系的感知能力，从而提高未见属性组合下艺术字的结构保真性与风格一致性。本文代码及数据集已在ScienceDB公开，链接为：https：//doi.org/10.57760/sciencedb.013hc。关键词：体生成;扩散模型;艺术字数据集;零样本生成;组合式对比学习1|0|0更新时间：2026-10-19 -
融合频域全局与空域局部特征的点云几何压缩 AI导读
摘要：目的针对现有点云几何压缩方法存在忽略频域信息、难以平衡感受野和计算复杂度的问题，提出了一种融合频域全局与空域局部特征的点云几何压缩方法，旨在提升压缩性能。方法首先在点云压缩网络中引入了快速傅里叶变换，利用点云的频域信息来构建点云的全局特征，有效地扩大了感受野，避免了注意力机制的高复杂度。同时，设计了一种基于八叉树的卷积，利用八叉树的层次化结构和紧凑表示，高效提取点云的多尺度局部几何特征，克服了基于张量的稀疏卷积计算与内存开销大的缺陷。此外，还提出了一种通道位移卷积，利用通道位移操作，在不改变八叉树卷积核大小的条件下进一步扩大感受野，有效缓解八叉树中感受野随层级增加而受限的问题。结果在8iVFB（8i voxelized full bodies）、Owlii（Owlii dynamic human textured mesh sequence dataset）和MVUB（Microsoft voxelized upper bodies）等公开点云数据集上进行实验验证，以每点比特数（bits per point，bpp）、编解码时间和内存占用作为评价指标。实验结果表明，所提方法在跨数据集和同源数据集测试场景下均取得优于现有方法的压缩性能，在跨数据集场景下平均bpp较基于几何的点云压缩方法G-PCC（geometry-based point cloud compression）和SparsePCGC分别降低43.00%和5.91%，同时相比SparsePCGC显著降低编解码时间和内存占用。结论所提出的方法通过融合频域全局特征建模与空域局部结构增强，有效提升了点云几何结构的表示能力和占用概率预测精度，在保证较低计算复杂度的同时实现了更加高效的点云几何压缩。关键词：点云几何压缩;八叉树卷积;频域感知;上下文熵编码;占用概率预测1|0|0更新时间：2026-10-19 -
摘要：目的合成孔径雷达（synthetic aperture radar，SAR）图像目标检测面临相干斑噪声干扰与离散散射中心长程关联困难双重挑战。现有卷积神经网络受限于局部感受野，而视觉Transformer存在算力瓶颈。为此，本文提出一种兼顾全局长程建模、抗噪与轻量化的新架构。方法提出频空协同状态空间网络（frequency-spatial Mamba network，FSM-Net）。首先，构建可学习频域门控激活机制自适应滤除高频散斑噪声，提供纯净状态先验；其次，在主干引入选择性状态空间模型，融合深度可分离卷积与二维多向连续扫描，在线性复杂度下实现离散散射中心全图级拓扑关联；最后，设计自适应跨流融合机制，利用滑窗无参注意力与重参数化通道投影，以低推理开销补偿一维序列展平导致的高频空间细节丢失。结果在SAR舰船检测数据集（SAR ship detection dataset，SSDD）和高分辨率SAR图像数据集（high-resolution SAR images dataset，HRSID）上进行对比实验。FSM-Net在参数量仅约8.72 M的条件下，精度显著优于主流基线及视觉Mamba（vision Mamba，VMamba）等模型。在SSDD数据集上，均值平均精度（mean average precision，mAP）与mAP50-95分别提升1.9%和1.5%；在HRSID数据集上分别提升1.5%和1.1%。结论本文提出的FSM-Net有效打通了频域抗噪先验与空域长程演化的逻辑闭环，在保持模型轻量化计算开销的前提下，有效弥补了状态空间模型的局部感知短板，为复杂场景下的高精度轻量化SAR目标检测提供了极具潜力的全新范式。关键词：SAR舰船目标检测;选择性状态空间模型;频空协同;深度可分离卷积;无参注意力2|0|0更新时间：2026-10-19 -
摘要：目的高光谱多类变化检测旨在识别同一区域不同时间地表覆盖的具体变化类型，在生态监测、资源调查等领域具有重要应用价值。然而，双时相高光谱图像之间由于光照条件、气候变化等因素产生伪变化现象，容易对检测结果造成负面干扰。同时获取高光谱图像标注数据的成本较高，导致现有深度学习方法在标记样本有限时难以获得理想的检测效果。针对上述问题，本文提出了一种面向小样本高光谱多类变化检测的双向对比与空频协同Transformer网络 （bidirectional contrastive and spatial-frequency synergetic Transformer network， BCSFST）。方法首先设计频域感知增强模块，通过傅里叶变换提取频域信息，利用幅度与相位特征构建动态校正机制自适应优化原始空间特征，并生成频域先验与空间特征共同构建空频协同Transformer，从而增强变化特征的判别能力并抑制伪变化干扰。其次，提出自适应跨场景关联对比学习策略，通过双向匹配概率构建软正样本对，挖掘源域和目标域之间的潜在关联，实现跨场景特征对齐。结果在3个高光谱多类变化检测数据集上进行实验验证，在每类仅使用5个标记样本参与训练的条件下，BCSFST在Irrigated Area、HangZhouWan和China数据集上分别取得了90.80%、83.67%和85.78%的总体准确率，均优于现有先进算法。同时，消融实验进一步验证了本文设计的频域感知增强模块和自适应跨场景关联对比学习策略对模型性能提升的有效性。结论本文所提出的BCSFST模型通过频谱变换与对比学习，能够充分结合Transformer网络与少样本学习的优势，有效提升了少样本情形下高光谱多类变化检测的准确性。关键词：高光谱图像;变化检测;Transformer网络;傅里叶变换;对比学习;少样本学习3|0|0更新时间：2026-10-19 -
摘要：目的结肠镜图像中的肠息肉区域常受低对比度、镜面反光、黏膜纹理相似和边界形态复杂等因素影响，现有分割方法在高频细节提取、弱边界恢复和复杂轮廓建模方面仍存在不足。为提高复杂内镜场景下息肉区域的分割精度，本文提出一种融合频域增强与几何引导的肠息肉医学图像分割网络。方法该网络在编码阶段设计频域增强Transformer块，在多头注意力和前馈网络中引入快速傅里叶变换，将频谱信息嵌入全局上下文建模与局部细节提取过程，以增强对边缘纹理和结构细节的联合表征。在跳跃连接阶段，构建双频带特征融合模块，通过径向频域掩膜分离低频轮廓信息和高频边界响应，减少跨层传递中的边缘细节损失。在解码阶段，设计双阶段几何引导模块，并结合曲率感知几何监督损失，对边界位置、有符号距离场分布和局部曲率变化进行联合优化。结果在Kvasir、ClinicDB、ColonDB、EndoScene和ETIS等5个公开数据集上进行实验，并与现有医学图像分割方法进行对比。本文方法在5个数据集上的平均交并比（intersection over union，IoU）和平均Dice相似系数（Dice similarity coefficient，Dice）分别为78.55%和85.14%，较当前主流方法分别提升0.83和1.37个百分点。结论本文方法能够在保持区域一致性的同时改善边界恢复质量，对低对比度和复杂形态息肉具有较好的分割效果和跨数据集泛化能力。关键词：结肠镜图像;息肉分割;频域增强;几何引导;曲率感知3|0|0更新时间：2026-10-19 -
夜间卫星缺失波段信息补全数据集构建与评估 AI导读
摘要：目的针对夜间缺乏太阳短波辐射导致气象卫星可见光与近红外（visible and near-infrared， VIS-NIR）波段观测缺失、相关遥感产品难以连续获取的问题，以构建面向夜间缺失波段信息补全的大规模数据集为主要目标，同时解决相关研究生成光谱波段覆盖不足与公开可用的夜间缺失波段信息补全数据集稀缺问题。方法基于Himawari-8/9多波段观测数据，构建包含多波段红外亮温观测（multi-band infrared brightness temperature， MIBT）、VIS-NIR、观测几何角度和水陆掩膜信息的VIS-NIR-70K数据集，并选取代表性生成模型进行定量与定性评估。结果实验表明，MIBT能够为补全VIS-NIR缺失信息提供有效条件。扩散模型的生成性能优于基于生成对抗网络（generative adversarial network， GAN）的模型，其中，原始图像空间扩散模型在结构保持、纹理细节和分布一致性方面表现更优，多波段VIS-NIR的平均结构相似性指数（structural similarity index measure， SSIM）提升至0.864。同时，其在真彩色（true-color imagery， TCI）观测生成、低云区域、台风场景和夜间全图补全中展现出较好的重建性能，TCI波段的平均SSIM提升至0.881。结论VIS-NIR-70K缓解了夜间卫星缺失波段信息补全领域的数据资源不足，为全天时地气系统观测和生成式遥感研究提供了数据基础。完整的MIBT多波段是VIS-NIR生成质量的关键信息来源，卫星天顶角（satellite zenith angle， SAZ）与水陆掩膜信息（land-sea mask， Landsea）组合可以提高生成结果的稳定性。数据集链接：（ScienceDB：https：//doi.org/10.57760/sciencedb.j00240.00227）.关键词：多波段卫星图像;缺失波段补全;多波段数据集;VIS-NIR生成;生成式算法;Himawari-8/93|0|0更新时间：2026-10-19 -
双域特征增强与目标感知引导的浮游动物分割 AI导读
摘要：目的浮游动物显微图像实例分割是实现种类识别、数量统计和形态分析的重要基础。传统人工镜检效率低且主观性强，难以满足大规模监测需求，自动化分析需求日益迫切。然而，图像中存在弱边界目标、背景干扰和目标密集分布等问题，导致现有模型分割精度受限。此外，该领域缺乏大规模像素级实例分割数据集。方法为解决上述问题，构建浮游动物显微图像实例分割数据集（zooplankton microscopic image instance segmentation dataset，ZooMIIS5K），包含 5332 张图像和48类浮游动物的精细像素级标注。在此基础上，提出一种基于分割一切模型（Segment Anything Model，SAM）的浮游动物显微图像实例分割模型（zooplankton microscopic image instance segmentation model，ZooMIIS-SAM）。首先，设计双域融合视觉Transformer（dual-domain fusion vision transformer，DDF-ViT），缓解预训练自然图像域与显微图像域之间的特征偏移；接着设计多尺度融合提示模块（multi-scale fusion prompt module，MSFPM），自动生成视觉提示，引导SAM自动理解海洋浮游动物图像；最后，设计目标感知模块（target-aware perception module，TAPM），利用候选区域信息增强全局特征的实例感知能力，提高密集场景下相邻目标的区分效果。结果在 ZooMIIS5K 数据集上，ZooMIIS-SAM 在所比较的卷积神经网络方法和视觉基础模型方法中取得最佳性能，其掩码平均精度均值（mask mean average precision， -
3D数字人舞蹈运镜的轨迹与风格可控合成 AI导读
摘要：目的现有音乐与舞蹈驱动的自动运镜合成方法主要关注生成与节奏和动作匹配的相机轨迹，缺乏对运镜风格与空间轨迹的显式控制，难以满足专业创作中的精细化编辑需求。方法针对该问题，本文提出多风格舞蹈运镜可控合成框架（controllable dance camera movement synthesis framework，CtrlDanceCam），将风格标签和关键帧相机参数作为用户控制条件。框架包含关键帧预测模块（keyframe prediction module，KPM）和可控轨迹合成模块（controllable trajectory synthesis module，CTSM）：KPM基于音乐、舞蹈与风格条件预测符合目标风格的关键帧分布；CTSM以关键帧为锚点，通过风格条件化的可学习插值函数生成完整相机运动轨迹，并支持用户指定关键帧参数进行轨迹控制。进一步设计风格感知对抗训练策略（style-aware adversarial training，SAAT），增强不同运镜风格的区分能力与生成一致性。结果在公开舞蹈-运镜配对数据集上的实验表明，CtrlDanceCam的基于运动学特征的弗雷歇起始距离（Fréchet inception distance，FIDk）为3.022，平均欧氏距离（average Euclidean distance，Distk）为3.101，在提升生成质量的同时保持了良好的轨迹多样性。消融实验和可视化结果进一步验证了各模块及双重控制机制的有效性。结论CtrlDanceCam实现了舞蹈运镜的风格与轨迹双重可控合成，在保证生成质量与轨迹多样性的同时增强了用户编辑能力，可为虚拟制作和数字表演中的自动运镜提供技术支撑。代码开源地址为：https：//www.scidb.cn/s/vUr2Av。关键词：舞蹈相机轨迹合成;可控合成;风格感知;对抗训练;关键帧预测;数字人动画;跨模态生成56|55|0更新时间：2026-10-08 -
摘要：目的遥感图像指代分割旨在根据自然语言指令生成目标区域的像素级掩码。然而，通用分割基础模型迁移至遥感场景时，仍面临深层跨模态交互过程中语义约束逐渐衰减、解码阶段层级查询信息利用不充分以及复杂目标边界监督不充分等问题。方法针对上述问题，提出一种用于遥感图像指代分割的语义动态边界增强方法—SDM-SAM2。该框架以SAM2（Segment Anything Model 2）为基础，在图像编码阶段构建阶段感知文本记忆，通过保存并检索不同阶段的文本信息，以维持指代表达约束，从而缓解深层语义传播中的语义衰减问题；在Mask Decoder中引入任务自适应多层查询融合模块，通过可学习层级权重对初始查询和不同解码层查询进行融合，使浅层定位信息与深层语义表征共同参与掩码预测，提升模型对复杂目标的定位与分割能力；同时设计文本加权Sobel边界损失，在连续前景概率图上提取可反向传播的边界响应，并结合文本指定目标对目标轮廓施加显式约束。结果在RefSegRS和RRSIS-D两个数据集上开展实验。完整模型在RefSegRS测试集上取得78.05%的平均交并比（Mean Intersection over Union，mIoU）和84.16%的总体交并比（Overall Intersection over Union，oIoU），在RRSIS-D测试集上取得68.49%的mIoU和78.59%的oIoU。两个数据集上的消融结果表明，阶段感知文本记忆、任务自适应多层查询融合和文本加权Sobel边界损失均能从不同环节改善基础模型；其中，阶段感知文本记忆在两个数据集上均取得最高的单模块mIoU。不同边界算子对比结果表明，Sobel算子取得了三种候选算子中最高的mIoU。结论SDM-SAM2从语义保持、动态解码和边界建模三个方面增强了SAM2对遥感图像指代分割任务的适配能力，能够改善复杂遥感场景下文本指定目标的定位和掩码预测效果。代码链接：https：//github.com/3038794185-cloud/SDM-SAM2。关键词：遥感图像指代分割;SAM2 （Segment Anything Model 2）;视觉语言融合;阶段文本记忆;查询融合;边界损失40|27|0更新时间：2026-10-08 -
多维度混合框架的牙颌实例分割 AI导读
摘要：目的精准分割牙齿与牙龈对于牙齿正畸及隐形矫治器的设计至关重要，同时可视化的模拟也能显著提升诊断效率，加强医患沟通。然而，现有研究对缺牙和重叠情况下的分割问题关注较少。为此，本文提出一种名为HaTransTooth的混合深度学习框架。方法总体采用“由粗到细”的策略：首先，通过平行投影将三维扫描模型转换为二维深度图像，并利用改进的YOLOv8（you only look once version 8）检测算法实现牙齿的快速检测和编号，有效解决了三维空间中牙齿实例分离的难题，提升了牙位识别的准确率和效率；随后，通过建立的映射关系，将二维检测区反向投影至三维空间，提取出包含单个牙齿及其周边牙龈的三维感兴趣区域（3D regions of interest， 3D ROI）；最后，针对每个3D ROI，引入了分层自适应注意力机制的点云转换网络（point cloud transformer，PCT）进行精细分割，同时使用了Focal Loss和Dice Loss的组合损失函数和梯度累积训练策略。结果实验在自行采集的真实病例数据上与经典的7种方法进行了比较，仅是平均准确率（mean accuracy，mACC）位列第二，达到了96.74%，与第一几乎持平，而平均交并比（mean intersection over union，mIoU）和Dice相似系数（the dice similarity coefficient ，DSC）分别比第二名高出4.86%和2.41%。此外还验证了平均表面距离（average symmetric surface distance，ASSD）、召回率（recall，R值）和F1分数（F1 score），均达到了较高水平，具有较高的临床价值。在公开数据集Teeth3DS（teeth 3D scan dataset）上的交叉验证进一步证明了模型的泛化能力。结论本文提出的框架显著提升了对牙齿-牙龈模糊边界的分割精度，并能准确分割具有缺牙和牙齿重叠情况的牙颌，通过实验表明，此框架在多项指标上优于现有主流方法。关键词：口腔点云;实例分割;缺牙情况;维度转换;目标检测;分层自适应注意力机制36|33|0更新时间：2026-10-08 -
摘要：目的场景文字视频问答是多模态理解领域的关键任务，现有多模态大语言模型在处理长视频时受输入帧数限制，直接输入全部视频帧会导致计算开销大，而均匀采样减少视频帧会导致关键文本信息丢失。为了解决以上问题，本文提出一种文本语义协同筛选与区域感知的场景文字视频问答方法，以提升场景文字视频问答的准确性和效率。方法首先，提出基于文本-语义协同的关键帧选择方法，利用多模态大语言模型生成的候选答案作为语义锚点，通过计算其与场景文本的Levenshtein编辑距离精准选择关键帧，并辅以对比语言-图像预训练（contrastive language–image pre-training，CLIP）补充视觉语义相关帧，以解决视频中细粒度文本信息稀疏容易丢失的问题；同时，设计文字区域感知方法，通过基于掩膜的亮度衰减策略构建视觉“聚光灯”效应，抑制无关背景噪声使模型聚焦文本区域，结合推理的置信度差异动态优选答案，从而提升场景文字视频问答的准确率。结果在M4-ViteVQA（multi-category multi-frame multi-resolution multi-modal benchmark for video text visual question answering）、RoadTextVQA（road text video question answering）和NewsVideoQA（news video question answering）三个公开场景文字视频问答数据集上进行充分实验，所提方法在准确率（accuracy，Acc）指标上分别取得 65.55%、72.03% 和 75.54% 的得分，相比均匀采样基线分别提升了 3.04%、0.76% 和 1.08%，优于现有方法。消融实验进一步验证了关键帧选择模块和文字区域感知模块的有效性。结论本文提出的方法有效解决了场景文字视频问答中计算效率与信息完整性的矛盾，通过文本-语义协同选帧策略增强了对细粒度文本的捕获能力，并通过视觉引导抑制背景噪声，从而提升了场景文字视频问答的准确性与鲁棒性。关键词：场景文字视频问答;关键帧选择;Levenshtein距离;视觉注意力引导;置信度融合37|24|0更新时间：2026-10-08 -
摘要：目的针对食道病理图像中细胞密集分布、重叠严重及形态复杂等特点，现有检测与实例分割方法难以兼顾目标定位精度与边界表达能力，多任务学习过程中检测与分割分支之间的特征协同不足，影响复杂病理场景下的识别性能。方法提出一种面向食道病理图像细胞检测与实例分割的协同多任务模型DGSeg-YOLO。在统一网络框架下联合完成细胞检测与实例分割任务，设计双向特征交互模块（bidirectional feature interaction module，BFIM），实现检测与分割分支间的跨任务特征融合；设计自适应检测感知分割模块（adaptive detection-aware segmentation module，ADGS），利用BFIM输出的跨任务交互特征生成目标感知权重，并对分割特征进行自适应加权增强；结合难度感知联合损失函数（difficulty-aware joint loss，DAL），动态协调检测与分割任务优化过程，提高模型对复杂样本的学习能力。结果在自建食道病理细胞数据集上的实验结果表明，DGSeg-YOLO在边界框平均精度均值（box mean average precision，Box mAP）@0.5、掩码平均精度均值（mask mean average precision，Mask mAP）@0.5和Dice指标上分别达到0.900、0.909和0.8351，在细胞密集分布及重叠区域具有较好的检测与实例分割性能。消融实验验证了BFIM、ADGS及DAL各模块对模型性能提升的有效性。同时，所提出模型已集成至食道病理智能分析系统，可实现病理细胞的自动检测、实例分割及统计分析，验证了方法在实际应用中的可行性。结论DGSeg-YOLO通过检测与分割任务间的协同特征学习，增强了复杂病理图像中细胞目标的结构表达与边界刻画能力，在保持模型规模适中的同时兼顾检测性能与工程应用需求，可为食道病理细胞自动分析提供一种有效的技术方案。关键词：深度学习;食道病理图像;目标检测;图像分割;多任务学习43|26|0更新时间：2026-10-08 -
空频联合多尺度稀疏注意力的单幅图像去雨 AI导读
摘要：目的针对图像修复中空间异质性退化（同时包含中心区域均匀模糊与边缘区域复杂折射）的难题，现有方法因缺乏退化属性先验与频域建模，难以兼顾两类退化属性的修复需求。为此，提出一种基于空间和频域联合处理与不确定性引导的多尺度稀疏变换器。方法首先设计多尺度物理解耦模块，利用不同膨胀率与核大小的并行卷积分支分别侧重提取全局模糊、过渡细节与高频折射特征；进而引入空间-频域联合处理模块，通过空域深度可分离卷积与频域幅度相位调制互补增强特征表示；在此基础上构建不确定性估计模块，生成空间不确定性图以量化各区域修复难度，并据此设计不确定性引导的稀疏注意力机制，使模型在高不确定性区域保持精细纹理，在低不确定性区域抑制冗余计算。同时，采用融合重建损失与不确定性图正则化的复合损失函数，约束不确定性图聚焦于退化区域。结果在SPAD雨纹数据集和AGAN‑Data雨滴数据集上，所提方法的峰值信噪比（peak signal-to-noise ratio，PSNR）和结构相似性（structural similarity index，SSIM）均优于现有基线模型；在Dense‑Haze真实雾霾数据集上，PSNR达到最优。在雨滴去除任务中，相比对比方法中的最优方法，PSNR指标提升了0.30 dB。消融实验验证了多尺度解耦、空间-频域联合处理及不确定性引导机制对性能的贡献。结论本文提出的空频联合与不确定性引导的多尺度稀疏变换器，能够有效应对空间异质性退化，在雨滴、雨纹和雾霾去除任务上均取得优越的修复效果。实验代码与数据已开源发布（https：//doi.org/10.57760/sciencedb.j00240.00269）。关键词：图像修复;空间和频域联合处理;不确定性引导;稀疏注意力;多尺度特征27|20|0更新时间：2026-10-08 -
面向虚拟现实内容的用户体验质量评价综述 AI导读
摘要：随着多媒体技术的飞速发展，虚拟现实（virtual reality，VR）技术以及沉浸式媒体日益受到重视，已逐渐成为一个重要的研究和开发领域。由360°相机捕获的VR内容，如全景图像和全景视频，相比传统2D视频图像能够提供更为丰富和完整的周围环境细节。凭借其全方位视角与沉浸式的观看体验，全景图像和全景视频能够增强用户的真实性、互动性和沉浸感，因此已在众多领域中得到广泛应用。然而，VR内容的固有球形特性对其存储与传输提出了巨大挑战。此外，在内容采集到终端显示的复杂处理流程中，VR内容都可能引入导致质量下降的潜在因素，这些因素共同影响用户的最终体验。因此，准确描述和量化整个处理流程中感知损伤，并提出有效评价用户体验质量的方法至关重要。早期用户体验质量评价主要依赖吞吐量、带宽、延迟、抖动和丢包率等网络性能参数，但难以全面反映多媒体服务中网络波动对用户体验的影响。为弥补这一不足，体验质量作为关键方案被提出，通常指用户使用应用或服务时的满意程度，受用户期望、个性特征以及当前状态影响。体验质量强调以用户为中心，能更准确地反映整体体验。其量化过程将系统性能与人类感知转化为可测指标，并可通过主观和客观两种方式进行测量。尽管已有不少研究致力于面向VR内容的用户体验质量评价，但目前仍缺乏对这一领域现有方法的系统综述，这一定程度上制约了对该领域的深入理解与分析。本文对面向虚拟现实内容的用户体验质量的最新研究进行全面梳理，旨在推动对该领域的统一认识。首先，通过识别并归类当前虚拟现实内容体验质量评价方法的关键特征，建立了一套分类体系与特征描述，从而构建出用于组织现有方法的结构化框架。进一步地，本文将虚拟现实内容体验质量评价技术划分为两个主要阶段，即主观评价与客观评价。一方面。本文对各类VR内容主观数据集的特点及其构建流程进行了分析，并探讨了影响因素、测试方法、环境设置及评分步骤等关键要素。另一方面，本文根据VR内容的不同表达形式，将面向VR内容的客观体验质量评价方法划分为基于二维平面、基于球面和基于视口的方法三类。其中，基于2D平面的方法主要补偿投影伪影，分为启发式方法和数据驱动方法。基于球面的方法直接在球域操作，采用全局或局部采样策略。基于视口的方法从多视角评价内容质量，按采样策略分为基于规则、关键点和扫视路径三类。在完成各类模型的分类阐述后，还深入剖析了不同方法的优缺点。此外，本文对面向VR内容体验质量评价模型性能的评价指标进行了归纳，并探讨了客观评价模型的实际应用场景。最后，本文对当前面向VR内容的用户体验质量主客观评价研究进行总结，剖析该领域尚未解决的研究局限以及当前面临的障碍，并指出未来可能的发展方向。关键词：虚拟现实;体验质量;质量评价;主观评价;客观评价27|21|0更新时间：2026-10-08 -
基于通用智能的RGB-X融合技术研究综述 AI导读
摘要：在自动驾驶、机器人和医疗检测等应用中，单一RGB模态在夜间、低照度以及遮挡等环境下存在显著性能瓶颈，限制其在实际场景中的鲁棒性。红外、深度、激光雷达等异源信息的引入有效缓解了这一问题，但如何高效集成RGB与异源成分，同时滤除无关信息，成为限制RGB-X跨模态交互的关键。现有融合技术主要采用显式交互的方式，即通过元素加、桥接或外接复杂融合模块的方式进行异构模态集成。近年来，视觉基础模型（Vision Foundation Models， VFMs）和视觉语言模型（Vision Language Models， VLMs）等基础模型的出现，为RGB-X融合技术提供了新的研究思路。相较于现有融合方法，这类基础模型凭借较强的通用表征、跨模态理解与知识迁移能力，为专用融合模型提供了新的设计策略与能力增强方式，进一步拓展了RGB-X跨模态融合的研究路径。本文围绕这一前沿方向，对基础模型驱动下的RGB-X跨模态交互技术进行系统综述。首先，梳理RGB-X感知与融合技术的基本原理；其次，基于融合过程中信息交互所处的表示层级，分别从模态级融合、特征级融合及表征级融合三个层面出发，深入剖析现有通专结合的融合方法及各自技术特点；随后，在公开数据集上对代表性方法进行性能对比分析，并讨论上述融合技术在自动驾驶、智能机器人、医疗影像等核心下游感知领域中的应用进展；最后，总结当前技术面临的挑战并展望未来发展方向。区别于现有综述主要关注传统显式融合策略，本文聚焦通用智能驱动的RGB-X融合新范式，系统梳理相关技术路线、代表方法及应用进展，旨在为大模型时代的RGB-X跨模态交互研究提供技术参考与发展思路。本文的参考文献及文中涉及的算法、数据集与评估指标，已整理汇总于https：//github.com/yuyuxiazhu-pixel/RGB-X-fusion-technologies。关键词：自动驾驶;跨模态交互;跨模态感知;视觉基础模型;RGB-X融合40|22|0更新时间：2026-10-08 -
生成式网络的水下图像增强方法综述 AI导读
摘要：水下图像增强（underwater image enhancement，UIE）旨在从受吸收、散射、悬浮颗粒及非均匀照明影响的退化图像中恢复清晰、自然的场景图像，以满足下游视觉任务需求。近年来，生成式网络已成为 UIE 研究的重要范式，但现有方法在生成主干、监督方式、物理约束、推理效率及评测口径上差异显著，造成各方法间缺乏可比性。本文围绕基于生成式网络的 UIE 方法开展系统性综述：从水下成像退化机理出发，分析传统物理先验、数据驱动学习与生成式建模之间的演进关系；将现有方法归纳为 生成对抗网络（generative adversarial network，GAN）、Transformer 与 Diffusion 三类范式，并从监督方式、生成机制、物理/语义约束及部署成本等维度进行跨方法对比；结合 水下图像增强基准数据集（underwater image enhancement benchmark dataset，UIEB）、U45与TEST-U90等数据集的定量结果，探讨 峰值信噪比（peak signal-to-noise ratio，PSNR）、结构相似性指数（structural similarity index measure，SSIM）、水下彩色图像质量评价（underwater color image quality evaluation，UCIQE）、水下图像质量评价（underwater image quality measure，UIQM） 等指标之间的分离现象及其对方法选择的影响。实验结果表明，GAN、Transformer 与 Diffusion 分别适用于实时增强、全局一致性建模与高保真恢复等不同需求。未来 UIE 研究应进一步关注复杂退化耦合、跨域泛化、评价协议标准化、轻量化部署及可信可控生成等关键问题。本文可为生成式 UIE 方法的分类理解、实验设计与工程部署提供理论依据与实践指导。关键词：水下图像增强;生成式网络;生成对抗网络;Transformer;扩散模型28|33|0更新时间：2026-10-08 -
摘要：低空无人机的“黑飞”“乱飞”对公共安全构成严峻挑战，基于视觉与深度学习的检测跟踪技术因此成为研究焦点。本文系统综述了近5年该领域进展。首先概述无人机类型及其视觉探测特点，接着归纳检测跟踪任务面临的核心挑战。在检测方法部分，重点从改进小目标检测、轻量化网络设计、抗恶劣天气及多模态融合四个方向，梳理了深度学习技术的提升路径；在跟踪方法部分，则从鲁棒性增强、轻量化与实时性、长期跟踪与重识别、多目标跟踪四个维度总结了关键进展。此外，整理了常用数据集与评价指标，并评估了代表性方法性能。最后对未来研究方向进行了展望。关键词：反无人机;低空经济;无人机检测;无人机跟踪;小目标检测;多目标跟踪39|28|0更新时间：2026-10-08 -
摘要：目的针对实时检测Transformer（real-time detection transformer，RT-DETR）在极低比特后训练量化下因权重与激活联合离散化而导致检测精度显著退化的问题，研究一种无需重新训练、适用于边缘部署的低比特量化方法。方法提出权重激活协同自适应量化（weight-activation co-adaptive quantization，WCAQ）框架。该方法构建端到端、无需重新训练的后训练量化流程：权重侧采用分组伪量化以抑制静态离散误差，激活侧将量化置于算子输出端并引入样本自适应尺度调节，结合敏感分支保护和轻量级逐层重构，对双侧量化引起的联合误差进行补偿。结果在COCO 2017（Common Objects in Context）上，WCAQ在8位和6位量化下平均精度（average precision，AP）分别达到46.2%和44.8%，与全精度基线高度相当；在4位极低比特下仍保持28.0%的AP，较最优方法QRT-DETR提高5.4%，克服了传统分离量化导致的精度坍塌。整个量化流程仅需19分钟，较QRT-DETR的110分钟降低约82.7%。结论WCAQ在无需重新训练的前提下实现了接近无损的8位量化和稳定的6位量化，并显著改善了4位量化下RT-DETR的部署可用性，为检测Transformer的边缘低比特部署提供了高效可靠的后训练量化方案。本文方法已发布于ScienceDB，访问链接为：https：//doi.org/10.57760/sciencedb.j00240.00092。关键词：实时目标检测;RT-DETR;模型量化;后训练量化;Transformer26|18|0更新时间：2026-10-08 -
大语言模型策略优化方法：分类、进展与展望 AI导读
摘要：策略优化（Policy Optimization， PolOpt）是增强大语言模型推理能力的核心技术，广泛应用于从RLHF到DeepSeek-R1等主流模型中。然而，随着PolOpt算法的快速演进，该领域缺乏系统性的梳理与分类，研究人员难以从零散文献中把握技术全貌与发展脉络。本文对PolOpt领域的最新进展进行了系统性综述，覆盖从基础PolOpt（PPO、GRPO）到GRPO变体，再到扩展PolOpt的完整发展谱系。我们提出了一个分层分类框架（B1–B3、C1–C7、D1–D19），从优化范式演进的角度对现有算法进行了有机组织。基于该框架，本文总结了不同算法类别的核心改进维度、适用场景与性能特点，并揭示了当前PolOpt研究面临的三大瓶颈：奖励稀疏性与噪声放大、多目标权重冲突、计算资源与扩展性限制。最后，本文展望了未来在奖励密集化、多目标自适应优化及分布式训练架构等方向的研究机遇。关键词：大语言模型;推理模型;策略优化;综述;分类学33|31|0更新时间：2026-10-08 -
摘要：目的现有遥感卫星视频目标跟踪数据集主要面向单星连续观测，受单星短时凝视观测限制，难以支撑长时间目标持续跟踪研究。针对上述问题，本文构建了首个面向多卫星协同观测的多目标跟踪基准数据集BatonTrack1.0。方法基于吉林一号GF03C01、GF03C02和GF03C03三颗视频卫星对同一区域的真实接续成像数据，构建跨卫星多目标跟踪序列。通过动态裁剪方式保留目标在不同卫星观测片段中的运动延续关系，并为每个序列提供标准多目标跟踪标注和跨片段时空关系标注，包括目标位置、身份编号、帧时间戳及片段间投影变换关系。在此基础上，构建仿真多卫星观测数据作为训练数据，并选取12种主流多目标跟踪算法在BatonTrack1.0上进行统一评测，涵盖基于运动建模、外观表征以及运动-外观联合关联的代表性方法。结果BatonTrack1.0共构建8个多目标跟踪序列，标注192架飞机目标，包括静止、起飞、降落、进出港滑行和避让等多种典型运行状态；相邻跨卫星观测片段之间存在明显时间空窗，目标在未观测期间持续运动，跨片段位置和运动状态可能发生显著变化。实验结果表明，现有方法在单个卫星观测片段内能够取得较好的目标定位与短时跟踪效果，但在跨卫星片段切换时难以保持目标身份一致性。结论BatonTrack1.0能够为真实多卫星协同观测条件下的跨卫星目标关联、身份保持和长时间持续跟踪研究提供数据支撑与统一评测基准，推动相关算法的设计、验证与创新，对于支持广域目标持续感知能力建设具有重要意义。数据集获取链接：https：//doi.org/10.57760/sciencedb.46325。关键词：目标检测;目标跟踪;多目标跟踪;遥感视频;多卫星协同观测30|25|0更新时间：2026-10-08
- 地址：北京市海淀区北四环西路19号中科院电子所主楼223室 邮编：100190
- 联系电话：010-58887035/58887030/58887418 Email：jig@aircas.ac.cn
- 技术支持由北京北大方正电子有限公司提供 京ICP备20021838号-20
京公网安备11010802024621 - 本系统建议在Chrome、 IE9+ 以上版本浏览器阅读本站内容，360浏览器请切换至极速模式
- Cookies帮助我们提供服务并提供个性化体验。使用本网站，即表示您同意我们使用Cookies
0