最新刊期
2023 年 第 28 卷 第 6 期
-
摘要：面向虚实融合的人机交互涉及计算机科学、认知心理学、人机工程学、多媒体技术和虚拟现实等领域，旨在提高人机交互的效率，同时响应人类认知与情感的需求，在办公教育、机器人和虚拟/增强现实设备中都有广泛应用。本文从人机交互涉及感知计算、人与机器人交互及协同、个性化人机对话和数据可视化等4个维度系统阐述面向虚实融合人机交互的发展现状。对国内外研究现状进行对比，展望未来的发展趋势。本文认为兼具可迁移与个性化的感知计算、具备用户行为深度理解的人机协同、用户自适应的对话系统等是本领域的重要研究方向。关键词：人机交互（HCI）;感知计算;人机协同;对话系统;数据可视化414|386|2更新时间：2024-05-07 -
摘要：脑—机接口（brain-computer interface，BCI）系统通过采集、分析大脑信号，将其转换为输出指令，从而跨越外周神经系统，实现由大脑信号对外部设备的直接控制，进而用于替代、修复、增强、补充或改善中枢神经系统的正常输出。非侵入式脑—机接口由于具有安全性以及便携性等优点，得到了广泛关注和持续研究。研究人员对脑信号编码方法的不断探索扩展了BCI系统的应用场景和适用范围。同时，脑信号解码方法的不断研发极大地克服了脑电信号信噪比低的缺点，提高了系统性能，这都为构建高性能脑—机接口系统奠定了基础。本文综述了非侵入式脑—机接口编解码技术以及系统应用的最新研究进展，展望其未来发展前景，以期促进BCI系统的深入研究与广泛应用。关键词：脑—机接口（BCI）;非侵入;编码方法;解码方法;系统应用370|1916|1更新时间：2024-05-07 -
摘要：中华民族拥有五千年的灿烂文化，各民族在各个历史阶段创造出的文物是中华民族繁荣昌盛的见证。博物馆作为文物收藏、文化展示的公共平台，在我国文化传承的过程中起着重要作用，随着科技的发展，当前博物馆已经步入智慧化建设时代。本文对数字化采集技术、文物真实感重建技术、虚拟结合智能交互和智慧平台建设等关键技术进行了对比分析，对诸多数字博物馆与艺术机构的案例进行了比较研究，对在元宇宙下建设智慧博物馆的发展趋势进行了展望。元宇宙技术融入智慧博物馆建设，是把握新一轮科技革命和产业变革新机遇的战略方向，有利于博物馆的数字化建设，有利于保护和发展中国优秀传统文化，对促进文化繁荣、构筑文化自信以及建设文化强国具有重要意义。关键词：元宇宙;智慧博物馆;数字化采集;三维重建;虚拟交互306|434|1更新时间：2024-05-07 -
摘要：模仿学习是强化学习与监督学习的结合，目标是通过观察专家演示，学习专家策略，从而加速强化学习。通过引入任务相关的额外信息，模仿学习相较于强化学习，可以更快地实现策略优化，为缓解低样本效率问题提供了解决方案。模仿学习已成为解决强化学习问题的一种流行框架，涌现出多种提高学习性能的算法和技术。通过与图形图像学的最新研究成果相结合，模仿学习已经在游戏人工智能（artificial intelligence，AI）、机器人控制和自动驾驶等领域发挥了重要作用。本文围绕模仿学习的年度发展，从行为克隆、逆强化学习、对抗式模仿学习、基于观察量的模仿学习和跨领域模仿学习等多个角度进行深入探讨，介绍了模仿学习在实际应用上的最新情况，比较了国内外研究现状，并展望了该领域未来的发展方向。旨在为研究人员和从业人员提供模仿学习的最新进展，从而为开展工作提供参考与便利。关键词：模仿学习（IL）;强化学习;基于观察量的模仿学习（ILfO）;跨领域模仿学习（CDIL）;模仿学习应用518|1432|0更新时间：2024-05-07 - 摘要：多媒体数据持续呈现爆发式增长并显现出异源异构的特性，因此跨模态学习领域研究逐渐引起学术和工业界的关注。跨模态表征与生成是跨模态学习的两大核心基础问题。跨模态表征旨在利用多种模态之间的互补性剔除模态之间的冗余，从而获得更为有效的特征表示；跨模态生成则是基于模态之间的语义一致性，实现不同模态数据形式上的相互转换，有助于提高不同模态间的迁移能力。本文系统地分析了国际与国内近年来跨模态表征与生成领域的重要研究进展，包括传统跨模态表征学习、多模态大模型表示学习、图像到文本的跨模态转换和跨模态图像生成。其中，传统跨模态表征学习探讨了跨模态统一表征和跨模态协同表征，多模态大模型表示学习探讨了基于Transformer的模型研究，图像到文本的跨模态转换探讨了图像视频的语义描述、视频字幕语义分析和视觉问答等领域的发展，跨模态图像生成从不同模态信息的跨模态联合表示方法、图像的跨模态生成技术和基于预训练的特定域图像生成阐述了跨模态生成方面的进展。本文详细综述了上述各个子领域研究的挑战性，对比了国内外研究方面的进展情况，梳理了发展脉络和学术研究的前沿动态。最后，根据上述分析展望了跨模态表征与生成的发展趋势和突破口。关键词：多媒体技术;跨模态学习;大模型;跨模态表征;跨模态生成;深度学习618|1234|4更新时间：2024-05-07
智能交互与跨模态学习
-
摘要：视觉传感是人类感知外界、认知世界的主要途径，研究表明人类获取的外界信息大约有80%来自于视觉。作为感知外界信息的“电子眼球”，视觉传感器是消费电子、机器视觉、安防监控、科学探测和军事侦察等领域的核心器件。近年来视觉传感器技术发展迅速，不同类型的传感器从不同维度提供丰富的视觉数据，不断增强人类感知与认知能力，视觉传感器研究工作具有重要的理论与应用需求。本报告以典型光学视觉传感器技术为主线，通过综合国内外文献和相关报道，从CCD图像传感器、CMOS图像传感器、智能视觉传感器以及红外图像传感器等研究方向，梳理论述近年来光学视觉传感器技术的发展现状、前沿动态、热点问题和趋势。关键词：光学视觉传感器;CCD图像传感器;CMOS图像传感器;智能视觉传感器;红外图像传感器224|216|1更新时间：2024-05-07 -
摘要：独特的拍摄视角和多变的成像高度使得遥感影像中包含大量尺寸极其有限的目标，如何准确有效地检测这些小目标对于构建智能的遥感图像解译系统至关重要。本文聚焦于遥感场景，对基于深度学习的小目标检测进行全面调研。首先，根据小目标的内在特质梳理了遥感影像小目标检测的3个主要挑战，包括特征表示瓶颈、前背景混淆以及回归分支敏感。其次，通过深入调研相关文献，全面回顾了基于深度学习的遥感影像小目标检测算法。选取3种代表性的遥感影像小目标检测任务，即光学遥感图像小目标检测、SAR图像小目标检测和红外图像小目标检测，系统性总结了3个领域内的代表性方法，并根据每种算法使用的技术思路进行分类阐述。再次，总结了遥感影像小目标检测常用的公开数据集，包括光学遥感图像、SAR图像及红外图像3种数据类型，借助于3种领域的代表性数据集SODA-A（small object detection datasets）、AIR-SARShip和NUAA-SIRST（Nanjing University of Aeronautics and Astronautics， single-frame infrared small target），进一步对主流的遥感影像目标检测算法在面对小目标时的性能表现进行横向对比及深入评估。最后，对遥感影像小目标检测的应用现状进行总结，并展望了遥感场景下小目标检测的发展趋势。关键词：小目标检测（SOD）;深度学习;光学遥感图像;SAR图像;红外图像;公开数据集763|1544|5更新时间：2024-05-07 -
摘要：不同于传统图像（如灰度图像、RGB图像等）专注于保存目标场景的空间信息，高光谱图像蕴含丰富的空—谱信息，不仅可以保存目标的空间信息，还可以保存具有高可辨性的光谱信息。因此高光谱图像广泛应用于多种计算机视觉和遥感图像任务中，如目标检测、场景分类和目标追踪等。然而，在高光谱图像获取以及重建过程中仍然存在许多问题与瓶颈。如传统高光谱成像仪器在成像过程中通常会引入噪声，且获得的图像往往具有较低的空间分辨率，极大地影响了高光谱图像的质量，对后续数据分析任务造成了极大的困难。近年来，高光谱图像超分辨率重建技术研究得到了极大的发展，现有超分辨率重建方法可以大致分为两类，一类为空间超分辨率重建方法，可以通过直接提升高光谱图像的空间分辨率来获得高质量高光谱图像；另一类为光谱超分辨率重建方法，可以通过提升高空间分辨率图像的光谱分辨率来生成高质量高光谱图像。本文从高光谱图像超分辨率重建领域的新设计、新方法和应用场景出发，通过综合国内外前沿文献来梳理该领域的主要发展，重点论述高光谱图像超分辨率重建领域的发展现状、前沿动态、热点问题及趋势。关键词：高光谱图像（HSI）;超分辨率重建;单图超分辨;融合超分辨;光谱超分辨752|1482|3更新时间：2024-05-07 -
摘要：磁共振成像是一种应用广泛的无创医学成像方法，因其丰富的软组织对比度可以成像人体几乎所有内部结构，包括器官、骨骼、肌肉和血管，已成为临床医学影像诊断的利器。然而磁共振成像存在两大公认的瓶颈：成像速度慢、扫描操作烦琐。深度学习给磁共振成像带来莫大的契机，给传统磁共振加速成像带来新的可能。鉴于该领域的快速发展性质，本文旨在总结文献中报道的大量深度学习和磁共振图像重建相结合的方法，以更好地了解该领域。本文简单介绍磁共振成像在多通道线圈接收的并行加速和压缩感知加速下的深度学习重建方法，其中单对比度图像可通过多通道接收线圈提供的冗余度用于加速，多对比度图像可额外使用不同对比度图像这一维度用于加速，动态图像与多对比度图像类似可额外使用时间维度用于加速，本文也将介绍深度学习在这些方面的发展。随着磁共振成像近年来由定性多对比度成像向定量多参数成像的发展，其中定量成像的图像中可内含多对比度图像，如何借用深度学习提供的能力将定性多对比度图像映射到参数图也是一个难点，近年来这一方向也获得了较快的发展，文中也将针对这方面内容进行调研并介绍。针对上述内容，分别介绍国际研究现状和国内研究现状，拟更好地总结国内外研究的发展的异同和趋势。最后对深度学习助力定量磁共振成像方面进行了展望。关键词：深度学习;磁共振成像（MRI）;加权对比成像;定量成像276|918|1更新时间：2024-05-07 -
摘要：从高分辨率图像中获取周边目标的精准3D位置和尺寸信息是实现自动驾驶控制和行为决策的基础，因此基于图像的3D目标检测是自动驾驶领域中的研究热点。已有学者对该领域方法论及成果进行了比较详细的综述，但对于导致现有方法检测精度不尽如意的制约因素未能进行深入系统的分析。考虑自动驾驶领域在工程应用方面的要求高，且现有方法以数据驱动类型为主，本文从常用数据集和评价基准、数据影响、方法论的制约因素和误差等角度，对学术界和产业界在3D目标检测方面的研究成果及行业应用进行较为系统的阐述。首先，从学术界探索成果以及自动驾驶行业的应用角度进行概要介绍。然后，从数据采集设备、数据精度和标注信息3方面详细分析总结了KITTI等4个通用数据集，并对这些数据集提出的主要评价指标进行对比分析。接着，从数据和方法论方面分析制约算法性能的主要因素及由此造成的误差影响。在数据方面，制约因素主要是数据精度、样本差异、标注数据量和标注规范；在方法论方面，制约因素主要包括先验几何关系、深度预测误差和数据模态等。最后，对国内外研究现状进行总结，并在数据集、评价指标和目标深度预测等方面提出了未来需要重点关注的研究方向。关键词：3D目标检测;基准;制约因素;误差分析;自动驾驶;图像处理;计算机视觉502|874|5更新时间：2024-05-07 -
摘要：3维场景理解与重建技术能够使计算机对真实场景进行高精度复现并引导机器以3维空间的思维理解整个真实世界，从而使机器拥有足够智能参与到真实世界的生产与建设，并能通过场景的模拟为人类的决策和生活提供服务。3维场景理解与重建技术主要包含场景点云特征提取、扫描点云配准与融合、场景理解与语义分割、扫描物体点云补全与细粒度重建等，在处理真实扫描场景时，受到扫描设备、角度、距离以及场景复杂程度的影响，对技术的精准度和稳定性提出了更高的要求，相关的技术也十分具有挑战性。其中，原始扫描点云特征提取与配准融合旨在将同场景下多个扫描区域进行特征匹配，从而融合得到完整的场景点云，是理解与重建技术的基石；场景点云的理解与语义分割的目的在于对场景模型进行整体感知并根据语义特征划分为功能性物体甚至是部件的点云，是整套技术的核心组成部分；后续的物体点云细粒度补全主要研究扫描物体的结构恢复和残缺部分补全，是场景物体点云细粒度重建的关键性技术。本文围绕上述系列技术，详细分析了基于3维点云的场景理解与重建技术相关的应用领域和研究方向，归结总结了国内外的前沿进展与研究成果，对未来的研究方向和技术发展进行了展望。关键词：3维场景;点云融合;场景分割;物体形状补全;深度学习376|1844|4更新时间：2024-05-07
目标检测与图像重建
-
摘要：开放环境下的模式识别与文字识别应用中，新数据、新模式和新类别不断涌现，要求算法具备应对新类别模式的能力。针对这一问题，研究者们开始聚焦开放集文字识别（open-set text recognition，OSTR）任务。该任务要求，算法在测试（推断）阶段，既能识别训练集见过的文字类别，还能够识别、拒识或发现训练集未见过的新文字。开放集文字识别逐步成为文字识别领域的研究热点之一。本文首先对开放集模式识别技术进行简要总结，然后重点介绍开放集文字识别的研究背景、任务定义、基本概念、研究重点和技术难点。同时，针对开放集文字识别三大问题（未知样本发现、新类别识别和上下文信息偏差），从方法的模型结构、特点优势和应用场景的角度对相关工作进行了综述。最后，对开放集文字识别技术的发展趋势和研究方向进行了分析展望。关键词：文字识别;开放集模式识别;开放集文字识别（OSTR）;封闭集文字识别;零样本文字识别208|567|2更新时间：2024-05-07 -
摘要：以神经网络为代表的人工智能技术在计算机视觉、模式识别和自然语言处理等诸多应用领域取得了巨大的成功，包括谷歌、微软在内的许多科技公司都将人工智能模型部署在商业产品中，以提升服务质量和经济效益。然而，构建性能优异的人工智能模型需要消耗大量的数据、计算资源和专家知识，并且人工智能模型易于被未经授权的用户窃取、篡改和贩卖。在人工智能技术迅速发展的同时，如何保护人工智能模型的知识产权具有显著学术意义和产业需求。在此背景下，本文主要介绍基于数字水印的人工智能模型产权保护技术。通过与传统多媒体水印技术进行对比，首先概述了人工模型水印的研究意义、基础概念和评价指标；然后，依据水印提取者是否需要掌握目标模型的内容细节以及是否需要和目标模型进行交互，从“白盒”模型水印、“黑盒”模型水印、“无盒”模型水印3个不同的角度分别梳理了国内外研究现状并总结了不同方法的差异，与此同时，对脆弱模型水印也进行了分析和讨论；最后，通过对比不同方法的特点、优势和不足，总结了不同场景下模型水印的共性技术问题，并对发展趋势进行了展望。关键词：模型水印;数字水印;信息隐藏;人工智能安全;知识产权保护607|263|7更新时间：2024-05-07 -
摘要：面对严重的医学影像分析缺口，深度学习的发展能够满足国内医疗行业的需求。心脏图像的处理方法可大致分为传统的图像处理技术、基于图谱的方法（atlas-based methods）、基于模型的方法（model-based methods）以及目前热门的采用机器学习和深度学习的方法。在深度学习兴起之前，传统的机器学习技术如模型法和图集法在心脏图像分割中有良好表现，但通常需要大量的特征工程知识或先验知识才能获得令人满意的精度。而基于深度学习的算法能从数据中自动发现复杂的特征以进行对象检测和分割。得益于先进的计算机硬件以及更多可用于训练的数据集，基于深度学习的分割算法已超越了以往的传统方法。本文回顾了2012—2022年有关心室、心外膜和心包脂肪的图像处理的各项方法、衡量指标及其目前的研究现状，并结合分割技术的发展，讨论了心脏分割的发展趋势。关键词：图像分割;全心分割;心外膜;心包脂肪;辅助检测600|611|0更新时间：2024-05-07 -
摘要：行人再识别通过大时空范围内跨摄像机目标行人图像的检索与匹配，可实现人脸等生物特征失效情况下的行人关联，已成为智能视频监控系统的关键环节和支撑技术，并在智慧公安、智慧城市等国民经济建设中发挥了重要作用。近年行人再识别技术吸引了越来越多的关注，并取得了快速发展与进步。本文在对行人再识别技术进行简介的基础上，面向行人再识别的技术发展和落地应用需求与挑战，总结分析遮挡行人再识别、无监督行人再识别、虚拟数据生成、域泛化行人再识别、换装行人再识别、跨模态行人再识别和行人搜索等热点方向的前沿进展，归纳其发展现状和存在问题，最后对行人再识别技术的发展趋势进行展望。希望通过总结和分析，能够为研究人员开展行人再识别相关研究、推动行人再识别技术进步提供参考。关键词：智能视频监控;遮挡行人再识别;无监督行人再识别;虚拟数据生成;域泛化行人再识别;换装行人再识别;跨模态行人再识别;行人搜索291|1872|2更新时间：2024-05-07 -
摘要：随着元宇宙概念的兴起，以6自由度（six degree of freedom， 6DoF）视频为代表的新一代交互式媒体技术得到产业界和学术界的广泛关注。6DoF视频隶属于多媒体通信领域，通过计算重构的方式向用户提供包括视角、光照、焦距和视场范围等多个维度的媒体交互与内容变化，能使千里之外的用户有身临其境、千人千面之感，与元宇宙具有的感知、计算、重构、协同和交互等技术特征具有高度重合性。因此，6DoF视频涵盖的技术体系可作为实现元宇宙的替代技术框架。本文提出了6DoF视频10个方面的40个问题，并将6DoF视频端到端技术链条归纳为生成、分发和呈现3个宏观阶段，随后围绕这3个技术阶段分别从内容采集与预处理、编码压缩与传输优化以及交互与呈现等方面阐述国内外研究进展。其中，在内容采集与预处理阶段，阐述了多视点联合采集、多视点与深度联合采集、深度图与点云预处理；在视频压缩与传输阶段，阐述了多视点视频编码、多视点+深度视频编码、光场图像压缩、焦栈图像压缩、点云编码压缩、6DoF视频传输优化；在交互与显示阶段，阐述了解码后滤波增强和虚拟视点合成。最后，本文围绕该领域当下的挑战，对未来趋势进行了讨论。关键词：元宇宙;6DoF视频;内容采集;编码压缩;视点合成273|1112|4更新时间：2024-05-07 -
摘要：森林是生态环境系统的重要组成部分。随着气候变暖，恶劣气候气象条件造成全球森林火灾频繁发生，给国民经济和消防救援带来巨大挑战，森林火灾已成为全球主要的自然灾害。因此，森林场景可视化建模、3维场景仿真、林火模拟仿真、火场复现、预测和灾害评估成为林业虚拟仿真研究热点。本文对树木形态结构建模技术、森林场景大规模重建和实时渲染、森林场景可视化、林火模型和林火模拟仿真等前沿技术和算法进行综述。对相关的林木、植被的形态结构表达和真实感可视化建模方法进行归纳分类，并对不同可视化方法的算法优劣、复杂度、实时渲染效率和适用场景进行讨论。基于规则的林木建模方法和基于林分特征的真实场景重建方法对大规模森林场景重建技术进行分类，基于物理模型、经验模型和半经验模型对森林火灾的林火模型、单木林火、多木林火模拟和蔓延进行总结，对影响林火蔓延的不同环境气象因子（如地形地貌、湿度、可燃物等）和森林分布对林火发生、扩散和蔓延的影响进行分析，对不同算法的优劣进行对比、分析和讨论，对森林场景可视化和林火模拟仿真技术未来的发展方向、存在问题和挑战进行展望。本文为基于森林真实场景的森林火灾模拟仿真和数字孪生沉浸式互动模拟系统的构建提供了理论方法基础，该平台可以实现森林场景快速构建、不同火源林火模拟、火场蔓延模拟仿真以及不同气象影响条件的火场预测，可对森林火场救援指挥、火场灾害评估和火场复原提供可视化决策支持。关键词：林木建模;森林场景可视化;林火模拟;林火蔓延模型;灭火仿真技术288|528|0更新时间：2024-05-07 -
摘要：可视化与可视分析已成为众多领域中结合人类智能与机器智能协同理解、分析数据的常见手段。人工智能可以通过对大数据的学习分析提高数据质量，捕捉关键信息，并选取最有效的视觉呈现方式，从而使用户更快、更准确、更全面地从可视化中理解数据。利用人工智能方法，交互式可视化系统也能更好地学习用户习惯及用户意图，推荐符合用户需求的可视化形式、交互操作和数据特征，从而降低用户探索的学习及时间成本，提高交互分析的效率。人工智能方法在可视化中的应用受到了极大关注，产生了大量学术成果。本文从最新工作出发，探讨人工智能在可视化流程的关键步骤中的作用。包括如何智能地表示和管理数据、如何辅助用户快速创建和定制可视化、如何通过人工智能扩展交互手段及提高交互效率、如何借助人工智能辅助数据的交互分析等。具体而言，本文详细梳理每个步骤中需要完成的任务及解决思路，介绍相应的人工智能方法（如深度网络结构），并以图表数据为例介绍智能可视化与可视分析的应用，最后讨论智能可视化方法的发展趋势，展望未来的研究方向及应用场景。关键词：可视化;可视分析;机器学习;深度学习;前沿报告372|333|1更新时间：2024-05-07
模式识别与智能可视化
- 地址：北京市海淀区北四环西路19号中科院电子所主楼223室 邮编：100190
- 联系电话：010-58887035/58887030/58887418 Email：jig@aircas.ac.cn
- 技术支持由北京北大方正电子有限公司提供 京ICP备05080539号-4
京公网安备11010802024621 - 本系统建议在Chrome、 IE9+ 以上版本浏览器阅读本站内容，360浏览器请切换至极速模式
- Cookies帮助我们提供服务并提供个性化体验。使用本网站，即表示您同意我们使用Cookies
0