Print

发布时间: 2020-01-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190404
2020 | Volume 25 | Number 1




    综述    




  <<上一篇 




  下一篇>> 




视觉传感机理与数据处理进展
expand article info 王程1, 陈峰1, 吴金建2, 赵勇3, 雷浩4, 刘纪元5, 汶德胜4
1. 福建省智慧城市感知与计算重点实验室, 厦门大学, 厦门 361005;
2. 西安电子科技大学人工智能学院, 西安 710071;
3. 国防科技大学航天科学与工程学院, 长沙 410073;
4. 中国科学院西安光学精密机械研究所, 西安 710119;
5. 中国科学院声学研究所, 北京 100190
收稿日期: 2019-08-01; 修回日期: 2019-09-16; 预印本日期: 2019-09-23
第一作者简介: 王程, 1975年生, 男, 教授, 主要研究方向为激光雷达点云处理、3维视觉、空间大数据分析。E-mail:cwang@xmu.edu.cn;
陈峰, 男, 博士, 主要研究方向为遥感信息智能处理与应用。E-mail:chenfeng105@gmail.com;
吴金建, 男, 副教授, 主要研究方向为视觉感知建模、图像质量评价、机器学习。E-mail:jinjian.wu@mail.xidian.edu.cn;
赵勇, 男, 教授, 主要研究方向为位姿成像感知、传感器设计。E-mail:nudtzhy@163.com;
雷浩, 男, 博士, 主要研究方向为图像处理、位姿成像感知。E-mail:leihao@opt.ac.cn;
刘纪元, 男, 研究员, 主要研究方向为水声成像技术、自适应信号处理、阵列信号处理。E-mail:ljy@mail.ioa.ac.cn;
汶德胜, 男, 研究员, 主要研究方向为空间光学载荷技术、光电成像技术、快速信号处理技术。E-mail:ven@opt.ac.cn.
中图法分类号: TP301.6
文献标识码: A
文章编号: 1006-8961(2020)01-0019-12

摘要

传统视觉感知以RGB光学图像和视频图像为主要数据源，借助计算机视觉的发展取得了巨大成功。然而，传统RGB光学成像也存在着光谱、采样速度、测量精度、可工作条件等方面的限制。近年来，视觉感知的新机理和新数据处理技术的迅速发展，为提升感知和认知能力带来了重大机遇；同时，也具有重要的理论价值和重大应用需求。本文围绕激光扫描、水声声呐成像、新体制动态成像、计算成像、位姿感知等研究方向，综述发展现状、前沿动态、热点问题和发展趋势。当前，在视觉传感研究领域，国内研究机构和团队在数据处理和应用方面取得了显著进展。整体上，国内依然要落后于欧美日等先进国家，尤其是在相关硬件的研制方面。最后，给出了发展趋势与展望，以期为相关研究者提供参考。

关键词

视觉传感; 激光扫描; 合成孔径声呐; 新体制动态成像; 计算成像; 位姿感知

Progress in mechanism and data processing of visual sensing
expand article info Wang Cheng1, Chen Feng1, Wu Jinjian2, Zhao Yong3, Lei Hao4, Liu Jiyuan5, Wen Desheng4
1. Fujian Key Laboratory of Sensing and Computing for Smart Cities, Xiamen University, Xiamen 361005, China;
2. School of Artificial Intelligence, Xidian University, Xi'an 710071, China;
3. College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China;
4. Xi'an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences, Xi'an 710119, China;
5. Institute of Acoustics, Chinese Academy of Sciences, Beijing 100190, China

Abstract

Traditional visual sensing is based on RGB optical and video imaging data and has achieved great success with the development of computer vision. However, traditional RGB optical imaging has limitations in spectral characterization, sampling effectiveness, measurement accuracy, and operating conditions. The new mechanism of visual sensing and new data processing technology have been developed rapidly recently, bringing considerable opportunities for improving sensing and cognitive capability. The developments are also endowed with important theoretical merits and offer a great chance for major application requirements. This report describes the development status and trends on visual sensing, including laser scanning, sonar, new dynamic imaging system, computational imaging, pose sensing, and other related fields. Researches on laser scanning are increasingly being conducted. In terms of algorithm developments for point cloud data processing, many domestic organizations and teams have reached international synchronization or leading level. Moreover, the application of point cloud data is more extensively shown by Chinese teams. However, at present, several foreign countries still show considerable advantages in hardware equipment, data acquisition, and pre-processing. In terms of event-based (i.e., dynamic vision sensor, DVS) imaging, domestic teams have focused on target classification, target recognition and tracking, stereo matching, and super resolution, achieving progress and breakthroughs. Hardware design and production technology of DVS are concentrated in foreign research institutes, and almost all these institutes have a research history of about 10 years. Few domestic institutions can independently produce DVS. Generally, although domestic DVS research started relatively late, the development in recent years has been very rapid. Moving target detection and underwater acoustic imaging for small static targets have always been the focus in the field of underwater information technology. Underwater acoustic imaging has the characteristics of military and civil applications. Domestically, high-tech research is mainly supported by civil sectors. For example, synthetic aperture sonar was developed under sustained national support. Substantial breakthroughs, such as in common mechanism, key technologies, and demonstration applications, are difficult to achieve in a short time. Therefore, sustained and stable support guarantees technological breakthroughs and industrialization. Learning-based visual positioning and 3D information processing have made remarkable progress, but many problems remain. In non-cooperative target pose imaging perception, many countries and organizations with advanced technology for space have carried out numerous investigations, and results from some of these endeavors have been successfully applied to space operations in practice. By contrast, visual measurement of non-cooperative targets started late in China. Related programs are under way, such as for rendezvous and docking of space non-cooperative targets and on-orbit service of space robots. However, most of the related investigations remain in the stage of theoretical research and ground experiment verification, and no mature engineering application is available. According to the literature survey, at present, in the field of visual sensing, domestic institutions and teams have made substantial progress in data processing and application. However, lags are observable, especially in the development of related hardware. Laser scanning imaging has a large amount of data and abundant information but lacks semantic information. Research has emerged in the frontiers of unmanned driving, virtual reality, and augmented reality. Wide applications are expected in the future, such as in the minimal description of massive 3D point cloud data and cross-dimensional structure description. DVS has a research history of over 10 years and has progressed in SLAM, tracking, reconfiguration, and other fields. The most evident advantages of DVS are in capturing high-speed moving objects and in high-efficiency and low-cost processing. Moreover, the real-time background filtering function of DVS has great prospects in unmanned driving and trajectory analysis, which will attract much attention for wide applications. The development of small-target detection technology in deep-sea area can be used in deep-sea resource development, protection of marine rights, search and rescue, and military applications. However, inadequacy in the sonar equipment for deep-sea small-target detection seriously restricts applications. Two new system imaging sonars, namely, high-speed imaging sonar based on frequency division multiple-input multiple-output and multi-static imaging sonar, are expected to improve the detection rate and recognition rate for underwater small targets. Robustness is critical for visual positioning and 3D information processing. Intelligent methods can solve the problems of visual positioning and 3D information processing. At present, the pose perception algorithm still shows low efficiency, is imperfect, and requires further investigation. Space operations have prerequisites, including relative pose of space non-cooperative target, reconstruction of 3D structure of target, and recognition of feature parts of target. The model information of the target itself can be totally or partly known. Thus, making full use of the priori information of the target model can greatly help solve the target position. Pose tracking based on 3D model to obtain the initial pose of a target is expected to be a future hotspot. In addition, in the tide of artificial intelligence, how to combine it with pose perception is worthy of exploration. Object position and attitude perception based on vision system are crucial for promoting the development of future space operation, including space close-range operation scenarios (e.g., target perception, docking, and capture), small autonomous aircraft, ground intelligent vehicles, and mobile robots. The prospects are given in this paper, which may provide a reference for researchers of related fields.

Key words

visual sensing; laser scanning; synthetic aperture sonar; new dynamic imaging system; computational imaging; pose sensing

0 引言

激光扫描成像(laser scanning)是通过激光器以主动发射激光的方式，根据激光测距的原理来感知真实的3维世界。与传统的数字摄影成像技术只能获取场景的2维投影信息相比，通过激光扫描所获取的3维点云数据能充分地表达现实场景中重要的3维几何形状信息以及深度信息。因此，3维点云数据的应用，得到了国内外学者的广泛关注，并获得了一定程度的发展。目前，3维点云数据已经在测绘工程(Siebert和Teizer，2014)、智能交通(Chen等，2009)、考古研究(Lerma等，2010)、文物保护(Ikeuchi等，2007)、资源勘探(White等，2013)、建筑设计(Murphy等，2013)等领域发挥了十分重要的作用。

动态视觉传感器(DVS)是一种新型的动态成像传感器。这种传感器的成像速度不受曝光时间和帧速率限制，像素的响应时间在微秒甚至纳秒级，且输出信号格式不是帧而是运动物体激发的事件流。因此，DVS在检测超高速运动物体方面有极大优势。DVS传感器输出事件的特点使得有效过滤背景数据成为可能，进而大幅度节省数据量，同时降低后续传输和处理成本，使实时处理变得简便。目前，国内外针对DVS信号的算法研究主要涉及追踪、3维重构、SLAM (simultaneous localization and mapping)、目标识别和分类等。相关技术主要应用于包括增强现实(AR)/虚拟现实(VR)、无人驾驶、机器人在内的相关领域。随着国内外对DVS的关注度不断提升，在DVS研究上的投入不断加大，相信在不久的将来会向更工业化的应用方向发展。

水声成像探测技术是对海洋空间进行全面和细致观察的重要手段之一，在海洋探索和观测中发挥着重要的作用。水声成像主要获取被观测对象的2维或3维形状信息。合成孔径声呐是侧视条带水声成像的新技术，近些年在理论技术上有重大进展；同时，相比传统侧扫声呐，其产品性能有很大的提升。随着电子信息技术的快速发展，基于大规模面阵的新型3维成像声呐取得突破，相应产品为水下目标立体精细化成像提供了有效手段。

位姿是位置和姿态的总称，用来描述物体或目标之间的对应变换关系。位姿感知是求解目标本体坐标系相对于参考坐标系的变换关系的过程。基于视觉测量目标的位姿感知，就是用单目或多目摄像机采集任务目标的图像，解算目标体坐标系相对于测量像机组基准坐标系的位姿参数。位姿感知是视觉测量中的基础问题，广泛应用于交会对接、视觉伺服、机器人定位与导航、物体识别与跟踪、增强现实和人机交互等任务。在计算机视觉、摄影测量和机器人等领域，己对位姿感知算法开展了大量研究。从2维图像中获取深度及相机姿态信息方面，常用的算法都依赖几何计算。已有研究大多利用几何线索的显式推理来优化3维结构，得到其中的深度信息。常用的深度估计与3维位姿恢复的几何方法有立体视觉、SFM (structure from motion)，以及视觉定位与地图构建V-SLAM技术(Sattler等，2017；Wu等，2018；Cadena等，2016)。

本文重点围绕激光扫描、新体制动态视觉成像、水声声呐成像、位姿感知等研究方向，综述发展现状、前沿动态、热点问题和发展趋势，以期为相关研究者提供参考。

1 国际研究现状

1.1 激光扫描成像

1) 激光扫描系统。在机载激光扫描系统方面, 加拿大Optech公司生产的ATLM和SHOALS、瑞士Leica公司的ALSSO、瑞典的TopoEyeAB公司生产的TopEye、德国IGI公司的LiteMapper、法国TopoSys公司的FalconⅡ等是当前较成熟的商业扫描系统(刘经南和张小红，2003)。同时，当前主要的商业化地面激光扫描系统有：东京大学的VLMS (Zhao和Shibasaki，2005)、3D Laser Mapping和IGI公司合资开发的StreetMapper系统、加拿大Optec公司的Lynx系统、瑞士Leica公司的TLS系列、奥地利Riegl公司的VMX系列移动激光扫描系统和VZ系列静态系统、Trimble公司的MX系列系统、澳大利亚Maptek公司的I-Site Vehicle System、以及日本Topcon公司的IP-S2 HD。

2) 3维点云数据处理。3维点云数据处理主要包括点云滤波、语义信息提取和数据配准。在3维点云数据滤波方面，Orts-Escolano等人(2013)首次提出基于统计学的Growing Neural Gas网络3维点云滤波方法，基于该预处理方法能够获得较好的关键点检测结果(Rangel等，2017)。Moorfield等人(2015)使用基于偏微分方程形态学算子的滤波方法获得了较好的3维表面重建结果。在3维点云数据语义信息提取方面，Lehtomäki等人(2016)提出了一个自动检测3维点云物体的流程，主要步骤包括：地面及建筑物滤除、物体分割、物体分割块分类以及物体所在位置估计。为了从点云场景中提取出整个物体，Rodríguez-Cuenca等人(2015)提出了利用一个针对垂直物体的检测器来确定3维杆状物的候选区域，进而在候选区域中提取物体整体特征，然后利用分类器对杆状物进行分类。Balado等人(2018)结合几何与拓扑信息提出了一种自动城市地表元素分类方法。Riveiro等人(2015)基于曲率分析来实现3维点云数据道路分割。Najafi等人(2014)引入了更多的先验信息，采用更复杂的非关联的高阶马尔可夫网络来描述更真实的场景语义信息。Qi等人(2017)提出了基于深度学习的神经网络PointNet来提取点云数据语义信息。在3维点云数据配准(含粗配准和精配准)方面，Theiler等人(2014)使用3维关键点如3D DOG、3D Harris等改进了4PCS (4-point congruent sets) (Aiger等，2008)方法进行配准。Monserrat和Crosetto (2008)采用最小二乘法约束基于面的点云数据配准。Yu等人(2015)在识别表面目标基础上进行配准，也取得了一定的成果。迭代最近点(ICP)方法广泛用于精配准方面(Horn，1987)，如Bucksch和Khoshelham (2013)提出了一种基于树骨架线的点云数据配准方法。另外，Weinmann等人(2011)借助SIFT (scale-invariant feature transform)算法实现了点云数据的高效配准。

1.2 DVS动态视觉传感器

动态视觉传感器(DVS)受生物视觉成像机理启发，并在硬件上实现了差分，因而具有过滤背景、精准捕捉运动物体以及高动态范围成像等优点。与传统相机相比，DVS具有更广泛的应用场景、数据量明显减小并且处理成本低廉等优势。

1) DVS产品。目前研发DVS产品的公司主要有3个，即苏黎世联邦理工学院Tobi Delbruck教授创建的iniLabs公司、巴黎视觉研究所Christoph Posch教授创建的Prophesee公司，以及新加坡南洋理工大学陈守顺教授创建的Celepixel公司。此外，其他团队也在DVS方面开展过相关研究，如Teresa Serrano-Gotarredona教授在2012年研发了128×128 Sensitive DVS (sDVS)，Christoph Posch在2014年推出了Retinomorphic Event-Based Vision Sensors，以及韩国的三星先进技术研究院也在2017年推出了640×480的VGA动态视觉传感器。

2) DVS应用。许多公司或机构都在致力于推动DVS的产业化。其中，iniVation公司发明、生产和销售神经形态相关技术，在DVS产业化方面起了很大作用；三星开发了Gen2和Gen3动态视觉传感器，并致力于基于事件的视觉解决方案。目前IBM研究公司(The Synapse Project)和三星合作，致力于将TrueNorth芯片(作为大脑)与DVS (作为眼睛)相结合；Prophesee公司开发生物启发和自适应的方法，以满足自动车辆、连接设备、安全和监视系统的视觉传感和处理需求；Insightness致力于建立移动设备空间感知的视觉系统，如硅眼技术；SLAMcore是AR/VR、机器人和自动驾驶汽车开发本地化和映射解决方案；AIT (Austrian Institute of Technology)销售神经形态传感器产品：如纸箱生产过程检验、UCOS通用计数传感器、IVS工业视觉传感器；Celepixel公司提供集成的感知平台，包含各种组件和技术，如处理芯片组和图像传感器。同时，很多团队致力于基于事件(即DVS信号)的算法研究，也取得了相应进展。总体来看，目前国际上的主流研究领域涉及追踪、光流、旋转估计、视觉测程、3维重建、SLAM等。

1.3 水声声呐成像

欧美等发达国家较早地开展了成像声呐技术研发，具有多种型号的产品，并已成功应用于军事目标探测、海洋调查和海洋油气开发等领域。其中，2维成像主要有侧视方向扫测的侧扫声呐(如美国klein5000系列侧扫声呐)和前视方向的多波束声呐(如用于水下无人平台的BlueView450或BlueView900)。

目前，合成孔径声呐技术是水声成像的研究热点，其理论和关键技术均取得了突破性进展，产品得到迅速推广应用。近几年，3维水声成像也取得较大发展。3维图像可以提供比2维图像更加丰富的信息，更利于对目标进行辨别，成为成像声呐研究的热点之一。

国外对3维声呐成像和可视化处理的研究起步较早。其中，利用阵列波束形成方式进行成像，比较有代表性的有EchoScope 3维多波束声呐。EchoScope Mark Ⅱ声呐是一种利用48×48元面阵组成的声呐系统，工作频率375 kHz，通道数达到了2 304个；其距离分辨率为0.5 cm，角度分辨率为1.2°，作用距离可达200 m。此外，EchoScope1600B 3维实时成像声呐系统具有1 600个接收通道，该声呐不仅能够对移动目标进行成像，而且还能在3维环境下实现目标重建，提取空间3维坐标。它可以在3维场景中加入虚拟的3维模型，能够产生刷新率为2~10幅/s的水声视频图像，能够实时地显示目标的移动轨迹。

多输入多输出(MIMO)成像和多基地成像等新体制声呐技术也逐渐引起关注。MIMO型声呐也是一种高分辨率成像声呐。Thomson Marconi Sonar公司的合成孔径声呐IMBAT 3000以及iXSea公司的Shadows合成孔径声呐均采用了MIMO-SAS技术。这两套合成孔径声呐系统有3套分置的发射阵，3套发射阵工作在不同频带。两侧发射阵发射信号的频带在不同信号帧时是交替变化的，进而增加相邻帧的重复阵元数。目前，多/双基地高分辨率声呐的研究中最引人关注的是GOATS’ 98 (generic ocean array technology sonar)，试验结果验证了BiSAS技术对海底的沉底目标、掩埋目标和半掩埋目标进行成像的可行性。

1.4 位姿成像感知

基于视觉的测量技术，利用追踪航天器上的光学传感器对目标航天器成像并通过图像特征提取和解算实现位姿测量(夏军营，2012)。基于视觉的测量技术具有直观、精度高和自主性强等优势(张跃强，2016)。目标航天器可依据其结构是否已知分为合作目标和非合作目标，针对空间合作目标的视觉测量技术已开展了深入研究和成功应用。同时，由于缺少目标已知结构信息和合作标志且通常需要同时对目标结构进行3维重建，增加了针对空间非合作目标的视觉测量的难度(张跃强，2016)。然而，正因为不需要目标的合作信息，突破了合作目标测量方法的局限，使得针对非合作目标的视觉测量系统具有很高的研究和应用价值(夏军营，2012)。

1) 位姿估计方法。根据所使用观测数据的不同，位姿估计可分为2D-2D、2D-3D、3D-3D共3类。2D-2D方法使用不同位姿下传感器对目标所成的2维图像作为输入，多见于单目视觉应用场景；3D-3D方法使用两组3维点云作为输入，多见于双目视觉、TOF相机等深度相机应用场景(梁斌等，2016)；2D-3D方法综合使用传感器对目标所成的2维图像和3维点云作为输入，多见于RGBD相机等混合视觉应用场景。对非合作目标进行位姿成像感知，需要充分利用其固有特征。目前，针对基于视觉的位姿测量开展了大量研究，尤其是基于点、线及轮廓等几何基元的2维图像与3维模型之间的位姿感知工作取得了一系列研究成果。

2D-2D方法先在两帧图像中提取特征点，通过匹配或跟踪建立特征点间的对应关系，然后使用八点法、五点法等计算本质矩阵，进而从本质矩阵获取旋转和平移分量。2D-3D方法使用目标上3维点及其经相机成像后在图像中的2维投影求解位姿，该问题称为$n$点透视问题(P$n$P)。P$n$P问题可以通过包括EP$n$P (Lepetit等，2009)在内的多种方式进行求解，但至少需要4个共面点或6个非共面点的对应信息才具有唯一解，但使用更多的对应点则引入冗余、减小误差。虽然2D-3D方法可以获取6自由度位姿，但其与2D-2D方法一样被认为是粗略估计方法，在精度要求较高的应用中往往作为精确方法的初值使用。3D-3D则被认为是一种精确估计方法，常用方法是迭代最近点(ICP)算法及其改进版本。Arantes等人(2010)以目标上选取的36个点作为已知，获取其在成像中的2维坐标，通过人工给定方式建立2D-3D对应关系。Nishida等人(2009)假设目标3维CAD模型已知，通过双目立体视觉获取目标3维点云，然后使用ICP算法与已知CAD模型进行匹配求解相对位姿。Opromolla等人(2015)对基于3维模型的非合作目标位姿测量开展研究，重点针对不同ICP算法对结果的影响进行了仿真分析。直线特征相比点特征对光照变化和图像噪声的鲁棒性更强。基于直线特征的位姿估计已有大量研究成果，其本质在于采用某种形式对直线进行表示，建立目标上的直线及其在成像图像中所成直线间的对应关系，进而解算位姿。如D′Amico等(2014)在PRISMA任务中使用追踪星Mango上的单目相机检测目标星Tango的边缘，采用Hough变换检测直线，并在已知Tango 3维模型的前提下通过模型匹配对其位姿进行测量。此外，Kanani等(2012)首先采用离线学习的方式建立各视角下目标成像轮廓2维模型数据库，然后通过图像分割提取出目标的剪影和轮廓，进而通过二者间的匹配来求解位姿。

深度学习已经成为计算机视觉、图像处理等研究领域的热点。在3维特征学习方面，3维物体表示方式主要包括以下4种：多视角图像、3维模型的2维映射、3维体素和点云。Su等人(2015)基于多视角图像进行3维形状识别，对每幅图像单独进行CNN(卷积神经网络)，然后进行信息融合。Qi等人(2017)将3维形状通过结构规则的体素表达，进而在体素的基础上设计卷积神经网络，将2维CNN运算直接扩展为3维CNN。Mottaghi等人(2015)针对3维模型建立一个由粗及细的3层结构，分别采用HOG (histogram of oriented gradient)特征及CNN模型提取全局形状特征及局部特征，利用PCBP算法求解目标函数，得到最终的识别与姿态估计结果。Wohlhart等人(2015)针对基于3维模型的目标检测及位姿估计的问题进行研究，所提取的特征在维度上、分类性能上均优于目前广泛采用的HOG特征及LineMOD等。Crivellaro等人(2015)提出基于CNN的3维物体检测与位姿估计方法，在复杂背景、遮挡等情况下都表现出优越的性能。Sundermeyer等人(2018)提出了一种增强自动编码器的方法，通过在潜在空间学习目标位姿的隐式表达来实时获取3维位姿，该方法不需要大量的真实标注数据，具有较强的泛化能力，而且本质上就能处理目标与视角的对称性。

2) 位姿估计应用。在空间非合作目标视觉的位姿测量领域，美国、欧空局、德国、加拿大等拥有先进航天技术的国家和组织已开展了大量研究并成功应用于交会对接等空间任务(李由，2013)。其中，美国已进行了大量空间视觉测量地面演示验证和在轨试验(张跃强，2016)。早在20世纪90年代初，德国宇航中心便对非合作目标的在轨服务开展研究，并在其TECSAS项目中演示了对航天器的接近和交会、绕飞监测、机器人捕获等实验(李由，2013)。此外，加拿大与美国合作开发了多个非合作目标视觉测量系统。其中，TriDAR作为第1个基于3D传感器的空间视觉实时跟踪系统，已成功应用于实际空间对接任务(李由，2013；张跃强，2016)。

2 国内研究进展

2.1 激光扫描成像

1) 激光扫描系统。在机载激光扫描系统方面，中国科学院上海光学精密机械研究所联合有关单位，开展了机载双频海洋激光雷达产品化工作(黄田程等，2018)。中国测绘科学研究院刘先林院士团队集成生产了一套高精度轻小型国产机载激光雷达系统(SW-LiDAR)，该系统主要由AirLiDAR-100机载激光扫描测量仪、国产高精度位置姿态测量系统(POS2010)、单镜头数字航测相机、全球定位系统、高效快速数据处理软件及飞行平台(A2C飞机、动力伞、无人机、多旋翼机等)共同集成。此外，山东科技大学、南京师范大学、中国科学院深圳先进技术研究院也相继研制了车载激光扫描系统(卢秀山和黄磊，2007；江水等，2007)。

2) 3维点云数据处理。在3维点云数据滤波方面，南京大学的王军等人分别设计了一种基于邻域连通性的点云滤波方法(Wang等，2013a)，以及一种基于均值漂移聚类和自适应尺度采样一致性的点云滤波算法(Wang等，2013b)。中南大学的刘圣军等人提出了一个迭代处理框架(Liu等，2012)。在3维点云数据语义信息提取方面，厦门大学王程团队提出了采用霍夫森林、深度波兹曼机、基于视觉词典的深度模型对目标物进行特征提取，并应用在树木检测、标志牌检测等方面(Wang等，2014；Yu等，2016)。同时，该团队在大规模3维点云数据线结构提取、道路标志牌、标志线检测、识别等领域也取得了相应的研究成果(Guan等，2016；Huang等，2017；Cheng等，2017；Zai等，2018)。武汉大学的杨必胜团队基于提取和分割目标的特征描述，设计了一系列的经验规则来对点云进行分类(Yang和Dong，2013)。北京师范大学的张立强团队为了减少手工标注3维点云训练样本的标注量，提出了一种无监督学习和有监督学习相结合的方法对场景中的样本进行分类(Li等，2017a)。山东大学的陈宝权团队提出了一个简单且通用的点云特征学习框架(Li等，2018a)。在3维点云数据配准方面，中国地质大学、南京信息工程大学的相关团队借助线特征和点特征对点云数据进行配准(Kang等，2009；Lyu和Ren，2015)。香港理工大学的Ge和Wunderlich (2016)基于面特征实现了点云粗配准。武汉大学与普渡大学研究人员共同开展了加权RANSAC (random sample consensus)方法在精配准中的应用(Xu等，2016)。

2.2 DVS动态视觉传感器

DVS因其能以低延时和最小冗余捕获视觉信息，近年来引起了国内学者的广泛关注。动态视觉传感器DVS相关的研究主要涉及事件驱动算法，具体包括目标分类、目标识别和跟踪、立体匹配、超分辨率和事件数据集的搭建。

1) 目标分类。清华大学的施路平团队于2016年将随机森林分类器与像素级特征相结合，显著提高分类准确性(Li等，2016)。随后将CNN学习的深度表示有效地转移到事件流的分类任务上，通过结合时间编码和深度表示解决时空事件流的分类问题(Li等，2018b)。

2) 目标识别和跟踪。天津大学徐江涛团队提出了基于多方向事件的识别系统，该系统结合识别和跟踪功能，且提取多尺度和多方向的线特征，丰富了只有单向运动训练样本的多方位目标识别特性(Wang等，2016)。该系统提供了一种用于前馈分类系统的跟踪识别体系结构，以及一种使用事件数据对多方向目标进行分类的地址重排序方法。在事件流中实现目标跟踪的主要挑战来自噪声事件、事件流形状的快速变化、复杂背景纹理和遮挡等情况。为了应对这些挑战，清华大学施路平团队提出了基于相关滤波机制的鲁棒事件流模式跟踪方法(Li和Shi，2018)，不仅在上述挑战中实现良好的跟踪性能，而且对于不同尺度、可变姿态和非刚性变形具有鲁棒性；同时具有快速的特点。

3) 立体匹配。浙江工业大学张剑华团队与新加坡国立大学的合作者共同提出了完全基于事件的立体3维深度估计算法(Xie等，2018)。该算法考虑临近事件之间的平滑约束，仅使用单个事件属性或局部特征消除模糊和错误匹配。

4) 超分辨率。为了克服动态视觉传感器(DVS)物理极限的限制，如空间分辨率和相对较小的填充因子所引起的时空纹理模糊性，清华大学施路平教授团队提出一个两阶段方案来利用DVS输入生成具有高空间纹理细节和相同时间属性的高分辨率事件流(Li等，2018c)。

5) 事件数据集的搭建。神经形态视觉研究需要高质量且具有适当挑战性的事件流数据集，以支持算法和方法的改进。然而，目前可用的事件流数据集有限。清华大学施路平教授团队利用流行的计算机视觉数据集CIFAR-10，使用动态视觉传感器(DVS)将10 000个图像帧通过重复闭环平滑移动转换为10 000个事件流，命名为CIFAR10-DVS (Li等，2017b)。这项工作提供了一个大型的事件流数据集，该数据集为算法性能比较提供了初始基准，将促进事件驱动的模式识别和目标分类算法的发展。

2.3 水声声呐成像

我国水声成像技术及相关装备和产品，总体上与国外有一定差距。尽管高端产品大多是国外的，国内相对成熟的技术也对应有少量产品或装备。同时，我国水声成像技术在一些领域也取得突破性进展，达到国际先进水平。

经过近20年的发展，在合成孔径声呐技术方面取得重大突破，形成多频段、多平台的系列化产品，总体上达到国际先进水平，尤其是在掩埋物低频合成孔径探测技术方面。国内在高分辨成像声呐方面也开展了大量研究，如中国科学院声学所开发的合成孔径声呐，在“九五”到“十二五”期间，得到了科技部等部门的持续支持，相应的技术水平与国外保持同步发展。在2012年完成了DF-SAS双频合成孔径声呐和HF-SAS高频合成孔径声呐的产品鉴定，分辨率达到5 cm，跻身世界先进行列。2017年完成了某型号海底成像声呐正样机研制，突破了多频声呐共架耦合、声兼容设计等关键技术，探掩埋目标深度达到5 m，成像分辨率等主要指标及综合技术水平居世界领先地位。同时，继Echoscope 3维面阵多波束成像问世后，我国掌握了3维面阵多波束成像核心技术，并发展出稀疏式低功耗型3维成像设备，打破美国Echoscope 3维面阵多波束成像在世界上是唯一产品的局面。此外，国内在多基地成像声呐、MIMO成像方面也已经起步。

2.4 位姿成像感知

1) 位姿感知技术。针对空间非合作目标的相对位姿感知，国内学者也开展了一些理论和算法研究(张世杰等，2006；徐文福等，2009；李由，2013；张跃强，2016)。基于目标航天器已知的结构模型信息，通过特征点匹配和单目迭代算法可解算目标位姿(张世杰等，2006)。苗锡奎等人(2013)采用单目视觉，提出利用星箭对接环部件提供的单圆特征，以对接环平面外参考点到圆心距离的欧氏不变性作为约束，提出一种虚假解剔除方法，得到星箭对接环的真实位姿。Liu等人(2013)参考了RP$n$P的方法，提出一种鲁棒高效的方法。

2) 位姿感知应用。当前，国内相关机构的研究人员主要针对空间交会对接、空间机器人应用开展了相应的视觉观测方法与算法的研究(李由，2013；张跃强，2016)。其中，空间交会对接是我国载人航天第二期工程的重要内容。同时，“天宫一号”与“神舟”系列飞船无人交会对接任务的顺利完成，标志着基于合作目标的自主交会对接技术已经日益成熟(李由，2013；张跃强，2016)。

3 国内外研究进展比较

近年来，对激光扫描成像方面的研究热度不断提升。从当前的现状来看，国外在硬件方面的领先优势依然显著，且在点云数据采集、预处理上有较强实力；而在数据处理算法方面，国内许多机构和团队已经达到与国际同步或领先水平；同时在点云数据的应用领域也更广，学科间交叉融合也更加丰富。

DVS的硬件设计和制作工艺目前主要集中在国外研究机构，并且这些机构几乎都有十年左右的研究历史；而国内几乎没有能独立生产DVS的机构。在基于事件(DVS信号)的应用和算法研究方面，国内专注于目标分类、目标识别和跟踪、立体匹配、超分辨率等领域，并取得了一定的突破和进展。国外相关机构在事件驱动算法领域，目前已在追踪、光流、定位、机器人、自动驾驶、3维重建、AR/VR等方面具备更为完善的理论体系，并有大量的优秀论文成果发表和应用实例。总的来说，国内虽然对DVS的关注和研究起步较晚，在技术积累方面相比国外略有欠缺，但基于国际范围内已有的研究基础，近年来国内的技术发展也非常迅速。

在水下信息电子技术及产品方面，动态目标探测和针对水下静态小目标的水声成像技术一直是国内外研究的关注点。水声成像具有军民两用的特点。相关高新技术研究主要是以民用部门支持为主，如合成孔径声呐就是在国家“863”计划持续支持下发展起来的。由于共性机理、关键技术、示范应用等难以在较短时间取得重大突破，国家持续稳定的支持是技术突破并走向产品化的重要保障。

近年来，基于学习的视觉定位和3维信息处理取得了明显的进展；同时，依然有很多问题没有得到解决。在非合作目标位姿成像感知方面，国际上拥有先进航天技术的国家和组织已开展了大量研究工作，部分技术已成功应用于实际的空间操作任务。国内对于非合作目标的视觉测量起步较晚，围绕空间非合作目标交会对接、空间机器人在轨服务等应用项目也在进行中。然而，多数相关研究仍处于理论研究和地面实验验证阶段，还没有成熟的工程应用。

4 发展趋势与展望

激光扫描成像数据量大、信息丰富，但缺乏语义信息。近年来，在无人驾驶、虚拟现实、增强现实等前沿领域均涌现了大量研究。未来在海量3维点云数据极简描述的视觉感知理论与方法研究、基于跨维度结构描述匹配的大范围户外场景匹配理论与方法研究等方面有极为广泛的应用。

DVS在国际上已经有十余年的研究历史，在SLAM、追踪、重构等领域都取得了不错的进展，被成功应用于机器人、AR/VR等领域。DVS最明显优势是能捕捉高速运动的物体和高效低耗的处理方式。同时，DVS的实时背景过滤功能在无人驾驶、轨迹分析等方面都有很大的前景，势必吸引更多研究机构的关注。

在深海水域发展小目标探测技术，可用于深海资源开发、海权保卫、搜救和军事应用等方面。而深海小目标探测声呐装备能力的不足，严重制约我国在深海方面的开发、维权、搜救、以及军事应用等工作。发展基于MIMO的高速成像声呐，使用多个阵元同时发射和接收信号，通过将发射信号调制到不同的频段上，提高探测效率。发展多基地成像声呐，一方面利用收发分置和较好的灵活性，另一方面可以充分利用目标的散射特性，获得比常规成像声呐更丰富的目标信息，获得更丰富的水下小目标特征信息量，从而提升水下小目标的探测率和识别率。

视觉定位和3维信息处理面临的主要挑战是鲁棒性。采用智能的方法解决视觉定位和3维信息处理问题，不仅能顺利完成定位和3维重建，并能将传统的方法与结构赋予智能的意义。执行空间操作任务的前提包括：准确测量空间非合作目标的相对位姿、实现重建目标3维结构、识别目标特征部位等。对于部分空间非合作目标，目标模型的先验信息对位姿解算是有益的。在获取目标初始位姿的前提下，专注于基于目标3维模型的位姿跟踪也是研究的热点方向。此外，在人工智能大潮下，如何将其与位姿感知进行结合，是一个值得关注的研究方向。基于视觉系统的目标空间位姿感知对于推动未来空间操作技术的发展有着非常重要的意义。研究成果不仅可以用于目标感知、对接、抓捕等空间近距离操作场景，还可以推广到小型自主飞行器、地面智能车辆、移动机器人等多个领域。

致谢: 本文由中国图象图形学学会视觉传感专业委员会牵头组织撰写，并得到了厦门大学、西安电子科技大学、国防科技大学、中国科学院西安光学精密机械研究所、中国科学院声学研究所相关研究团队的大力支持, 在此表示衷心的感谢！

参考文献

  • Aiger D, Mitra N J and Cohen-Or D. 2008. 4-Points congruent sets for robust pairwise surface registration//Proceedings of ACM SIGGRAPH 2008. Los Angeles, California, USA: ACM: #85[DOI: 10.1145/1399504.1360684]
  • Arantes Jr G, Rocco E M, Da Fonseca I M, Theil S. 2010. Far and proximity maneuvers of a constellation of service satellites and autonomous pose estimation of customer satellite using machine vision. Acta Astronautica, 66(9-10): 1493-1505 [DOI:10.1016/j.actaastro.2009.11.022]
  • Balado J, Díaz-Vilariño L, Arias P, González-Jorge H. 2018. Automatic classiácation of urban ground elements from mobile laser scanning data. Automation in Construction, 86: 226-239 [DOI:10.1016/j.autcon.2017.09.004]
  • Bucksch A, Khoshelham K. 2013. Localized registration of point clouds of botanic trees. IEEE Geoscience and Remote Sensing Letters, 10(3): 631-635 [DOI:10.1109/LGRS.2012.2216251]
  • Cadena C, Carlone L, Carrillo H, Latif Y, Scaramuzza D, Neira J, Reid I, Leonard J J. 2016. Past, present, and future of simultaneous localization and mapping:toward the robust-perception age. IEEE Transactions on Robotics, 32(6): 1309-1332 [DOI:10.1109/TRO.2016.2624754]
  • Chen X, Kohlmeyer B, Stroila M, Alwar N, Wang R and Bach J. 2009. Next generation map making: geo-referenced ground-level LIDAR point clouds for automatic retro-reflective road feature extraction//Proceedings of the 17th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems. Seattle, Washington, USA: ACM: 488-491[DOI: 10.1145/1653771.1653851]
  • Cheng M, Zhang H C, Wang C, Li J. 2017. Extraction and classification of road markings using mobile laser scanning point clouds. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10(3): 1182-1196 [DOI:10.1109/JSTARS.2016.2606507]
  • Crivellaro A, Rad M, Verdie Y, Yi K M, Fua P and Lepetit V. 2015. A novel representation of parts for accurate 3D object detection and tracking in monocular images//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 4391-4399[DOI: 10.1109/ICCV.2015.499]
  • D'Amico S, Benn M, Jørgensen J L. 2014. Pose estimation of an uncooperative spacecraft from actual space imagery. International Journal of Space Science and Engineering, 2(2): 171-189 [DOI:10.1504/IJSPACESE.2014.060600]
  • Ge X M, Wunderlich T. 2016. Surface-based matching of 3D point clouds with variable coordinates in source and target system. ISPRS Journal of Photogrammetry and Remote Sensing, 111: 1-12 [DOI:10.1016/j.isprsjprs.2015.11.001]
  • Guan H Y, Yu Y T, Li J, Ji Z, Zhang Q. 2016. Extraction of power-transmission lines from vehicle-borne lidar data. International Journal of Remote Sensing, 37(1): 229-247 [DOI:10.1080/01431161.2015.1125549]
  • Horn B K P. 1987. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America A, 4(4): 629-642 [DOI:10.1364/JOSAA.4.000629]
  • Huang P D, Cheng M, Chen Y P, Luo H, Wang C, Li J. 2017. Traffic sign occlusion detection using mobile laser scanning point clouds. IEEE Transactions on Intelligent Transportation Systems, 18(9): 2364-2376 [DOI:10.1109/TITS.2016.2639582]
  • Huang T C, Tao B Y, He Y, Hu S J, Yu J Y, Li Q, Zhu Y F, Yin G Q, Huang H Q, Zhu Q K, Gong F. 2018. Waveform processing methods in domestic airborne Lidar bathymetry system. Acta Agronomica Sinica, 55(8): 64-73 (黄田程, 陶邦一, 贺岩, 胡善江, 俞家勇, 李强, 朱云峰, 尹国清, 黄海清, 朱乾坤, 龚芳. 2018. 国产机载激光雷达测深系统的波形处理方法. 激光与光电子学进展, 55(8): 64-73) [DOI:10.3788/LOP55.082808]
  • Ikeuchi K, Oishi T, Takamatsu J, Sagawa R, Nakazawa A, Kurazume R, Nishino K, Kamakura M, Okamoto Y. 2007. The Great Buddha Project:digitally archiving, restoring, and analyzing cultural heritage objects. International Journal of Computer Vision, 75(1): 189-208 [DOI:10.1007/s11263-007-0039-y]
  • Jiang S, Sheng Y H, Li Y Q, Liu H Y, Dai H Y. 2007. Rapid surface modeling of large strip objects based on vehicle-borne laser scanning. Geo-Information Science, 9(5): 19-23, 30 (江水, 盛业华, 李永强, 刘会云, 戴华阳. 2007. 基于车载激光扫描的带状地物表面快速重建. 地球信息科学, 9(5): 19-23, 30) [DOI:10.3969/j.issn.1560-8999.2007.05.004]
  • Kanani K, Petit A, Marchand E, Chabot T and Gerber B. 2012. Vision based navigation for debris removal missions//Proceedings of the 63rd International Astronautical Congress. Naples, Italy: HAL: 1-8
  • Kang Z Z, Li J, Zhang L Q, Zhao Q, Zlatanova S. 2009. Automatic registration of terrestrial laser scanning point clouds using panoramic refiectance images. Sensors, 9(4): 2621-2646 [DOI:10.3390/s90402621]
  • Lehtomäki M, Jaakkola A, Hyyppä J, Lampinen J, Kaartinen H, Kukko A. 2016. Object classification and recognition from mobile laser scanning point clouds in a road environment. IEEE Transactions on Geoscience and Remote Sensing, 54(2): 1226-1239 [DOI:10.1109/TGRS.2015.2476502]
  • Lepetit V, Moreno-Noguer F, Fua P. 2009. EP$n$P:an accurate $O\left( n \right)$ solution to the P$n$P problem. International Journal of Computer Vision, 81(2): 155-166 [DOI:10.1007/s11263-008-0152-6]
  • Lerma J L, Navarro S, Cabrelles M, Villaverde V. 2010. Terrestrial laser scanning and close range photogrammetry for 3D archaeological documentation:the upper Palaeolithic Cave of Parpalló as a case study. Journal of Archaeological Science, 37(3): 499-507 [DOI:10.1016/j.jas.2009.10.011]
  • Li Y. 2013. Contour and Edge-based Visual Tracking of Non-cooperative Space Targets. Changsha: National University of Defense Technology (李由. 2013.基于轮廓和边缘的空间非合作目标视觉跟踪.长沙: 国防科学技术大学) http://cdmd.cnki.com.cn/Article/CDMD-90002-1015959293.htm
  • Li H M, Li G Q and Shi L P. 2016. Classification of spatiotemporal events based on random forest//Proceedings of 2016 International Conference on Brain Inspired Cognitive Systems. Beijing, China: Springer: 138-148[DOI: 10.1007/978-3-319-49685-6_13]
  • Li Z Q, Zhang L Q, Zhong R F, Fang T, Zhang T, Zhang Z. 2017a. Classification of urban point clouds:a robust supervised approach with automatically generating training data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 10(3): 1207-1220 [DOI:10.1109/JSTARS.2016.2628399]
  • Li H M, Liu H C, Ji X Y, Shi L. 2017b. CIFAR10-DVS:an event-stream dataset for object classification. Frontiers in Neuroscience, 11: #309 [DOI:10.3389/fnins.2017.00309]
  • Li Y Y, Bu R, Sun M C, Wu W, Di X H and Chen B Q. 2018a. Point CNN: convolution on $\chi $-transformed points[EB/OL]. 2018-11-05[2018-11-10]. https://arxiv.org/pdf/1801.07791.pdf
  • Li H M, Li G Q, Ji X Y, Shi L. 2018b. Deep representation via convolutional neural network for classification of spatiotemporal event streams. Neurocomputing, 299: 1-9 [DOI:10.1016/j.neucom.2018.02.019]
  • Li H M, Li G Q, Liu H C and Shi L. 2018c. Super-resolution of spatiotemporal event-stream image captured by the asynchronous temporal contrast vision sensor[EB/OL]. 2018-03-16[2018-10-25]. https://arxiv.org/pdf/1802.02398.pdf
  • Li H M and Shi L P. 2018. Robust event-stream pattern tracking based on correlative filter[EB/OL]. 2018-03-17[2018-10-25]. https://arxiv.org/pdf/1803.06490.pdf
  • Liang B, He Y, Zou Y, Yang J. 2016. Application of time-of-flight camera for relative measurement of non-cooperative target in close range. Journal of Astronautics, 37(9): 1080-1088 (梁斌, 何英, 邹瑜, 杨君. 2016. ToF相机在空间非合作目标近距离测量中的应用. 宇航学报, 37(9): 1080-1088) [DOI:10.3873/j.issn.1000-1328.2016.09.007]
  • Liu J N, Zhang X H. 2003. Progress of airborne laser scanning altimetry. Geomatics and Information Science of Wuhan University, 28(2): 132-137 (刘经南, 张小红. 2003. 激光扫描测高技术的发展与现状. 武汉大学学报:信息科学版, 28(2): 132-137) [DOI:10.3969/j.issn.1671-8860.2003.02.002]
  • Liu S J, Chan K C, Wang C C L. 2012. Iterative consolidation of unorganized point clouds. IEEE Computer Graphics and Applications, 32(3): 70-83 [DOI:10.1109/MCG.2011.14]
  • Liu J B, Zhang X H, Liu H B, Zhu Z K. 2013. New method for camera pose estimation based on line correspondence. Science China Technological Sciences, 56(11): 2787-2797 [DOI:10.1007/s11431-013-5361-8]
  • Lu X S, Huang L. 2007. Grid method on building information extraction using laser scanning data. Geomatics and Information Science of Wuhan University, 32(10): 852-855 (卢秀山, 黄磊. 2007. 基于激光扫描数据的建筑物信息格网化提取方法. 武汉大学学报:信息科学版, 32(10): 852-855) [DOI:10.3969/j.issn.1671-8860.2007.10.002]
  • Lyu F, Ren K. 2015. Automatic registration of airborne LiDAR point cloud data and optical imagery depth map based on line and points features. Infrared Physics & Technology, 71: 457-463 [DOI:10.1016/j.infrared.2015.06.006]
  • Miao X K, Zhu F, Hao Y M, Wu Q X, Xia R B. 2013. Vision pose measurement for non-cooperative space vehicles based on solar panel component. Chinese High Technology Letters, 23(4): 400-406 (苗锡奎, 朱枫, 郝颖明, 吴清潇, 夏仁波. 2013. 基于太阳能帆板部件的空间非合作飞行器视觉位姿测量方法. 高技术通讯, 23(4): 400-406) [DOI:10.3772/j.issn.1002-0470.2013.04.011]
  • Moorfield B, Haeusler R and Klette R. 2015. Bilateral filtering of 3d point clouds for refined 3D roadside reconstructions//Proceedings of 2015 International Conference on Computer Analysis of Images and Patterns. Valletta, Malta: Springer: 394-402[DOI: 10.1007/978-3-319-23117-4_34]
  • Monserrat O, Crosetto M. 2008. Deformation measurement using terrestrial laser scanning data and least squares 3D surface matching. ISPRS Journal of Photogrammetry and Remote Sensing, 63(1): 142-154 [DOI:10.1016/j.isprsjprs.2007.07.008]
  • Mottaghi R, Xiang Y and Savarese S. 2015. A coarse-to-fine model for 3D pose estimation and sub-category recognition//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 418-426[DOI: 10.1109/CVPR.2015.7298639]
  • Murphy M, McGovern E, Pavia S. 2013. Historic building information modelling-Adding intelligence to laser and image based surveys of European classical architecture. ISPRS Journal of Photogrammetry and Remote Sensing, 76: 89-102 [DOI:10.1016/j.isprsjprs.2012.11.006]
  • Najafi M, Namin S T, Salzmann M and Petersson L. 2014. Non-associative higher-order Markov networks for point cloud classification//Proceedings of 2014 European Conference on Computer Vision. Zurich, Switzerland: Springer: 500-515[DOI: 10.1007/978-3-319-10602-1_33]
  • Nishida S I, Kawamoto S, Okawa Y, Terui F, Kitamura S. 2009. Space debris removal system using a small satellite. Acta Astronautica, 65(1-2): 95-102 [DOI:10.1016/j.actaastro.2009.01.041]
  • Opromolla R, Fasano G, Rufino G and Grassi M. 2015. Performance evaluation of 3D model-based techniques for autonomous pose initialization and tracking//Proceedings of AIAA SciTech Forum. Kissimmee, Florida, USA: AIAA: #1426[DOI: 10.2514/6.2015-1426]
  • Orts-Escolano S, Morell V, García-Rodríguez J and Cazorla M. 2013. Point cloud data filtering and downsampling using growing neural gas//Proceedings of the 2013 International Joint Conference on Neural Networks. Dallas, TX, USA: IEEE: 1-8[DOI: 10.1109/IJCNN.2013.6706719]
  • Qi C R, Su H, Mo K C and Guibas L J. 2017. PointNet: deep learning on point sets for 3D classification and segmentation//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 77-85[DOI: 10.1109/CVPR.2017.16]
  • Rangel J C, Morell V, Cazorla M, Orts-Escolano S, García-Rodríguez J. 2017. Object recognition in noisy RGB-D data using GNG. Pattern Analysis and Applications, 20(4): 1061-1076 [DOI:10.1007/s10044-016-0546-y]
  • Riveiro B, González-Jorge H, Martínez-Sánchez J, Díaz-Vilariño L, Arias P. 2015. Automatic detection of zebra crossings from mobile LiDAR data. Optics & Laser Technology, 70: 63-70 [DOI:10.1016/j.optlastec.2015.01.011]
  • Rodríguez-Cuenca B, García-Cortés S, Ordóñez C, Alonso M C. 2015. Automatic detection and classification of pole-like objects in urban point cloud data using an anomaly detection algorithm. Remote Sensing, 7(10): 12680-12703 [DOI:10.3390/rs71012680]
  • Sattler T, Torii A, Sivic J, Pollefeys M, Taira H, Okutomi M and Pajdla T. 2017. Are large-scale 3D models really necessary for accurate visual localization?//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 6175-6184[DOI: 10.1109/CVPR.2017.654]
  • Siebert S, Teizer J. 2014. Mobile 3D mapping for surveying earthwork projects using an unmanned aerial vehicle (UAV) system. Automation in Construction, 41: 1-14 [DOI:10.1016/j.autcon.2014.01.004]
  • Su H, Maji S, Kalogerakis E and Learned-Miller E. 2015. Multi-view convolutional neural networks for 3D shape recognition//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 945-953[DOI: 10.1109/ICCV.2015.114]
  • Sundermeyer M, Marton Z C, Durner M, Brucker M and Triebel R. 2018. Implicit 3D orientation learning for 6D object detection from RGB images//Proceedings of 2018 European Conference on Computer Vision. Munich, Germany: Springer: 712-729[DOI: 10.1007/978-3-030-01231-1_43]
  • Theiler P W, Wegner J D, Schindler K. 2014. Keypoint-based 4-points congruent sets-automated marker-less registration of laser scans. ISPRS Journal of Photogrammetry and Remote Sensing, 96: 149-163 [DOI:10.1016/j.isprsjprs.2014.06.015]
  • Wang J, Xu K, Liu L G, Cao J, Liu S and Yu Z. 2013a. Consolidation of low-quality point clouds from outdoor scenes//The Eleventh Eurographics/ACMSIGGRAPH Symposium on Geometry Processing. Genova, Italy: Eurographics Association Aire: 207-216[DOI: 10.1111/cgf.12187]
  • Wang J, Yu Z, Zhu W, Cao J. 2013b. Feature-preserving surface reconstruction from unoriented, noisy point data. Computer Graphics Forum, 32(1): 164-176 [DOI:10.1111/cgf.12006]
  • Wang H Y, Wang C, Luo H, Li P, Cheng M, Wen C, Li J. 2014. Object detection in terrestrial laser scanning point clouds based on Hough forest. IEEE Geoscience and Remote Sensing Letters, 11(10): 1807-1811 [DOI:10.1109/LGRS.2014.2309965]
  • Wang H Y, Xu J T, Gao Z Y, Lu C, Yao S. 2016. An event-based neurobiological recognition system with orientation detector for objects in multiple orientations. Frontiers in Neuroscience, 10: #498 [DOI:10.3389/fnins.2016.00498]
  • Weinmann M, Weinmann M, Hinz S, Jutzi B. 2011. Fast and automatic image-based registration of TLS data. ISPRS Journal of Photogrammetry and Remote Sensing, 66(S6): S62-S70 [DOI:10.1016/j.isprsjprs.2011.09.010]
  • White J C, Wulder M A, Vastaranta M, Coops N C, Pitt D, Woods M. 2013. The utility of image-based point clouds for forest inventory:a comparison with airborne laser scanning. Forests, 4(3): 518-536 [DOI:10.3390/f4030518]
  • Wohlhart P and Lepetit V. 2015. Learning descriptors for object recognition and 3D pose estimation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 3109-3118[DOI: 10.1109/CVPR.2015.7298930]
  • Wu Y H, Tang F L, Li H P. 2018. Image-based camera localization:an overview. Visual Computing for Industry, Biomedicine, and Art, 12: #8 [DOI:10.1186/s42492-018-0008-z]
  • Xia J Y. 2012. Researches on Monocular vision based pose measurements for space targets[D]. Changsha: National University of Defense Technology (夏军营. 2012.空间目标的单目视觉位姿测量方法研究[D].长沙: 国防科学技术大学)
  • Xie Z, Zhang J H, Wang P F. 2018. Event-based stereo matching using semiglobal matching. International Journal of Advanced Robotic Systems, 15(1) [DOI:10.1177/1729881417752759]
  • Xu B, Jiang W S, Shan J, Zhang J, Li L. 2016. Investigation on the weighted RANSAC approaches for building roof plane segmentation from LiDAR point clouds. Remote Sensing, 8(1): #5 [DOI:10.3390/rs8010005]
  • Xu W F, Liu Y, Liang B, Li C, Qiang W Y. 2009. Measurement of relative poses between two non-cooperative spacecrafts. Optics and Precision Engineering, 17(7): 1570-1581 (徐文福, 刘宇, 梁斌, 李成, 强文义. 2009. 非合作航天器的相对位姿测量. 光学精密工程, 17(7): 1570-1581) [DOI:10.3321/j.issn:1004-924X.2009.07.012]
  • Yang B S, Dong Z. 2013. A shape-based segmentation method for mobile laser scanning point clouds. ISPRS Journal of Photogrammetry and Remote Sensing, 81: 19-30 [DOI:10.1016/j.isprsjprs.2013.04.002]
  • Yu F, Xiao J X and Funkhouser T. 2015. Semantic alignment of LiDAR data at city scale//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 1722-1731[DOI: 10.1109/CVPR.2015.7298781]
  • Yu Y T, Li J, Wen C L, Guan H, Luo H, Wang C. 2016. Bag-of-visual-phrases and hierarchical deep models for traffic sign detection and recognition in mobile laser scanning data. ISPRS Journal of Photogrammetry and Remote Sensing, 113: 106-123 [DOI:10.1016/j.isprsjprs.2016.01.005]
  • Zai D W, Li J, Guo Y L, Cheng M, Lin Y, Luo H, Wang C. 2018. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts. IEEE Transactions on Intelligent Transportation Systems, 19(3): 802-813 [DOI:10.1109/TITS.2017.2701403]
  • Zhao H J, Shibasaki R. 2005. Updating a digital geographic database using vehicle-borne laser scanners and line cameras. Photogrammetric Engineering & Remote Sensing, 71(4): 415-424 [DOI:10.14358/PERS.71.4.415]
  • Zhang S J, Cao X B, Chen M. 2006. Monocular vision-based relative pose parameters determination for non-cooperative spacecrafts. Journal of Nanjing University of Science and Technology, 30(5): 564-568 (张世杰, 曹喜滨, 陈闽. 2006. 非合作航天器间相对位姿的单目视觉确定算法. 南京理工大学学报, 30(5): 564-568) [DOI:10.3969/j.issn.1005-9830.2006.05.008]
  • Zhang Y Q. 2016. Research on Vision Based Pose Measurement Methods for Space Uncooperative Objects Using Line Features. Changsha: National University of Defense Technology (张跃强. 2016.基于直线特征的空间非合作目标位姿视觉测量方法研究.长沙: 国防科学技术大学, 2016) http://cdmd.cnki.com.cn/Article/CDMD-90002-1017834273.htm