Print

发布时间: 2021-06-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200852
2021 | Volume 26 | Number 6




    三维视觉和图形技术    




  <<上一篇 




  下一篇>> 





视觉传感成像技术与数据处理进展
expand article info 王程1, 陈峰2, 汶德胜3, 雷浩3, 宋宗玺3, 赵航芳4
1. 福建省智慧城市感知与计算重点实验室(厦门大学), 厦门 361005;
2. 厦门理工学院计算机与信息工程学院, 厦门 361024;
3. 中国科学院西安光学精密机械研究所, 西安 710119;
4. 浙江大学信息与电子工程学院, 杭州 310058

摘要

本文以视觉传感的新视觉传感硬件、处理技术和应用场景为主线,通过综合国内外文献和相关报道来梳理该领域在成像技术和数据处理方面的主要进展。从激光扫描成像、大动态范围光学成像技术、偏振成像与传感技术和海洋声学层析成像等研究方向,重点论述视觉传感领域的发展现状、前沿动态、热点问题和趋势。基于激光扫描的3维建模技术虽然取得了一些进展,但仍面临居多挑战。随着硬件设备和数据处理技术的发展,未来激光扫描系统将在众多民用领域得到广泛应用,满足不同的探测和建模任务;大动态范围光学成像相关技术已逐步应用于红外成像、光谱成像、偏振成像、超声成像和单光子成像等领域,将为多维信息获取、智能处理以及数据挖掘等提供有力支撑;充分挖掘偏振成像的应用潜能,与其他先进成像传感技术相结合,实现更优性能,对各个尺度下的成像场景都具有重要的应用价值;海洋声学层析成像需要与其他方法相结合,发展基于分布式水下传感网络、卫星观测、海底电缆、人工与自然噪声机会声源等联合观测的低成本、长期观测网络。对国内外视觉传感领域进展情况进行梳理、总结,有助于发现该领域的发展趋势以及明确下一步的研究方向。

关键词

视觉传感; 激光扫描; 大动态范围成像; 偏振成像; 海洋声学层析成像

Review on imaging and data processing of visual sensing
expand article info Wang Cheng1, Chen Feng2, Wen Desheng3, Lei Hao3, Song Zongxi3, Zhao Hangfang4
1. Fujian Key Laboratory of Sensing and Computing for Smart Cities, Xiamen University, Xiamen 361005, China;
2. College of Computer and Information Engineering, Xiamen University of Technology, Xiamen 361024, China;
3. Xi'an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences, Xi'an 710119, China;
4. College of Information Science and Electronic Engineering, Zhejiang University, Hangzhou 310058, China

Abstract

Recently, significant developments of visual sensing have been observed in imaging technology and data processing, thereby providing great opportunities to enhance our ability to perceive and recognize our real world. Therefore, investigations on visual sensing possess important theoretical value and are required for application needs. Surveying the progress to understand the trend in the field of visual sensing and to clarify the future research direction is beneficial. The reviews are generated mainly based on analyzing peer-reviewed academic publications and related reports. A general description on the states of the art and trends about the visual sensing is provided, mainly including laser scanning, high dynamic range (HDR) imaging, polarization imaging, and ocean acoustic tomography. Specifically, for each of these imaging fields, parts discussed include new hardware, processing technology, and application scenarios. Processing of 3D point cloud data has become more effective along with the great progresses in deep learning and the advancement of hardware devices. Meanwhile, applications of 3D point cloud data are increasingly popular for diverse purposes. Over past several years, many domestic institutions and teams focused on developing algorithms for 3D point cloud data processing, such as in feature extraction, semantic labeling and segmentation, and object detection. In particular, several teams have conducted a number of substantive work in the production and sharing of standard data sets, which promote and improve the processing ability and application level of point cloud data. However, at present, the commercial hardware still has some deficiencies. Combining 3D point cloud data with observation from other sensors is a valuable but challenging task. Nevertheless, the laser scanning system is expected to be widely used in transportation, civil engineering, forestry, agriculture, and other civil fields in the future to satisfy different detection and modeling tasks. At the same time, with ongoing advancements in laser scanning equipment, it also plays an important role in understanding natural sciences, such as archaeology and geoscience. High dynamic range imaging is a hot research field in digital image acquisition, processing, display, and applications. Currently, researchers mostly focus on multiple exposure, different modulation methods, and multi detector methods in the HDR imaging. For example, through nonlinear response and multiple exposure imaging, the dynamic range can reach approximately 140 dB, and it can reach approximately 160 dB by using multi detector imaging. Using deep learning directly in HDR image mapping, instead of using traditional methodology, such as optical flow method and the combination of optical flow and neural network, has become a distinguished characteristic. Deep learning neural network has also been gradually applied to single exposure HDR reconstruction and tone mapping. Many domestic research teams have investigated the issues for the combination of deep learning neural network and HDR imaging. As expected, advancements in deep neural network provide a good opportunity for processing HDR imaging, such as in image fusion. With potential advancements in new detector materials, detector design, semiconductor equipment, and technology towards nanotechnology, new detectors with 10 megapixel resolution and dynamic range better than 160 dB will be available and will greatly improve the sensitivity under low illumination. Important fields urgently need breakthrough, including HDR imaging of dynamic scene and acquisition, processing and display of color HDR imaging with large dynamics, and wide color gamut. Compared with the progresses in polarization imaging made by other countries (e.g., the United States of America, Canada, and Japan), the systematicness and practicability in DoFP CMOS chip research domestically still need to be improved. In practice, the domestic institutions have made continuous achievements in many polarization imaging issues, including mosaic removal, polarization defogging, underwater polarization, polarization 3D imaging, imaging polarization spectral remote sensing, airborne polarization imaging, marine environment spectral polarization imaging, and spatial polarization detection. Furthermore, integrated optical detection of land, sea, air, and space is a critical demand, which promotes the rapid development of polarization imaging and sensing. In multisource data fusion, many methods and technologies showed excellent performance in their respective applications correspondingly, including multidimensional data acquisition and intelligent processing of "polarization +", polarization + infrared, polarization + spectrum, polarization + TOF, polarization structured light, fluorescence polarization imaging (FPI), polarization-sensitive optical coherence tomography (PS-OCT), polarization-dependent optical second harmonic imaging, and polarization confocal microscopy imaging. In ocean acoustic tomography, institutions from the United States of America published the largest number of papers, showing distinguished trends from other countries. At the same time, as a country with the largest number of published patents, Japan shows great importance to ocean acoustic tomography and has certain advantages in technological innovation. Compared with institutions from the United States of America and Japan, institutions from China have published relatively a small number of papers and patents in ocean acoustic tomography. With more than 40 years of its development, great progresses were made in theory and technology. However, the application of ocean acoustic tomography still faces the bottleneck of high cost of sea trial, which is also impossibly used as an observation means alone. In conclusion, 1) the 3D modeling based on laser scanning still faces many challenges, although progresses have been made recently. With the development of hardware and progress in data processing, laser scanning system benefits many civil fields in the future to satisfy different detection and modeling tasks; 2) high dynamic range optical imaging technology has been gradually applied to many fields, mainly including infrared imaging, spectral imaging, polarization imaging, ultrasonic imaging, and single photon imaging, which are valuable for multidimensional information acquisition, intelligent processing, and data mining; 3) fully exploiting the potential of polarization imaging has great value. Furthermore, to achieve its better performance, the combination with other advanced imaging sensing technologies is necessary. 4) Marine acoustic tomography needs to be combined with other means to develop a low-cost, long-term observation network, which is based on distributed underwater sensor networks, satellite observations, submarine cables, as well as using artificial and natural noise as sound source of opportunity.

Key words

visual sensing; laser scanning; high dynamic range imaging; polarization imaging; ocean acoustic tomography

0 引言

视觉传感技术具有可连续工作、适应恶劣环境、判断标准客观、速度快、效率高以及结果直观等优点(江登表,2014),主要包括激光扫描成像、大动态范围光学成像、偏振成像与传感和海洋声学层析成像等。随着视觉传感成像技术以及相应数据处理技术的迅速发展,对视觉传感的应用需求日益凸显。

激光雷达(light detection and ranging,LiDAR)通过发射激光和测量光返回传感器所需的时间估计物体之间的距离。通常包括振荡反射镜,可以实现多方向扫描。同时,利用特定的振荡机制,可以对周围环境进行2维和3维扫描。与其他感知方式相比,激光雷达的优势主要体现在:1)类型多样,可提供从几厘米到上百米不同的测量范围,适用于室内和室外环境;2)水平孔径通常在90°~360°之间;3)角分辨率通常小于1°;4)测量误差很小,通常与测量距离成线性关系,在短距离时可认为是一个常数;5)可以提供中、高采样率(通常在10~20 Hz之间可调),这对在动态环境的应用至关重要。主要缺点是价格昂贵、耗电量高(是相机的10倍以上)、在雾、暴雨或灰尘存在时扫描性能会下降。目前,以移动激光扫描(mobile laser scanning,MLS)为代表的激光雷达技术极大促进了城市室内外环境的3维建模,基于MLS的应用越来越多,主要包括建筑方面的建模、高清地图、建筑信息模型和交通可见性评估(Wang等,2020a)。

大动态成像系统(high dynamic range,HDR)一般是指动态范围大于80 dB的成像系统,其成像链路主要包括获取、处理、存储与显示等关键环节。大动态光学成像能够获取层次丰富、真实感强的复杂场景图像,在移动设备(智能手机、运动相机、AR(augmented reality)/VR(virtual reality)等)、高清视频(广播级视频相机、HDR电视等)、机器视觉(工业巡测、焊接监测、精密测量等)、智慧城市(ADAS(advanced driving assistance system)、智能交通、智慧安防等)、医疗健康(显微镜、内窥镜等)、科学研究(时域天文、生物医学等)以及航空航天(UAV(unmanned aerial vehicle)、对地遥感、深空探测等)等领域具有广泛应用。

偏振成像与传感技术利用目标辐射的偏振信息成像,而传统的成像技术主要研究目标辐射的光谱与强度信息,与之相比,偏振成像与传感技术能够反映物体的表面特征、形状、材质以及粗糙度等信息,可以提升信息探测维度,提高目标探测能力和识别准确度。作为新型高效的光学成像探测方法,偏振成像技术得到了快速发展,在3维重建(Zhu和Smith,2019Smith等,2019Kadambi等,2017)、生物医学成像(Chen等,2017a)、空间技术(Vorobiev等,2018)和海洋探测(Liu等,2018)等领域展现出广阔的应用前景。分焦平面偏振成像采用金属纳米线栅像素级微偏振阵列(micro-polarization array,MPA)与探测器集成(Gruev等,2010Zhao等,2009),每个像元对应感知一种方向的偏振分量,通常采用0°、45°、90°、135°四个方向线偏振的组合排布(Kulkarni和Gruev,2012)。相比于分振幅、分孔径等传统偏振成像方式,具有同时成像、光机结构紧凑、体积小功耗低和环境可靠性高等优势。

海洋声层析成像(ocean acoustic tomography,OAT)是利用海洋中声的传播时延或相位/幅度关系通过层析成像。层析成像的基础是投影—切片定理,通过该定理,实现了对一个物体或一种现象与过程的分层成像。通过海洋声层析成像,可对大尺度海域的海流、温度、热量运输等进行长时序测量与推断,监测海洋环境的空时变化。将其用以将多对发射—接收推断结果进行融合与拼接,可以得出测量海域的温度场和流速场(赵航芳等,2015)。海洋声层析成像较原位测量的优势主要体现在:1)可进行大规模空间集成,随着锚系潜标观测节点的增加,信息呈几何量级增加;2)可进行长时序观测,节点无人值守,时间可以年计;3)可在恶劣环境(如台风、冰下)稳定生存,可有效收集极端海洋过程或事件数据;4)近似全深度传感器布放提供了良好的垂直分辨力。

本文围绕激光扫描成像、大动态范围光学成像技术、偏振成像与传感技术和海洋声学层析成像等研究方向,论述视觉传感成像技术的发展现状、前沿动态、热点问题和趋势。

1 国际研究现状

1.1 激光扫描成像

有效处理海量、复杂且非规则的点云数据依然是一个挑战。本文对3维点云数据处理方面的情况进行总结分析,包括特征提取、语义标注与分割和对象/实例检测。

1.1.1 特征提取

特征提取主要包括两种方法:1)将高密度点云数据投影到2维图像中,然后采用图像处理技术;2)在特征空间对点云数据进行处理。线、面特征包含丰富的点云几何信息,特别是对人工环境(如城市建筑)而言。这类特征通常是平行的、正交的或共面的,进而可以有效降低点云的复杂度而不丢失主要几何信息。直线和平面提取已广泛应用于目标识别(Wang等,2015b)与重建(Zhang和Singh, 2015, 2018)等。对直线和平面提取通常是逐点处理的,为了加快点云处理流程,提出了基于超体素的解决方案。超体素可以看成是类似于超像素在3维空间域的表达,是一种很有前途的替代方案。使用超体素,一个点云被分割成若干个面片,然后以逐片方式而不是逐点处理。通过超体素可以显著减少信息冗余,实现全自动化处理,进而提升计算效率,同时信息损失最小。体素云连通性分割(voxel cloud connectivity segmentation,VCCS)是一种常用的超体素生成方法(Papon等,2013)。

1.1.2 语义标注与分割

点云的语义标记和分割需要通过将每个点分配给一个实体来理解和识别场景中有意义的实体。

针对特定任务设计相应的人工特征工程往往需要大量的人工干预。深度学习技术可以学习多任务的特征,并且学习过程以端到端的方式进行,几乎不需要人为干预。卷积神经网络(convolutional neural networks,CNNs)已经证明对处理规则格式的数据(如2维图像中像素的网格结构)是有效的。由于点云数据的不规则性,直接在点云上部署卷积神经网络是一个挑战。一般而言,面向3维点云分割的深度学习方法可分为体卷积网络(volumetric CNN)、多视图卷积网络(multiview CNN)和基于点(point-based)的方法,这3种方法分别对应3维体结构、多视图图像和原始3维点云数据。由于点云数据是非结构化的、不规则的和无序的,通常转换为3维形状和多视图图像,然后分别使用体卷积神经网络和多视图神经网络进行处理。

体卷积网络是对体数据进行操作,而体数据通常用3维二元体素网格表示。3D-ShapeNets将ShapeNets上的3维形状表示为3维网格上二进制变量的概率分布(Wu等,2015),体素网格使3维卷积运算成为可能。Qi等人(2016)使用辅助训练任务从部分子体积预测对象,进而解决过拟合问题,同时提出一个使用各向异性探测核卷积3维形状的模型。VoxNet(Maturana和Scherer,2015a)是面向体素的3维卷积网络,用于实时物体识别。VoxNet将物体表面的法向量合并到体素中,提高了识别能力。体卷积网络具有可靠性能,但存在量化误差、高内存消耗和计算成本等局限性。

多视图卷积网络是在3维点云投影到2维网格的基础上,再应用针对2维图像的高性能卷积网络分割算法进行处理。这类技术可以将3维物体映射成从不同角度拍摄的物体的2维图像集合,即多视点图像。与3维体素相比,多视点图像包含的信息更丰富,因此多视点卷积神经网络具有更好的性能。Su等人(2015)首次采用多视图卷积网络开展目标识别研究。针对3维物体检索应用,Leng等人(2015)提出堆积局部卷积自动编码器(stacked local convolutional autoencoder,SLCAE)。多视图卷积神经网络的主要缺点是3维投影到2维的过程中会发生信息丢失。

基于点的直接处理方法也非常流行(Wang等,2020bGuo和Feng,2020),许多方法可以使用对称函数的组合以端到端的方式直接应用于原始点云数据。PointNet(Charles等,2017)是首个基于点的方法。针对PointNet对局部特征提取不够完善的问题,Qi等人(2017)通过在局部区域上分层应用PointNet来扩展PointNet使其包含本地依赖项,提出了PointNet++。Zhou和Tuzel(2018)Li等人(2018)Wang等人(2019)通过引入其他方法改进局部依赖计算。VoxelNet将输入划分为体素,并使用每个体素中的点计算体素的特征向量,直接对点云进行处理以实现目标检测,并在堆叠体素特征编码层中分层应用(Zhou和Tuzel,2018)。Huang等人(2020)提出一种将局部特征嵌入低维鲁棒子空间的多尺度特征提取方法。为解决城市尺度场景语义分割的挑战,Landrieu和Simonovsky(2018)对3维点云数据中各对象间的上下文关系进行编码,首先将点云划分为一种简单形状——超级点(superpoint),然后使用PointNet嵌入这些简单形状进行进一步分割,进而通过这些超级点实现对大规模场景的分割。Xu等人(2020)提出基于超体素的去渲染特征和感知加权图形模型实现点云语义标注的监督分类方法。

1.1.3 对象/实例检测

3维目标检测是通过对3维场景中的物体进行定位和识别,从物体的点云中估计物体的3维边界框和语义标签,对机器人、自主驾驶和增强/虚拟现实等应用至关重要。相比于图像,由于对3维空间采样的不均匀性、传感器感知范围的限制以及遮挡的存在,3维点云数据呈现出稀疏性且点密度不一致。因此,从点云数据中识别物体仍然存在巨大挑战。点云目标检测方法大致分为3类:1)基于投影(projection-based)的方法,即将点云投影到多个透视图中,然后应用基于图像的目标检测方法。2)基于体素化(voxelization-based)的方法,即将点云栅格化为3维体素网格,然后转换为规则张量进行处理。3)直接法,即直接投影点云并检测边界框,而无需其他处理。

在基于投影法方面,Chen等人(2015a)将目标检测问题转化为能量函数最小化,相应的目标函数包含了对象大小先验、地平面、点云密度和离地距离等多种深度信息特征。Yang等人(2018)提出一种单级3维对象检测器(proposal-free, single-stage 3D object detector,PIXOR),根据点云像素级神经网络估计定向3维目标对象。由于基于投影的方法将点云投影到透视图中后再应用基于图像的技术,可能会牺牲关键的几何细节。

基于体素化的方法将不规则点云网格化为3维体素,然后应用3维卷积网络进行目标检测,往往无法充分利用数据的稀疏性,且3维卷积运算会导致时间开销大。Wang和Posner(2015)提出一种将滑动窗口方法应用于3维点云的目标检测框架,并证明3维穷举窗口搜索可以有效解决稀疏性问题。Maturana和Scherer(2015b)提出一种针对有植被覆盖区内潜在模糊小障碍物的检测策略,将3维空间占用图与3维卷积网络相结合,训练出一个高效高精度的框架对原始占用数据进行检测。Engelcke等人(2017)采用稀疏卷积层构造了卷积神经网络Vote3Deep,在点云中检测3维对象。Li(2017)提出一种用于点云中目标检测的3维全卷积网络。Zhou和Tuzel(2018)提出VoxelNet,将特征提取和边界框检测集成到一个端到端深度网络。

直接法通过对原始点云进行操作,实现无需其他处理的情况下直接预测边界框。Shi等人(2019)提出面向点云3维目标检测的PointRCNN,通过在规范坐标系下采用自底向上的3维粗生成和细化完善。Qi等人(2019)引入VoteNet,采用投票方式直接从点云提取对象质心,并通过局部几何聚集投票生成高质量的对象。Lang等人(2019)提出PointPillars方法,通过采用2维卷积层实现端到端学习,进而检测3维目标,由于采用了新的编码器,可以学习点云垂直列上的特征来预测对象的3维定向框。随着适合点云的深度学习体系结构的发展,3维目标检测在点云处理中起着关键作用。然而,直接检测原始点云中的3维物体仍然是值得进一步研究的问题。

1.2 大动态光学成像

1.2.1 大动态光学成像技术

大动态光学成像技术主要包括基于HDR探测器的大动态成像、光强调制类HDR成像和HDR实时处理。

在基于HDR探测器的大动态成像方面,国外工业相机和科学相机厂家(如Horiba、Basler、IDS、Imperx、Sony、Canon等)不断推出采用HDR探测器的商业相机产品,均有动态范围约100 dB左右的成像性能,国际上专业广播级摄像机的动态范围可高达120 dB左右。

光强调制类HDR成像主要包括单探测器调制HDR成像、多探测器实现HDR成像和基于SLM(spatial light modulator)方法的HDR成像。单探测器调制HDR成像是对入射光强采用不同方法进行调制,在探测器上成像,再将获取的数据经过HDR图像处理实现大动态成像。Manakov等人(2013)采用3×3图像复制与调制成像,动态范围提高256倍,达到108 dB。Sun等人(2020)采用衍射光学元件(diffractive optical element,DOE)调制实现单帧大动态成像。Metzler等人(2019)结合深度学习优化光学系统位相及PSF(point spread function)实现单帧大动态成像。多探测器实现HDR成像是采用多个探测器,结合不同增益、曝光等方法,实现大动态成像。2012年JAI公司推出HDR彩色相机AD-132GE,用两个面阵CCD(charge coupled device)探测器实现120 dB大动态成像;Yamashita和Fujita(2017)采用4片探测器进行彩色HDR成像,动态范围在100 dB以上;Seshadrinathan和Nestares(2017)提出2 × 2相机阵列大动态成像及处理方法。采用多探测器实现HDR成像,因复杂性和效费比等因素,需要结合实际应用多方面综合考虑。基于SLM方法的HDR成像主要有Riza和Mazhar(2020)提出的CAOS(coded access optical sensor),采用单个空间光调制器SLM/DMD(digital micromirror device)及自适应编码等方法实现大动态成像,实现了对低对比目标90 dB动态范围的细节恢复。

在HDR实时处理方面,随着半导体技术和电子技术的快速发展,基于FPGA(field programmable gate array)、ISP(image signal processor)和GPU(graphics processing unit)等的快速实时处理与成像相机技术相结合,典型的代表性方法主要包括:1)基于GPU的实时HDR成像。Guthier等人(2012)基于GPU完成了23帧/s的高动态图像捕获,实时TMO(tone mapping operator)和显示整个流程。Köstler等人(2016)提出针对医学X射线HDR图像的梯度域GUP快速压缩方法,达到对16.8兆像素图像25帧/s的处理速度。Banterle等人(2016)提出一种混合色调映射方法,实现对1 920×1 080像素分辨率HDR图像45帧/s的处理速度。2)基于FPGA/IP核的HDR实时成像。Lapray等人(2015)研制了HDR-ARtiSt大动态自适应智能实时相机,实时处理1 280×1 024像素@60帧/s的HDR视频图像,主要特点是自适应帧间3次曝光控制、3通道彩色并行管理、硬件实现Devebecs大动态合成算法及全局色彩映射等。Ou等人(2020)提出一种快速全局与局部自适应TOM算法及其FPGA实现。Park等人(2020)提出采用Zynq7000平台实现低功耗高吞吐量的实时视频增强Retinex处理。Yang等人(2020)使用FPGA实现基于Mantissa-Exponent的全局色调映射算法。3) 基于ISP实时HDR成像。目前大动态ISP实时成像技术在手机、数码相机、视频监控和ADAS等领域得到较广泛应用。Mody等人(2015)提出一种灵活的体系结构进行WDR(wide dynamic range)数据流实时处理。2018年高通公司推出计算视觉CV-ISP(qualcomm spectra 380),支持4K HDR@60帧/s大动态计算成像和视频成像。2019年ARM(advanced RISC machines)发布针对智慧连接设备的Mali-C52/C32芯片,具有4K@60帧/s实时HDR视频处理能力。随着人工智能(artificial intelligence,AI)技术在HDR成像中应用,Chaudhari等人(2019)提出多次曝光大动态图像处理器Merging-ISP,采用深度神经网络构架,能够从多次曝光的色彩滤波阵列(color filter array,CFA)编码图像直接恢复HDR图像,端到端的机器学习使其能恢复视觉细节信息。Lee(2019)提出一种面向ADAS的ISP方案,嵌入了卷积神经网络硬件加速器,实现高动态场景成像的行人车辆检测。

1.2.2 图像融合及色调映射

图像重建作为大动态光学成像的核心组成部分主要包括多曝光图像融合、单曝光图像重建及色调映射。

在多曝光图像融合方面,Merianos和Mitianoudis(2016)结合独立成分分析(independent component analysis,ICA)多模态图像和YCbCr空间形成了一种新的图像融合算法。Granados等人(2013)针对图像配准及伪像抑制问题,提出从能量优化角度保持图像的一致性或区分参数的不一致性。Zimmer等人(2011)利用基于光流方法实现图像像素级配准。Sen等人(2012)提出基于图像块的合成方法处理参考图像,形成完全配准的图像堆栈补偿摄像机和场景运动。Kalantari和Ramamoorthi(2017)首先提出将深度学习神经网络应用于HDR融合处理,设计了3种利用卷积神经网络进行HDR重建方法;Wu等人(2018)提出一种完全借助CNN网络的端到端网络模型,Yan等人(2019)提出通过引入的注意力机制改善重建信息权重,获得有效消除伪像和更鲁棒的融合处理性能。

在单曝光图像重建方面,Eilertsen等人(2017)提出HDR-CNN网络,重点解决过饱和区域细节信息丢失问题。Marnerides等人(2018)提出采用多尺度网络结构的ExpandNet网络,同时兼顾图像整体亮度和增强局部细节信息。在欠曝区域修复方面,Moriwaki等人(2018)提出一种混合损失指导的网络模型,提高单帧图像HDR重建性能。Khan等人(2019)提出端到端反馈网络FHDR(feedback-HDR)实现单幅曝光图像生成HDR图像。Choi等人(2020)采用金字塔注意力模块(pyramid inter-attention module,PIAM)与双重激励模块(dual excitation block,DEB)相结合生成无鬼影的HDR图像。Santos等人(2020)提出一种基于CNN的单图像HDR重建方法,利用特征屏蔽机制减少来自饱和区域的特征贡献,通过基于VGG的感知损失函数实现更加真实的重建效果。

在色调映射方面,Kim等人(2014)使用RGB色空间归一化建模色调映射曲线减轻颜色对比度失真。目前,人工智能的快速发展为HDR色调映射算法的拓展提供了更多可能性。Kim等人(2016)提出将WLS(weighted least squares)滤波器与神经网络相结合;Xu等人(2019b)提出一种采用生成对抗网络(generative adversarial networks,GAN)多次曝光逆色调映射MITM(multi-exposure inverse tone mapping)从LDR图像生成HDR的方法;Rana等人(2020)提出深度卷积神经网络(deep convolutional neural network,DCNN)神经网络用于HDR图像色调映射。Ou等人(2020)对50多种实时色调映射算法的处理性能作了深入研究与总结。

1.3 偏振成像与传感技术

在新型偏振成像与传感技术领域,国际上具有代表性的研究机构主要有美国哈佛大学、麻省理工学院、亚利桑那大学光科学中心、罗彻斯特理工学院、英国帝国理工学院、布里斯托大学和澳大利亚新南威尔士大学等。国外在该领域具有更深入的研究、更丰富的理论基础和研制水平。

Gruev(2011)通过优化的干涉光刻与微纳加工技术实现了微偏振片阵列的制备,像素间距18 μm,各偏振片由间距140 nm,高度140 nm,宽度70 nm的铝纳米线组成,阵列的最大消光比在700 nm波长下为95 dB,工艺可以直接在CMOS/CCD表面进行,突破了同一衬底单片集成,为DoFP(division of focal plane)偏振成像技术发展奠定基础。美国亚利桑那大学光科学中心提出快照式偏振编码相移条纹投影3D测量技术(Chen等,2015b),随后推出彩色全斯托克斯偏振投影3D成像系统(Tu等,2017),在偏振成像技术及其系统研制方面具备丰富的研究经验。Tozza等人(2017)提出采用偏振与阴影约束进行目标相对深度恢复,求解线性微分方程组实现全局最优的高度估计,克服传统3D重建技术对光源与纹理特征的依赖,有效抑制背景噪声的干扰,为被动单目单视图偏振成像3维重建技术提供了理论支撑。

1.4 海洋声学层析成像

OAT(ocean acoustic tomography)的主要问题是观察网格稀疏,构成的推断方程组中未知量远多于方程数,属于欠定逆问题求解。研究人员一方面利用声传播正问题提供的先验信息作规则化约束,获得数据导向欠定逆问题的解;另一方面,利用声场自身的演化特性,发展了Gauss-Markov模型导向逆问题求解方法,通过迭代逐步收敛到稳定解(Munk等,1995)。从1981年开始30余年以实验验证为主(DeFerrari和Nguyen,1986Howe,1987Howe等,2003Jin等,1993Dushaw和the ATOC Group,1999Dushaw等,2009, 2013Worcester等,2013),国外进行了20多次大型海上试验,试验设备已从固定潜标、拖曳声源与接收阵演变到水下滑翔机等,深海试验区域覆盖了百慕大群岛、地中海、大西洋,乃至西太平洋的菲律宾海。声层析最著名的应用之一是1996—2006年间运行的全球测温计划(acoustic thermometry of ocean climate,ATOC)(Dushaw和the ATOC Group,1999),用声学方法进行盆地尺度海洋热含量观测,以监测全球是否变暖。海洋声层析成像往往需要在观测区域外围布放大型锚系观测潜标,涉及许多技术问题。因此对高功率、长持续时间流域规模的试验,首选是海底有缆系统,通过海底电缆供电、数据传输并进行时钟同步。发射声源是观测潜标最关键的设备之一,为实现远距离传播,声源多为低频。1994年在北冰洋进行的TAP(trans-arctic propagation)实验和1999年的ACOUS(acoustic climate observations using underwater sound)项目使用的声源频率更是低至近20 Hz(Mikhalevsky和Gavrilov,2001)。观察多年冰层急剧减少的声源的工作频率32 Hz,带宽10 Hz,1 m直径,0.2 m厚,重量270 kg,目前已经商业化(Meier等,2014)。将不同声源组合成小阵列,可以扩大带宽,提高功率,形成垂直指向性,使声波更多的能量在声道轴中传播。

在对层析设备获取的数据处理上,也需要考虑海洋动力学过程的影响。例如内波导致的散射会影响每条声线的传播时延的测量,可利用估计器—相关器平滑到达脉冲以提高信噪比,再利用Viterbi算法等自动跟踪峰值,完成传输时延序列的生成(Dzieciuch,2014)。早期,Munk等人(1995)利用随机反演方法解释声传播时间,以获得温度场和海流场的估计。随着海洋环流模型的垂直分辨力和保真度的提高,现在用声波传播时间直接约束模型,以符合海洋动力学的方式组合来自不同时间和地点的声学和其他数据(Lebedev等,2003)。时间演化的海洋环流模式通过强化质量、动量和其他特性的守恒,隐含提供了大量关于海洋的信息。将数据与模型相结合的做法称为状态估计或同化,同时测试和约束模型。有多种方法可用于解决这一问题,例如变分数据同化(four-dimensional variational,4DVAR)和集合卡尔曼滤波(Gopalakrishnan等,2019)。采用海冰耦合模型的状态估计得到了越来越多的关注(Fenty和Heimbach,2013Stammer等,2016Nguyen等,2017)。现有的冰—海耦合模式可以同化来自遥感的海冰参数和漂流海冰浮标的剖面,以改进海冰预报。然而,由于缺少冰下观测数据,仅对海表参数进行同化,冰—海模型是无约束的,其性能或多或少是未知的。需要声学方法提供冰下数据来测试冰—海模型的大尺度行为,并进行约束。

2 国内研究进展

2.1 激光扫描成像

在3维目标检测领域,Li等人(2016)将3维点云以2维图像来呈现,然后采用全卷积网络同时预测检测对象和边界框的置信度。Li等人(2018b)通过在类PointNet的多层感知器之前对局部区域应用X变换(X-transformations),提出PointCNN。Chen等人(2017b)通过使用激光雷达点云和图像检测定向3维边界框,提出多视图3维网络(multi-view 3D networks,MV3D)框架。王程团队在激光扫描点云数据处理与建模方面开展了大量工作: Lin等人(2018)将超体素分割问题形式化为利用各点局部信息启发式地有效优化子集选择问题。Zai等人(2018)受点云分割方法的启发,提出一种改进的超体素算法生成具有自适应大小的超体素。Wang等人(2015a)将超体素算法与Hough森林框架相结合,提出一种高效的3维目标检测方法。同时,在多平台激光点云数据应用方面开展了不少研究,如建筑3维建模(吴华意等,2007吴君涵等,2016李立雪等,2017杜建丽等,2019Wang等,2020a)。

同时,在近地面3维标准数据集的生产和共享方面做了大量工作。在国际摄影测量与遥感学会(International Society for Photogrammetry and Remote Sensing,ISPRS)的科学启动计划资助下,由厦门大学主持,加拿大卡尔加里大学、奥地利维也纳科技大学、中国地质大学和意大利都灵理工大学等共同参与完成的ISPRS多传感器室内建图和定位标准数据集(MiMAP)已在线发布(www.mi3Dmap.net)。武汉大学联合其合作者发布了全球最大规模、多类型场景地面站扫描点云配准基准数据集WHU-TLS(Wuhan University terrestrial laser scanner(TLS)),涵盖了地铁站、高铁站、山地、森林、公园、校园、住宅、河岸、文化遗产建筑、地下矿道、隧道等11种不同环境(Dong等,2020)。

2.2 大动态光学成像

2.2.1 成像技术

基于大动态探测器的HDR成像,国内生产厂家推出采用各种HDR探测器的大动态成像相机产品,如海康威视、鑫图光电和图灵微视等相机厂家均有HDR相机产品。科学级高动态范围相机研究取得进展。孙宏海等人(2017)研制的科学级相机,动态范围达到约72.8 dB;2018年中国科学院西安光学精密机械研究所采用三段非线性响应探测器研制的成像相机,动态范围达到94 dB;Tang等人(2020)采用GSENSE400BSI探测器与FPGA处理技术开发的相机,达到95 dB动态范围。

光强调制类HDR成像,在单探测器光强调制HDR成像方面,潘京生等人(2017)采用MCP增强器与图像传感器及门控选通等结合,实现单光子大动态成像。2018年“珞珈一号”卫星成像载荷实现了高灵敏度、大动态范围夜光遥感成像;孙武等人(2018)采用sCMOS(scientific CMOS)、DTDI(digital domain time delay integration)等技术,拓展推扫式遥感相机动态范围;Xie等人(2020)提出一种基于压缩传感的降维多次曝光大动态成像方法。在多探测器实现HDR成像方面,薛旭成等人(2012)采用双排TDI-CCD(time delayed and integration charge coupled device)提高相机动态范围15.56 dB;黄思婕(2015)提出面阵凝视的多次参数探测(动态范围152.6 dB)和线列扫描双列探测器(动态范围140 dB)的信息获取方法,设计了大动态范围可见光成像样机,实现地球静止轨道遥感相机129.7 dB大动态范围的获取。在基于SLM方法的HDR成像方面,陈怀章等人(2013)提出一种DMD驱动的像素级调光算法——自适应空间区域法,动态范围可达130 dB以上;何舒文等人(2015)设计一种基于DMD的高动态成像系统,动态范围达到126 dB;Xu和Hua(2017)采用两个LCoS(liquid crystal on silicon)调制器进行高动态范围头戴显示系统(head mounted display,HMD)设计;Sun等人(2019)设计一种基于DMD的双目高动态系统,动态范围达到180 dB;Zhou等人(2019)提出一种采用2片DMD、中继成像的成像方法,理论动态范围可达216 dB,相比单DMD提升1.5倍。

大动态HDR成像实时处理,在基于GPU实时HDR成像方面,陈志国(2018)从GUP加速计算的角度对基于金字塔分解和传导滤波的多曝光融合算法的并行化实现进行研究。赵高伟(2019)研究了限制对比度直方图均衡算法的并行化实时加速处理技术,构建了CPU+GPU的异构平台的HDR视频生成实验系统,实现了输出1 024 × 754像素视频图像的处理速度。郑驰等人(2019)引入REC.2020(ITU-R Recommendation BT.2020)色域变换,利用GPU并行加速计算实现了HDR显微图像视频流的实时显示。在基于FPGA/IP核HDR实时成像方面,Zhang和Li(2016)Liu等人(2019)提出Retina-Inspired模型,减少光晕伪影实现大动态范围成像,采用Virtex-7 FPGA实时完成色调映射。Tang等人(2020)提出一种新的结合双增益通道图像特征的高动态范围图像处理方法,有效克服多重曝光技术的重影现象,采用FPGA进行双通道视频获取、图像缓存,HDR合成和色调映射,可生成1 920 × 1 080像素@60帧/s实时HDR实时视频流,将动态范围扩大到95 dB。在基于ISP实时HDR成像方面,复旦微电子公司、上海富瀚微电子公司等开展ISP相关技术研究。富瀚微电子公司FH8556高清摄像机ISP支持两帧合成HDR。2020年创维推出内置高性能ISP摄像机,支持8 K HDR@30帧/s视频成像。AI芯片初创企业如深鉴科技、寒武纪、地平线和眼擎科技等在AI安防芯片领域开展相关技术研究。

2.2.2 图像融合及色调映射

在多曝光图像融合方面,胡燕翔和万莉(2014)使用整体亮度范围、局部对比度和颜色饱和度为指导进行多尺度多曝光图像融合。张东阳(2015)开展了基于照度区域划分的多曝光重建算法研究。刘宗玥(2016)对多曝光图像融合过程中的降噪方法进行研究。李莹莹(2016)研究了基于YUV空间和RGB空间的拉普拉斯金字塔分解图像融合算法。何玉婷(2017)针对工业视觉物体识别应用需求和图像特点,对Mertens算法的简化进行了研究。李雪奥(2018)对直接从LDR图像到HDR图像的映射问题进行研究,提出一种基于卷积神经网络的多曝光图像融合方法。吴蕊(2020)设计了一种三层级联网络结构,用于HDR图像的融合。

在单曝光图像重建方面,常猛等人(2018)提出一种曝光校正方法,使用WLS滤波分解处理欠曝光区域,使用Retinex模型处理过曝光区域,增强对比度和细节,对校正后的图像进行融合得到多区域增强图像。Li和Fang(2019)提出HDRNET(high dynamic range network)单帧图像重建方法。叶年进(2020)提出一种对图像的过曝光区域和欠曝光区域进行细节修复与动态范围扩展的神经网络。Liu等人(2020)给出一种逆成像链机器学习方法——单帧大动态复原方法。

在色调映射方面,陆许明等人(2015)提出一种基于直方图裁剪补偿的全局色调映射方法。李成等人(2018)改进Kinser的生物视觉皮质模型,提出能够提升暗区亮度、保留高亮信息的交叉视觉皮质模型。孙晨康(2015)在局部映射中加入权重导向滤波器,线性处理滤波后的基本层图像信息,将细节层与压缩后的基本层图像进行融合,完成图像压缩映射。蒲雅蕾(2015)对LEP滤波器色调映射算法的改进进行研究。程虹(2019)提出一种细节保持的色调映射算法。Xiao等人(2014)提出一种基于图像色貌模型的分层色调映射算法。陈权斌(2014)包江城(2015)分别对局部映射和全局映射的Reinhard算法进行改进。

2.3 偏振成像与传感技术

国内对光学偏振的研究早期主要应用于气溶胶探测、地物分类等领域。随着新型偏振元件、高性能探测器以及智能算法的快速发展,新型偏振成像与传感技术的研究引起广泛重视,清华大学、西安交通大学、西北工业大学、香港科技大学、天津大学、苏州大学、深圳大学、南京理工大学、长春理工大学、中国科学院西安光学精密机械研究所、中国科学院长春光学精密机械与物理研究所和上海技术物理研究所等都进行了相关研究工作。

2014年中国科学技术大学通过电子束光刻技术(electron beam lithography, EBL)与感应耦合等离子刻蚀技术(inductively coupled plasma-reactive ion etching, ICP-RIE)相结合降低了工艺复杂性,制造了320 × 240铝纳米线栅微阵列,占空比0.5,高度100 nm,消光比75 dB,最大偏振透射率78.8%,并与CCD集成实现偏振图像采集(Zhang等,2014)。2017年西安交通大学与美国亚利桑那大学联合提出一种快照式分焦面偏振成像光谱仪(Mu等,2017),基于像素级微偏振阵列和多狭缝色散路径的积分场光谱技术,采集偏振光谱数据立方体,并具备快速解析偏振光谱特征的能力。2018年清华大学、深圳大学和美国伊利诺伊大学联合提出一种多方向自适应插值技术(Ahmed等,2018),采用3种模式的DoFP偏振成像对人类肝癌组织纤维结构进行处理,可以得到良好的纤维组织形态,展示了DoFP偏振成像应用于医学影像领域的潜力。2018年西安电子科技大学提出混沌水体主动照明偏振成像技术(Liu等,2018),充分挖掘该类水体成像过程中背景光和目标光之间微弱的偏振特性差异,并综合利用波长选择原理将上述偏振特性差异进行一定程度的放大,最终成功解译目标信息,实现高浑浊度水体成像。

2.4 海洋声学层析成像

何利等人(2006, 2011)基于东海、黄海和南海的海上实验数据验证了匹配场处理用于反演平均声速剖面的有效性。杨士莪团队研究了利用经验正交函数表示的声传播时间匹配方法的可行性,并进行声速反演对基阵失配的敏感性分析(唐俊峰和杨士莪,2006张维等,2015)。国内对声层析成像的研究主要集中在沿海声层析成像(coastal acoustic tomography,CAT)领域,对港口、海湾、海峡和内陆海的潮汐流进行持续监测。朱小华团队在舟山、钱塘江等进行了多台沿海声层析测流,在舟山观测到了3~4 km大小的潮流涡旋(Zhu等,2010, 2012, 2013朱泽南等,2015)。李建龙等人(2012)采用基于卡尔曼滤波的同化方法分别解决了沿海声层析中水平切面的流层析以及双节点的垂直切面流层析问题。Wang等人(2018)利用数据驱动的方法从数据中获得时间和空间相关的权重,采用Kalman滤波器实现了海流场的跟踪。Huang等人(2019)利用人工上升流实现了对水温的层析成像。Yu等人(2019)利用高频声信号对河流入海口的距离平均温度进行层析成像。国内的深海声层析领域目前在起步阶段,赵航芳团队进行了海洋声层析希尔伯特空间理论框架、时延敏感核方法、最小二乘方法、最大熵方法和变维贝叶斯方法的研究和一对发—收节点的试验与数据分析(赵航芳等,2015汪非易,2016黄颖,2017申屠帅,2018邱炎,2019Ji和Zhao,2019),目前尚未进行深海海域的大范围层析成像试验。

3 国内外研究进展比较

在激光扫描成像方面,随着深度学习的快速发展和传感器等硬件设备的迭代更新,3维点云数据的采集和处理日益快捷高效,应用场景也越来越丰富。目前,在商业化硬件方面,国内存在一定不足。在数据处理算法方面,国内许多机构和团队已经达到世界领先水平,在点云数据的应用领域也更广,学科间交叉融合也更加丰富。尤其是相关团队在标准数据集生产和共享方面做了大量实质性工作,将促进和提升点云数据的处理能力和应用水平。

在大动态HDR成像技术方法方面,国内外研究大多集中在多次曝光、不同方法调制及多探测器方法。采用非线性响应、多次曝光成像,动态范围达到约140 dB,采用多探测器成像可达到约160 dB动态范围。在实时HDR视频处理方面,GPU应用研究主要集中于HDR图像/视频的实时显示,利用GPU并行处理能力实现对高分辨率图像的色调映射加速操作,并以异构平台方式形成完整的HDR成像系统,国内外都能实现对大动态高清视频图像的实时处理。针对手机、数码相机及视频监控等领域的HDR视频成像应用,国外有多种高性能商业化ISP器件,国内成熟的ISP器件产品较少且处理性能与国外比有不小差距。在HDR图像融合及色调映射处理方面,对于静态多曝光HDR图像融合,利用传统处理方法已能很好解决。对于动态图像/视频的HDR融合重建,特别是大尺度前景移动的数据,融合图像的精确对齐仍然是当前面临的挑战,如何抑制融合图像的伪影和畸变是目前国外研究的热点。近年来,国外研究方向呈现出从传统光流方法、光流与神经网络结合向利用深度学习直接图像映射的发展脉络,深度学习神经网络也逐步应用于单曝光HDR重建与色调映射研究。深度神经网络的兴起为我国在HDR图像融合方面赶超国外研究水平提供了良好契机,国内科研团队已在加大结合深度学习神经网络与HDR融合的研究工作。

在分焦平面偏振成像领域,美国率先完成系统集成与测试,早期军方与中波红外相结合进行目标探测,在民用领域4D Technology推出PolarCam快照微偏振相机,实现了宽光谱响应、宽角带宽和高消光比,探测器应用的是SonyIMX250MZR,同时索尼也推出了IMX250MYR,实现了微偏振阵列与拜尔滤波片结合的彩色线偏振CMOS芯片,加拿大Lucid公司推出了这两款相机的小型化设计,截面仅一元硬币大小。国内的DoFP CMOS芯片研究的系统性与实用性仍需有待提升。在应用层面,国内科研机构在偏振去马赛克、偏振去雾、水下偏振、偏振3维成像、成像偏振光谱遥感、机载偏振成像、海洋环境光谱偏振成像和空间偏振探测等方向不断取得成果。地海空天一体化的光学探测需求促进了偏振成像与传感的快速发展,部分研究成果已经处于国际领先水平。

通过对文献和专利知识产权的统计表明,论文数量最多的国家为美国,远高于其他国家;专利最多的国家为日本,说明日本对这一领域非常重视,在技术创新领域有一定优势;我国无论是论文数量还是专利数量都较少。此外,从机构研发领域来看,虽然论文数量排名第一的机构是俄罗斯科学院,但排序前10名的机构里有7所属于美国,可见美国在海洋声层析领域占有一定优势。整体而言,目前中国在海洋声层析技术领域明显落后于美国、日本及俄罗斯等国家。

4 发展趋势与展望

基于MLS扫描的3维建模技术虽然取得了一些进展,但仍面临居多挑战。首先,下一代MLS系统必须具备一个新的基于光纤陀螺(fiber optic gyro, FOG)的IMU(FOG-based IMU)(Xu等,2019a)和一个多GNSS(global navigation satellite system)星座接收机来提高定位精度。同时,还需集成更小的激光扫描头,实现更高的扫描频率以及更容易的操作。随着硬件技术的快速发展,MLS系统的预期成本将持续下降,MLS系统将得到更广泛的应用。因此,应当开展更多的研究和应用来探索和发挥MLS的应用潜力,尤其是结合激光雷达数据和无人机图像的应用。此外,需要依据采集数据的特征和应用场景开发相应的处理算法和流程,如面向地形提取、城市3维建模以及植被分析等的自动算法需要进一步发展。当前,基于深度学习的点云处理尚处于起步阶段,未来的研究工作不仅应该集中在提高数据集的准确性和算法的性能上,而且应该确保方法的稳健性和可移植性。尤其是为了解决对真实世界的点云采样不均匀、不充分情况,需要开发更成熟的深度学习体系框架。目前很少有公开数据集能完全涵盖真实城市场景的复杂性,因此对复杂城市街道的语义理解是人工智能面临的挑战。快速增长的城市MLS点云数据将产生一种新的地理大数据类型,也为开发处理点云的人工智能模型提供了更多有利条件。值得注意的是,现实世界往往是动态变化的,然而目前多数方法只讨论从单次扫描建立精确3维(城市)模型,缺乏对真实世界动态信息的关注。将点云与相机等其他传感器相结合的动态3维建模更具挑战性和研究价值。可以预见,未来MLS系统将在交通、土木工程、林业和农业等民用领域得到广泛应用,满足不同的探测和建模任务,同时也将在对考古学和地学等自然科学的理解中发挥重要作用。

近年来,大动态光学HDR成像技术已逐步应用于红外成像、光谱成像、偏振成像、超声成像和单光子成像等众多领域,将为多维信息获取、智能处理和数据挖掘等提供有力支撑,未来技术发展的关注点主要包括:1)随着新型探测器材料、探测器设计、半导体设备及工艺向纳米技术迈进,预计千万像素分辨率、动态范围优于160 dB的新型探测器将面市,大幅提高低照度下的灵敏度;2)结合应用场景,采用人工智能、神经网络等新型图像融合及色调映射处理方法,与高性能SoC/MPSoC、NPU(neural network processing unit)等硬件结合的(AI + Camera)一体化/软件定义的成像技术,将为大动态、One-Shot/多帧实时视频成像开辟新的技术途径;3)动态变化场景的HDR成像及大动态、宽色域、彩色HDR成像的获取、处理和显示等成为急需突破的重要领域。

偏振是光的基本特性之一,光学成像方法都有偏振现象的存在,因此充分挖掘偏振成像的应用潜能,与其他先进成像传感技术相结合,实现更优性能,在各个尺度下的成像场景都有重要的应用价值。在研究过程中,先进工艺、智能算法、多源融合等多个领域共同构建出新型偏振成像技术的发展链路。在先进工艺方面,亚波长器件的设计与制造、超表面材料、手性超透镜、圆偏振二向色性器件等的理论研究与设计实现都对偏振成像具有重要意义,甚至会推动新体制成像产生颠覆性进展。在智能算法方面,针对偏振图像数据的去雨去雾、检测识别、语义分割等技术还有待深入研究;偏振解析3维重建可以克服传统双目视觉法、飞行时间法、激光线扫法、光度立体法和结构光投影法等传统方法中的工作距离、主动照明、环境光影响、高光影响及纹理特征等限制,实现紧凑被动单目单视图偏振成像3维重建,作为感知真实3维世界的重要信息获取手段,为重构物体真实几何形貌及后续的检测、识别等提供数据基础。在多源融合方面,“偏振+ XX”技术的多维数据获取与智能处理,偏振+红外、偏振+ 光谱、偏振+ ToF(time of flight)、偏振结构光、偏振荧光成像(fluorescence polarization imaging,FPI)、偏振敏感光学相干层析技术(polarization sensitive optical coherence tomography,PS-OCT)、偏振二次谐波技术(polarization dependent optical second harmonic imaging)、偏振共聚焦显微成像等技术都在各自的应用场景展示了优异性能。

声层析成像技术经过40多年的发展,理论和技术得到了长足发展,但仍然面临海试费用高、无法单独作为观测手段的瓶颈,未来发展中需要与其他手段结合,发展基于分布式水下传感网络、卫星观测、海底电缆、人工与自然噪声机会声源等联合观测的低成本、长期观测网络。一个有前景的层析方案是采用分布式水下传感网络,增加节点数量,在待观测区域的外围与内部密集布放观察节点,节点可以是低功耗的、小型低成本的,还可以结合一定数量的移动节点,如自主水下航行器(autonomous underwater vehicle,AUV)和滑翔机。分布式层析的系统设计、分布式处理方法和性能分析都有待进一步发展。被动声层析(passive acoustic tomography,PAT)的目的是避免利用锚系高功耗的声源,而采用人工和自然环境噪声作为层析成像信号。航船、渔业、海洋工程等产生的人工噪声、风成噪声、生物噪声、降雨噪声和冰下噪声等自然噪声都可以作为层析成像信号。将海洋声学层析成像、海洋动力测量、卫星遥感和海洋环流模式同化将是一个重要的研究方向(Wunsch,2020)。

致谢 本文由中国图象图形学学会视觉传感专业委员会牵头组织撰写,得到厦门大学、厦门理工学院、中国科学院西安光学精密机械研究所、浙江大学等相关研究团队的支持,在此表示感谢。

参考文献

  • Ahmed A, Zhao X J, Chang J T, Ma H, Gruev V, Bermak A. 2018. Four-directional adaptive residual interpolation technique for DoFP polarimeters with different micro-polarizer patterns. IEEE Sensors Journal, 18(19): 7990-7997 [DOI:10.1109/JSEN.2018.2861825]
  • Banterle F, Artusi A, Sikudova E, Ledda P, Bashford-Rogers T, Chalmers A, Bloj M. 2016. Mixing tone mapping operators on the GPU by differential zone mapping based on psychophysical experiments. Signal Processing: Image Communication, 48: 50-62 [DOI:10.1016/j.image.2016.09.004]
  • Bao J C. 2015. HDR Image Tone Mapping Algorithms Based on Local Edge-Preserving Filtering. Xi'an: Xidian University (包江城. 2015. 基于局部边缘保持滤波的HDR图像色调映射算法. 西安: 西安电子科技大学)
  • Chang M, Feng H J, Xu Z H, Li Q. 2018. Exposure correction and detail enhancement for single LDR image. Acta Photonica Sinica, 47(4): #0410003 (常猛, 冯华君, 徐之海, 李奇. 2018. 单张LDR图像的曝光校正与细节增强. 光子学报, 47(4): #0410003) [DOI:10.3788/gzxb20184704.0410003]
  • Charles R Q, Su H, Kaichun M and Guibas L J. 2017. PointNet: deep learning on point sets for 3D classification and segmentation//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 77-85[DOI: 10.1109/cvpr.2017.16]
  • Chaudhari P, Schirrmacher F, Maier A, Riess C and Köhler T. 2019. Merging-ISP: multi-exposure high dynamic range image signal processing[EB/OL]. [2020-12-30]. https://arxiv.org/pdf/1911.04762.pdf
  • Chen D S, Zeng N, Xie Q L, He H H, Tuchin V V, Ma H. 2017a. Mueller matrix polarimetry for characterizing microstructural variation of nude mouse skin during tissue optical clearing. Biomedical Optics Express, 8(8): 3559-3570 [DOI:10.1364/BOE.8.003559]
  • Chen H Z, Wang Y J, Sun H H, Chen C N, Fan B. 2013. High dynamic range imaging detection based on DMD and image sensor. Infrared and Laser Engineering, 42(12): 3402-3409 (陈怀章, 王延杰, 孙宏海, 陈春宁, 樊博. 2013. DMD结合图像传感器的高动态场景成像探测. 红外与激光工程, 42(12): 3402-3409) [DOI:10.3969/j.issn.1007-2276.2013.12.044]
  • Chen Q B. 2014. Research on High Dynamic Range Image Display Technology. Wuhan: Huazhong University of Science and Technology (陈权斌. 2014. 高动态范围图像显示技术研究. 武汉: 华中科技大学)
  • Chen X Z, Kundu K, Zhu Y K, Berneshawi A, Ma H M, Fidler S and Urtasun R. 2015a. 3D object proposals for accurate object class detection//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal: MIT Press: 424-432
  • Chen X Z, Ma H M, Wan J, Li B and Xia T. 2017b. Multi-view 3D object detection network for autonomous driving//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 6526-6534[DOI: 10.1109/cvpr.2017.691]
  • Chen Z G. 2018. Multiple Exposure Fusion Algorithm Parallel Optimization Based on OpenCL. Xi'an: Xidian University (陈志国. 2018. 基于OpenCL的多曝光融合算法并行优化. 西安: 西安电子科技大学)
  • Chen Z Y, Wang X, Liang R G. 2015b. Snapshot phase shift fringe projection 3D surface measurement. Optics Express, 23(2): 667-673 [DOI:10.1364/OE.23.000667]
  • Cheng H. 2019. Research on Tone Mapping Algorithm for High Dynamic Range Images. Chengdu: University of Chinese Academy of Sciences(Institute of Optics and Electronics, Chinese Academy of Sciences (程虹. 2019. 高动态范围图像的色调映射算法研究. 成都: 中国科学院大学(中国科学院光电技术研究所))
  • Choi S, Cho J, Song W, Choe J, Yoo J, Sohn K. 2020. Pyramid inter-attention for high dynamic range imaging. Sensors, 20(18): #5102 [DOI:10.3390/s20185102]
  • DeFerrari H A, Nguyen H B. 1986. Acoustic reciprocal transmission experiments, Florida Straits. The Journal of the Acoustical Society of America, 79(2): 299-315 [DOI:10.1121/1.393569]
  • Dong Z, Liang F X, Yang B S, Xu Y S, Zang Y F, Li J P, Wang Y, Dai W X, Fan H C, Hyyppä J, Stilla U. 2020. Registration of large-scale terrestrial laser scanner Point Clouds: a review and benchmark. ISPRS Journal of Photogrammetry and Remote Sensing, 163: 327-342 [DOI:10.1016/j.isprsjprs.2020.03.013]
  • Du J L, Chen D, Zhang Z X, Zhang L Q. 2019. Research progress of building reconstruction via airborne point clouds. Journal of Remote Sensing, 23(3): 374-391 (杜建丽, 陈动, 张振鑫, 张立强. 2019. 建筑点云几何模型重建方法研究进展. 遥感学报, 23(3): 374-391) [DOI:10.11834/jrs.20188199]
  • Dushaw B D and the ATOC Group. 1999. The Acoustic Thermometry of Ocean Climate(ATOC) Project: towards depth-averaged temperature maps of the North Pacific Ocean//The International Symposium on Acoustic Tomography and Thermometry. Tokyo, Japan: [s. n. ]
  • Dushaw B D, Worcester P F, Dzieciuch M A, Menemenlis D. 2013. On the time-mean state of ocean models and the properties of long range acoustic propagation. Journal of Geophysical Research: Oceans, 118(9): 4346-4362 [DOI:10.1002/jgrc.20325]
  • Dushaw B D, Worcester P F, Munk W H, Spindel R C, Mercer J A, Howe B M, Metzger Jr. K, Birdsall T G, Andrew R K, Dzieciuch M A, Cornuelle B D, Menemenlis D. 2009. A decade of acoustic thermometry in the North Pacific Ocean. Journal of Geophysical Research: Oceans, 114(C7): #C07021 [DOI:10.1029/2008JC005124]
  • Dzieciuch M A. 2014. Signal processing and tracking of arrivals in ocean acoustic tomography. The Journal of the Acoustical Society of America, 136(5): 2512-2522 [DOI:10.1121/1.4897404]
  • Eilertsen G, Kronander J, Denes G, Mantiuk R K, Unger J. 2017. HDR image reconstruction from a single exposure using deep CNNs. ACM Transactions on Graphics, 36(6): #178 [DOI:10.1145/3130800.3130816]
  • Engelcke M, Rao D, Wang D Z, Tong C H and Posner I. 2017. Vote3Deep: fast object detection in 3D point clouds using efficient convolutional neural networks//Proceedings of 2017 IEEE International Conference on Robotics and Automation (ICRA). Singapore, Singapore: IEEE: 1355-1361[DOI: 10.1109/icra.2017.7989161]
  • Fenty I, Heimbach P. 2013. Coupled sea ice-ocean-state estimation in the Labrador Sea and Baffin Bay. Journal of Physical Oceanography, 43(5): 884-904 [DOI:10.1175/JPO-D-12-065.1]
  • Gopalakrishnan G, Hoteit I, Cornuelle B D, Rudnick D L. 2019. Comparison of 4DVAR and EnKF state estimates and forecasts in the Gulf of Mexico. Quarterly Journal of the Royal Meteorological Society, 145(721): 1354-1376 [DOI:10.1002/qj.3493]
  • Granados M, Kim K I, Tompkin J, Theobalt C. 2013. Automatic noise modeling for ghost-free HDR reconstruction. ACM Transactions on Graphics, 32(6): 201 [DOI:10.1145/2508363.2508410]
  • Gruev V. 2011. Fabrication of a dual-layer aluminum nanowires polarization filter array. Optics Express, 19(24): 24361-24369 [DOI:10.1364/OE.19.024361]
  • Gruev V, Perkins R, York T. 2010. CCD polarization imaging sensor with aluminum nanowire optical filters. Optics Express, 18(18): 19087-19094 [DOI:10.1364/OE.18.019087]
  • Guo Z, Feng C C. 2020. Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds. International Journal of Geographical Information Science, 34(4): 661-680 [DOI:10.1080/13658816.2018.1552790]
  • Guthier B, Kopf S and Effelsberg W. 2012. A real-time system for capturing HDR videos//Proceedings of the 20th ACM international conference on Multimedia. Nara, Japan: Association for Computing Machinery: 1473-1476[DOI: 10.1145/2393347.2396524]
  • He L, Li Z L, Peng Z H, Wu L X, Liu J J. 2011. Acoustic inversion of sound speed profile in northern South China Sea. Scientia Sinica: Physica, Mechanica and Astronomica, 41(1): 49-57 (何利, 李整林, 彭朝晖, 吴立新, 刘建军. 2011. 南海北部海水声速剖面声学反演. 中国科学: 物理学力学天文学, 41(1): 49-57) [DOI:10.1360/132010-907]
  • He L, Li Z L, Zhang R H, Li F H. 2006. Empirical orthogonal functions representation and matched field inversion of sound speed profile in East China Sea. Progress in Natural Science, 16(3): 351-355 (何利, 李整林, 张仁和, 李风华. 2006. 东中国海声速剖面的经验正交函数表示与匹配场反演. 自然科学进展, 16(3): 351-355) [DOI:10.3321/j.issn:1002-008X.2006.03.015]
  • He S W, Wang Y J, Sun H H, Zhang L, Wu P. 2015. High dynamic range imaging based on DMD. Acta Photonica Sinica, 44(8): #0811001 (何舒文, 王延杰, 孙宏海, 张雷, 吴培. 2015. 基于DMD的高动态范围场景成像技术. 光子学报, 44(8): #0811001) [DOI:10.3788/gzxb20154408.0811001]
  • He Y T. 2017. High Dynamic Range Image Synthesis Based on Image Fusion. Nanjing: Nanjing University (何玉婷. 2017. 基于图像融合的高动态范围图像合成. 南京: 南京大学)
  • Howe B M. 1987. Multiple receivers in single vertical slice ocean acoustic tomography experiments. Journal of Geophysical Research: Oceans, 92(C9): 9479-9486 [DOI:10.1029/JC092iC09p09479]
  • Howe B M, Dushaw B D, Mercer J A, Worcester P F, Colosi J A, Cornuelle B C, Dzieciuch M A and Spindel R C. 2003. Acoustic thermometry time series in the North Pacific//Proceedings of 2003 International Conference Physics and Control. Tokyo, Japan: IEEE: 111-114[DOI: 10.1109/SSC.2003.1224123]
  • Hu Y X, Wan L. 2014. Multi exposure image fusion based on dynamic range extending. Computer Engineering and Application, 50(1): 153-155, 214 (胡燕翔, 万莉. 2014. 大动态范围多曝光图像融合方法. 计算机工程与应用, 50(1): 153-155, 214) [DOI:10.3778/j.issn.1002-8331.1203-0003]
  • Huang H C, Guo Y, Wang Z K, Shen Y, Wei Y. 2019. Water temperature observation by coastal acoustic tomography in artificial upwelling area. Sensors, 19(12): #2655 [DOI:10.3390/s19122655]
  • Huang R, Hong D F, Xu Y S, Yao W, Stilla U. 2020. Multi-scale local context embedding for LiDAR point cloud classification. IEEE Geoscience and Remote Sensing Letters, 17(4): 721-725 [DOI:10.1109/LGRS.2019.2927779]
  • Huang S J. 2015. Research on the Technology of Geosynchronous Orbit High Dynamic Range Information Acquisition. Shanghai: University of Chinese Academy of Sciences (Shanghai Institute of Technical Physics of the Chinese Academy of Sciences (黄思婕. 2015. 地球静止轨道大动态范围信息获取技术研究. 上海: 中国科学院大学(中国科学院上海技术物理研究所))
  • Huang Y. 2017. Least Square Innovation Method for Ocean Acoustic Tomography. Hangzhou: Zhejiang University (黄颖. 2017. 深海声层析最小二乘新息方法. 杭州: 浙江大学)
  • Ji X Y and Zhao H F. 2019. Travel-time correction and preliminary results for ocean acoustic tomography in South China Sea//Proceedings of the 2nd Franco-Chinese Acoustic Conference 2018. Le Mans, France: Curran Associates, Inc. : #04003[DOI: 10.1051/matecconf/201928304003]
  • Jiang D B. 2014. Study on Key Preprocessing Algorithms of Vision Sensing for Multiple Application Scenarios. Nanjing: Nanjing University (江登表. 2014. 多应用场景的视觉传感预处理关键算法研究. 南京: 南京大学)
  • Jin G L, Lynch J F, Pawlowicz R, Wadhams P. 1993. Effects of sea ice cover on acoustic ray travel times, with applications to the Greenland Sea tomography experiment. The Journal of the Acoustical Society of America, 94(2): 1044-1057 [DOI:10.1121/1.406951]
  • Kadambi A, Taamazyan V, Shi B X, Raskar R. 2017. Depth sensing using geometrically constrained polarization normals. International Journal of Computer Vision, 125(1/3): 34-51 [DOI:10.1007/s11263-017-1025-7]
  • Kalantari N K, Ramamoorthi R. 2017. Deep high dynamic range imaging of dynamic scenes. ACM Transactions on Graphics, 36(4): 144 [DOI:10.1145/3072959.3073609]
  • Khan Z, Khanna M and Raman S. 2019. FHDR: HDR image reconstruction from a single LDR image using feedback network//Proceedings of 2019 IEEE Global Conference on Signal and Information Processing (GlobalSIP). Ottawa, Canada: IEEE: 1-5[DOI: 10.1109/GlobalSIP45357.2019.8969167]
  • Kim B K, Park R H, Chang S. 2016. Tone mapping with contrast preservation and lightness correction in high dynamic range imaging. Signal, Image and Video Processing, 10(8): 1425-1432 [DOI:10.1007/s11760-016-0942-1]
  • Kim D, Jung K, Ham B, Kim Y and Sohn K. 2014. Normalized tone-mapping operators for color quality improvement in 3DTV//Proceedings of the 9th IEEE Conference on Industrial Electronics and Applications. Hangzhou, China: IEEE: 430-435[DOI: 10.1109/iciea.2014.6931201]
  • Köstler H, Stürmer M, Pohl T. 2016. Performance engineering to achieve real-time high dynamic range imaging. Journal of Real-Time Image Processing, 11(1): 127-139 [DOI:10.1007/s11554-012-0312-3]
  • Kulkarni M, Gruev V. 2012. Integrated spectral-polarization imaging sensor with aluminum nanowire polarization filters. Optics Express, 20(21): 22997-23012 [DOI:10.1364/OE.20.022997]
  • Landrieu L and Simonovsky M. 2018. Large-scale point cloud semantic segmentation with superpoint graphs//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 4558-4567[DOI: 10.1109/cvpr.2018.00479]
  • Lang A H, Vora S, Caesar H, Zhou L B, Yang J and Beijbom O. 2019. PointPillars: fast encoders for object detection from point clouds//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 12689-12697[DOI: 10.1109/cvpr.2019.01298]
  • Lapray P J, Heyrman B and Ginhac D. 2015. High dynamic range adaptive real-time smart camera: an overview of the HDR-ARTiST project//Proceedings Volume 9534, 12th International Conference on Quality Control by Artificial Vision 2015. Le Creusot, France: SPIE: 953417[DOI: 10.1117/12.2182844]
  • Lebedev K V, Yaremchuk M, Mitsudera H, Nakano I, Yuan G. 2003. Monitoring the Kuroshio extension with dynamically constrained synthesis of the acoustic tomography, satellite altimeter and in situ data. Journal of Oceanography, 59(6): 751-763 [DOI:10.1023/B:JOCE.0000009568.06949.c5]
  • Lee C. 2019. Combining advanced image signal processing with accelerated edge inference for automotive viewing and sensing camera//Proceedings of 2019 IEEE International Conference on Image Processing(ICIP). Taipei, China: IEEE: 2458[DOI: 10.1109/ICIP.2019.8803327]
  • Leng B, Guo S, Zhang X Y, Xiong Z. 2015. 3D object retrieval with stacked local convolutional autoencoder. Signal Processing, 112: 119-128 [DOI:10.1016/j.sigpro.2014.09.005]
  • Li B. 2017. 3D fully convolutional network for vehicle detection in point cloud//Proceedings of 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Vancouver BC, Canada: IEEE: 1513-1518[DOI: 10.1109/iros.2017.8205955]
  • Li B, Zhang T L and Xia T. 2016. Vehicle detection from 3D Lidar using fully convolutional network[EB/OL]. [2020-10-05]. https://arxiv.org/pdf/1608.07916.pdf
  • Li C, Wang P, Bi D Y. 2018. Realistic image rendition based on intersecting cortical model. Journal of University of Electronic Science and Technology of China, 47(2): 272-278 (李成, 汪沛, 毕笃彦. 2018. 基于交叉视觉皮质模型的真实图像再现方法. 电子科技大学学报, 47(2): 272-278) [DOI:10.3969/j.issn.1001-0548.2018.02.018]
  • Li J H and Fang P Y. 2019. HDRNet: single-image-based HDR reconstruction using channel attention CNN//Proceedings of the 2019 4th International Conference on Multimedia Systems and Signal Processing. Guangzhou, China: Association for Computing Machinery: 119-124[DOI: 10.1145/3330393.3330426]
  • Li J L, Xu W, Jin L L, Guo S M. 2012. Study of acoustic tomography based on data assimilation for shallow water environments. Acta Acustica, 37(1): 10-17 (李建龙, 徐文, 金丽玲, 郭圣明. 2012. 浅海环境下数据同化声层析方法研究. 声学学报, 37(1): 10-17) [DOI:10.15949/j.cnki.0371-0025.2012.01.002]
  • Li L X, Li Y Q, Wang L, Niu L B, Huang T D, Li Y P. 2017. Fine segmentation of building facade combined mobile LiDAR with airborne LiDAR point cloud data. Journal of Geomatics Science and Technology, 34(2): 181-186 (李立雪, 李永强, 王力, 牛路标, 黄腾达, 李有鹏. 2017. 车载联合机载LiDAR点云数据的建筑物立面精细分割. 测绘科学技术学报, 34(2): 181-186) [DOI:10.3969/j.issn.1673-6338.2017.02.013]
  • Li X A. 2018. Research and Implementation of Multi-Exposure Image Fusion Based on Convolutional Neural Networks. Jinan: Shandong University (李雪奥. 2018. 基于卷积神经网络的多曝光图像融合方法研究与实现. 济南: 山东大学)
  • Li Y Y. 2016. Image Dynamic Range Broadening Method Research. Xi'an: Chang'an University (李莹莹. 2016. 图像动态范围展宽方法研究. 西安: 长安大学)
  • Li Y Y, Bu R, Sun M C, Wu W, Di X H and Chen B Q. 2018b. PointCNN: convolution on χ-transformed points//Proceedings of the 32nd Conference on Neural Information Processing Systems. Montréal, Canada: Curran Associates Inc. : 820-830
  • Lin Y B, Wang C, Zhai D W, Li W, Li J. 2018. Toward better boundary preserved supervoxel segmentation for 3D point clouds. ISPRS Journal of Photogrammetry and Remote Sensing, 143: 39-47 [DOI:10.1016/j.isprsjprs.2018.05.004]
  • Liu F, Han P L, Wei Y, Yang K, Huang S Z, Li X, Zhang G, Bai L, Shao X P. 2018. Deeply seeing through highly turbid water by active polarization imaging. Optics Letters, 43(20): 4903-4906 [DOI:10.1364/OL.43.004903]
  • Liu L L, Xiang X Q, Xie Y X, Li Y J and Zhou J. 2019. A high throughput and energy-efficient retina-inspired tone mapping processor//Proceedings of the 27th IEEE Annual International Symposium on Field-Programmable Custom Computing Machines. San Diego, USA: IEEE: 321[DOI: 10.1109/FCCM.2019.00062]
  • Liu Y, Lv B X, Huang W, Jin B H, Li C L. 2020. Anti-shake HDR imaging using RAW image data. Information, 11(4): 213 [DOI:10.3390/info11040213]
  • Liu Z Y. 2016. The Research on High Dynamic Range Image Synthesizing and Tone Mapping. Harbin: Harbin Engineering University (刘宗玥. 2016. 高动态范围图像的合成与色阶映射的研究. 哈尔滨: 哈尔滨工程大学)
  • Lu X M, Zhu X Y, Li Z W. 2015. A brightness-scaling and detail-preserving tone mapping method for high dynamic range images. Acta Automatica Sinica, 41(6): 1080-1092 (陆许明, 朱雄泳, 李智文. 2015. 一种亮度可控与细节保持的高动态范围图像色调映射方法. 自动化学报, 41(6): 1080-1092) [DOI:10.16383/j.aas.2015.c130202]
  • Manakov A, Restrepo J F, Klehm O, Hegedüs R, Eisemann E, Seidel H P, Ihrke I. 2013. A reconfigurable camera add-on for high dynamic range, multispectral, polarization, and light-field imaging. ACM Transactions on Graphics, 32(4): #47 [DOI:10.1145/2461912.2461937]
  • Marnerides D, Bashford-Rogers T, Hatchett J, Debattista K. 2018. ExpandNet: a deep convolutional neural network for high dynamic range expansion from low dynamic range content. Computer Graphics Forum, 37(2): 37-49 [DOI:10.1111/cgf.13340]
  • Maturana D and Scherer S. 2015a. VoxNet: a 3D convolutional neural network for real-time object recognition//Proceedings of 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Hamburg, Germany: IEEE: 922-928[DOI: 10.1109/iros.2015.7353481]
  • Maturana D and Scherer S. 2015b. 3D convolutional neural networks for landing zone detection from LiDAR//Proceedings of 2015 IEEE International Conference on Robotics and Automation. Seattle, USA: IEEE: 3471-3478[DOI: 10.1109/icra.2015.7139679]
  • Meier W N, Hovelsrud G K, van Oort B E, Key J R, Kovacs K M, Michel C, Haas C, Granskog M A, Gerland S, Perovich D K, Makshtas A, Reist J D. 2014. Arctic sea ice in transformation: a review of recent observed changes and impacts on biology and human activity. Reviews of Geophysics, 52(3): 185-217 [DOI:10.1002/2013RG000431]
  • Merianos I and Mitianoudis N. 2016. A hybrid multiple exposure image fusion approach for HDR image synthesis//Proceedings of 2016 IEEE International Conference on Imaging Systems and Techniques. Chania, Greece: IEEE: 222-226[DOI: 10.1109/IST.2016.7738227]
  • Metzler C A, Ikoma H, Peng Y F and Wetzstein G. 2019. Deep optics for single-shot high-dynamic-range imaging[EB/OL]. [2020-11-20]. https://arxiv.org/pdf/1908.00620.pdf
  • Mikhalevsky P N, Gavrilov A N. 2001. Acoustic thermometry in the Arctic Ocean. Polar Research, 20(2): 185-192 [DOI:10.1111/j.1751-8369.2001.tb00055.x]
  • Mody M, Nandan N, Allu H S R and Sagar R. 2015. Flexible wide dynamic range (WDR) processing support in image signal processor (ISP)//Proceedings of 2015 IEEE International Conference on Consumer Electronics. Las Vegas, USA: IEEE: 467-470[DOI: 10.1109/ICCE.2015.7066488]
  • Moriwaki K, Yoshihashi R, Kawakami R, You S D and Naemura T. 2018. Hybrid loss for learning single-image-based HDR reconstruction[EB/OL]. [2020-12-30]. https://arxiv.org/pdf/1812.07134.pdf
  • Mu T K, Pacheco S, Chen Z Y, Zhang C M, Liang R G. 2017. Snapshot linear-Stokes imaging spectropolarimeter using division-of-focal-plane polarimetry and integral field spectroscopy. Scientific Reports, 7: #42115 [DOI:10.1038/srep42115]
  • Munk W H, Worcester P and Wunsch C. 1995. Ocean Acoustic Tomography. Cambridge: Cambridge University Press
  • Nguyen A T, Ocaña V, Garg V, Heimbach P, Toole J M, Krishfield R A, Lee C M, Rainville L. 2017. On the benefit of current and future ALPS data for improving Arctic coupled ocean-sea ice state estimation. Oceanography, 30(2): 69-73 [DOI:10.5670/oceanog.2017.223]
  • Ou Y F, Ambalathankandy P, Ikebe M, Takamaeda S, Motomura M and Asai T. 2020. Real-time tone mapping: a state of the art report[EB/OL]. [2020-10-09] https://arxiv.org/pdf/2003.03074.pdf
  • Pan J S, Gu Y, Li Y H, Sun J N, Zhang Q D, Su D T. 2017. Large dynamic range science intensified camera with single photon sensitivity and high spatiotemporal resolution. Infrared Technology, 39(9): 864-870 (潘京生, 顾燕, 李燕红, 孙建宁, 张勤东, 苏德坦. 2017. 单光子灵敏和高时空分辨的大动态范围科学增强相机. 红外技术, 39(9): 864-870)
  • Papon J, Abramov A, Schoeler M and Wörgötter F. 2013. Voxel cloud connectivity segmentation-supervoxels for point clouds//Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA: IEEE: 2027-2034[DOI: 10.1109/cvpr.2013.264]
  • Pa rk, J W, Lee H, Kim B, Kang D G, Jin S O, Kim H, Lee H J. 2020. A low-cost and high-throughput FPGA implementation of the retinex algorithm for real-time video enhancement. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 28(1): 101-114 [DOI:10.1109/TVLSI.2019.2936260]
  • Pu Y L. 2015. Research and Implementation of High Dynamic Range Image Tone Mapping. Wuhan: Huazhong University of Science and Technology (蒲雅蕾. 2015. 高动态范围图像色调映射方法的研究与实现. 武汉: 华中科技大学)
  • Qi C R, Litany O, He K M and Guibas L. 2019. Deep hough voting for 3D object detection in point clouds//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9276-9285[DOI: 10.1109/iccv.2019.00937]
  • Qi C R, Su H, Nieβner M, Dai A, Yan M Y and Guibas L J. 2016. Volumetric and multi-view CNNs for object classification on 3D data//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 5648-5656[DOI: 10.1109/cvpr.2016.609]
  • Qi C R, Yi L, Su H and Guibas L J. 2017. Pointnet++: deep hierarchical feature learning on point sets in a metric space//Proceedings of the 31 st Conference on Neural Information Processing Systems. Long Beach, USA: Curran Associates, Inc. : 5099-5108
  • Qiu Y. 2019. Deep Ocean Acoustic Tomography with Mobile Node. Hangzhou: Zhejiang University (邱炎. 2019. 深海移动声层析研究. 杭州: 浙江大学)
  • Rana A, Singh P, Valenzise G, Dufaux F, Komodakis N, Smolic A. 2020. Deep tone mapping operator for high dynamic range images. IEEE Transactions on Image Processing, 29: 1285-1298 [DOI:10.1109/TIP.2019.2936649]
  • Riza N A, Mazhar M A. 2020. CAOS smart camera-based robust low contrast image recovery over 90 dB scene linear dynamic range. Electronic Imaging, Imaging Sensors and Systems, 2020(7): #226 [DOI:10.2352/ISSN.2470-1173.2020.7.ISS-226]
  • Santos M S, Ren T I, Kalantari N K. 2020. Single image HDR reconstruction using a CNN with masked features and perceptual loss. ACM Transactions on Graphics, 39(4): 80 [DOI:10.1145/3386569.3392403]
  • Sen P, Kalantari N K, Yaesoubi M, Darabi S, Goldman D B. 2012. Robust patch-based HDR reconstruction of dynamic scenes. ACM Transactions on Graphics, 31(6): 203 [DOI:10.1145/2366145.2366222]
  • Seshadrinathan K and Nestares O. 2017. High dynamic range imaging using camera arrays//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE: 725-729[DOI: 10.1109/ICIP.2017.8296376]
  • Shen T S. 2018. Maximum Entropy Particle Filter for Ocean Acoustic Tomography. Hangzhou: Zhejiang University (申屠帅. 2018. 海洋声层析最大熵粒子滤波方法. 杭州: 浙江大学)
  • Shi S S, Wang X G and Li H S. 2019. PointRCNN: 3D object proposal generation and detection from point cloud//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 770-779[DOI: 10.1109/cvpr.2019.00086]
  • Smith W A P, Ramamoorthi R, Tozza S. 2019. Height-from-polarisation with unknown lighting or albedo. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(12): 2875-2888 [DOI:10.1109/TPAMI.2018.2868065]
  • Stammer D, Balmaseda M, Heimbach P, Köhl A, Weaver A. 2016. Ocean data assimilation in support of climate applications: status and perspectives. Annual Review of Marine Science, 8: 491-518 [DOI:10.1146/annurev-marine-122414-034113]
  • Su H, Maji S, Kalogerakis E and Learned-Miller E. 2015. Multi-view convolutional neural networks for 3D shape recognition//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 945-953[DOI: 10.1109/iccv.2015.114]
  • Sun C K. 2015. Research and implementation of high dynamic range image mapping algorithm based on bilateral filtering. Xi'an: Xidian University (孙晨康. 2015. 基于双边滤波的高动态范围图像映射算法研究与实现. 西安: 西安电子科技大学)
  • Sun H H, He S W, Wu P, Wang Y J. 2017. Design and imaging analysis of high dynamics scientific CMOS camera. Chinese Journal of Liquid Crystals and Displays, 32(3): 240-248 (孙宏海, 何舒文, 吴培, 王延杰. 2017. 高动态科学级CMOS相机设计与成像分析. 液晶与显示, 32(3): 240-248) [DOI:10.3788/YJYXS20173203.0240]
  • Sun H H, Wang Y J, Yang H, Wu P. 2019. Binocular high dynamic range imaging system based on digital micromirror device. Optical and Quantum Electronics, 51(9): #307 [DOI:10.1007/s11082-019-2014-6]
  • Sun Q L, Tseng E, Fu Q, Heidrich W and Heide F. 2020. Learning Rank-1 diffractive optics for single-shot high dynamic range imaging//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 1383-1393[DOI: 10.1109/CVPR42600.2020.00146]
  • Sun W, Han C S, Jin X F, Lv H Y, Liu H Y. 2018. HDR imaging method of overcoming full well limitation for push-broom remote sensing cameras. Optics and Precision Engineering, 26(4): 944-950 (孙武, 韩诚山, 晋学飞, 吕恒毅, 刘海龙. 2018. 推扫式遥感相机超满阱大动态范围成像. 光学精密工程, 26(4): 944-950) [DOI:10.3788/OPE.20182604.0944]
  • Tang J F, Yang S E. 2006. Sound speed profile in ocean inverted by using travel time. Journal of Harbin Engineering University, 27(5): 733-736, 756 (唐俊峰, 杨士莪. 2006. 由传播时间反演海水中的声速剖面. 哈尔滨工程大学学报, 27(5): 733-736, 756) [DOI:10.3969/j.issn.1006-7043.2006.05.022]
  • Tang X D, Qian Y S, Kong X Y, Wang H G. 2020. A high-dynamic range CMOS camera based on dual-gain channels. Journal of Real-Time Image Processing, 17(3): 703-712 [DOI:10.1007/s11554-019-00877-8]
  • Tozza S, Smith W A P, Zhu D Z, Ramamoorthi R and Hancock E R. 2017. Linear differential constraints for photo-polarimetric height estimation//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 2298-2306[DOI: 10.1109/ICCV.2017.250]
  • Tu X Z, Spires O J, Tian X B, Brock N, Liang R G, Pau S. 2017. Division of amplitude RGB full-Stokes camera using micro-polarizer arrays. Optics Express, 25(26): 33160-33175 [DOI:10.1364/OE.25.033160]
  • Vorobiev D V, Ninkov Z, Brock N. 2018. Astronomical polarimetry with the RIT polarization imaging camera. Publications of the Astronomical Society of the Pacific, 130: 064501 [DOI:10.1088/1538-3873/aab99b]
  • Wang C, Wen C L, Dai Y S, Yu S S, Liu M H. 2020a. Urban 3D modeling with mobile laser scanning: a review. Virtual Reality and Intelligent Hardware, 2(3): 175-212 [DOI:10.1016/j.vrih.2020.05.003]
  • Wang D Z and Posner I. 2015. Voting for voting in online point cloud object detection//Proceedings of the Robotics: Science and Systems. Rome, Italy: [s. n. ]: #1317[DOI: 10.15607/rss.2015.xi.035]
  • Wang F Y. 2016. Travel-Time Sensitivity Kernel Method for Ocean Acoustic Tomography. Hangzhou: Zhejiang University (汪非易. 2016. 深海声层析传播时延敏感核方法. 杭州: 浙江大学)
  • Wang H Y, Wang C, Luo H, Li P, Chen Y P, Li J. 2015a. 3-D point cloud object detection based on supervoxel neighborhood with hough forest framework. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 8(4): 1570-1581 [DOI:10.1109/jstars.2015.2394803]
  • Wang T C, Zhang Y, Yang T C, Chen H F, Xu W. 2018. Physics-based coastal current tomographic tracking using a Kalman filter. The Journal of the Acoustical Society of America, 143(5): 2938-2953 [DOI:10.1121/1.5036755]
  • Wang X S, Chan T O, Liu K, Pan J, Luo M, Li W K, Wei C Z. 2020b. A robust segmentation framework for closely packed buildings from airborne LiDAR point clouds. International Journal of Remote Sensing, 41(14): 5147-5165 [DOI:10.1080/01431161.2020.1727053]
  • Wang Y, Sun Y B, Liu Z W, Sarma S E, Bronstein M M, Solomon J M. 2019. Dynamic graph CNN for learning on point clouds. ACM Transactions on Graphics, 38(5): 146 [DOI:10.1145/3326362]
  • Wang Z, Zhang L Q, Fang T, Mathiopoulos P T, Tong X H, Qu H M, Xiao Z Q, Li F, Chen D. 2015b. A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification. IEEE Transactions on Geoscience and Remote Sensing, 53(5): 2409-2425 [DOI:10.1109/tgrs.2014.2359951]
  • Worcester P F, Dzieciuch M A, Mercer J A, Andrew R K, Dushaw B D, Baggeroer A B, Heaney K D, D'Spain G L, Colosi J A, Stephen R A, Kemp J N, Howe B M, Van Uffelen L J, Wage K E. 2013. The north pacific acoustic laboratory deep-water acoustic propagation experiments in the Philippine Sea. The Journal of the Acoustical Society of America, 134(4): 3359-3375 [DOI:10.1121/1.4818887]
  • Wu H Y, Li X K, Hu Y. 2007. Approach on interactive extraction of gable-roofed building models from airborne Lidar data. Journal of Image and Graphics, 12(3): 474-481 (吴华意, 李新科, 胡勇. 2007. 从机载激光扫描数据中交互式提取人字形房屋模型的方法研究. 中国图象图形学报, 12(3): 474-481) [DOI:10.11834/jig.20070316]
  • Wu J H, Yu B L, Peng C, Wu B, Yu S Y, Huang Y X, Wu J P. 2016. A method for fast modeling of 3D buildings from Mobile Laser Scanning point clouds and remote sensing data. Geomatics and Spatial Information Technology, 39(1): 24-27, 34 (吴君涵, 余柏蒗, 彭晨, 吴宾, 虞思逸, 黄益修, 吴健平. 2016. 基于移动激光扫描点云数据和遥感图像的建筑物三维模型快速建模方法. 测绘与空间地理信息, 39(1): 24-27, 34) [DOI:10.3969/j.issn.1672-5867.2016.01.008]
  • Wu R. 2020. Research on Multi-Exposure HDR Imaging Algorithm Based on Convolutional Neural Network. Chengdu: University of Electronic Science and Technology (吴蕊. 2020. 基于卷积神经网络的多曝光HDR成像算法研究. 成都: 电子科技大学)
  • Wu S Z, Xu J R, Tai Y W and Tang C K. 2018. Deep high dynamic range imaging with large foreground motions//Proceedings of the 15th European Conference on Computer Vision. Munich, Germany: Springer: 120-135[DOI: 10.1007/978-3-030-01216-8_8]
  • Wu Z R, Song S R, Khosla A, Yu F, Zhang L G, Tang X O and Xiao J X. 2015. 3D ShapeNets: a deep representation for volumetric shapes//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 1912-1920[DOI: 10.1109/cvpr.2015.7298801]
  • Wunsch C. 2020. Advance in global ocean acoustics. Science, 369(6510): 1433-1434 [DOI:10.1126/science.abe0960]
  • Xiao J S, Li W H, Liu G X, Shaw S L, Zhang Y Q. 2014. Hierarchical tone mapping based on image colour appearance model. IET Computer Vision, 8(4): 358-364 [DOI:10.1049/iet-cvi.2013.0230]
  • Xie S D, Wu W F, Chen R J, Tan H Z. 2020. Reduced-dimensional capture of high-dynamic range images with compressive sensing. Discrete Dynamics in Nature and Society, 2020: #6703528 [DOI:10.1155/2020/6703528]
  • Xu B, Wang L Z, Duan T H. 2019a. A novel hybrid calibration method for FOG-based IMU. Measurement, 147: #106900 [DOI:10.1016/j.measurement.2019.106900]
  • Xu M M, Hua H. 2017. High dynamic range head mounted display based on dual-layer spatial modulation. Optics Express, 25(19): 23320-23333 [DOI:10.1364/OE.25.023320]
  • Xu Y C, Ning S Y, Xie R and Song L. 2019b. Gan based multi-exposure inverse tone mapping//Proceedings of 2019 IEEE International Conference on Image Processing. Taipei, China: IEEE: 1-5[DOI: 10.1109/ICIP.2019.8803540]
  • Xu Y S, Ye Z, Yao W, Huang R, Tong X H, Hoegner L, Stilla U. 2020. Classification of LiDAR point clouds using supervoxel-based detrended feature and perception-weighted graphical model. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13: 72-88 [DOI:10.1109/jstars.2019.2951293]
  • Xue X C, Han C S, Xue D L, Guo Y F. 2012. Increasing dynamic range of space push-broom remote sensing camera by two-row TDI CCD. Optics and Precision Engineering, 20(12): 2791-2975 (薛旭成, 韩诚山, 薛栋林, 郭永飞. 2012. 应用双排TDI CCD提高空间推扫遥感相机动态范围. 光学精密工程, 20(12): 2791-2975) [DOI:10.3788/OPE.20122012.2791]
  • Yamashita T, Fujita Y. 2017. HDR video capturing system with four image sensors. ITE Transactions on Media Technology and Applications, 5(4): 141-146 [DOI:10.3169/mta.5.141]
  • Yan Q S, Gong D, Shi Q F, van den Hengel A, Shen C H, Reid I and Zhang Y N. 2019. Attention-guided network for ghost-free high dynamic range imaging//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 1751-1760[DOI: 10.1109/cvpr.2019.00185]
  • Yang B, Luo W J and Urtasun R. 2018. PIXOR: real-time 3D object detection from point clouds//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 7652-7660[DOI: 10.1109/cvpr.2018.00798]
  • Yang J, Shahnovich U, Yadid-Pecht O. 2020. Mantissa-exponent-based tone mapping for wide dynamic range image sensors. IEEE Transactions on Circuits and Systems Ⅱ: Express Briefs, 67(1): 142-146 [DOI:10.1109/TCSⅡ.2019.2903101]
  • Ye N J. 2020. Research on HDR Imaging Method Based on Deep Learning. Chengdu: University of Electronic Science and Technology (叶年进. 2020. 基于深度学习的HDR成像方法研究. 成都: 电子科技大学)
  • Yu X J, Zhuang X B, Li Y L, Zhang Y. 2019. Real-time observation of range-averaged temperature by high-frequency underwater acoustic thermometry. IEEE Access, 7: 17975-17980 [DOI:10.1109/ACCESS.2019.2894341]
  • Zai D W, Li J, Guo Y L, Cheng M, Lin Y B, Luo H, Wang C. 2018. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts. IEEE Transactions on Intelligent Transportation Systems, 19(3): 802-813 [DOI:10.1109/tits.2017.2701403]
  • Zhang D Y. 2015. Research on High Dynamic Range Imaging Based on FPGA. Guangzhou: South China University of Technology (张东阳. 2015. 基于FPGA的高动态范围成像技术研究. 广州: 华南理工大学)
  • Zhang J and Singh S. 2015. Visual-lidar odometry and mapping: low-drift, robust, and fast//Proceedings of 2015 IEEE International Conference on Robotics and Automation. Seattle, USA: IEEE: 2174-2181[DOI: 10.1109/icra.2015.7139486]
  • Zhang J, Singh S. 2018. Laser-visual-inertial odometry and mapping with high robustness and low drift. Journal of Field Robotics, 35(8): 1242-1264 [DOI:10.1002/rob.21809]
  • Zhang W, Yang S E, Huang Y. 2015. Research about sensitivity of array inclination on sound speed profile inversion. Acta Acustica, 40(5): 649-654 (张维, 杨士莪, 黄勇. 2015. 声速剖面反演对基阵倾斜失配的敏感性研究. 声学学报, 40(5): 649-654) [DOI:10.15949/j.cnki.0371-0025.2015.05.005]
  • Zhang X S and Li Y J. 2016. A retina inspired model for high dynamic range image rendering//Proceedings of the 8th International Conference on Advances in Brain Inspired Cognitive Systems. Beijing, China: Springer: 68-79[DOI: 10.1007/978-3-319-49685-6_7]
  • Zhang Z G, Dong F L, Cheng T, Qiu K, Zhang Q C, Chu W G, Wu X P. 2014. Nano-fabricated pixelated micropolarizer array for visible imaging polarimetry. Review of Scientific Instruments, 85(10): 105002 [DOI:10.1063/1.4897270]
  • Zhao G W. 2019. The Design and Optimization of HDR Video Generation System Based on Heterogeneous Platforms. Xi'an: Xidian University (赵高伟. 2019. 基于异构平台的HDR视频生成系统的设计及优化. 西安: 西安电子科技大学)
  • Zhao H F, Wang F Y, Zhu X H, Xu W. 2015. Ocean acoustic tomography: current progress and future prospect. Journal of Ocean Technology, 34(3): 69-74 (赵航芳, 汪非易, 朱小华, 徐文. 2015. 海洋声学层析研究现状与展望. 海洋技术学报, 34(3): 69-74)
  • Zhao X J, Boussaid F, Bermak A, Chigrinov V G. 2009. Thin photo-patterned micropolarizer array for CMOS image sensors. IEEE Photonics Technology Letters, 21(12): 805-807 [DOI:10.1109/LPT.2009.2018472]
  • Zheng C, Bernal S G, Zhang K Q, Mao L, Liu X. 2019. A novel high dynamic range microscopic video system based on REC. 2020. Optical Instruments, 41(3): 35-41 (郑驰, Bernal S G, 张克奇, 毛磊, 刘旭. 2019. 一种基于REC.2020高清色域的视频级显微高动态范围成像方法. 光学仪器, 41(3): 35-41) [DOI:10.3969/j.issn.1005-5630.2019.03.006]
  • Zhou J, Qiao Y, Sun Z, Chen H, Chen H. 2019. Design of a dual DMDs camera for high dynamic range imaging. Optics Communications, 452: 140-145 [DOI:10.1016/j.optcom.2019.07.008]
  • Zhou Y and Tuzel O. 2018. VoxelNet: end-to-end learning for point cloud based 3D object detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 4490-4499[DOI: 10.1109/cvpr.2018.00472]
  • Zhu D Z and Smith W A P. 2019. Depth from a polarisation + RGB stereo pair//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 7578-7587[DOI: 10.1109/CVPR.2019.00777]
  • Zhu X H, Kaneko A, Wu Q S, Gohda N, Zhang C Z and Taniguchi N. 2010. The first Chinese coastal acoustic tomography experiment//Proceedings of OCEANS'10 IEEE SYDNEY. Sydney, NSW, Australia: IEEE: 1-4[DOI: 10.1109/OCEANSSYD.2010.5603798]
  • Zhu X H, Kaneko A, Wu Q S, Zhang C Z, Taniguchi N, Gohda N. 2013. Mapping tidal current structures in Zhitouyang Bay, China, using coastal acoustic tomography. IEEE Journal of Oceanic Engineering, 38(2): 285-296 [DOI:10.1109/JOE.2012.2223911]
  • Zhu X H, Zhang C Z, Wu Q S, Kaneko A, Fan X P, Li B. 2012. Measuring discharge in a river with tidal bores by use of the coastal acoustic tomography system. Estuarine, Coastal and Shelf Science, 104-105: 54-65 [DOI:10.1016/j.ecss.2012.03.022]
  • Zhu Z N, Zhu X H, Zhang C Z, Fan X P, Liao G H, Xuan J L, Long Y, Ma Y L, Zhao R X, He Z G, Zhang T, Zhang X M. 2015. An observational experiment of coastal acoustic tomography to map the structure of tidal currents in Sanmen Bay, China. Chinese Journal of Geophysics, 58(5): 1742-1753 (朱泽南, 朱小华, 张传正, 樊孝鹏, 廖光洪, 宣基亮, 龙钰, 马云龙, 赵瑞祥, 贺治国, 张涛, 章向明. 2015. 三门湾沿海声层析潮流观测实验. 地球物理学报, 58(5): 1742-1753) [DOI:10.6038/cjg20150524]
  • Zimmer H, Bruhn A, Weickert J. 2011. Freehand HDR imaging of moving scenes with simultaneous resolution enhancement. Computer Graphics Forum, 30(2): 405-414 [DOI:10.1111/j.1467-8659.2011.01870.x]