Print

发布时间: 2021-06-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200841
2021 | Volume 26 | Number 6




    三维视觉和图形技术    




  <<上一篇 




  下一篇>> 





三维视觉测量技术及应用进展
expand article info 张宗华1, 刘巍2, 刘国栋3, 宋丽梅4, 屈玉福5, 李旭东5, 魏振忠5
1. 河北工业大学机械工程学院, 天津 300401;
2. 大连理工大学机械学院, 大连 116024;
3. 哈尔滨工业大学电气工程及自动化学院, 哈尔滨 150001;
4. 天津工业大学人工智能学院, 天津 300387;
5. 北京航空航天大学仪器科学与光电工程学院, 北京 100191

摘要

三维视觉测量是计算机视觉与精密测量原理交叉融合的前沿高新技术,是工业4.0的基础支撑,是以网络化、智能化制造为变革特征的先进制造业的核心关键技术。经过几十年的发展,三维视觉测量技术在基础研究和应用研究上均获得了快速深入发展,形成了理论方法、技术工艺、系统研发和产品应用四位一体较为完备的方向体系,呈现出理论系统化、方法多维化、精度精准化和速度快捷化的发展趋势,成为智能制造过程控制、产品质量检验保证和装备整机服役测试的不可或缺的优选技术。本文主要围绕单相机、双相机和结构光等典型三维视觉测量技术展开论述,概要介绍其关键技术内涵,综述其发展现状、前沿动态、热点问题和发展趋势。重点论述条纹投影三维测量技术和相位测量偏折术。最后给出了三维视觉测量的发展趋势与未来展望。

关键词

三维视觉测量; 条纹投影轮廓术; 相位测量偏折术; 相位计算; 标定; 综述

Overview of the development and application of 3D vision measurement technology
expand article info Zhang Zonghua1, Liu Wei2, Liu Guodong3, Song Limei4, Qu Yufu5, Li Xudong5, Wei Zhenzhong5
1. School of Mechanical Engineering, Hebei University of Technology, Tianjin 300401, China;
2. School of Mechanical Engineering, Dalian University of Technology, Dalian 116024, China;
3. School of Electronical Engineering and Automation, Haerbin Institute of Technology, Haerbin 150001, China;
4. School of Artificial Intelligence, Tiangong University, Tianjin 300387, China;
5. School of Instrumentation and Optoelectronic Engineering, Beihang University, Beijing 100191, China
Supported by: National Key Research and Development Program of China (2017YFF0106404, 2019YFB2006700); National Natural Science Foundation of China (51625501, 51622501)

Abstract

3D vision measurement is a new and advanced technology of computer vision and precision measurement. It is the basic support of industry 4.0 and the core and key technology of advanced manufacturing industry characterized by networked and intelligent manufacturing. After decades of development, 3D vision measurement technology has been developed rapidly in basic research and applied research. It has formed the relatively complete direction system of four parts: theoretical method, technical process, system development and product application. 3D vision measurement technology presents a trend of systematic theory, multi-dimensional method, precise precision and rapid speed, which has become an indispensable optimization technology of intelligent manufacturing process control, product quality inspection and guarantee, and complete equipment service test. This paper mainly focuses on typical 3D vision measurement technologies such as single-camera, double-camera and structured-light, and briefly introduces the connotation of the key technologies and summarizes its development status, frontier trends, hot issues and development trends. Single-, stereo-, and multiple cameras-based measuring system belong to passive vision, without external energy being projected on the surface of the object under test. Active vision technique projects some kind of energy onto the object surface, mainly including point-scanning, line-scanning, full-field, and time of flight. Therefore, active vision technique has been widely studied in academic and applied in many fields because of the advantages of high accuracy, non-contact, and automatic data processing. In this paper, the 3D measurement technique of fringe projection profilometry (FPP) and phase measuring deflectometry (PMD) are mainly discussed. FPP-based techniques are widely applied to measure the diffused surface. A set of or one fringe patterns are generated in software and projected by a digital light processing (DLP) projector. From a different viewpoint, an imaging device, normally a charge coupled device(CCD) camera captures the deformed fringe patterns modulated by the object surface under test. Multiple-step phase shifting algorithm or transform-based algorithm (such as Fourier transform, windowed Fourier transform, wavelet transform) can be used to obtain the wrapped phase map from a set of fringe patterns or from one fringe pattern. The wrapped phase needs to be unwrapped by using spatial phase unwrapping or temporal phase unwrapping. Spatial phase unwrapping is suitable to measure objects with smooth surface, while temporal phase unwrapping can measure objects with large step and/or discontinuous surface. In order to obtain 3D shape data, the measuring system needs to be 3D calibrated, which builds up the relationship between unwrapped phase map and 3D data. The absolute phase and the pixel position will be transferred to depth data and horizontal coordinates, respectively. The error will be analyzed in detail to improve the measurement accuracy. PMD-based techniques are mainly applied to measure the specular surface because they have the advantages of high accuracy, large dynamic, automatic data processing, and non-contact operation. The generated fringe patterns are displayed on the liquid crystal device (LCD) screen, instead of being projected on to the measured surface. The reflected fringe patterns by the specular surface are captured by a CCD camera according to the law of reflection. The obtained fringe patterns are processed by the same algorithms in FPP. In order to measure dynamic specular surface, single shot PMD methods have been developed. One fringe image has been modulated by orthogonally modulating two fringe patterns into one image. Or one composite fringe image can be generated by modulating three fringe patterns into the primary color channels of a color image. Therefore, multiple fringe patterns can be obtained from single shot image. The obtained phase information is related to the gradient of the measured specular surface, instead of the depth, so integration procedure is needed to reconstruct the 3D shape. Many integration methods have been studied, such as radial basis function, least square method, and Fourier transform method. Some researchers developed a direct PMD (DPMD) method to measure specular objects with discontinuous surface. This method builds up the direct relationship between the absolute phase and depth data, without integration procedure. One important step in PMD is how to calibrate the geometric parameters of the measuring system, mainly the distance and orientation between the LCD screen, the reference plane (the measured specular surface) and the camera. Error sources have been analyzed to improve the accuracy of the measured data as well. 3D shape data have many applications in the fields of aeronautics and astronautics, car industry, advanced equipment manufacturing measurements, health care industry, and conservation of antiquities. These applications will be described. Finally, the development trend and future prospect of 3D vision measurement are given. Although 3D measurement techniques have been matured, many aspects need to be further improved. The most important are the following two: accuracy and speed. FPP-based and DPM-based techniques can reach micrometer and nanometer level, respectively. Some applications need more high-level accuracy. The third trend is extreme size and environment. The fourth are to measure objects with complex attribute surface. For example, there are objects having high reflective surface and specular/diffuse surface. The fifth trend is on-site measurement, which can be used in machining tools and assembly line. The last one is portable measurement, so that it can be easily integrated into other components.

Key words

3D vision measurement; fringe projection profilometry; phase measuring deflectometry; phase calculation; calibration; review

0 引言

与二维图像信息相比,三维形貌能够提供更丰富、更细节的信息,从而更全面、真实地描述三维场景属性(唐巍和叶东,2008)。随着信息时代的到来,物体的三维形貌信息在各个行业越来越凸显出其重要性,尤其是在精密制造、汽车、航空航天和医疗等行业,如何快速、精确和完整地获取物体的三维形貌数据以保障元器件功能、表面质量和客观描述物体形态,正成为人们日益关注和研究的热点及难点。

三维视觉测量技术是结合计算机视觉和精密测量的先进高端技术,是工业4.0的基础,也是网络化制造和智能化制造的前提。获取空间三维物体的距离信息是三维成像、三维物体重建中最基础的内容,有着广泛的实际应用价值。三维视觉测量通过模仿人眼来观察世界,并利用计算机分析处理来感知周围环境(张广军,2008)。应用计算机视觉技术可对被观察对象进行识别、定位、量化和重构。随着计算机和视觉技术的发展,三维视觉测量已形成较成熟的理论基础,相关技术已经广泛应用于物体三维形貌信息的获取和重建。三维测量技术总体上可分为两类:接触式测量技术和非接触式测量技术(Watkins,2012蔡喜平等,2007)。三坐标测量机(coordinate measuring machine, CMM)是接触式测量技术的典型方法,其通过接触式探头沿着被测物表面移动,来获得物面上点三维坐标,然后对这些坐标点进行曲面拟合或插值来得到被测表面的三维形貌。接触式三维测量具有较高精度,但是存在测量过程耗时长、测量数据稀疏、易损伤被测面以及无法测量柔性物表面等缺陷。三维视觉测量是典型的非接触式测量途径,以光学成像为基础,结合计算机视觉技术和几何量测量原理,无需接触被测物体,有效避免了接触式测量存在的诸多缺陷,广泛应用于科学研究、医学诊断、逆向工程、刑事侦查、在线检测、质量控制、智慧城市和高端装备制造等领域(陈晓荣等,2002Zhang等,2003Zhang,2012Blais,2004)。随着高端装备制造业在支撑国民经济各领域发展的基础作用和地位的进一步提升,三维视觉测量已经成为当前精密工程重要的研究方向,并为我国精密工程发展战略提供有力的技术支撑。

本文主要围绕单相机、双相机和结构光等典型的三维视觉测量技术展开论述。概括介绍了三维视觉测量的关键技术内涵,综述其发展现状、前沿动态和热点问题,并展望了该项技术的未来发展趋势,为相关研究者提供参考。本文介绍了三维视觉测量的基本原理与发展现状。重点综述了条纹投影三维测量术和相位测量偏折术的基本原理、发展现状和热点问题。总结了三维视觉测量术在航空航天、汽车工业、高端装备制造、医疗行业和古文物保护等领域的典型应用。最后展望了三维视觉测量技术未来的发展趋势,主要涉及高精度、快速测量、极大极小尺度测量、极端环境测量、复杂属性表面测量、在线在位测量和便携测量等。

1 三维视觉测量技术

三维视觉测量技术按照测量过程中是否投射光源,获取被测物体三维形貌信息的方法可以分为两大类:被动视觉测量和主动视觉测量。

1.1 被动视觉测量

被动视觉测量不需要特殊的照明投射装置,仅利用相机拍摄被测物的图像,建立被测物与相机之间的相对位置关系,从而获取被测物表面的三维信息。被动视觉测量所需硬件相对简单。根据所采用相机的数目,被动视觉测量可分为:单目视觉测量、双目视觉测量和多目视觉测量等。

1) 单目视觉测量。单目三维视觉测量方法主要分为传统方法和基于深度学习的方法两大类。传统方法有从聚焦恢复深度(shape from focus,SFF)(Nayar和Nakagawa,1994)、从运动恢复结构(structure from motion, SFM)(Westoby等,2012)和即时定位与地图重建(simultaneous localization and mapping, SLAM)(Montemerlo等,2002)等。SFF通过移动物体来采集图像序列,基于图像聚焦程度进行分析,完成三维重建,多用于显微三维视觉测量领域。SFM和SLAM方法原理相似,利用序列图像帧间的运动估计出相机姿态信息,然后基于图像序列采用三角测量法来恢复场景的三维信息。基于深度学习的单目三维重建是近年新提出的方法。该方法利用大量样本数据训练卷积神经网络(Han等,2019),然后通过网络模型实现场景深度获取。

近年还出现了基于光场相机的三维重建技术。光场相机在主透镜和图像传感器之间加入微透镜阵列,可同时记录强度信息和方向信息,如图 1所示(顾高霏等,2020)。反向追迹非零像元光线对不同距离深度物面的影响可确定物点空间三维位置。

图 1 光场相机结构示意图
Fig. 1 Schematic diagram of light field camera

2) 双目视觉测量。与人眼的立体感知类似,双目立体视觉用两个相机从不同的角度对被测物体成像。依据两幅图像中对应点的立体视差(stereo disparity),根据三角测量原理实现三维信息测量(张广军,2008),如图 2所示。双目立体视觉直观、传感器结构简单且测量精度较高,主要挑战在于图像中同名像点的确定。

图 2 双目立体视觉模型(张广军,2008)
Fig. 2 Binocular stereo vision model(Zhang, 2008)

3) 多目视觉测量。为减少双目立体视觉测量中同名像点匹配的多义性,在双目立体视觉测量系统的基础上,增加一台或多台辅助相机,构成多目视觉测量系统,如图 3所示(Hartley和Zisserman,2004)。通过多个相机间需满足的成像几何约束可减少误匹配现象,且可以通过光束平差提高测量精度,但计算量也会相应增加,降低测量速度和效率。

图 3 多目视觉测量模型(Hartley和Zisserman, 2004)
Fig. 3 Multi-vision measurement model (Hartley and Zisserman, 2004)

1.2 主动视觉测量

主动视觉测量与被动视觉测量最大的不同在于需要向被测物体投射光源(点、条纹、图案和散斑等),相机拍摄包含光源的反射光或透射光的被测物体表面图像,利用成像几何关系所建立的数学模型解算出被测物体三维结构信息。

主动视觉测量利用结构光在物体表面形成明显的特征,对于光滑、纹理缺乏、无明显灰度或形状变化的表面区域,可以避免同名点不易匹配的难题,改善三维信息的获取精度。根据投射光源的模式,主动视觉测量可以分为点扫描式、(多)线扫描式、编码光式以及飞行时间法(脉冲测距法)等。前3种可以统称为结构光法,基于三角测量原理实现三维测量。结构光法因具有测量精度较高、抗干扰性能好、实时性强和装置比较容易实现等优点,在实际的测量系统中,该方法被更广泛地使用。飞行时间法(脉冲测距法)的测量原理是通过基于对反射时差或相位差获取的解算深度,在此不再赘述。

1) 点扫描式。点扫描式测量时,激光器发出的光束在被测物体表面形成一个光点,经被测物体表面漫反射后入射到CCD (charge coupled device)像面(线)。利用图像检测技术,获得成像光斑的中心坐标,通过已标定数值的数学模型计算得到被测物体表面的三维坐标(França等,2005)。

为了实现对被测物体的完整三维测量,需要采用不同的扫描方式,让光点覆盖被测物表面。典型的有:激光器二维移动扫描(Ruel等,2008)、激光器旋转扫描、平面镜同步扫描(崔磊,2010)(参见图 4)、旋转棱镜扫描(Wang等,2002)以及基于AOD(acousto optic deflector) (赵慧洁等,2008)的无机械运动部件扫描(参见图 5)等。

图 4 平面镜偏转式三维形貌测量原理图(崔磊,2010)
Fig. 4 Schematic diagram of plane mirror deflection 3D morphology measurement(Cui, 2010)
图 5 无机械运动部件的扫描原理图(赵慧洁等,2008)
Fig. 5 Schematic diagram of scanning without mechanical moving parts(Zhao et al., 2008)

2) 线扫描式。线扫描方式利用光源扩束后形成的光条扫描被测物体表面,通过对获取的图像进行分析,结合光条在被测物体表面的位置得到物体三维信息。其原理与点扫描式相同,用光条代替了光点,效率得到提高;且单一光条特征,不存在同名点匹配的问题。根据应用方式可分为双轴激光扫描法(Livingstone和Rioux,1986)、远心扫描法和光条扫描法(许智钦等,2003)等。

在单线结构光的基础上增加投射光条的数量,形成了多线结构光扫描,如图 6所示。相比较于单线结构光法系统的测量速度更高。一般用双相机约束或深度约束来消除多线之间的误匹配问题。

图 6 多线结构光法
Fig. 6 Method of multiline structured light

3) 面结构光式。面结构光三维测量需要将二维结构光图案(光条、光栅或其他光图样)投射到被测物体表面上,通过对采集编码图样分析计算得到物体的表面三维信息。每次可以获取被测对象上一个区域的三维信息,所以测量效率在所有结构光方法中最高,如图 7所示。系统中无运动部件,编码光与接收器的相对位置不变。

图 7 面结构光法
Fig. 7 Method of plane structured light

面结构光的编码方式可以分为空间编码和时间编码。空间编码只有一种投射模式,常见的有:彩色条纹和散斑等。时间编码包含两种及以上的投射模式,分时投射,常见的有:二进制编码、格雷码和正弦条纹等。

1.3 主被动结合的视觉测量法

主被动结合视觉测量是在被动视觉测量系统中增加投射器,投射特定光源模式到被测物体表面,借助于投射的光源模式,可以解决被动双目视觉中的匹配难题,从而提高匹配精度及测量精度。投射器提供了便于测量的特征,其与相机之间的关系不要求已知(姜宏志等,2010)。

2 基于相位信息的三维测量

根据被测对象表面属性,基于相位信息的三维测量技术主要分为两大类:条纹投影轮廓术(fringe projection profilometry,FPP)测量漫反射和高反光表面,相位测量偏折术(phase measurement deflectometry, PMD)测量镜面三维形貌。

2.1 条纹投影三维测量

在结构光测量领域,条纹投影轮廓术FPP是最具有代表性的结构光测量技术。FPP中两种主要的相位测量方法是(时域)相移轮廓术(phase shifting profilometry,PSP)和(空域)傅里叶变换轮廓术(Fourier transform profilometry, FTP),均具有结构简单、精度高、速度快、成本低和易实现等优点。

1) 条纹投影。FPP主要采用数字光栅投影技术,如图 8所示。该技术利用数字设备取代机械装置生成投影面结构光光栅,更加灵活准确,完全满足三维面形测量的高速实时要求。硬件系统一般由一个投影仪和一个或多个相机组成,FTP系统和PSP系统硬件基本相同。1)投影仪向待测物投射一组编码图案,编码图案受待测物表面高度变化因素影响引起调制,并由相机采集调制后的编码图案;2)通过解码获得待测物表面各点的相位信息;3)根据三角测量原理计算出待测物表面各点在世界坐标系下的三维坐标。国内外学者对改变投影方式来提高三维重建效果做出很多研究。在实时三维测量方面,通过使用高帧率条纹投影硬件和快速解相方法(FTP原理)可以实现三维点云数据的实时高精度采集(Zuo等,2018)。在测量精度提升方面,通过自适应双目条纹动态投影方法,可以解决条纹投影传感器测量精度受图像饱和度和投影仪非线性效应严重影响的问题(Yu等,2019)。在高动态测量范围方面,利用散焦技术可以将投影的二进制条纹图案生成灰度正弦图案,再通过图像融合,可以保留在适当曝光下的表面,增加了实时3D测量的动态范围(Zhang等,2020)。

图 8 条纹投影测量术
Fig. 8 Fringe projection profilometry((a) digital grating projector; (b) projected sinusoidal grating)

2) 折叠相位。相位恢复方法主要分为两类:单帧条纹图法和相移法(PSP)。相移方法通常需要不同时刻的多个条纹图。在测量快速运动或暂时不稳定环境中的物体时,在极短的时间内获得几个投影条纹图是困难的或昂贵的。与后者相比,前者在单次拍摄中只需要一个条纹图,通过单幅图像进行相位提取,如图 9所示,更适合动态物体的三维测量。然而,在条纹投影三维测量中,从单帧条纹图中提取相位是一个具有挑战性的问题,尤其是对于具有边缘或深度突变的物体。这一问题引起了广泛关注,已经提出了许多方法,例如傅里叶变换法、窗口傅里叶变换法、小波变换法、剪切波变换法、经验模式分解法、变分图像分解和变分模式分解等(Zhang等,2012Zhu等,2013, 2014)。经验模式分解方法例如tv-g-shearlet图像分解模型,将条纹图像直接分解为3个分量:包含背景的第1分量、包含背景的第2分量和包含噪声的第3分量。提高了收敛性能,获得了相比于傅里叶变换法和小波变换法更好的效果(Zhu等,2013, 2014)。除此之外可以将标记点与傅里叶变换轮廓术结合,利用傅里叶变换轮廓术进行相位提取,标记点用于辅助相位展开过程。将嵌入的标记与时间相位差信息相结合,仅用两个投影模式重建可靠绝对相位,达到了以200帧/s的速度实现动态物体的测量(Hu等,2018)。利用深度学习进行相位的提取也是近年来新出现的相位提取方法。利用深度神经网络进行条纹分析,可以提高单一条纹图相位解调的精确度,在精度和边缘保持方面效果优于傅里叶变换轮廓术和窗口傅里叶轮廓术(Feng等,2019)。

图 9 折叠相位提取图
Fig. 9 Wrapped phase map
((a) captured image; (b) phase map)

PSP需要至少3幅相移条纹图案以实现逐像素的高精度相位测量。涌现出多种相移算法(Wang等,2019Li等,2019Zeng等,2016),诸如三步相移算法、四步相移算法、双三步相移算法、改进的三步相移算法和六步相移算法等。除此之外,也有将正弦结构光与其他编码光结合进行相位提取,利用正弦和编码图案的投影形成一个周期,并且图案在偶数和奇数周期之间移动半个周期。结合相邻偶数和奇数周期的两个条纹阶数,可以正确恢复绝对相位图,并通过二进制抖动技术将所有8位灰度模式转换为1位二进制模式来提高测量速度(Wang等,2020)。

3) 展开相位。相位展开算法作为三维轮廓测量中关键部分,在国内外的研究非常多,并且现在仍是光学三维测量方法中的热门研究内容。

相位空间展开算法是通过单幅折叠相位进行相位展开,如图 10所示,主要分为路径跟踪算法和全局展开算法。路径跟踪算法的代表主要有枝切法、质量图导向法(Zhang等,2007)和基于网络规划的最小费用流算法。全局展开算法具有代表性的有最小二乘法、基于正则化理论的方法和基于贝叶斯推断的方法。多级质量导引相位展开算法是从相位图的梯度生成质量图,多级阈值用于逐级展开相位。在每个级别的数据点内,采用快速扫描线算法。在普通计算机中,对于640×480像素的图像,此算法的处理时间约为18.3 ms。虽然一定程度上降低了处理速度,但改善了扫描线相位展开算法效果(Zhang等,2007)。将机器学习应用在相位展开中是近年出现的相位展开算法。例如现有的使用支持向量机进行相位展开算法,它将问题作为一个分类任务来解决,从采集的图案和折叠相位中提取出7个元素,形成输入特征向量。此外,采用径向基函数和支持向量机作为模型。该方法中每一个像素都是独立的,并且在空间展开过程中不受误差传播的影响。由于只需要一个相位图,它比实时展开所需的样板更少,可以生成精确的深度图,与复杂的质量引导方法相比速度更快(Xiang等,2020)。

图 10 单幅相位展开
Fig. 10 Single phase unwrapping ((a) wrapped phase map; (b) unwrapped phase map)

时间相位展开方法利用从多套不同频率条纹图中得到的折叠相位来获得展开相位。传统的3个波长外差相位展开如图 11所示,通过3种频率的正弦结构光进行相互外差得到波长更长的相位,最终实现相位展开。几十年来国内外在时间相位展开方法做出了很多的研究。例如在原有3个波长的基础上,计算了3个等效波长,投射采集等效波长用于相位展开算法,相比传统方法计算速度快、精度高和抗干扰能力强(Song等,2013)。在相位噪声去除方面出现了利用相位二阶导判断是否存在错误相位用以去除错位的相位,实现了在点云生成前的点云去噪(Song等,2014)。现有的3种时间相位展开算法:多频(分层)方法、多波长(外差)方法和数论方法,条纹周期的选择同样影响着相位展开的结果。每种展开方法的最佳条纹周期是控制FPP中相位测量精度的关键因素。此外,多频时间相位提供可靠、有效展开方法,而多波长方法最容易受到噪声引起的展开误差的影响(Zuo等,2016)。其他条纹方式和相移结合也取得了一定成果,例如将灰度编码和双频相移相结合的三维测量方法。该方法用双频相移进行相位提取,结合灰度编码进行相位的展开,一定程度上减少了周期跳变误差,实现可靠的展开(Yu等,2018)。此外还有基于格雷编码的相位展开方法,该技术保留了格雷码方法的高抗噪能力,同时克服了跳变错误和编码效率低的缺点,避免码字边界上的跳变误差(Wu等,2020)。

图 11 外差展开相位
Fig. 11 Heterodyne phase unwrapping

4) 三维标定技术。相机系统标定是视觉测量的前提。基于主动视觉的相机校准方法可以在没有校准对象的情况下进行相机参数计算,相机仅用于执行特定运动。该方法优点是算法简单、鲁棒性强,但是系统成本较高。最经典的相机标定方法是使用平面目标。例如张正友标定(Zhang,2000),通过相机拍摄在几个(至少两个)不同方向上显示的平面图案来进行标定。相机或平面图案都可以自由移动。张正友建立了径向透镜畸变模型,提出的方法包括一个封闭形式的解决方案,又基于最大似然准则对非线性问题改进。与使用昂贵设备(如两个或三个正交平面)的传统方法相比,该方法易于执行,精度高,因此广泛用于单相机标定。

三维测量系统在三维形状重建、机器视觉和增强/虚拟现实等视觉信息相关领域发挥着重要作用。然而,由于相机视场的限制,单个系统无法获得关于物体的完整信息。多系统可以通过不同角度获取深度信息来解决这个问题。为此,需要对他们进行校准,以便准确地获得完整的三维信息。近年来在三维标定方面国内外提出了多种标定方式进行多系统标定(Kang等,2018An等,2019Liu等,2019Huang等,2019Ramirez-Hernández等,2020Zhao等,2020Shao,2020)。常见的有通过一个简单三维目标将多个深度相机坐标统一到同一个世界坐标系中。例如,使用立方体作为三维目标,每个相机只在立方体标定对象的单个表面上进行标定。由于立方体标定对象的不同曲面处于统一的世界坐标中,不同曲面上特征点坐标自然处于统一的世界坐标系统中。通过对多个相机同时进行标定,最终实现全局标定(Huang等,2019)。

5) 误差分析。FPP系统的三维重建精度受到相位计算、标定过程和系统结构等多个因素的综合影响。其中单一环节的精度分析,例如相位误差和标定误差等,不能准确反映三维重建的最终误差,因此FPP系统常用的误差分析方法是通过系统对标准物体进行扫描来获得系统的相对误差(殷永凯等,2020)。

标准平面是精度评估常用的一类标准件,如图 12(a)所示,采集得到的数据拟合成理想平面,通过计算残差来表征测量的误差(Gonzalez和Meneses,2019Huang等,2010)。常见的形式有测量表面残差(Merner等,2013)、阶梯平面距离(Chen等,2017)等。标准球也通常作为评价误差的一种标准件,如图 12(c)所示。常见的有扫描后采用最小二乘法进行球心拟合(Song等,2018),计算球心间距或者通过计算扫描数据到拟合的球心偏差评价误差(Song等,2019)。通过其他更高精度的测量设备测量值作为标准值对系统进行误差分析也是一种常见的方法。

图 12 误差分析
Fig. 12 Error analysis((a) point cloud of standard step; (b) point cloud plane fitting of standard step; (c) standard ball; (d) standard spherical center fitting)

2.2 相位测量偏折术

相位测量偏折术PMD的发展滞后于条纹投影轮廓术FPP,其基于条纹反射的原理来实现镜面反射表面的三维形貌测量。PMD中常用的镜面面形重建方法主要是基于梯度积分的PMD和基于直接相位测量偏折DPMD(direct PMD)。前者首先使用全场条纹图案得到被测物体表面的梯度信息,然后通过对梯度积分恢复被测物体的三维形貌,具有测量精度高的优点。后者直接建立深度与相位的直接转换关系,测量相位后可直接得到被测物体的三维形貌,具有可测量非连续镜面物体的优势。

与FPP不同,PMD除了采用数字光栅投射技术,还主要利用了液晶显示技术。其通过基于数字光栅投射技术的投影设备(主要是投影仪)向毛玻璃或全息膜上投射面结构光,或利用基于液晶显示技术的液晶显示设备(liquid crystal display, LCD)来显示结构光栅以产生使被测物体反射的结构光信息。相位测量偏折系统主要由结构光显示设备(LCD、投影仪与毛玻璃)和相机组成。首先,显示设备显示预先编码的结构光图案,被测物体表面按照光的反射定律反射这些结构光,并被放置于另一角度的相机采集。然后,通过上面所提到的折叠相位、绝对相位计算方法解调变形条纹中的相位信息。最后,根据建立的相位-梯度-深度或相位-深度关系,以及标定的系统结构参数得到被测物体的三维形貌数据。

1) 条纹显示方式。液晶显示技术为PMD测量系统提供了可灵活编码的结构光显示设备,促进了PMD技术的发展。经典的PMD技术需要获得两个正交的局部梯度数据以重建三维全局形貌,即需要获得物面形貌的唯一解。但是现有的单一条纹图像只能建立相位和梯度数据的一组关系,所以需要增加一组条纹图像来确定物面形貌的唯一解。由于成像设备需要更长的时间来完成对连续条纹图案的采集,因此很难实现实时或动态地测量镜面物体。为了减少采集时间,研究者们针对条纹显示方式进行了大量的研究工作(Petz和Tutsch,2005Guo等,2016刘元坤,2004Huang等,2011Xie等,2011Liu等,2014Wu等,2016)。典型的条纹显示方式包括顺序产生两个正交的条纹图、同时显示交叉条纹以及彩色条纹图。

(1) 正交条纹图。为了获得正交相位信息,研究者们使用计算机分别生成两组垂直和水平方向的条纹图像,并在LCD显示屏上顺序显示这两组正交条纹图像(Petz和Tutsch,2005Guo等,2016),如图 13所示。根据经典的PMD技术,相机从另一视角依次采集被镜面变形的条纹图像,结合相位解算方法,即可获得该被测镜面的正交相位信息。通过构建垂直和水平两方向上相位变化与梯度的关系,并求解到镜面的梯度信息后,再经由梯度积分方法即可重建镜面三维形貌(刘元坤,2004)。

图 13 正交条纹图
Fig. 13 Orthogonal fringe pattern images
((a) vertical fringe pattern; (b) horizontal fringe pattern)

(2) 交叉条纹图。交叉条纹图显示方法是将正交的水平和垂直方向的条纹图像编码在一幅条纹图像中,如图 14所示。Huang等人(2011)提出一种使用单视场条纹反射技术和二维傅里叶窗口变换算法测量动态镜面三维形貌的方法。只需要一幅交叉的光栅图即可快速重建连续镜面的三维形貌。通过对水波连续镜面的动态三维形状重建,证明了该方法的可行性。Xie等人(2011)提出使用合成正交条纹图案的反射技术来测量镜面。利用二维傅里叶算法从变形的复合条纹图案中提取了两个方向上的相位分布,通过计算物面相位差获得梯度数据。然而,由于两个方向的条纹图像存在不可忽略的频谱重叠现象,当利用二维傅里叶变换提取物面相位信息时,会产生相位误差。为了减少投射的条纹数量并提高测量精度,一种改进的PMD被提出(Liu等,2014)。通过快速傅里叶变换从交叉条纹中获得两个高频正交条纹图案和两个单周期正交条纹图案,并通过外差法获得绝对相位信息。最后,利用梯度积分的方法重建镜面的三维形貌。该方法仅使用一幅交叉条纹图像就能重建物面形貌,更适用于动态波前测量。

图 14 交叉条纹图
Fig. 14 Cross fringe pattern images

(3) 彩色条纹图。为了减少所需采集的条纹图像数量,彩色条纹反射技术已被广泛研究并运用于PMD。在PMD系统中,LCD和彩色电荷耦合器CCD类似,分别编码相移为-2π/3、0和2π/3的条纹图案到红色、绿色和蓝色通道中,形成复合彩色条纹图,如图 15顶部图像所示。相机采集被镜面变形的彩色条纹图后,可以从红色、绿色和蓝色通道中分别提取3个条纹图用于后期相位计算,如图 15底部的3个条纹图所示。如果将交叉条纹图案编码到彩色图像的3个颜色通道中,则可从一幅彩色图像中提取6个条纹图案(包括3个垂直相移条纹图案和3个水平相移条纹图案)。因此,可以从单幅拍摄图像中获得两个正交的折叠相位图以及垂直和水平的局部斜率数据。基于彩色条纹编码方式,Wu等人(2016)提出了一种彩色正交条纹反射技术来测量动态镜面。由于该方法将水平和垂直条纹图分别编码到红色和蓝色通道,因此仅需要一个颜色编码的条纹图即可获得高精度的梯度数据,然后通过对两个正交方向的梯度数据积分即可重建镜面的三维形貌。该方法避免了传统灰度交叉条纹中存在的频谱混叠现象。

图 15 彩色条纹图
Fig. 15 Color fringe pattern images

2) 梯度积分方法。为了获得镜面的深度信息,基于梯度积分的PMD技术已经被广泛研究。通过建立物面梯度数据和高度的关系,结合相位计算方法和系统几何参数标定技术,获得物面的梯度信息后,再经由梯度积分的方式得到被测镜面的深度信息。基于梯度积分的PMD技术可以分为3类:径向基函数(radial basis function, RBF)法、最小二乘法和离散傅里叶变换法。

(1) 径向基函数法(RBF)。Ettl等人(2008)首次将RBF应用在PMD技术中。该方法通过将分析导数与测得的斜率数值进行匹配,可以利用最小二乘法求得形状数据。基于RBF的PMD方法通常将斜率数据集划分为较小的子集,然后在每个子集上对斜率进行积分后拼接结果数据。由于该方法需要大量数据计算,只能有效处理小尺寸镜面。为了进一步改善梯度积分过程,Huang和Asundi(2013)提出了一种将RBF和最小二乘法相结合的方法。该方法准确、自动且对于数据集的拼接具有鲁棒性。Ren等人(2016)提出了一种最小二乘正弦积分法。该方法采用RBF积分法作为补充约束,用非矩形样本重构表面形状。

(2) 最小二乘法。基于最小二乘法的PMD技术采用的模型是双二次样条。但在实际测量中,曲面镜面无法用双二次函数描述。为了解决这个问题,许多研究人员研究了不同的方法来改进最小二乘积分法。Guang等人(2017)提出了一种基于有限差分的高阶迭代最小二乘积分方法,以提高形状重构的准确性和收敛速度。Ren等人(2015)提出了一种基于有限差分的最小二乘积分方法,它可以在任意域中工作,并且可以直接方便地处理不完整的梯度数据。为了提高从梯度到高度积分过程的精度,并解决上述提及的双二次形状假设的不准确性,Huang和Asundi(2012)提出了一种对传统最小二乘积分方法的迭代补偿技术。所提方法能够准确、快速处理大数据集。因此在一些基于梯度测量的光学检测应用中,其是一种有效、准确的二维集成工具。但是该方法所需时间较长。

(3) 离散傅里叶变换法。基于离散傅里叶变换的PMD技术由Freischlad和Koliopoulos(1986)提出,旨在利用离散傅里叶变换进行波前重建。但是,傅里叶变换算法在矩形域中运行,会存在梯度数据中一些像素丢失的现象。离散傅里叶变换方法可以减少重建误差,但不能直接应用于不完整的梯度数据进行形貌重建。为了解决上述问题,研究者们提出了通过使用迭代离散傅里叶变换来解决梯度形状重构的问题(Roddier和Roddier,1991Guo和Wang,2006Poyneer等,2002)。

3) 直接相位测量偏折术。基于梯度积分的PMD技术主要是通过相位计算梯度数据,然后对梯度进行积分来重构物体面形。为弥补梯度积分不能用于非连续镜面物体三维形貌重建的缺陷,研究者对如何建立相位-深度映射关系进行了研究。Petz和Tutsch(2005)提出了一种反射光栅摄影测量的方法测量不连续的镜面。该方法在测量的过程中平行移动LCD来确定入射光线的位置,找到入射光线与反射光线的交点即为待测物点的空间位置。Guo等人(2010)提出了一种光束跟踪来测量非连续镜面三维形状的方法。该方法需将LCD移动多个位置,利用最小二乘法确定光线位置。相较于上述方法,该方法提高了测量精度。

为了建立相位与深度的关系,上述方法需要将LCD屏幕机械地移动两个位置,移动的过程会产生误差。为了解决这一问题,研究者提出一种直接相位测量偏折方法DPMD(Liu等,2017Huang等,2018)。DPMD直接建立了相位和深度的关系,避免了梯度积分,可测量非连续镜面。该系统由两个LCD显示屏、一个半透半反镜、参考镜以及一个相机构成,如图 16所示。图 16(a)(b)分别为DPMD的测量原理示意图和硬件系统图。半透半反镜用于实现两个LCD屏幕的平行设计。使用软件生成具有最佳条纹个数的正弦条纹图,分别显示在两个屏幕上。CCD相机从另一视角采集两组经由被测非连续镜面变形的条纹图像。分别使用四步相移算法和最佳三条纹选择法计算折叠相位信息和绝对相位信息。由于最佳三条纹选择法是逐像素计算绝对相位,因此可以直接从计算出的相位图中获得被测不连续镜面深度信息。

图 16 DPMD测量系统
Fig. 16 DPMD measuring system((a) schematic diagram of measurement principle; (b) diagram of hardware system)

为了优化系统参数和评估系统性能,Zhao等人(2018)提出了一种虚拟DPMD测量系统。利用该仿真系统分别分析系统中的4个参数对测量结果的影响。根据仿真结果分析,研究人员可以为实际的DPMD(包括PMD)测量系统选择合适的系统参数,以获得亚微米精度镜面物体的三维形貌。

4) PMD系统标定。在以相机作为实现非接触测量为目的的视觉测量系统中,标定相机是获得系统中其他硬件设备之间位姿关系的前提,PMD测量系统也不例外。由于镜面的光学反射特性不同于漫反射表面,相机只有在特定角度才能够观察到被测物体反射的光线。因此,与FPP测量系统增加相机个数来增大测量视场的目的不同,PMD系统增加相机数目是为了解决求解被测物体表面测量点法向量的歧义性问题,从而提高测量精度(Xu等,2018)。

基于梯度积分的PMD系统标定主要是标定真实结构光源显示设备与相机的位姿关系,从而利用显示设备上的相位点坐标、该相位点在相机靶面上的像素位置以及相机光心坐标决定的入射光线和反射光线来求解测量点的法向量,常用的标定方法为PnP(pespective-n-point)(Takahashi等,2016)。在基于直接相位测量偏折的DPMD系统中,研究者借助精密水平移动台(Petz和Tutsch,2005Huang等,2018)、机器视觉方法(Huang等,2018)和条纹投影技术(Chang等,2019)来标定系统中的结构参数。总之,不同的PMD测量系统,标定方法也不同。

5) PMD系统误差分析。FPP测量技术为PMD镜面测量技术提供了良好的发展基础,因为FPP中涉及的条纹编码、解相算法均可在PMD中应用。与FPP系统相同,PMD系统的三维重建精度也受相位解算精度、系统标定精度和系统结构的影响,同时还受系统中设备的非理想显示特性(如LCD的平面度、非线性响应和透明层折射效应;或投影仪畸变、投影仪的非线性响应)、系统中设备的非理想成像特性(如相机的镜头畸变、色差)等多个因素的影响。在评价PMD系统的测量精度时,其也通过测量标准件,然后将系统测量值与更高精度测量设备或拟合得到的数据进行比较来分析测量误差。其中,在评价基于梯度积分的PMD测量系统时,大都采用测量标准平面或标定凹面镜(Xu等,2018),然后利用得到的测量值拟合成理想平面或球面,通过计算残差或凹面镜的半径差来表征测量误差。在评价DPMD测量系统精度时,其通过测量一个相邻台阶面深度已知的非连续台阶(Chang等,2020),利用得到的深度数据拟合每个台阶面得到相邻台阶面的深度,然后与CMM测得的深度值做比较来评价系统测量精度,如图 17所示。

图 17 PMD误差分析
Fig. 17 Error analysis of DPMD((a) 3D data of concave mirror; (b) difference between the measured and fitted values; (c) depth data of standard step; (d) fitted plane of 3-4)

3 典型应用

三维视觉测量技术由于其分辨率高、采集数据快、全场测量、低成本和高精度等优点,已广泛应用于航空航天、汽车工业、高端装备制造、医疗行业和古文物保护等领域。

3.1 航空航天

随着三维视觉测量技术的不断发展和测量精度的不断提高,三维视觉测量技术已能初步满足航天航空领域中关键零部件的精密检测要求,如航空航天领域的涡轮叶片、天文望远镜系统中的反光镜面、詹姆斯韦伯望远镜中分光镜的三维数据获取和表面质量分析等。同时,以单目单站为主体、单目多站协同为拓展的被动式三维视觉测量,也成为飞机、卫星和导弹等典型航天航空装备服役飞行过程中的对地观测和着陆位姿动态测量的重要技术途径。如图 18(a)为飞机机身,通过三维扫描技术可以快速、高精度地获取飞机机身及其零部件的外形三维数据,从而通过三维数据分析各部位的形变,为外形改造及维修测量提供数据支撑;图 18(b)为天文望远镜中的超精密器件;图 18(c)-(e)分别为无人机(unmanned aerial vehicle, UAV)着陆视觉导引测量系统(杨世保,2012)、卫星高分辨率对地观测(https://baike.baidu.com/item/高分一号卫星/1669034)和导弹发射视觉跟踪测量系统(https://baike.baidu.com/item/光电经纬仪/1706642?fr=Aladdin)。

图 18 三维视觉测量技术在航空航天领域应用实例
Fig. 18 Application example of 3D vision measurement technology in aerospace field((a) aircraft body; (b) precision optical components in astronomical telescopes; (c) UAV landing visual guidance measurement; (d) satellites earth observation; (e) visual tracking measurement of missile launch)

3.2 汽车工业

三维视觉测量技术在汽车制造中的车身工艺波动的关键尺寸在线检测,车身表面喷漆质量检测,汽车车身、轮毂及方向盘等重要组成结构的三维数字化等汽车制造业中各个方面发挥了巨大的作用。天津大学叶声华院士团队将结构光三维视觉技术成功应用于国内多家汽车生产企业,如南京依维柯、一汽大众和东风神龙等国内主流汽车厂,与机器人相结合,解决了在线测量灵活性、测量精度和测量效率三者之间的矛盾,实现了汽车领域高性能柔性在线测量应用,如图 19所示(尹仕斌等,2018)。

图 19 视觉测量技术在汽车工业中的应用(尹仕斌等,2018)
Fig. 19 Application of visual measurement technology in automobile industry(Yin et al., 2018)

3.3 高端装备制造

智能制造工业4.0的核心是高端装备制造,而没有精密的测量就没有高质量的高端装备制造。高端装备制造过程中迫切需要视觉检测技术来充当其制造中的“眼睛”,为加工过程中尺寸测量、物体定位、路径导航和缺陷检测等提供技术保障。如图 20(a)所示视觉在模具行业中应用,通过三维扫描进行模具镶块的定位,为后续加工提供定位基准。图 20(b)为视觉引导机器人进行定位以及路径规划,可应用于工件的打磨抛光。

图 20 三维视觉测量在高端装备制造中的应用
Fig. 20 Application of 3D vision measurement in high-end equipment manufacturing((a) visual positioning and measurement in the mold industry; (b) vision guides robot positioning)

由于合格焊接人才的缺乏,自动化焊接设备逐渐替代人力焊接工作。通过焊接相机采集焊接点周围环境纹理、形状和三维坐标等信息,反馈给服务器,根据预设AI(artificial intelligence)算法判断焊接路径,在服务器内完成路径匹配,指导焊机作业。

3.4 医疗行业

三维视觉测量技术为医疗行业中的检测技术和诊断方法提供了新思路和新手段,如诊断骨科、乳腺癌和整形外科的畸形(Lagarde等,2001)。使用光学三维测量技术可以重建病患待诊断部位的三维数据。医生根据重建后的三维结果进行旋转、缩放和填充数据等操作。因此三维数据直接反映了患者的病情,便于医生做出准确的诊断。图 21(a)(b)为人体牙齿和膝盖的三维测量数据。

图 21 三维视觉测量在医疗行业中的应用
Fig. 21 Application of 3D vision measurement in medical industry((a) dental model; (b) knee; (c) people head)

整形外科医生可以通过三维成像系统采集、显示人脸的三维表面轮廓来协助医学整形,如图 21(c)所示。医生通过三维成像系统获取患者特定的人脸三维轮廓来检查不同植入体的仿真效果,制定术前治疗计划和验证评估术后效果,协助患者选择适当的植入物体积以达到满意的整形结果。

3.5 古文物保护

不论是待挖掘的文物还是已经陈列被保护的文物,其均会由于技术手段、自然灾害、战乱和人为破坏等原因受到不同程度的损坏。三维视觉测量技术为文物的数字建模、检测、修复、数字化建档以及考古现场记录等提供了技术手段。2020年,圆明园联合北京大学考古文博学院以三维扫描、摄影测量等手段开启了圆明园内石刻文物的数字化存档。如图 22为Andrew教授利用激光三维扫描技术对巴黎圣母院内外景进行三维重建,其真实、精确地记录了巴黎圣母院的三维模型(http://mappinggothic.org/building/1164)。三维视觉测量技术对保留、修复历史建筑原貌具有重要的价值。

图 22 巴黎圣母院的三维数据
Fig. 22 3D data of Notre Dame

4 问题及展望

4.1 高精度

随着精密制造加工、智能定位与导航等技术的发展,对三维视觉测量提出越来越高的精度要求(Yu等,2020)。实际测量中由于复杂现场环境、被测对象状态和材料表面属性等因素的限制,给提升视觉测量精度带来了很大挑战。高质量图像的采集以及特征点的精准提取是主要难点问题。需要在传统的视觉理论的基础上,探索提高畸变校正、相机标定、立体匹配以及重构算法精度的方法,研究测量过程中误差源和误差传递精确模型。在大尺寸测量中,测量误差分析与补偿的重要性更为突出。近些年计算摄像学、深度学习等新技术为提升视觉测量精度提供了新的手段,有较大的研究和发展空间。

4.2 快速性

高速测量一直是三维视觉测量中的难点问题。卫星在轨快速机动、飞机起飞着陆、导弹发射试验和列车轮轨运行等高速运动体的三维形貌、位置和姿态等参数的测量,子弹出膛、汽车碰撞试验和爆破等瞬态场景的三维重建,面临着许多亟待解决的问题(Zhang等,2010Gong和Zhang,2010)。如高速测量中,多数情况下需要预先在运动物体表面放置标记点以实现自动跟踪和三维重构;投影仪的结构光投影速度低于相机的采集速度,限制着系统的测量效率;相位展开法数据获取时间长,使其难以对动态物体或变化场景达到快速响应;高速测量引发大量数据的处理问题,三维数据相比于二维数据来说数据量已经高出一个量级,再加上颜色、纹理等信息存储的数据量更大,数据采集、传输和处理问题是限制快速三维测量发展的主要问题。

4.3 极大、极小尺寸和极端环境

大型构件精准三维测量在航空、航天及重大装备制造等领域发挥着重要作用。单一三维视觉测量系统往往很难实现大尺寸目标高精度、快速测量,且易受环境干扰,多传感器与视觉测量手段进行融合以完成复杂的测量任务是大尺寸测量的趋势。现阶段大尺寸视觉测量中,为了解决目标纹理特征较少情况下不同视场间数据高精度拼接问题,通常会在被测物表面粘贴反光标志点,但数据点稀疏影响测量精度,粘贴标志点的过程不但会对被测物造成影响,也会影响测量效率。一些研究提出了基于激光跟踪仪与摄影测量系统融合构建大尺寸测量场以提高系统测量精度,但涉及多系统误差的转换、校准和基于模型的误差分配等新问题(曲兴华等,2009)。

当今制造业已由传统机械加工模式向超精密加工、飞秒激光加工、电子束加工、半导体光刻和仿生制造等多制造模式共存的方向发展,加工精度也逐渐由传统微米尺度进入到亚微米和纳米尺度。传统测试理论和技术针对微纳尺度的测量对象时面临“测不出”、“测不准”和“测不全”挑战。近些年发展的高精度三维显微成像技术一定程度上解决了微纳尺寸三维测量的问题,但存在着检测速度慢和难以在线检测等问题。针对微纳尺度结构的尺寸效应以及变形对测量造成的误差机理仍不明确,测量理论尚待完善。如何实现微纳尺度形状、性能参数的高时空分辨、高精度测量与表征是微纳测量领域亟待研究的重大问题。

复杂工业环境、水下环境、极地环境和外太空等极端恶劣条件下的视觉测量技术研究是一项具有实际意义和挑战性的工作。长期服役于极端环境的化工、核电、航空航天和国防军工等重要领域装备,未来对三维视觉测量的需求会进一步提高。极端环境下清晰特征图像的采集、复杂时变环境下失真图像的还原、恶劣环境下测量系统稳定可靠的运行以及环境因素与测量误差之间的误差评价和补偿方法等技术难题还亟需突破。

4.4 复杂属性表面

复杂属性表面测量一直是视觉检测中的难点问题。相关问题主要体现为以下几个方面:

1) 被测对象表面特性复杂。视觉测量中被测目标往往存在强反光表面、透明表面、大曲率镜面和缺乏自然纹理特征等情况,难以通过被动立体视觉方式测量;而主动立体视觉测量存在回光信号接收困难、图像曝光差异性较大等问题。比如飞机叶片高反射和复杂的曲率情况、测量光信号接收困难、表面喷涂散射层或喷涂数字散斑等方法操作繁琐。对于纯镜面目标,由于通常表面有镀膜等光学要求,不适合采用喷涂散光介质的方法。通过绝对相位法实现镜面三维形状测量在一定程度上解决了该问题,但对复杂曲率镜面实现测量还存在困难,需要进一步发展完善。多方位冗余测量可以提高对高反射目标测量的适应性,但复杂度增加,对于大型目标不太适用。

2) 被测对象结构复杂。对于存在大量高频信息的表面,无论通过主动还是被动立体视觉测量都存在很大的难度,主要存在特征点容易被遮挡、结构光变形严重等问题。如在插头插针检测时,插针的侧面由于互相遮挡很难检测,通过光学断层扫描的方法虽然能够在一定程度上解决测量问题,但适应性有限。深孔内部检测、内螺纹检测是工业检测中的难点问题,由于空间狭小,光信息难以获取,光在孔内存在多次反射,使得传统的视觉测量方法难以凑效。通过内窥镜方式检测很难实现三维测量。如何实现三维视觉测量的微型化,是未来视觉测量发展的一个方向。

3) 被测目标具有一定柔性。如飞机、汽车发动机装配体存在大量的管路和线缆等柔性体,由于管路、线缆空间结构复杂,柔性零件难以达到很高的形状精度,装配时存在一定变形,装配体很难与CAD(computer aided design)模型一致,如何有效获取点云数据,以及如何评价变形的柔性体装配是否合格,目前仍然没有行之有效的手段。近年来人工智能与机器视觉相结合,为解决该问题带来了曙光,但还没得到真正有效的应用(Žbontar和Lecun,2016)。

4.5 在位测量

零件加工过程中在位测量是提高加工精度和生产效率的迫切需求(Zuo等,2012石照耀等,2013)。由于测试时无需拆除装夹,减少了工件转运时间和反复装夹引入的误差,有效地提升制造效率和精度。采用非接触式三维视觉测量系统代替接触式测头,可以大大提高测量效率、测量精度和自动化程度。但测量系统与加工机床的集成、现场适应性、现场标定及现场溯源、路径规划技术和高速数据处理技术等仍有待进一步深入研究。

4.6 便携测量

结构光投影技术因其非接触、高精度、全场测量和点云重建效率高等优点,已成为三维测量技术中的主流方法。但在实际工业应用中,期望三维测量方法更简单、更小巧和更便宜,例如现在已广泛集成到手机等移动终端的三维散斑结构光测量模组和TOF (time of flight)模组(Ganapathi等,2010)。这些方法的三维重建精度目前只在毫米甚至厘米级,离实际应用还有一些差距。未来的便携式三维测量系统应该是在小型化和低成本的基础上,借助目前快速发展的计算成像、5G通讯、人工智能和云计算等技术,在降低成像系统硬件复杂度的同时,提高测量系统的精度和速度。

致谢 本文由中国图象图形学会视觉检测专委会牵头组织撰写,并得到了河北工业大学、大连理工大学、哈尔滨工业大学、天津工业大学和北京航空航天大学相关研究团队的大力支持,在此表示衷心感谢!

参考文献

  • An Y, Li B, Hu H S, Zhou X L. 2019. Building an omnidirectional 3-D color laser ranging system through a novel calibration method. IEEE Transactions on Industrial Electronics, 66(11): 8821-8831 [DOI:10.1109/TIE.2018.2890506]
  • Blais F. 2004. Review of 20 years of range sensor development. Journal of Electronic Imaging, 13(1): 231-240 [DOI:10.1117/1.1631921]
  • Cai X P, Li H M, Liu J B, Gao S H. 2007. Overview of active optical three-dimensional imaging technology. Laser and Infrared, 37(1): 22-25 (蔡喜平, 李惠民, 刘剑波, 高劭宏. 2007. 主动式光学三维成像技术概述. 激光与红外, 37(1): 22-25) [DOI:10.3969/j.issn.1001-5078.2007.01.005]
  • Chang C X, Zhang Z H, Gao N, Meng Z Z. 2020. Improved infrared phase measuring deflectometry method for the measurement of discontinuous specular objects. Optics and Lasers in Engineering, 134: #106194 [DOI:10.1016/j.optlaseng.2020.106194]
  • Chang C X, Zhang Z H, Gao N, Meng Z Z. 2019. Measurement of the three-dimensional shape of discontinuous specular objects using infrared phase-measuring deflectometry. Sensors, 2019: #4621 [DOI:10.3390/s19214621]
  • Chen R, Xu J, Zhang S, Chen H P, Guan Y, Chen K. 2017. A self-recalibration method based on scale-invariant registration for structured light measurement systems. Optics and Lasers in Engineering, 88: 75-81 [DOI:10.1016/j.optlaseng.2016.07.003]
  • Chen X R, Cai P, Shi W K. 2002. The latest development of optical non-contact 3D profile measurement. Optics and Precision Engineering, 10(5): 528-532 (陈晓荣, 蔡萍, 施文康. 2002. 光学非接触三维形貌测量技术新进展. 光学 精密工程, 10(5): 528-532) [DOI:10.3321/j.issn:1004-924X.2002.05.020]
  • Cui L. 2010. A study on three-dimensional shape measurement system based on laser triangulation. Beijng: Beijing University (崔磊. 2010. 基于激光海法的三维形貌测量系统研究. 北京: 北京航空航天大学)
  • Ettl S, Kaminski J, Knauer M C, Häusler G. 2008. Shape reconstruction from gradient data. Applied Optics, 47(12): 2091-2097 [DOI:10.1364/AO.47.002091]
  • Feng S J, Chen Q, Gu G H, Tao T Y, Zhang L, Hu Y, Yin W, Zuo C. 2019. Fringe pattern analysis using deep learning. Advanced Photonics, 1(2): #025001 [DOI:10.1117/1.AP.1.2.025001]
  • França J G D M, Gazziro M A, Ide A N and Saito J H. 2005. A 3D scanning system based on laser triangulation and variable field of view//Proceedings of 2005 IEEE International Conference on Image Processing. Genova, Italy: IEEE: 741-750[DOI: 10.1109/ICIP.2005.1529778]
  • Freischlad K R, Koliopoulos C L. 1986. Modal estimation of a wave front from difference measurements using the discrete Fourier transform. Journal of the Optical Society of America A, 3(11): 1852-1861 [DOI:10.1364/JOSAA.3.001852]
  • Ganapathi V, Plagemann C, Koller D and Thrun S. 2010. Real time motion capture using a single time-of-flight camera//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE: 755-762[DOI: 10.1109/CVPR.2010.5540141]
  • Gong Y Z, Zhang S. 2010. Ultrafast 3-D shape measurement with an off-the-shelf DLP projector. Optics Express, 18(19): 19743-19754 [DOI:10.1364/OE.18.019743]
  • Gonzalez A, Meneses J. 2019. Accurate calibration method for a fringe projection system by projecting an adaptive fringe pattern. Applied Optics, 58(17): 4610-4615 [DOI:10.1364/AO.58.004610]
  • Gu G F, Zhao J, Kong M, Guo T T, Wang D D. 2020. Tomographic three-dimensional particle position measurement based on light field camera. Acta Photonica Sinica, 49(8): #0812002 (顾高霏, 赵军, 孔明, 郭天太, 王道档. 2020. 基于光场相机层析法的颗粒三维位置测量. 光子学报, 49(8): #0812002) [DOI:10.3788/gzxb20204908.0812002]
  • Guang H, Wang Y J, Zhang L X, Li L L, Li M, Ji L H. 2017. Enhancing wavefront estimation accuracy by using higher-order iterative compensations in the Southwell configuration. Applied Optics, 56(8): 2060-2067 [DOI:10.1364/AO.56.002060]
  • Guo C F, Lin X Y, Hu A D, Zou J. 2016. Improved phase-measuring deflectometry for aspheric surfaces test. Applied Optics, 55(8): 2059-2064 [DOI:10.1364/AO.55.002059]
  • Guo H Q, Wang Z Q. 2006. Wavefront reconstruction using iterative discrete Fourier transforms with fried geometry. Optik, 117(2): 77-81 [DOI:10.1016/j.ijleo.2005.06.003]
  • Guo H W, Feng P, Tao T. 2010. Specular surface measurement by using least squares light tracking technique. Optics and Lasers in Engineering, 48(2): 166-171 [DOI:10.1016/j.optlaseng.2009.04.005]
  • Han X F, Laga H, Bennamoun M. 2019. Image-based 3D object reconstruction: state-of-the-art and trends in the deep learning era. IEEE Transactions on Pattern Analysis and Machine Intelligence: #2954865 [DOI:10.1109/TPAMI.2019.2954885]
  • Hartley R, Zisserman A. 2004. Multiple View Geometry in Computer Vision. 2nd ed. Cambridge: Cambridge University Press
  • Hu Y, Chen Q, Zhang Y Z, Feng S J, Tao T Y, Li H, Yin W, Zuo C. 2018. Dynamic microscopic 3D shape measurement based on marker-embedded Fourier transform profilometry. Applied Optics, 57(4): 772-780 [DOI:10.1364/AO.57.000772]
  • Huang L, Asundi A. 2012. Improvement of least-squares integration method with iterative compensations in fringe reflectometry. Applied Optics, 51(31): 7459-7465 [DOI:10.1364/AO.51.007459]
  • Huang L, Asundi A K. 2013. Framework for gradient integration by combining radial basis functions method and least-squares method. Applied Optics, 52(24): 6016-6021 [DOI:10.1364/AO.52.006016]
  • Huang L, Chua P S K, Asundi A. 2010. Least-squares calibration method for fringe projection profilometry considering camera lens distortion. Applied Optics, 49(9): 1539-1548 [DOI:10.1364/AO.49.001539]
  • Huang L, Da F P, Gai S Y. 2019. Research on multi-camera calibration and point cloud correction method based on three-dimensional calibration object. Optics and Lasers in Engineering, 115: 32-41 [DOI:10.1016/j.optlaseng.2018.11.005]
  • Huang L, Ng C S, Asundi A K. 2011. Dynamic three-dimensional sensing for specular surface with monoscopic fringe reflectometry. Optics Express, 19(13): 12809-12814 [DOI:10.1364/OE.19.012809]
  • Huang S J, Liu Y, Gao N, Zhang Z H, Gao F, Jiang X Q. 2018. Distance calibration between reference plane and screen in direct phase measuring deflectometry. Sensors, 18(1): #144 [DOI:10.3390/s18010144]
  • Jiang H Z, Zhao H J, Li X D, Li D. 2010. Projected fringe profilometry for profile measurement of high reflective surface. Optics and Precision Engineering, 18(9): 2002-2008 (姜宏志, 赵慧洁, 李旭东, 李冬. 2010. 用于强反射表面形貌测量的投影栅相位法. 光学 精密工程, 18(9): 2002-2008) [DOI:10.3788/OPE.20101809.2002]
  • Kang M C, Yoo C H, Uhm K H, Lee D H, Ko S J. 2018. A robust extrinsic calibration method for non-contact gaze tracking in the 3-D space. IEEE Access, 6: 48840-48849 [DOI:10.1109/ACCESS.2018.2867235]
  • Lagarde J M, Rouvrais C, Black D, Diridollou S, Gall Y. 2001. Skin topography measurement by interference fringe projection: a technical validation. Skin Research and Technology, 7(2): 112-121 [DOI:10.1034/j.1600-0846.2001.70210.x]
  • Li D L, Cao Y P, Fu G K, Li C M, Wan Y Y. 2019. An improved 2+1 phase-shifting algorithm. Optics Communications, 444: 165-171 [DOI:10.1016/j.optcom.2019.03.081]
  • Liu T C, Zhou C L, Liu Y P, Si S C, Lei Z K. 2014. Deflectometry for phase retrieval using a composite fringe. Optica Applicata, 44(3): 451-461 [DOI:10.5277/oa140309]
  • Liu Y, Huang S J, Zhang Z H, Gao N, Gao F, Jiang X Q. 2017. Full-field 3D shape measurement of discontinuous specular objects by direct phase measuring deflectometry. Scientific Reports, 7(1): #10293 [DOI:10.1038/s41598-017-11014-5]
  • Liu Y K. 2004. Measurement of 3D Shape for Optical Surface Based on Structured Light Projection. Chengdu: Sichuan University (刘元坤. 2004. 基于结构光投影的光学面形测量方法研究. 成都: 四川大学)
  • Liu Z, Meng Z Z, Gao N, Zhang Z H. 2019. Calibration of the relative orientation between multiple depth cameras based on a three-dimensional target. Sensors, 19(13): #3008 [DOI:10.3390/s19133008]
  • Livingstone F R and Rioux M. 1986. Development of a large field of view 3-D vision system//Proceedings of SPIE 0665, Optical Techniques for Industrial Inspection. Quebec City, Canada: SPIE: 175-188[DOI: 10.1117/12.938790]
  • Merner L, Wang Y J, Zhang S. 2013. Accurate calibration for 3D shape measurement system using a binary defocusing technique. Optics and Lasers in Engineering, 51(5): 514-519 [DOI:10.1016/j.optlaseng.2012.10.015]
  • Montemerlo M, Thrun S, Koller D and Wegbreit B. 2002. FastSLAM: a factored solution to the simultaneous localization and mapping problem//Proceedings of the AAAI National Conference on Artificial Intelligence. Edmonton, Canada: American Association for Artificial Intelligence: 593-598
  • Nayar S K, Nakagawa Y. 1994. Shape from focus. IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(8): 824-831 [DOI:10.1109/34.308479]
  • Petz M and Tutsch R. 2005. Reflection grating photogrammetry: a technique for absolute shape measurement of specular free-form surfaces//Proceedings of SPIE 5869, Optical Manufacturing and Testing VI. San Diego, California, United States: SPIE: 58691D[DOI: 10.1117/12.617325]
  • Poyneer L A, Gavel D T, Brase J M. 2002. Fast wave-front reconstruction in large adaptive optics systems with use of the Fourier transform. Journal of the Optical Society of America A, 19(10): 2100-2111 [DOI:10.1364/JOSAA.19.002100]
  • Qu X H, Dai J F, Zhang F M. 2009. Application study on laser ranging in large-scale measurement. Chinese Journal of Scientific Instrument, 30(3): 481-485 (曲兴华, 戴建芳, 张福民. 2009. 基于激光测距的大尺寸测量应用研究. 仪器仪表学报, 30(3): 481-485) [DOI:10.3321/j.issn:0254-3087.2009.03.007]
  • Ramirez-Hernández L R, Rodríguez-Quiñonez J C, Castro-Toscano M J, Hernández-Balbuena D, Flores-Fuentes W, Rascón-Carmona R, Lindner L, Sergiyenko O. 2020. Improve three-dimensional point localization accuracy in stereo vision systems using a novel camera calibration method. International Journal of Advanced Robotic Systems, 17(1): 1-15 [DOI:10.1177/1729881419896717]
  • Ren H Y, Gao F, Jiang X Q. 2015. Improvement of high-order least-squares integration method for stereo deflectometry. Applied Optics, 54(34): 10249-10255 [DOI:10.1364/AO.54.010249]
  • Ren H Y, Gao F, Jiang X Q. 2016. Least-squares method for data reconstruction from gradient data in deflectometry. Applied Optics, 55(22): 6052-6059 [DOI:10.1364/AO.55.006052]
  • Roddier F, Roddier C. 1991. Wavefront reconstruction using iterative Fourier transforms. Applied Optics, 30(11): 1325-1327 [DOI:10.1364/AO.30.001325]
  • Ruel S, Luu T, Anctil M and Gagnon S. 2008. Target localization from 3D data for on-orbit autonomous rendezvous and docking//Proceedings of 2008 IEEE Aerospace Conference. Big Sky, USA: IEEE: 1-11[DOI: 10.1109/AERO.2008.4526516]
  • Shao M W. 2020. Calibration methods for a camera with a tilted lens and a three-dimensional laser scanner in the Scheimpflug condition. Journal of the Optical Society of America A, 37(7): 1076-1082 [DOI:10.1364/JOSAA.391906]
  • Shi Z Y, Zhang B, Lin J C, Wei H L, Chen X M. 2013. Principle and critical technology of in-site measurement system with laser tracker for mega gear. Optics and Precision Engineering, 21(9): 2340-2347 (石照耀, 张白, 林家春, 魏华亮, 陈显民. 2013. 特大型齿轮激光跟踪在位测量原理及关键技术. 光学 精密工程, 21(9): 2340-2347) [DOI:10.3788/OPE.20132109.2340]
  • Song L M, Chang Y L, Li Z Y, Wang P Q, Xing G X, Xi J T. 2014. Application of global phase filtering method in multi frequency measurement. Optics Express, 22(11): 13641-13647 [DOI:10.1364/OE.22.013641]
  • Song L M, Dong X X, Xi J T, Yu Y G, Yang C K. 2013. A new phase unwrapping algorithm based on three wavelength phase shift profilometry method. Optics and Laser Technology, 45: 319-329 [DOI:10.1016/j.optlastec.2012.06.029]
  • Song L M, Ru Y, Yang Y G, Guo Q H, Zhu X J, Xi J T. 2019. Three-dimensional measurement with reflection suppression based on high-dynamic range images. Journal of Electronic Imaging, 28(1): #013010 [DOI:10.1117/1.JEI.28.1.013010]
  • Song L M, Ru Y, Yang Y G, Guo Q H, Zhu X J, Xi J T. 2018. Full-view three-dimensional measurement of complex surfaces. Optical Engineering, 57(10): #104106 [DOI:10.1117/1.OE.57.10.104106]
  • Takahashi K, Nobuhara S, Matsuyama T. 2016. Mirror-based camera pose estimation using an orthogonality constraint. IPSJ Transactions on Computer Vision and Applications, 8: 11-19 [DOI:10.2197/ipsjtcva.8.11]
  • Tang W, Ye D. 2008. 3D computer vision measurement systems. Infrared and Laser Engineering, 37(S1): 328-332 (唐巍, 叶东. 2008. 三维视觉测量系统. 红外与激光工程, 37(S1): 328-332)
  • Wang G Y, Zheng B, Li X, Houkes Z, Regtien P P L. 2002. Modelling and calibration of the laser beam-scanning triangulation measurement system. Robotics and Autonomous Systems, 40(4): 267-277 [DOI:10.1016/S0921-8890(02)00247-6]
  • Wang Y P, Cao Y P, Fu G K, Wang L, Wan Y Y, Li C M. 2019. Single-shot phase measuring profilometry based on color binary grating with intervals. Optics Communications, 451: 268-275 [DOI:10.1016/j.optcom.2019.06.062]
  • Wang Y W, Liu L, Wu J, Song X K, Chen X C, Wang Y J. 2020. Dynamic three-dimensional shape measurement with a complementary phase-coding method. Optics and Lasers in Engineering, 127: #105982 [DOI:10.1016/j.optlaseng.2019.105982]
  • Watkins L R. 2012. Review of fringe pattern phase recovery using the 1-D and 2-D continuous wavelet transforms. Optics and Lasers in Engineering, 50(8): 1015-1022 [DOI:10.1016/j.optlaseng.2012.01.001]
  • Westoby M J, Brasington J, Glasser N F, Hambrey M J, Reynolds J M. 2012. 'Structure-from-motion' photogrammetry: a low-cost, effective tool for geoscience applications. Geomorphology, 179: 300-314 [DOI:10.1016/j.geomorph.2012.08.021]
  • Wu Y X, Yue H M, Yi J Y, Li M Y, Liu Y. 2016. Dynamic specular surface measurement based on color-encoded fringe reflection technique. Optical Engineering, 55(2): #024104 [DOI:10.1117/1.OE.55.2.024104]
  • Wu Z J, Guo W B, Li Y Y, Liu Y H, Zhang Q C. 2020. High-speed and high-efficiency three-dimensional shape measurement based on gray-coded light. Photonics Research, 8(6): 819-829 [DOI:10.1364/PRJ.389076]
  • Xiang S, Deng H P, Wu J, Zhu C J. 2020. Absolute phase unwrapping with SVM for fringe-projection profilometry. IET Image Processing, 14(12): 2645-2651 [DOI:10.1049/iet-ipr.2019.1611]
  • Xie P, Tang M X and Wei X R. 2011. Three-dimensional shape measurement of specular surfaces by orthogonal composite fringe reflection//Proceedings of SPIE 8200, 2011 International Conference on Optical Instruments and Technology: Optoelectronic Imaging and Processing Technology. Beijing, China: SPIE: #820014[DOI: 10.1117/12.904805]
  • Xu Y J, Gao F, Jiang X Q. 2018. Enhancement of measurement accuracy of optical stereo deflectometry based on imaging model analysis. Optics and Lasers in Engineering, 111: 1-7 [DOI:10.1016/j.optlaseng.2018.07.007]
  • Xu Z Q, Sun C K, Tao L, Zheng Y Z. 2003. Study on color three-dimensional laser scanning measuring method. Acta Optica Sinica, 23(8): 1008-1012 (许智钦, 孙长库, 陶立, 郑义忠. 2003. 彩色三维激光扫描测量方法的研究. 光学学报, 23(8): 1008-1012)
  • Yang S B. 2012. Research on Position and Attitude Estimation for UAV Landing Based on Vision. Nanjing: Nanjing University of Aeronautics and Astronautics (杨世保. 2012. 无人机着陆位姿参数视觉估计研究. 南京: 南京航空航天大学)
  • Yin S B, Ren Y J, Liu T, Guo S Y, Zhao J, Zhu J G. 2018. Review on application of machine vision in modern automobile manufacturing. Acta Optica Sinica, 38(8): #0815001 (尹仕斌, 任永杰, 刘涛, 郭思阳, 赵进, 邾继贵. 2018. 机器视觉技术在现代汽车制造中的应用综述. 光学学报, 38(8): #0815001) [DOI:10.3788/AOS201838.0815001]
  • Yin Y K, Zhang Z H, Liu X L, Peng Xiang. 2020. Review of the system model and calibration for fringe projection profilometry. Infrared and Laser Engineering, 49(3): #0303008 (殷永凯, 张宗华, 刘晓利, 彭翔. 2020. 条纹投影轮廓术系统模型与标定综述. 红外与激光工程, 49(3): #0303008) [DOI:10.3788/IRLA202049.0303008]
  • Yu C Z, Ji F, Xue J P, Wang Y J. 2019. Adaptive binocular fringe dynamic projection method for high dynamic range measurement. Sensors, 19(18): #4023 [DOI:10.3390/s19184023]
  • Yu J, Gao N, Zhang Z H, Meng Z Z. 2020. High sensitivity fringe projection profilometry combining optimal fringe frequency and optimal fringe direction. Optics and Lasers in Engineering, 129: #106068 [DOI:10.1016/j.optlaseng.2020.106068]
  • Yu S, Zhang J, Yu X Y, Sun X M, Wu H B, Liu X. 2018. 3D measurement using combined Gray code and dual-frequency phase-shifting approach. Optics Communications, 413: 283-290 [DOI:10.1016/j.optcom.2017.12.071]
  • Žbontar J, Lecun Y. 2016. Stereo matching by training a convolutional neural network to compare image patches. The Journal of Machine Learning Research, 17(1): 2287-2318
  • Zeng Z H, Li B, Fu Y J, Chai M G. 2016. Stair phase-coding fringe plus phase-shifting used in 3D measuring profilometry. Journal of the European Optical Society-Rapid Publications, 12(1): #9 [DOI:10.1186/s41476-016-0013-9]
  • Zhang G J. 2008. Vision Measurement. Beijing: Science Press (张广军. 2008. 视觉测量. 北京: 科学出版社)
  • Zhang L, Chen Q, Zuo C, Feng S J. 2020. Real-time high dynamic range 3D measurement using fringe projection. Optics Express, 28(17): 24363-24378 [DOI:10.1364/OE.398814]
  • Zhang S, Li X L, Yau S T. 2007. Multilevel quality-guided phase unwrapping algorithm for real-time three-dimensional shape reconstruction. Applied Optics, 46(1): 50-57 [DOI:10.1364/AO.46.000050]
  • Zhang S, Van Der Weide D, Oliver J. 2010. Superfast phase-shifting method for 3-D shape measurement. Optics Express, 18(9): 9684-9689 [DOI:10.1364/OE.18.009684]
  • Zhang Z H. 2012. Review of single-shot 3D shape measurement by phase calculation-based fringe projection techniques. Optics and Lasers in Engineering, 50(8): 1097-1106 [DOI:10.1016/j.optlaseng.2012.01.007]
  • Zhang Z H, Jing Z, Wang Z H, Kuang D F. 2012. Comparison of Fourier transform, windowed Fourier transform, and wavelet transform methods for phase calculation at discontinuities in fringe projection profilometry. Optics and Lasers in Engineering, 50(8): 1152-1160 [DOI:10.1016/j.optlaseng.2012.03.004]
  • Zhang Z H, Zhang D, Peng X, Hu X T. 2003. Color texture extraction from fringe image based on full-field projection. Optical Engineering, 42(7): 1935-1939 [DOI:10.1117/1.1580833]
  • Zhang Z Y. 2000. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): 1330-1334 [DOI:10.1109/34.888718]
  • Zhao H J, Zeng J Y, Lei Y Z. 2008. Frequency-varying fringes projector based on acoustic grating. Acta Optica Sinica, 28(2): 355-360 (赵慧洁, 曾俊钰, 雷彦章. 2008. 基于声光栅的变频条纹投射系统. 光学学报, 28(2): 355-360) [DOI:10.3321/j.issn:0253-2239.2008.02.027]
  • Zhao P, Gao N, Zhang Z H, Gao F, Jiang X Q. 2018. Performance analysis and evaluation of direct phase measuring deflectometry. Optics and Lasers in Engineering, 103: 24-33 [DOI:10.1016/j.optlaseng.2017.11.008]
  • Zhao Y Y, Li H T, Mei D, Shi K. 2020. Metric calibration of unfocused plenoptic cameras for three-dimensional shape measurement. Optical Engineering, 59(7): #073104 [DOI:10.1117/1.OE.59.7.073104]
  • Zhu X J, Chen Z Q, Tang C. 2013. Variational image decomposition for automatic background and noise removal of fringe patterns. Optics Letters, 38(3): 275-277 [DOI:10.1364/OL.38.000275]
  • Zhu X J, Tang C, Li B Y, Sun C, Wang L L. 2014. Phase retrieval from single frame projection fringe pattern with variational image decomposition. Optics and Lasers in Engineering, 59: 25-33 [DOI:10.1016/j.optlaseng.2014.03.002]
  • Zuo C, Chen Q, Gu G H, Feng S J, Feng F X Y. 2012. High-speed three-dimensional profilometry for multiple objects with complex shapes. Optics Express, 20(17): 19493-19510 [DOI:10.1364/OE.20.019493]
  • Zuo C, Huang L, Zhang M L, Chen Q, Asundi A. 2016. Temporal phase unwrapping algorithms for fringe projection profilometry: a comparative review. Optics and Lasers in Engineering, 85: 84-103 [DOI:10.1016/j.optlaseng.2016.04.022]
  • Zuo C, Tao T Y, Feng S J, Huang L, Asundi A, Chen Q. 2018. Micro Fourier transform profilometry (μFTP): 3D shape measurement at 10, 000 frames per second. Optics and Lasers in Engineering, 102: 70-91 [DOI:10.1016/j.optlaseng.2017.10.013]