Print

发布时间: 2019-11-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190011
2019 | Volume 24 | Number 11




    图像理解和计算机视觉    




  <<上一篇 




  下一篇>> 





同态滤波下RGB-D点云配准方法
expand article info 苏本跃1,2, 储小玉1,2, 盛敏2,3
1. 安庆师范大学计算机与信息学院, 安庆 246133;
2. 安徽省智能感知与计算重点实验室, 安庆 246133;
3. 安庆师范大学数学与计算科学学院, 安庆 246133

摘要

目的 为了提高彩色物体配准的精度,针对3维点云颜色信息易受光照条件影响的问题,提出一种基于光照补偿的RGB-D(RGB Depth)点云配准方法。方法 引入同态滤波算法,并将模型对象的3维点云转化成线性点序列,从而对颜色信息进行光照补偿,以提高颜色信息的一致性;获取模型的颜色和几何特征并加权组合成混合特征,以此定义源点云的特征点,并运用K近邻算法搜索其对应点;用奇异值分解(SVD)得到配准的刚性变换矩阵。结果 进行传统的迭代最近点法(ICP)算法、深度信息与色调相结合的算法以及本文算法在不同的光照强度组合的模型配准对比实验,结果显示,在网面凹凸均匀的大卫模型上,配准时间及特征点匹配平均误差方面均约减少到对比方法的1/2;在网面光滑的barrel模型和网面凹凸不一致的阿基米德模型上,特征点匹配平均误差约分别减少到对比方法的1/6和1/8。此外,与Super 4-Points Congruent Set(Super 4PCS)、彩色点云配准算法在不同组合光照强度下进行对比实验,针对4种不同的网面结构模型,本文算法的SIFT特征点距离平均误差全距约减少到对比方法的1/5。结论 利用同态滤波算法抑制光照影响,提高了颜色信息的一致性,在一定效果上消除了光照强度不均匀对3维点云配准精度的干扰。

关键词

RGB-D数据; 光照补偿; HSV空间; 同态滤波; 混合特征; 点云配准

RGB-D point cloud registration method via homomorphic filtering
expand article info Su Benyue1,2, Chu Xiaoyu1,2, Sheng Min2,3
1. School of Computer and Information, Anqing Normal University, Anqing 246133, China;
2. Key Laboratory of Intelligent Perception and Computing of Anhui Province, Anqing 246133, China;
3. School of Mathematics and Computational Science, Anqing Normal University, Anqing 246133, China
Supported by: National Natural Science Foundation of China (11475003, 61603003, 11471093)

Abstract

Objective Digital restoration of historical cultural relics, simulation of medical equipment and human organs, and virtual teaching reflect that 3D reconstruction technology plays an extremely important role in the development level of human society. However, in 3Dreconstruction, geometric data in the RGB-D (RGB Depth) data collected by a depth camera have low quality and high noise. In 3D point cloud registration, the features of geometric data obtained from such low-quality and high-noise data are the only means to obtain an accurate registration result of the point cloud. However, the point cloud registration effect is not particularly obvious. Given that point cloud noise interference is relatively large and geometric information is unclear, which has a non-negligible effect on the registration accuracy. Color information is introduced to increase the feature information of the model. However, when the model data are collected by as canning device, the color is greatly affected by a change in illumination, and the model surface is affected by changes in illumination intensity and angle of view. These effects lead to an obvious color change and inevitable interference. In this study, an RGB-D point cloud registration method based on illumination compensation is proposed that considers 3D point cloud color information as susceptible to illumination conditions. Method The color data of the model surface consist of the product of illumination and reflection components. The illuminance component varies with spatial position and displays low-frequency information, where as the reflected component has various texture details visible to the human eye and expresses high-frequency information. The brightness of low-frequency information of color is suppressed when combined with homomorphic filtering, the amount of high-frequency information is enhanced, the influence of color changes by illumination is eliminated, and the consistency of color information is improved. RGB-D data acquired by a Kinect device must be sorted to form a linear point sequence. The color and geometric features of the model are acquired and weighted into a mixed feature to define the feature points of the source point cloud, and the K-nearest neighbor algorithm is used to search for the corresponding points. The singular value decomposition algorithm is used to obtain a rigid transformation matrix. Result Through experiments, data are collected from four models at different light intensities using Kinect scanning equipment. The experimental categories comprise three sets, namely, strong light and low light, left light and right light, and strong light and side light. Our method is compared with the traditional iterative closest point (ICP), super four-point congruent set(Super 4PCS), 4D ICP (hue + ICP) combined with hue and geometry information, and blending of geometric and color information. In the course of the experiments, the iteration running time, number of iterations, and average distance error of scale-invariant feature transform (SIFT) feature points are used as the evaluation criteria for the registration experiment results. The effects of different light intensity models after registration by each algorithm are also shown for comparison. Results according to the traditional ICP algorithm, the combination of depth information and hue, and the model registration experiment of different light intensity combinations on the David model with uniform mesh surface show that the times are relatively flat; the average running times are 8.920 s, 8.796 s, and 5.191 s; and the average errors of feature point matching are 3.677, 3.102, and 1.029, respectively. Registration time and average error of feature point matching are improved by approximately 50%. On the Archimedes model with inconsistent mesh surface irregularities, the number of iterations is undistinguishable. The average running times of the registration are 6.926 s, 3.955 s and 3.853 s, and the average errors of feature point matching are 26.718, 27.653, and 28.843, respectively. On the barrel model with smooth mesh surface, the average running times of registration are 0.509 s, 1.937 s and 0.691 s, and the average errors of feature point matching are 23.830, 22.820, and 3.931, respectively. On the barrel model with smooth mesh surface and the Archimedes model with inconsistent mesh surface irregularities, the average error of feature point matching is reduced to one-sixth and one-eighth of the comparison method. This study also compares the Super 4PCS and color point cloud registration algorithms under different combined illumination intensities. Of the four mesh structure models, the average distance error of SIFT feature points of the proposed algorithm is the lowest. The full-distance reduction is reduced to one-fifth of the comparison method, which proves that the proposed algorithm has stability in the model registration of different illumination intensities. This study further conducts correlation experiments on the missing point cloud model and proves that the algorithm can deal with the problem of point cloud registration with missing points. When the overlap rate of two point clouds is approximately 40%, the algorithm registration in this study can achieve better results. Conclusion Homomorphic filtering algorithm is used to suppress the influence of illumination changes, and the consistency of color information is improved. The interference of uneven illumination intensity on 3D point cloud registration accuracy is eliminated. The registration method is verified by comparing it with other correlation registration algorithms. The method has obvious advantages in algorithm stability and registration accuracy.

Key words

RGB-D data; light compensation; HSV space; homomorphic filtering; mixed characteristics; point cloud registration

0 引言

随着现代3D扫描技术的发展,点云模型的应用日益广泛。研制机器人导航构建3维环境地图[1],通过对实物的观察构建出虚拟现实模型,对历史建筑进行数字化修复规划[2],对博物馆等机构进行数字化文物归档[3],医学领域对于医疗设备和人体器官的模拟[4]等都体现了3维模型在人类社会发展水平的重要意义。

为重建出完整的3维物体模型,在对3维物体进行测量的过程中,需要对待测物体从不同视角进行扫描。由于在多视角下进行数据采集,采集到的数据处于各自所在的坐标系中。在进行3维点云配准时,需要将各视角下的坐标系变换到同一个坐标系中。众所周知,迭代最近点算法(ICP)是3D点云配准算法中被提及最多的一种算法, 它的基本思想是对不同视角下的两片点云模型,计算点对点间最短几何距离,不断地进行迭代以获得最佳配准结果[5]。也有相关文献利用采集的深度信息计算曲率或法向量等定义为特征描述子,搜寻点云对应点对,继而达到最终配准目的。例如苏本跃等人[6]的研究中利用了曲率提取特征点的方法。Mellado等人[7]最新提出的一种最佳线性时间输出的Super 4PCS算法, 加入角度特征量,加快了原先4PCS算法[8]的配准时间。Park等人[9]提出了一种快速几何配准算法,算法速度快且对噪音鲁棒性强。然而随着RGB-D扫描仪如Kinect普及,3维点云配准方法除了对几何深度信息的提取利用,相关学者也将颜色信息作为有效的特征描述子加入到研究中来,推进着3维点云配准的发展。例如Douadi等人[10]针对3维彩色点云配准问题研究出的两种改进ICP方法就强调了颜色信息对提高点云配准高精确度的重要性;Druon等人[11]提出了一种利用颜色信息分割出有特征的色彩类改进点选择的策略,以加快提高3维配准的收敛速度。Tong等人[12]提出一种基于点云2D纹理特征和3D曲率特征相结合的粗配准方法。Park等人[9]采用颜色信息和几何信息的结合进行大型真实场景重建实验的最新算法。虽然颜色信息与几何信息的结合提高了配准效果,但是原始的颜色数据存在极大的不一致性。因为在用Kinect等扫描设备采集物体模型数据时,采集数据的场景光照明暗不一,设备采集的角度发生的变化,这些外在因素都将导致各视角下所采集的颜色数据亮度信息发生改变。

为了消除因光照强度变化导致设备采集的颜色信息产生不一致性的影响,也有相关文献采用了一些光照补偿的方法对图像的颜色信息进行了研究,例如宋怀波等人[13]为除去苹果表面遮挡的阴影,提出了基于光照无关图算法和色差法的结合的方法,使苹果物体更加便于识别;Finlayson等人[14]研究出一种除去图像中阴影边缘的方法,以获取无阴影图像;熊俊涛等人[15]利用图像增强的算法抑制光照对荔枝图像识别的干扰,增强对荔枝及枝干图像的辨别。

上述方法都是解决光照影响的图像处理方法,但都基于2维图像的研究。Men等人[16]在机器人上扫描获取室外场景数据进行RGB-D数据配准,将采集的颜色数据转化为HSL模式,然后除去亮度分量和饱和度分量,只将色调分量与深度信息相结合。苏本跃等人[17]利用Kinect设备获取深度及颜色信息,将颜色值转化为灰度信息,再结合深度信息作为特征获取对应点。但上述颜色信息量特征选取都不足够充分,在一定程度上影响了3维点云配准精确性。对光照强度的变化影响颜色信息不一致性的问题,本文借鉴以往研究人员对2维图像光照干扰的研究[18-20],提出一种光照补偿的RGB-D点云配准方法的研究。目前使用光照补偿方法很多,类似线性变换和分段线性变换等灰度变换的图像处理方法,然而这些方法对于动态范围过大、亮度部分的细节识别不够的图像并不能有效地进行处理。然而图像的同态滤波算法则可以减少光照变化因素,提高图像细节清晰度,较好地解决光照分布不均情况的问题。为此,本文首先通过同态滤波的算法抑制点云的光照影响,然后将RGB数据结合深度数据获取源点云的特征点,基于K最近邻算法高效获取目标点云的对应点,结合奇异值分解(SVD)算法迭代求出刚性平移和旋转矩阵。

1 算法流程

本文算法流程如图 1所示,在不同光照强度下,通过Kinect扫描设备采集到不同视角下的两片彩色模型RGB-D数据,进行配准。如图 1中,点云1、点云2作为输入的源点云和目标点云模型;由于Kinect扫描设备采集的数据存在有重复存储的点云信息,需要对采集的点云数据做简化处理,删除重复存储的点云信息,以缩减后期在特征点获取和点云配准时间上的消耗;然后,对模型的颜色数据进行光照补偿过程,保证两片点云颜色数据一致性;接着,统计颜色特征和几何特征,二者组成混合特征,并在源点云中获取混合特征点;在颜色数值范围和几何数值范围一致的6D空间里,通过K最邻近算法在目标点云中搜索与源点云混合特征点最相似的特征点作为对应点,构建归一化的颜色和几何坐标的6D距离度量标准,计算点对间6D欧氏距离的均值,剔除部分点对间距离过大的点对;最后通过奇异值分解法求得最佳旋转矩阵和平移向量,得到点云配准结果。

图 1 算法流程
Fig. 1 Algorithm frame

2 算法原理

2.1 颜色空间转换

由Kinect采集的彩色模型受光照等条件制约,势必造成采集的图像色彩阴暗不均匀等现象,因此,在对模型配准前,为了减少光照外因影响,先对光照不均等细节进行增强。

RGB颜色值是由红(R)、绿(G)、蓝(B)3个分量组成,这3个分量以任意值组合都可以搭配出任意一种颜色。三者之间具有很大的相关性,在图像处理中,不适合对RGB颜色分量进行拆分。而HSV颜色空间是由色调(H)、饱和度(S)和亮度(V)组成,这就意味着HSV空间除了色彩外,还包含亮度信息。因此,对于模型光照强度不均的问题就可以利用HSV空间的亮度信息进行解决。在本节中,首先将Kinect扫描设备采集到的RGB颜色数据转至HSV空间里,然后分离出亮度分量(V)进行同态滤波处理,再结合HSV空间中其他两个分量转换回RGB颜色空间里。这样,对于光照强度的直接影响因素亮度就能够单独被提取处理。从RGB颜色空间转变到HSV空间的公式为

$ \begin{array}{*{20}{c}} {H = }\\ {\left\{ \begin{array}{l} 0\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;S = 0\\ 60 \times \frac{{G - B}}{{S \times V}}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\max \left( {R,G,B} \right) = R\;aaa\;G \ge B\\ 60 \times \frac{{2 + \left( {B - R} \right)}}{{S \times V}}\;\;\;\;\;\;\;\max \left( {R,G,B} \right) = G\\ 60 \times \frac{{4 + \left( {R - B} \right)}}{{S \times V}}\;\;\;\;\;\;\;\max \left( {R,G,B} \right) = B\\ 60 \times \frac{{6 + \left( {G - B} \right)}}{{S \times V}}\;\;\;\;\;\;\;\max \left( {R,G,B} \right) = R\;且\;G < B \end{array} \right.} \end{array} $ (1)

$ S = \frac{{\max \left( {R,G,B} \right) - \min \left( {R,G,B} \right)}}{{\max \left( {R,G,B} \right)}} $ (2)

$ V = \max \left( {R,G,B} \right) $ (3)

式中$R$, $G$, $B$是RGB颜色空间值归一化的数值结果。$H$, $S$, $V$分量数值取值范围分别是[0, 360),(0, 1]和[0, 1]。$f$=$H$/60-$h$, 其中$h = \left\lfloor {\frac{H}{{60}}} \right\rfloor (\, \bmod \, 6)$。设$P$=$V$(1-$S$),$Q$=$V$(1-$Sf$),$T$=$V$(1-$S$(1-$f$)),从HSV空间到RGB空间的变换表达式

$ \left( {R,G,B} \right) = \left\{ {\begin{array}{*{20}{c}} {\left( {V,T,P} \right)}&{h = 0}\\ {\left( {Q,V,P} \right)}&{h = 1}\\ {\left( {P,V,T} \right)}&{h = 2}\\ {\left( {P,Q,V} \right)}&{h = 3}\\ {\left( {T,P,V} \right)}&{h = 4}\\ {\left( {V,P,Q} \right)}&{h = 5} \end{array}} \right. $ (4)

2.2 点云的同态滤波

在受光照强度变化的2维图像中,采用同态滤波的方法可以很好地抑制住光照因素带来的影响,使得2维图像的纹理信息、色泽明暗、及边缘清晰度等方面完好。因此,将2维图像处理光照的方法借鉴到3维点云颜色信息易受光照强度变化影响的研究中来。3维点云的分布是无序无规则的,同态滤波算法又是基于2维图像的处理。所以本节先将3维点云转化成线性点序列,再采取同态滤波的方法对颜色信息进行处理。首先,对3维点云成线性点序列展开,通过Kinect采集的点云数据,根据几何坐标信息进行K近邻搜索最近点集,构成小块区域,按照最接近原则以点为基,将每块区域内的点集排序成$N$×1的矩阵表示。若存在几何距离最近有相同的点时,再根据颜色最近排序,若颜色相近相同,则将相同的点合并。

图 2对点云区域$\mathit{\boldsymbol{P}}$中一点$\mathit{\boldsymbol{P}}$1,对其$k$近邻搜索最近点排序,$\mathit{\boldsymbol{P}}$1, $\mathit{\boldsymbol{P}}$2, $\mathit{\boldsymbol{P}}$3, $\mathit{\boldsymbol{P}}$4, $\mathit{\boldsymbol{P}}$5, $\mathit{\boldsymbol{P}}$7, $\mathit{\boldsymbol{P}}$8, $\mathit{\boldsymbol{P}}$9, p10, $\mathit{\boldsymbol{P}}$11,…,出现$\mathit{\boldsymbol{P}}$5$\mathit{\boldsymbol{P}}$6$\mathit{\boldsymbol{P}}$1的几何距离相等颜色相同,就将$\mathit{\boldsymbol{P}}$5$\mathit{\boldsymbol{P}}$6合并。3维点云模型就转化成$N$×1的1维点云序列。

图 2 将3维点云转化成线性点序列的过程
Fig. 2 Process of three-dimensional point cloud transformation into linear point sequence

那么,对线性点序列的颜色数据用光照函数$f$($x$)就可以由照度函数$i$($x$)和反射函数$r$($x$)的乘积来表示,即

$ f\left( x \right) = i\left( x \right) \times r\left( x \right) $ (5)

式中, $i$($x$)表示模型场景中不同位置上的光照信息,它的光照变化缓慢,作为模型表面的低频部分,$r$($x$)表示模型表面反射到人眼的信息,像模型表面的纹理、边缘等特性的信息组成,作为模型表面高频部分。根据同态滤波的算法原理,首先对光照函数进行取对数运算,使光照分量和反射分量转化为加法关系,从而能够在频域内分开进行处理

$ \ln f\left( x \right) = \ln i\left( x \right) + \ln r\left( x \right) $ (6)

通过式(6)的转化,模型表面的亮度信息可以看成是模型表面低频部分的函数和模型表面高频部分的函数相加起来。接着,对式(6)进行傅里叶变换为$F$,使模型图像从空域变换到频域为

$ F\left( {\ln f\left( x \right)} \right) = F\left( {\ln i\left( x \right)} \right) + F\left( {\ln r\left( x \right)} \right) $ (7)

$Z$($u$)=$F$(ln $f$($x$)),$I$($u$)=$F$(ln $i$($x$)),$R$($u$)=$F$(ln $r$($x$))则式(7)为

$ Z\left( u \right) = I\left( u \right) + R\left( u \right) $ (8)

式中:$I$($u$)为模型表面的照射分量,表示频域中低频段的信息,$R$($u$)是模型表面的反射分量,表示频域中的高频段的信息。$H$($u$)是1维高斯滤波器函数,计算为

$ H\left( u \right) = \frac{1}{{\sqrt {2{\rm{ \mathsf{ π} }}} {\sigma ^2}}}{{\rm{e}}^{ - \frac{{{u^2}}}{{2{\sigma ^2}}}}} $ (9)

式中,$u$是线性点序列进行同态滤波的模糊步长,$σ$是正态分布的标准偏差。模糊步长的参数值本文取经验值做实验。

用1维高斯滤波器函数$H$($u$)处理式(8), 得

$ H\left( u \right)Z\left( u \right) = H\left( u \right)I\left( u \right) + H\left( u \right)R\left( u \right) $ (10)

对式(10)傅里叶逆变换到空域, 再对两边取指数,得最终结果。图 3是各种模型进行同态滤波处理前后对比。

图 3 各种模型同态滤波处理前后的对比
Fig. 3 Comparison of various models before and after homomorphic filtering processing((a) models under different illumination; (b) homomorphic filter processed barrel model)

2.3 混合特征点提取

在经过同态滤波算法处理后的两片待配准点云,颜色信息上已经保持了一致性。接下来将颜色数据结合深度数据组合成混合特征,以提取特征点。

在点云数据$\mathit{\boldsymbol{P}}$中,$\mathit{\boldsymbol{p}}_i$点的几何特征表示为$\mathit{\boldsymbol{GF}}_i$$\mathit{\boldsymbol{p}}_i$点的颜色特征表示为$\mathit{\boldsymbol{GF}}_i$,几何特征在混合特征中的权值用$α$表示。则$\mathit{\boldsymbol{p}}_i$的混合特征定义为

$ \begin{array}{*{20}{c}} {\mathit{\boldsymbol{M}}{\mathit{\boldsymbol{F}}_i} = \alpha \cdot \mathit{\boldsymbol{G}}{\mathit{\boldsymbol{F}}_i} + \left( {1 - \alpha } \right) \cdot \mathit{\boldsymbol{C}}{\mathit{\boldsymbol{F}}_i}}\\ {i = 1,2, \cdots ,n} \end{array} $ (11)

混合特征权重$α$值取决于不同模型表面的纹理及几何凹凸结构的分布形态。结合颜色和几何特征直方图,计算出大于各自特征均值的特征点个数,并按照点数比例计算出权重$α$

在3维点云配准算法的研究中,曲率、法向量、角度及点密度等常被设定为几何特征描述符,以获取特征点。在本节采用另一种几何特征描述符来定义几何特征($\mathit{\boldsymbol{GF}}_i$)。具体如下:

对于点云$\mathit{\boldsymbol{P}}$中的一点$\mathit{\boldsymbol{p}}_i$,其几何坐标表示为($\mathit{\boldsymbol{x}}_i$, $\mathit{\boldsymbol{y}}_i$, $\mathit{\boldsymbol{\mathit{\boldsymbol{z}}}}_i$),则$\mathit{\boldsymbol{p}}_i$$k$近邻点表示为{$\mathit{\boldsymbol{p}}_i^j$|$j$=1, 2, 3, …, $k$}。对于点$\mathit{\boldsymbol{p}}_i$和它的最近点$\mathit{\boldsymbol{p}}_i^j$之间计算出距离向量$\mathit{\boldsymbol{d}}_i^j$=$\mathit{\boldsymbol{p}}_i^j$-$\mathit{\boldsymbol{p}}_i$。然后得到$\mathit{\boldsymbol{p}}_i$$k$距离向量,方向向量的长度可以近似表达曲面上点的凹凸性,得到几何特征:

$ \mathit{\boldsymbol{G}}{\mathit{\boldsymbol{F}}_\mathit{\boldsymbol{i}}} = {\left\| {\sum\limits_{j = 1}^k {\left( {\mathit{\boldsymbol{p}}_i^j - {\mathit{\boldsymbol{p}}_i}} \right)} } \right\|_2} $ (12)

$\mathit{\boldsymbol{GF}}_i$的值越大所显示几何形状越突出,点分布的几何特征就越明显,反之,值越小,点分布的几何形态越平滑。

对于3维彩色点云模型,颜色特征的提取可以增加对3维点云配准精度,本文考虑到拉普拉斯算子具有旋转不变性,将该方法结合到点云的颜色特征的定义上。对于点云模型上的任意一点,对该点寻找最近的8个点的颜色数据,采用拉普拉斯算子计算出该8个点在各颜色通道上的颜色特征,将各通道上的颜色特征进行范数运算得到颜色特征($\mathit{\boldsymbol{GF}}_i$),具体如下:

对于点云$\mathit{\boldsymbol{P}}$中的一点$\mathit{\boldsymbol{p}}_i$,其颜色用$\mathit{\boldsymbol{c}}_i$=($R_i$, $G_i$, $B_i$)表示,$\mathit{\boldsymbol{p}}_i$在点云中的8个最近邻点表示为{$\mathit{\boldsymbol{p}}_i^j$|$j$=1, 2, 3, …, 8},则他们的颜色分量表示为{$\mathit{\boldsymbol{c}}_i^j$|$j$=1, 2, 3, …, 8},得到点$\mathit{\boldsymbol{p}}_i$的颜色特征为

$ \mathit{\boldsymbol{C}}{\mathit{\boldsymbol{F}}_i} = {\left\| {8 \cdot {\mathit{\boldsymbol{c}}_i} - \sum\limits_{j = 1}^8 {\mathit{\boldsymbol{c}}_i^j} } \right\|_2} $ (13)

2.4 对应点选取

在传统ICP算法中,选取对应点对的方法是计算点云几何坐标的最近距离,而在本文是对归一化后的颜色值和3D空间坐标值构造6D距离度量标准。在获取混合特征点后,通过K最近邻算法搜索混合特征点在目标点云中的最近点,并计算点对间6D欧氏距离的均值,剔除部分点对间距离过大的点对,选取小于该均值的点对。

2.5 迭代过程

两片待配模型(点云1、2)配准算法步骤如下:

输入:点云1的混合特征点,点云2。

输出:最佳旋转矩阵和平移向量。

1) 设置两片点云配准的迭代次数为$N$;

2) While $i$ < $N$$\mathit{\boldsymbol{em}}_i$>1×10E-7;

3) 通过K最近邻算法寻找点云1的混合特征点在点云2中的最近点,并计算对应点对间6D欧氏距离的均值,选取小于均值的点对作为对应点对;

4) 利用奇异值分解法(SVD)求解旋转矩阵和平移向量,并计算对应点对的均方根误差$RMSE_i$;

5) 计算$em_i$=|$RMSE_i$-$RMSE_{i-1}$, |$i$=2, …, $N$;

6) 将旋转矩阵和平移向量作用于特征点集,代替原来特征点点集的坐标;

7) 直到满足条件停止;否则, 继续迭代。

3 实验结果与分析

本文实验操作的全过程都是在一台CPU为Intel Core i5-7500,主频3.41 GHz,8 GB内存,显卡为AMD Radeon R740,操作系统Windows 10的PC机上进行,设备扫描为Windows Kinect 2.0,软件开发平台为Kinect for Windows SDK,MATLAB软件作为编程软件实现配准算法过程, MeshLab软件作为3维点云模型可视化展示。本实验数据均由Kinect扫描设备采集彩色模型获取得到,包括网面凹凸均匀的大卫和马头雕像、网面凹凸不一致的阿基米德雕像、网面光滑的桶4个模型。

为模拟不同光照强度下的模型配准效果,本文采集了以上4种模型在不同光照强度(强光,微光,侧光)下的点云数据,组成强光与微光、左侧光与右侧光、侧光与强光3组不同光照强度的模型组合进行配准实验。实验过程中,本文采用只基于几何数据的传统ICP算法[5]和基于深度数据加色调值相结合的Hue-ICP配准方法[16]作为本文算法的对比算法,对不同光照强度组合的点云模型进行配准实验。实验结果得到每种算法配准的迭代次数,以及从配准开始到获到最优刚性变换为止的实验配准时间;考虑到Kinect扫描设备具有噪声大的特点,几何特征点不稳定,颜色特征点更具有误差判定性。在模型配准误差度量上,本文实验对配准变换后的源点云与目标点云置于在同一视角下的图像尺度不变特征变换(SIFT)算法进行特征点匹配,计算图像对应点对的平均距离作为评测配准效果的标准,图 4表示各种模型通过SIFT算法寻找到对应点对的示意图。

图 4 SIFT算法特征点匹配示意图
Fig. 4 Scale-invariant feature transform algorithm feature point matching schematic diagram

表 1表 4分别是大卫模型、马头模型、阿基米德模型、barrel模型在3组不同光照强度下,3种点云配准算法实验的比较结果。图 5表示3组不同光照强度的模型组合,采用3种配准方法配准后的效果图,展示了多种类型的模型配准实验结果。

表 1 大卫模型上3种点云配准算法比较
Table 1 The registration results for three methods in David model under three different intensity illuminations

下载CSV
不同光照图 两片待配点云点数 删除重复点后点数 配准方法 迭代次数 配准时间/s SIFT特征点距离的平均误差
强光与微光 230 201/220 532 39 074/37 293 ICP 61 7.805 2 4.670 1
Hue-ICP(hue) 61 11.260 7 3.072 4
本文算法 46 3.613 5 2.746 7
左侧光与右侧光 371 641/375 350 62 757/63 281 ICP 65 17.040 3 2.758 7
Hue-ICP(hue) 48 10.202 8 1.889 5
本文算法 47 6.503 8 1.241 3
强光与侧光 98 946/100 770 16 646/16 987 ICP 44 2.282 6 4.670 1
Hue-ICP(hue) 71 2.531 3 4.763 4
本文算法 62 1.557 1 1.013 2
注:加粗字体表示最优结果。

表 2 马头模型上3种点云配准算法比较
Table 2 The registration results for three methods in horse model under three different intensity illuminations

下载CSV
不同光照图 两片待配点云点数 删除重复点后点数 配准方法 迭代次数 配准时间/s SIFT特征点距离的平均误差
强光与微光 298 663/349 992 50 084/58 486 ICP 44 10.360 9 3.880 8
Hue-ICP(hue) 54 9.537 9 1.962 5
本文算法 55 6.719 0 1.448 3
左侧光与右侧光 295 072/341 534 49 342/57 299 ICP 30 6.806 1 4.520 9
Hue-ICP(hue) 33 5.928 3 1.330 5
本文算法 36 3.352 3 1.193 4
强光与侧光 298 663/331 506 50 084/55 322 ICP 43 9.603 4 2.630 9
Hue-ICP(hue) 76 10.920 8 6.023 6
本文算法 55 5.502 9 0.447 7
注:加粗字体表示最优结果。

表 3 阿基米德模型上3种点云配准算法比较
Table 3 The registration results for three methods in Archimedes model under three different intensity illuminations

下载CSV
不同光照图 两片待配点云点数 删除重复点后点数 配准方法 迭代次数 配准时间/s SIFT特征点距离的平均误差
强光与微光 153 834/165 134 25 655/26 722 ICP 73 6.923 8 28.253 3
Hue-ICP(hue) 50 4.459 6 21.236 3
本文算法 87 3.979 5 2.987 9
左侧光与右侧光 160 176/152 940 26 783/25 545 ICP 47 4.200 3 17.775 7
Hue-ICP(hue) 62 3.489 5 5.797 5
本文算法 51 2.102 7 2.826 1
强光与侧光 153 834/165 134 25 655/27 691 ICP 98 9.656 3 34.125 0
Hue-ICP(hue) 47 3.918 2 55.927 2
本文算法 90 5.477 0 3.797 4
注:加粗字体表示最优结果。

表 4 barrel模型上3种点云配准算法比较
Table 4 The registration results for three methods in barrel modelunder three different intensity illuminations

下载CSV
不同光照图 两片待配点云点数 删除重复点后点数 配准方法 迭代次数 配准时间/s SIFT特征点距离的平均误差
强光与微光 60 746/62 633 10 195/10 519 ICP 18 0.382 6 21.468 4
Hue-ICP(hue) 81 1.752 4 29.509 0
本文算法 155 2.321 7 4.163 4
左侧光与右侧光 61 515/60 878 10 313/10 168 ICP 9 0.421 6 27.286 1
Hue-ICP(hue) 136 2.962 6 14.774 8
本文算法 192 2.864 7 5.248 2
强光与侧光 59 361/63 545 9 937/10 656 ICP 19 0.723 8 22.736 5
Hue-ICP(hue) 47 1.097 9 24.177 8
本文算法 65 1.038 0 2.382 4
注:加粗字体表示最优结果。
图 5 不同光照强度组合下的配准效果图
Fig. 5 Registration effect of three registration algorithms under different illumination intensity combinations
((a)David; (b) horse; (c)Archimedes; (d)barrel)

表 1表 4数据中看出,由3种不同光照强度组合的3组光照实验中,在网面凹凸均匀的大卫和马头模型上,本文算法与传统ICP算法和改进的Hue-ICP算法相比,迭代次数均相对持平,但在算法配准运行时间上有明显提升,在SIFT特征点的距离平均误差上,本文算法配准误差相对偏小,对大卫模型的3组光照总体分析出,本文算法在配准时间及特征点匹配平均误差方面均提升了约50%;在网面凹凸不一致的阿基米德模型和网面光滑的barrel模型上,本文算法与传统ICP算法和改进的Hue-ICP算法相比,虽然迭代次数上不占优势,但在算法配准运行时间和SIFT特征点的距离平均误差上,本文算法明显偏小,对阿基米德和barrel模型的3组光照总体分析出,本文算法在特征点匹配平均误差分别缩小了6~8倍。从实验模型效果图上可以看出,传统ICP方法和Hue-ICP方法配准效果较不稳定,如图 5,阿基米德模型实验中,A组ICP、C组ICP、C组Hue-ICP模型配准有明显错位,B组ICP阿基米德模型鼻梁区域融合效果不好;在barrel模型中,A、B、C三组实验采取的方法ICP和Hue-ICP显示barrel手柄处融合效果较不理想。

本文算法混合特征的权值$α$在大卫模型中各组取值分别为: 0.189 7、0.160 0、0.300 0;在马头模型中各组取值分别为:0.159 1、0.141 5、0.175 9;在阿基米德模型中各组取值分别为:0.349 4、0.313 7、0.337 2;在barrel模型中各组取值分别为:0.468 1、0.428 6、0.414 9。

除以上算法对比外,本文与基于几何特征的Super4PCS[7]、基于颜色和几何信息的配准算法[9]进行了实验对比分析。表 5表 6分别是3种算法基于4种模型在3组不同光照强度下的配准时间、SIFT特征点距离的平均误差结果。由图 6(a)很直观地看出在配准时间上,本文算法与Super4PCS、颜色加几何信息结合的算法相比占有一定的优势。同时,在图 6(b)中,以SIFT特征点的平均匹配距离的最大值与最小值之差作为全距,观察数据得出,对于4种不同的网面结构模型,本文算法的SIFT特征点距离平均误差全距缩减了近5倍,表明本文算法配准方法稳定;因光照变化影响了模型颜色信息的一致性,使得颜色加几何信息结合的算法在不同光照强度视角下配准效果并不理想。图 7展示了实验中部分模型配准的局部效果图,从红线条标记的位置可以直观地看出,与本文算法对比的两种配准方法,它们配准错位现象很明显。

表 5 不同算法在各种模型上配准时间对比结果
Table 5 The registration time comparison results of different algorithms on various models under three different intensity illumination

下载CSV
/s
大卫 阿基米德 马头 barrel
算法 强/微 左/右侧 强/侧 强/微 左/右侧 强/侧 强/微 左/右侧 强/侧 强/微 左/右侧 强/侧
Super 4PCS 5.750 1 6.480 5 5.550 5 22.804 2 15.131 2 25.468 1 5.662 1 5.084 1 7.162 5 49.497 7 58.196 6 42.132 4
颜色+几何 17.271 1 8.526 5 1.455 5 26.882 5 3.712 9 6.234 9 13.544 5 5.168 1 6.285 7 1.314 7 1.002 7 1.242 7
本文 3.613 5 6.503 8 1.557 1 3.979 5 2.102 7 5.477 0 6.719 0 3.352 3 5.502 9 2.321 7 2.864 7 1.038 0
注:加粗字体表示最优结果。

表 6 不同算法在各种模型上配准误差对比结果
Table 6 The registration errors comparison results of different algorithms on various models under three different intensity illumination

下载CSV
大卫 阿基米德 马头 barrel
算法 强/微 左/右侧 强/侧 强/微 左/右侧 强/侧 强/微 左/右侧 强/侧 强/微 左/右侧 强/侧
Super 4PCS 3.524 5 2.004 2 1.030 0 15.475 5 5.654 4 28.456 2 1.426 6 1.200 0 4.211 3 4.214 3 27.544 1 28.857 6
颜色+几何 4.251 1 1.193 4 4.542 2 27.244 6 27.422 3 10.225 6 10.544 2 1.241 6 1.025 9 30.577 1 26.548 5 9.457 7
本文 2.746 7 1.241 3 1.013 2 2.987 9 5.797 5 3.797 4 1.448 3 1.193 4 0.447 7 4.163 4 5.248 2 2.382 4
注:加粗字体表示最优结果。
图 6 不同配准算法在各模型的配准结果对比图
Fig. 6 Comparison of registration results of different registration algorithms in different models under three different intensity illumination((a) registration time comparison chart; (b) SIFT matching point pair average distance comparison chart)
图 7 局部配准效果图
Fig. 7 Local registration effect diagram((a) Super 4PCS; (b) color+geometric; (c) ours)

实验结果显示了本文算法结合颜色和几何信息为混合特征进行点云配准的算法比基于几何特征的Super 4PCS算法有一定的改善,验证了颜色特征信息的加入对点云配准的精度有提升;其次,本文算法针对光照变化不均匀模型配准,配准前期时采用光照补偿处理消除光照变化对模型配准影响,然后进行点云配准,配准效果比直接结合颜色和几何信息的点云配准算法有明显改善。

同时注意到:本文方法在配准前期预处理阶段,即光照补偿和模型特征提取阶段,有产生一定的时间消耗,特别在光照补偿时耗时较长。如:在大卫模型的强光与微光、左侧光与右侧光、强光与侧光三组光照强度下,光照补偿提取所需的时间分别为:74.927 9s、124.929 1 s、33.423 6 s,特征提取所需运行的时间分别为:0.481 0 s、0.730 5 s、0.278 2 s;在阿基米德模型的强光与微光、左侧光与右侧光、强光与侧光三组光照强度下,光照补偿提取所需的时间分别为:46.912 3 s、51.350 0 s、54.317 4 s,特征提取所需运行的时间分别为:0.347 8 s、0.357 7 s、0.348 8 s;在马头模型的强光与微光、左侧光与右侧光、强光与侧光三组光照强度下,光照补偿提取所需的时间分别为:108.780 2 s、100.190 9 s、103.175 6 s,特征提取所需运行的时间分别为:0.568 4 s、0.588 4 s、0.604 4 s;在桶模型的强光与微光、左侧光与右侧光、强光与侧光三组光照强度下,光照补偿提取所需的时间分别为:20.906 4 s、18.553 9 s、20.693 3 s,特征提取所需运行的时间分别为:0.234 1 s、0.226 0 s、0.215 9 s。尽管前期光照变化处理过程用时较长,但是相比于未经光照处理的方法,本文所研究的方法在配准时间以及配准精度方面,均具有一定优势,即配准时间更短,且配准精度更高。

进一步地,本文算法对有缺失的点云模型也进行了相关性配准实验,图 8(a)表示有多个缺失部位的阿基米德模型,与图 8(b)做匹配实验,实验结果表明配准精准率较高。图 8(a)表示缺失了鼻子等部位几何特征很显著的大卫模型,与图 8(b)做匹配实验,配准实验结果仍得到较好效果。如图 8(c)为配准结果展示图。上述结果验证了本文算法可以处理带有缺失的点云配准问题。

图 8 不同光照视角下各模型缺失点云的配准
Fig. 8 Missing point cloud registration model under different illumination angles((a)missing point cloud1;(b)point cloud2;(c)registration effect)

最后,本文实验模型采集环境基于Kinect,它的测量范围是0.5~4.5 m,因此,模型的初始位置必须处于Kinect的扫描范围内;而且,两片点云的初始位置的相对距离对配准效果具有一定影响。本文算法中,两片点云旋转角度只要点云的重叠率大概在40%就可以达到比较好的配准效果。关于平移距离的影响一般在模型粗配准中加以考虑,本文着重研究通过同态滤波的方法消除光照变化对模型的影响,进而通过颜色和几何信息进行点云模型的精确配准。图 9是本文算法对大卫模型处理平移旋转范围的展示。

图 9 不同光照视角下大卫模型配准效果图
Fig. 9 David model registration effect under different illumination angles((a) translation angle; (b) rotation angle; (c) registration effect)

4 结论

在Kinect设备采集模型数据时受到拍摄环境的影响,光照条件在发生变化,导致拍摄视角的模型表面亮度明暗不一,在各视角下采集到的颜色数据发生了改变,继而对点云配准效果的精确度有影响。基于该问题,提出用同态滤波方法对点云颜色做预处理,消除由光照强度变化造成颜色信息不一致的影响,提升后续3维点云配准的精确性。

本文借鉴2维图像利用同态滤波算法除去光照影响的方法,并将该算法应用到3维点云光照处理上,对3维点云配准易受光照影响的问题进行了研究。创新之处在于将3维点云转化为线性点序列,对颜色信息进行同态滤波处理,在一定效果上抑制了光照因素的干扰。在后阶段的3维点云精确配准中,引入几何特征和颜色特征为混合特征获取特征点,以加快了点云配准速度。

在与传统的ICP方法对比中,显示了颜色信息对提升配准精准的效果;与改进的Hue-ICP算法比较中,在颜色特征上所获取的颜色信息更充分,配准效果更显著,与Super4PCS、颜色与几何信息相结合的算法比较,在配准时间和配准效果上均具有一定的优势,经多种类型的模型实验证实了经光照补偿后,再对颜色特征进行获取,点云配准的精度有较好的提升。本文算法在点云预处理阶段,即光照补偿阶段和特征提取时用时消耗较多,在后续的工作中将会对算法的效率进行进一步研究。

参考文献

  • [1] Yang H, Qian K, Dai X Z, et al. Kinect-based 3D indoor environment map building for mobile robot[J]. Journal of Southeast University:Natural Science Edition, 2013, 43(S1): 183–187. [杨鸿, 钱堃, 戴先中, 等. 基于Kinect传感器的移动机器人室内环境三维地图创建[J]. 东南大学学报:自然科学版, 2013, 43(S1): 183–187. ]
  • [2] Wang F J, Xi X H, Wan Y P, et al. Analysis on digitization and 3D-reconstruction of large building based on terrestrial laser scanning data[J]. Remote Sensing Technology and Application, 2014, 29(1): 144–150. [王方建, 习晓环, 万怡平, 等. 大型建筑物数字化及三维建模关键技术分析[J]. 遥感技术与应用, 2014, 29(1): 144–150. ] [DOI:10.11873/j.issn.1004\-0323.2014.1.0144]
  • [3] Ta L, Li S B, Li L Y. Preliminary study on 3D data collection and application of Tibetan cultural relics in Inner Mongolia museum[J]. Chinese Museum, 2012(1): 32–35. [塔拉, 李少兵, 李丽雅. 内蒙古博物院馆藏文物三维数据采集及成果应用初探[J]. 中国博物馆, 2012(1): 32–35. ]
  • [4] Zhang X P, Zhang X Y, Wang J Z. Three-dimensional reconstruction and deformation simulation of human organbased on web[J]. Journal of Clinical Rehabilitative Tissue Engineering Research, 2011, 15(13): 2376–2380. [张小萍, 张小勇, 王君泽. 网络环境下人体器官的三维重建及变形仿真[J]. 中国组织工程研究与临床康复, 2011, 15(13): 2376–2380. ] [DOI:10.3969/j.issn.1673-8225.2011.13.023]
  • [5] Besl P J, McKay N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239–256. [DOI:10.1109/34.121791]
  • [6] Su B Y, Ma J Y, Peng Y S, et al. Fast point cloud registration based on RGB-D data[J]. Journal of Image and Graphics, 2017, 22(5): 643–655. [苏本跃, 马金宇, 彭玉升, 等. 面向RGB-D深度数据的快速点云配准方法[J]. 中国图象图形学报, 2017, 22(5): 643–655. ] [DOI:10.11834/jig.160602]
  • [7] Mellado N, Aiger D, Mitra N J. Super 4PCS fast global pointcloud registration via smart indexing[J]. Computer Graphics Forum, 2014, 33(5): 205–215. [DOI:10.1111/cgf.12446]
  • [8] Aiger D, Mitra N J, Cohen-Or D. 4-points congruent sets for robust pairwise surface registration[J]. ACM Transactions on Graphics, 2008, 27(3): #85. [DOI:10.1145/1360612.1360684]
  • [9] Park J, Zhou Q Y, Koltun V. Colored point cloud registration revisited[C]//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 143-152.[DOI: 10.1109/ICCV.2017.25]
  • [10] Douadi L, Aldon M J, Crosnier A. Pair-wise registration of 3D/color data sets with ICP[C]//Proceedings of 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. Beijing, China: IEEE, 2006: 663-668.[DOI: 10.1109/IROS.2006.282551]
  • [11] Druon S, Aldon M J, Crosnier A. Color constrained ICP for registration of large unstructured 3D color data sets[C]//Proceedings of 2006 IEEE International Conference on Information Acquisition. Weihai: IEEE, 2007: 249-255.[DOI: 10.1109/ICIA.2006.306004]
  • [12] Tong L J, Ying X. 3D point cloud initial registration using surface curvature and SURF matching[J]. 3D Research, 2018, 9(3): 41. [DOI:10.1007/s13319-018-0193-8]
  • [13] Song H B, Qu W F, Wang D D, et al. Shadow removal method of apples based on illumination invariant image[J]. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(24): 168–176. [宋怀波, 屈卫锋, 王丹丹, 等. 基于光照无关图理论的苹果表面阴影去除方法[J]. 农业工程学报, 2014, 30(24): 168–176. ] [DOI:10.3969/j.issn.1002-6819.2014.24.020]
  • [14] Finlayson G D, Hordley S D, Lu C, et al. On the removal of shadows from images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(1): 59–68. [DOI:10.1109/TPAMI.2006.18]
  • [15] Xiong J T, Zou X J, Wang H J, et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(12): 170–178. [熊俊涛, 邹湘军, 王红军, 等. 基于Retinex图像增强的不同光照条件下的成熟荔枝识别[J]. 农业工程学报, 2013, 29(12): 170–178. ] [DOI:10.3969/j.issn.1002-6819.2013.12.022]
  • [16] Men H, Gebre B, Pochiraju K. Color point cloud registration with 4D ICP algorithm[C]//Proceedings of 2011 IEEE International Conference on Robotics and Automation. Shanghai, China: IEEE, 2011: 1511-1516.[DOI: 10.1109/ICRA.2011.5980407]
  • [17] Su B Y, Han W, Peng Y S, et al. 4D-ICP point cloud registration method for RGB-D data[J]. Journal of Nanjing University:Natural Science, 2018, 54(4): 829–838. [苏本跃, 韩韦, 彭玉升, 等. 面向RGB-D数据的4D-ICP点云配准方法[J]. 南京大学学报:自然科学, 2018, 54(4): 829–838. ] [DOI:10.13232/j.cnki.jnju.2018.04.019]
  • [18] Fan Y C, Li Y C, Han Y, et al. Weakening of smoke for homomorphic filtering[J]. Journal of Image and Graphics, 2012, 17(5): 635–640. [范有臣, 李迎春, 韩意, 等. 提升小波的同态滤波在图像烟雾弱化中的应用[J]. 中国图象图形学报, 2012, 17(5): 635–640. ] [DOI:10.11834/jig.20120505]
  • [19] Hu D M, Zhao H S, Li Y C, et al. A new approach to infrared image enhancement based on homomorphic filter[J]. Infrared Technology, 2012, 34(4): 224–228. [胡窦明, 赵海生, 李云川, 等. 一种基于同态滤波的红外图像增强新方法[J]. 红外技术, 2012, 34(4): 224–228. ] [DOI:10.3969/j.issn.1001-8891.2012.04.009]
  • [20] Xu L M, Lü J D. Bayberry image segmentation based on homomorphic filtering and K-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(14): 202–208. [徐黎明, 吕继东. 基于同态滤波和K均值聚类算法的杨梅图像分割[J]. 农业工程学报, 2015, 31(14): 202–208. ] [DOI:10.11975/j.issn.1002-6819.2015.14.028]