Print

发布时间: 2018-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170633
2018 | Volume 23 | Number 9




    图像分析和识别    




  <<上一篇 




  下一篇>> 





球面全景影像自动测量路灯坐标的方法
expand article info 王志旋, 钟若飞, 谢东海
1. 首都师范大学北京成像技术高精尖创新中心, 北京 100048;
2. 首都师范大学资源环境与旅游学院, 北京 100048;
3. 首都师范大学三维数据获取与应用重点实验室, 北京 100048

摘要

目的 针对城市实施的路灯杆编码项目,即获取路灯坐标并依次编号,传统的测量方法耗费大量人力物力,且作业周期长,虽然激光测量精度高,但成本也高。为此本文提出一种将基于深度学习的目标检测与全景量测结合自动获取路灯坐标的方法。方法 通过Faster R-CNN(faster region convolutional neural network)训练检测模型,对全景图像中的路灯底座进行检测,同时输出检测框坐标,并与HOG(histogram of oriented gradient)特征结合SVM(support vector machine)的检测结果进行效果对比。再将检测框的对角线交点作为路灯脚点,采用核线匹配的方式找到两幅图像中一个或多个路灯相对应的同名像点并进行前方交会得到路灯的实际空间坐标,为路灯编码做好前期工作。结果 采用上述两种方法分别对100幅全景影像的路灯进行检测,结果显示Faster R-CNN具有明显优势,采用Faster R-CNN与全景量测结合自动获取路灯坐标。由于路灯底部到两成像中心的距离大小及3点构成的交会角大小对坐标量测精度具有较大影响,本文分别对距离约为7 m、11 m、18 m的点在交会角为0°180°的范围进行量测结果对比。经验证,交会角在30°150°时,距离越近,对量测精度的影响越小。基于上述规律,在自动量测的120个路灯坐标中筛选出交会角大于30°且小于150°,距离小于20 m的102个点进行精度验证,其空间坐标量测结果的误差最大不超过0.6 m,中误差小于0.3 m,满足路灯编码项目中路灯坐标精度在1 m以内的要求。结论 本文提出了一种自动获取路灯坐标的方法,将基于深度学习的目标检测应用于全景量测中,避免手动选取全景图像的同名像点进行双像量测,节省大量人力物力,具有一定的实践意义。本文方法适用于城市车流量较少的路段或时段,以免车辆遮挡造成过多干扰,对于路灯遮挡严重的街道全景,本文方法存在一定的局限性。

关键词

Faster R-CNN; 深度学习; 路灯检测; 全景; 前方交会; 核线约束

Automatically measuring the coordinates of streetlights in vehicle-borne spherical images
expand article info Wang Zhixuan, Zhong Ruofei, Xie Donghai
1. Beijing Advanced Innovation Center for Imaging Technology, Capital Normal University, Beijing 100048, China;
2. College of Resources Environment and Tourism, Capital Normal University, Beijing 100048, China;
3. Key Lab of 3D Information Acquisition and Application, Capital Normal University, Beijing 100048, China
Supported by: National Natural Science Foundation of China (41371434)

Abstract

Objective With the development of urban management, a growing number of cities are implementing coding projects for streetlight poles. In such projects, the coordinates of streetlamps are obtained and serial numbers are assigned to them. The coordinates can be obtained in many ways, such as RTK and laser measurements. A quick and easy approach to obtain the data is required because tens of thousands of streetlamps are present in a city. In consideration of the cost, mobile panorama measurement is preferred. However, most current panorama measurements are conducted by means of human-computer interaction, in which homologous image points are selected to perform forward intersection to obtain the coordinates. This approach consumes substantial energy and time. Therefore, in this paper, we propose an automatic method to obtain the coordinates of streetlamps by combining object detection with panoramic measurement. Method The method combines deep learning and panoramic measurement to automatically obtain the coordinates of streetlight poles. No feature points are obvious on the poles because of their rod-shaped features, and the top of the streetlamp is different because of the different design. The distortion of panoramic images strongly influences the detection of the top of a streetlamp. Thus, the bottom of the poles is used as the detection target in this paper. The pole bottoms are detected by faster R-CNN. Meanwhile, the coordinate file that contains the upper-left and lower-right corners of the detection frames are output and compared with the detection results obtained by the combination of histogram of oriented gradient (HOG) and support vector machine (SVM). Then, the diagonal intersection of the detection box is regarded as the foot of the streetlight pole, and an epipolar line is used to find homologous image points in two panoramic images because multiple streetlight poles can be present in a panoramic image. Based on the matching results, the space coordinates of the streetlight poles are obtained by forward intersection of the panoramas, thereby confirming the potential of this preliminary work for the coding projects. Result The aforementioned two methods were used to detect the streetlights of 100 panoramic images, which include 162 streetlights. A total of 1826 detection results were obtained based on HOG features, of which the correct bottom of streetlamps is 142. A total of 149 detection results are based on the faster R-CNN, of which 137 are correct. We can conclude that the faster R-CNN has obvious advantages. Thus, in this study, we use the faster R-CNN combined with panoramic measurement to automatically obtain the streetlight coordinates. The distance from the bottom of the streetlamp to the two imaging centers and the intersection angle formed by the three points significantly affect the accuracy of coordinate measurement. To filter out the coordinates that are less affected by the aforementioned two factors, we compare measurement results, which are the distances of approximately 7, 11, and 18m; the intersection angles are 0° to 180°. We have verified that when the intersection angles are from 30° to 150°, the influence on the measurement accuracy is smaller because the distance is closer. Based on the preceding rules, 120 coordinates of streetlamps are selected to determine the statistical distribution of the intersection angle and distance. Points with a distance of less than 20 m and intersection angle greater than 30° and less than 150° are selected for the coordinate error analysis, and 102 points meet the requirements for accuracy verification. The deviation of space coordinate measurement is less than 0.3 m and the maximum is not more than 0.6 m, thereby satisfying the requirement that the accuracy of the coordinates is within 1 m. Conclusion This paper presents a method of automatically obtaining the coordinates of streetlamps. The method of target detection based on deep learning is applied to the panorama measurement. The method avoids the manual selection of the homologous image points for measurement, which saves considerable labor and material resources. We conclude that this method exhibits practical significance because it is suitable for road sections or periods with low traffic volume in the city, thereby preventing excessive obstruction caused by vehicles. However, for panoramas with seriously obstructed streetlights, this method has certain limitations.

Key words

faster region convolutional neural network (Faster R-CNN); deep learning; street light pole detection; panorama; forward intersection; epipolar geometry

0 引言

路灯作为每个城市必不可少的基础设施,其分布位置规则、广泛且密集,具有便于发现和较为稳定的特点。为了提高城市精细化管理水平,许多城市实行路灯杆编码项目。通过路灯杆上的编号进行定位,不仅有利于城市突发公共安全问题的解决,也为城市照明设施的日常维护提供帮助[1]。获取路灯坐标方式多样,传统的RTK(real-time kinematic)测量方法耗费大量的人力、物力和时间,因此考虑使用移动测量系统获取街道数据。过去许多研究致力于从高精度的街道点云数据中提取路灯杆或杆状物[2-5],通过这种方法可以快速获取路灯坐标,但是耗费成本高。全景量测相比于传统的测量方法,能够节省大量人力物力,且作业周期短,相比于激光测量,设备成本低。目前,有多种通过全景量测获取目标坐标的方法,包括单全景测量[6]、多全景测量[7],前者要求测量点所在平面平坦,具有较大局限性,后者通过传统摄影测量方法进行3维重建,需布设大量的地面控制点。而通过手动选取两张全景影像同名像点获取目标坐标的方法[8-9],对于城市中几万个甚至十几万个路灯来说,将耗费大量人力与时间。此外,Kunar等人[10]介绍了一种从视频流中识别各种光源的方法,通过光源将路灯位置信息与地理标志相结合。

本文提出一种目标检测与全景图像前方交会双像量测相结合进而自动获取路灯坐标的方法。由于路灯的杆状特征,在路灯杆上无明显特征点,而路灯顶部因路灯型号不同而款式多样,全景影像的畸变对路灯顶部的检测存在非常大的影响,所以本文采用路灯底部作为检测部位。通过Faster R-CNN对多角度观测的全景影像中的路灯底部进行检测,同时输出包含检测框左上角和右下角的坐标文件,并与采用HOG结合SVM方法检测得到的结果进行对比。再将检测框的对角线交点作为路灯脚点,采用核线匹配的方式找到两幅全景影像中一个或多个路灯脚点分别对应的同名像点,根据匹配结果联合全景影像的位置姿态文件进行前方交会得到路灯的实际坐标,为路灯编码做好前期工作。

1 相关工作

近年来,深度学习已成为机器学习领域的研究热点,它是通过深度分层结构模拟人脑来学习数据的本质特征,从而避免复杂的特征提取和数据重建过程。CNN (convolution neural network)作为深度学习模型中的一种,它的权值共享结构使其类似于生物神经网络,结合了空间下采样和局部连接,减少大量网络参数,使网络在图像分析中更显优势。

由于传统的卷积神经网络检测模型需对目标进行全局处理,运算量巨大,耗费时间长。Girshick等人[11]提出R-CNN,采用SS(selective search)[12]为图像生成约2 000个建议区域,并将它们拉伸至统一的大小,然后利用CNN分别进行特征提取,最后结合SVM分类器进行分类。这些建议区域之间存在大量重叠,造成重复计算,且候选框调拉伸时会使图像在一定程度上产生畸变,对检测结果造成影响。基于以上不足,He等人[13]提出SPP-NET,SPP-NET在生成候选区域后,对整幅图像进行CNN特征提取,在最后一个卷积层与其后全连接层间添加空间金字塔采样,得到对应的候选区域特征,具有更好的尺度不变性。而Ross等人[14]提出的Fast R-CNN与R-CNN不同的是,Fast R-CNN把建议区域映射到CNN的最后一层卷积特征图层上,通过ROI(region of interest)池化层使得每个建议窗口下采样为固定大小的特征传入全连接层,实现特征共享,大大降低运算量,且过程中不存在图像畸变。此外,Fast R-CNN去掉了SVM这一步骤,将提取的所有特征暂存在显存中,不占额外的磁盘空间。但是,在Fast R-CNN中,建议区域的生成和后续过程仍然是独立的步骤,Ren等人[15]提出Faster R-CNN,该方法将RPN(region proposal network)网络和Fast R-CNN网络结合起来,RPN获取的建议区域直接连到Fast R-CNN的ROI池化层,通过一次卷积,在提取特征的同时生成候选区域,实现端到端的CNN网络。Faster R-CNN与前面几种方法比较,在检测时间和准确率上都具有明显优势。

2 相关方法与原理

2.1 全景影像的获取

全景视觉模拟了视点所在位置周围360°的场景信息,具有较大的成像视场,其信息量丰富,能够克服普通相机视场狭窄的问题。本文利用移动全景测量系统获取全景影像及相关数据,设备如图 1所示,由全景相机、里程计、GPS(global positioning system)和惯导组合而成。其中GPS数据及惯导数据最终生成图像位置姿态文件,用于路灯检测后前方交会进行全景量测。

图 1 移动全景测量系统
Fig. 1 Mobile panorama measurement system

2.2 Faster R-CNN

利用Faster R-CNN对全景图像中的路灯底部进行检测,在训练和检测的过程中,将网络模型生成的特征图层输入到RPN中,RPN以特征图的每个点为中心产生9种窗口,分别对应3种窗口面积128×128像素、256×256像素、512×512像素和3种窗口长宽比为1 :1、2 :1、1 :2的自由组合。再将不同窗口采集的特征降维到固定维度,根据降维后的特征,分类层给出该窗口内包含目标的得分,如果输入图像中相应区域与图像中目标真实区域的重叠率大于设定值0.7,则该区域设置标签为1,作为目标物体正样本。若重叠率小于设定值0.3,则认为没有目标物,该区域的标签为0,作为目标物体的负样本,介于两个设定值之间的区域不参与训练。检测时,对于标签为1的区域,寻找映射回输入图像的坐标与图像中真实目标坐标之间的关系,完成定位回归。

采用ZFNet[16]和VGG-16Net[17]两种网络分别对图像进行特征提取。采用交替训练方式建立模型,ZFNet的mAP(mean average precision)为88.1%,VGG-16Net的mAP为88.2%,结果精度相差不大,但由于VGG-16Net采用更深的网络结构特征,建立该模型用时大约为ZFNet的两倍多,在不影响模型精度的情况下,采用ZFNet进行训练与检测。ZFNet与Faster R-CNN结构如图 2所示。

图 2 Faster R-CNN结构示意图
Fig. 2 Schematic diagram of Faster R-CNN

2.3 核线约束

检测出全景影像中路灯底部位置后,将检测框对角线交点作为路灯脚点。由于一幅全景影像上有多个路灯脚点,要实现自动量测需确定两幅全景图像中多个路灯间的对应关系。本文采用核线约束的方式匹配路灯脚点的同名像点。

普通平面影像的核线为直线,如图 3 (a)所示,O1O2分别为两个相机的成像中心,两幅影像所在的平面分别为P1P2O1O2的连线称为基线,基线与平面P1P2的交点分别为m1m2,称为极点。空间点A在两幅平面上的投影分别为a1a2,连接m1a1的连线l1称为点a1在平面P1的极线,m2a2的连线l2称为点a2在平面p2的极线,则l1l2即为两个成像中心O1O2以及物点A3点确定的平面与两成像平面相交所得的一对核线。与平面影像类似,全景影像的核线也是由成像中心O1O2及物点A 3点确定的平面与两个成像平面相交得到。由于本文中的全景相机成像平面为球面,所得核线为圆周,如图 3 (b)中圆面所示。

图 3 平面核线与全景核线
Fig. 3 The epipolar line of flat image and panoramic image ((a) planar epipolar line; (b) panoramic epipolar line)

对于球面全景图像,每一条核线圆周都从影像的核点开始计算,由于基线将一个核线圆周分成两条球面曲线,同名像点对必在同一侧的半圆上。因此,寻找同名像点只需在其对应的核线上寻找即可。本文通过计算待匹配点到核线的距离$L$确定同名点对,设$\mathit{\boldsymbol{N}}$为核面O1AO2的法线向量,如图 3 (b)所示,可利用矢量${\mathit{\boldsymbol{P}}_{\text{0}}}$来计算$\mathit{\boldsymbol{N}}$,即

$ \mathit{\boldsymbol{N}} = {(\mathit{\boldsymbol{E}}{\mathit{\boldsymbol{P}}_0})^{\rm{T}}} $ (1)

式中,$\mathit{\boldsymbol{E}}$为本质矩阵,${\mathit{\boldsymbol{P}}_{\rm{0}}}$$\mathit{\boldsymbol{N}}$之间的夹角为$β$[18],那么有

$ L = r({\rm{ \mathsf{ π} }}/2 - \beta ) $ (2)

式中,$r$为球面全景的半径,本文设定$L$取阈值范围内距离核线最近的路灯脚点为对应的同名像点,反之为错误匹配点,该阈值设置为图像宽度的0.5%。

2.4 全景图像前方交会

得到匹配好的同名像点后,根据它们在全景图像中的坐标和两幅全景图像的外方位元素,可通过空间前方交会来解算路灯实际坐标。根据球面全景图像中心、球面物点及像点3点共线原理,已知一对同名像点可以得到两个空间直线方程,该两条直线的交点即为需要求得的物点坐标。设物点实际空间坐标为(${X_{\rm{g}}}, {Y_{\rm{g}}}, {Z_{\rm{g}}}$),像点在全景平面展开图中的2维坐标为($x$, $y$),($α$, $θ$)为经纬度。首先将像点的2维坐标转换为经纬度,然后根据经纬度得到平面图上像点对应的球面坐标系中的3维坐标($X$, $Y$, $Z$)。经纬度与像点2维坐标关系为

$ \left\{ \begin{array}{l} a = 2{\rm{ \mathsf{ π} }}r\\ \alpha = \frac{x}{r}\\ \theta = \frac{y}{r} \end{array} \right. $ (3)

式中,$a$为球面全景影像的宽度。3维坐标系以$Y$轴正方向作为经度起始方向,$Z$轴正方向为纬度起始方向。3维坐标与经纬度转换关系为

$ \left\{ \begin{array}{l} X = r \cdot {\rm{sin}}\left( \alpha \right){\rm{sin}}\left( \theta \right)\\ Y = r \cdot {\rm{cos}}\left( \alpha \right){\rm{sin}}\left( \theta \right)\\ Z = r \cdot {\rm{cos}}\left( \alpha \right) \end{array} \right. $ (4)

坐标转换后,计算物点3维空间坐标

$ \left[ \begin{array}{l} X\\ Y\\ Z \end{array} \right] \approx \mathit{\boldsymbol{R}}\left[ \begin{array}{l} {X_{\rm{g}}}\\ {Y_{\rm{g}}}\\ {Z_{\rm{g}}} \end{array} \right] + \mathit{\boldsymbol{T}} $ (5)

式中,$\mathit{\boldsymbol{R}}$为全景照片的旋转矩阵,$\mathit{\boldsymbol{T}}$为平移矩阵

$ \mathit{\boldsymbol{R}} = \left[ {\begin{array}{*{20}{c}} {{r_0}}&{{r_1}}&{{r_2}}\\ {{r_3}}&{{r_4}}&{{r_5}}\\ {{r_6}}&{{r_7}}&{{r_8}} \end{array}} \right],\mathit{\boldsymbol{T}} = \left[ \begin{array}{l} {t_0}\\ {t_1}\\ {t_2} \end{array} \right] $ (6)

根据式(5) (6)可得以下多项式

$ \left\{ \begin{array}{l} \frac{X}{Z} = \frac{{{r_0}{X_{\rm{g}}} + {r_1}{Y_{\rm{g}}} + {r_2}{Z_{\rm{g}}} + {t_0}}}{{{r_6}{X_{\rm{g}}} + {r_7}{Y_{\rm{g}}} + {r_8}{Z_{\rm{g}}} + {t_2}}}\\ \frac{Y}{Z} = \frac{{{r_3}{X_{\rm{g}}} + {r_4}{Y_{\rm{g}}} + {r_5}{Z_{\rm{g}}} + {t_1}}}{{{r_6}{X_{\rm{g}}} + {r_7}{Y_{\rm{g}}} + {r_8}{Z_{\rm{g}}} + {t_2}}} \end{array} \right. $ (7)

引入归一化坐标(即除以$Z$坐标)

$ {x_{\rm{n}}} = \frac{X}{Z},{\rm{ }}\;\;\;{y_{\rm{n}}} = \frac{Y}{Z} $ (8)

那么已知一个图像点坐标可列出两个线性方程

$ \begin{array}{l} ({r_0} - {x_{\rm{n}}}{r_6}){X_{\rm{g}}} + ({r_1} - {x_{\rm{n}}}{r_7}){Y_{\rm{g}}} + \\ \;\;\;\;({r_2} - {x_{\rm{n}}}{r_8}){Z_{\rm{g}}} = {x_{\rm{n}}}{t_2} - {t_0} \end{array} $ (9)

$ \begin{array}{l} ({r_3} - {y_{\rm{n}}}{r_6}){X_{\rm{g}}} + ({r_4} - {y_{\rm{n}}}{r_7}){Y_{\rm{g}}} + \\ \;\;\;\;\;({r_5} - {y_{\rm{n}}}{r_8}){Z_{\rm{g}}} = {y_{\rm{n}}}{t_2} - {t_1} \end{array} $ (10)

已知一对同名点可得到4个线性方程,利用最小二乘法结合非线性最优化可得到3维坐标的最优解。全景图像前方交会示意如图 4所示。其中,$θ$为两同名像点间的交会角,$d$为物点到两成像中心连线的距离。

图 4 全景图像前方交会
Fig. 4 Forward intersection of panorama image

3 实验结果与分析

本文数据来源于北京市与扬州市部分街道,全景图像分辨率为8 000×4 000像素。由于路灯杆底部在全景影像展开图上的畸变很小,因而直接选取全景图像平面展开图作为路灯底部样本的源图像。针对HOG特征结合SVM的检测方法,分别制作大小均为64×64像素的正负样本。正样本中路灯底部位于样本中心,负样本为不包含路灯底部的任意物体。样本示例如图 5所示,其中图 5(a)为示例正样本,图 5 (b)为示例负样本。对于Faster R-CNN检测方法,对1 600幅图像进行标注,将路灯杆底部中心作为标注框的中点,对于有遮挡的路灯同样操作。路灯底部标注示例如图 6所示。其中,图 6(a)为无遮挡路灯标注示例,图 6 (b)为有遮挡的路灯标注示例。

图 5 示例正样本及负样本
Fig. 5 Examples of positive samples and negative samples((a) positive samples; (b) negative samples)
图 6 路灯底部样本标注示例
Fig. 6 Annotation at the bottom of the street lamp ((a) unobstructed street light poles; (b) obstructed street light poles)

利用HOG特征结合SVM分类器与Faster R-CNN分别对路灯杆底部进行检测。检测结果示例如图 7所示。其中,图 7 (a)为HOG结合SVM分类器的检测结果,图 7 (b)为Faster R-CNN的检测结果。选取100幅经两种方式分别检测的全景图像,基于HOG特征的结果显示,检测结果共1 826个,其中正确的路灯底部为142个。基于Faster R-CNN的结果显示,检测结果共149个,其中正确的路灯底部为137个。由于HOG特征是基于图像的灰度特征来提取目标形状,受图像灰度梯度影响较大,全景图像背景复杂,包含树木及电线杆的干扰,且路灯底部结构简单,相对整幅全景图像来说所占比例非常小,因而存在大量检测错误。相比于HOG特征,Faster R-CNN在检测准确度上具有明显优势,两种方法检测对比如表 1所示。

图 7 路灯检测结果示例
Fig. 7 Detection result examples of street light poles((a) HOG+SVM; (b) Faster R-CNN)

表 1 检测结果对比
Table 1 Comparison of test results

下载CSV
检测方法 检测总数/个 正确目标/个 实际目标/个 准确率/% 完整度/%
HOG+SVM 1 826 142 162 7.78 87.65
Faster R-CNN 149 137 162 91.95 84.57

表 1中,准确率为正确目标数占检测总数的比例,完整度为正确目标数占实际目标个数的比例。由于每个路灯在46幅全景图像中出现,所以只需检测出其中两个路灯就能实现全景量测,可允许少量检测遗漏。

利用检测时输出的检测框坐标文件,通过核线约束匹配同名像点,并进行前方交会计算匹配好的路灯底部实际坐标。匹配结果示例如图 8所示。其中,图 8 (a)为无遮挡的路灯底座匹配结果,图 8 (b)为存在遮挡的路灯匹配结果。

图 8 同名像点匹配
Fig. 8 Corresponding image points matching((a) unobstructed street light poles; (b) obstructed street light poles)

传统摄影测量中,两幅影像成像中心到物点的距离和同名像点与物点形成的交会角的大小对测量精度具有较大影响[19]。为排除上述两个因素对全景量测精度有较大影响的点,针对不同距离与不同角度的量测误差进行分析。由于车载移动装置在一条道路上行驶时,其离路边路灯的距离(d1d2d3)大致为一个稳定值,交会角(θ1θ2θ3)可能的分布情况如图 9所示。本文分别对距离约为7 m、11 m、18 m的点在交会角为0°180°的范围进行量测,利用RTK数据进行精度验证,量测误差分布如图 10所示。距离大致相同时,误差与交会角大小呈现抛物线状规律。0°30°时,量测精度快速提高,30°150°时趋于一个稳定的最低误差值,当角度大于150°时,量测精度快速下降。此外,对比图 10(a) (b) (c)可以发现,当交会角相同时,距离越远,量测精度越低。

图 9 交会角与距离图示
Fig. 9 The icon of intersection angle and distance
图 10 交会角与误差关系图
Fig. 10 The regular diagram of intersection angle and measurement error ((a) distance is 7 m; (b) distance is 11 m; (c) distance is 18 m)

本文全景图像每隔5 m一幅,相邻两幅影像重叠度大。基于以上规律,选取量测结果中距离小于20 m,交会角大于30°且小于150°的部分进行坐标误差分析。在量测的120个路灯坐标中,交会角与距离分布如图 11所示。量测距离大部分小于15 m,筛选出符合要求的102个点进行精度验证。精度验证数据来源于北京良乡经济开发区与乌鲁木齐某街道坐标,测量误差如图 12所示,中误差及最大最小误差如表 2所示。根据结果显示,在限定摄站与路灯之间形成的交会角与距离的情况下,利用本文方法获取的路灯坐标误差最大不超过0.6 m,中误差在0.3 m以内,满足路灯编码要求坐标精度在1 m以内的需求。

图 11 交会角与距离分布情况图
Fig. 11 The distributions of intersection angle and distance
图 12 路灯底部实际坐标测量误差
Fig. 12 Measurement error of coordinates

表 2 路灯坐标测量误差结果
Table 2 RMSE of coordinates

下载CSV
X/m Y/m Z/m
中误差 0.201 0.202 0.102
最大误差 0.555 0.538 0.445
最小误差 0.004 0.002 0.001

4 结论

本文分别利用HOG特征结合SVM分类器和Faster R-CNN对全景图像中的路灯脚点进行检测,实验显示Faster R-CNN具有明显优势。后期通过检测结果得到的路灯脚点在全景平面展开图中的坐标,将目标检测技术与全景量测技术结合起来,实现自动量测,且量测结果满足城市路灯编码项目的需求。利用本文方法自动获取路灯坐标,可对数据进行批量处理,在满足精度要求的前提下大大提高了工作效率。但是,本文方法对于路灯遮挡过于严重的街道全景并不适用,此外,自动获取的坐标精度还不是很高,后期可以往提高自动量测精度的方向进行进一步研究。

参考文献

  • [1] Guo L, Yang Y C, Li B J. Location method of urban alarm based on street lamp[J]. Urban Geotechnical Investigation & Surveying, 2009(3): 35–38. [郭岚, 杨永崇, 历保军. 基于路灯的城市110报警定位方法的研究[J]. 城市勘测, 2009(3): 35–38. ] [DOI:10.3969/j.issn.1672-8262.2009.03.011]
  • [2] Yu Y T, Li J, Guan H Y, et al. Semiautomated extraction of street light poles from mobile LiDAR point-clouds[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(3): 1374–1386. [DOI:10.1109/TGRS.2014.2338915]
  • [3] Hu Y J, Li X, Xie J, et al. A novel approach to extracting lamps from vehicle-borne laser data[C]//Proceedings of the 19th International Conference on Geoinformatics. Shanghai, China: IEEE, 2011: 1-6. [DOI: 10.1109/GeoInformatics.2011.5981183]
  • [4] Lehtomäki M, Jaakkola A, Hyyppä J, et al. Detection of vertical pole-like objects in a road environment using vehicle-based laser scanning data[J]. Remote Sensing, 2010, 2(3): 641–664. [DOI:10.3390/rs2030641]
  • [5] Zheng H, Tan F T, Wang R S. Pole-Like object extraction from mobile lidar data[C]//International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, XLI-B1: 729-734. [DOI: 10.5194/isprs-archives-XLI-B1-729-2016]
  • [6] Jiang Z D, Jiang N, Wang Y J, et al. Distance measurement in panorama[C]//Proceedings of 2007 IEEE International Conference on Image Processing. San Antonio, Texas: IEEE, 2007: Ⅵ-393-Ⅵ-396. [DOI: 10.1109/ICIP.2007.4379604]
  • [7] Fangi G. Multiscale multiresolution spherical photogrammetry with long focal lenses for architectural surveys[C]//Proceedings of International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences. Newcastle upon Tyne: Commission V Symposium, 2010: 1-6.
  • [8] Zeng F Y, Zhong R F, Song Y, et al. Vehicle panoramic image matching based on epipolar geometry and space forward intersection[J]. Journal of Remote Sensing, 2014, 18(6): 1230–1236. [曾凡洋, 钟若飞, 宋杨, 等. 车载全景影像核线匹配和空间前方交会[J]. 遥感学报, 2014, 18(6): 1230–1236. ] [DOI:10.11834/jrs.20144025]
  • [9] Sun Z X, Zhong R F. Measurement scheme for panoramic images[J]. Journal of Applied Sciences-Electronics and Information Engineering, 2015, 33(4): 399–406. [孙振兴, 钟若飞. 一种用于全景影像的测量方案[J]. 应用科学学报, 2015, 33(4): 399–406. ] [DOI:10.3969/j.issn.0255-8297.2015.04.006]
  • [10] Kumar S, Deshpande A, Ho S S, et al. Urban street lighting infrastructure monitoring using a mobile sensor platform[J]. IEEE Sensors Journal, 2016, 16(12): 4981–4994. [DOI:10.1109/JSEN.2016.2552249]
  • [11] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, Ohio: IEEE, 2014: 580-587. [DOI: 10.1109/CVPR.2014.81]
  • [12] Uijlings J R R, van de Sande K E A, Gevers T, et al. Selective search for object recognition[J]. International Journal of Computer Vision, 2013, 104(2): 154–171. [DOI:10.1007/s11263-013-0620-5]
  • [13] He K M, Zhang X Y, Ren S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904–1916. [DOI:10.1109/TPAMI.2015.2389824]
  • [14] Girshick R. Fast R-CNN[C]//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 1440-1448. [DOI: 10.1109/ICCV.2015.169]
  • [15] Ren S Q, He K M, Girshick R, et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137–1149. [DOI:10.1109/TPAMI.2016.2577031]
  • [16] ZeilerM D, Fergus R. Visualizing and understanding convolutional networks[C]//Proceedings of the 13th European Conference on Computer Vision. Zurich: Springer, 2014: 818-833. [DOI: 10.1007/978-3-319-10590-1_53]
  • [17] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2015-04-10)[2017-11-30]. https://arxiv.org/abs/1409.1556.
  • [18] Xie D H, Zhong R F, Wu Y, et al. Relative pose estimation and accuracy verification of spherical panoramic image[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(11): 1822–1829. [谢东海, 钟若飞, 吴俣, 等. 球面全景影像相对定向与精度验证[J]. 测绘学报, 2017, 46(11): 1822–1829. ] [DOI:10.11947/j.AGCS.2017.20160645]
  • [19] Chen L W. Precision analysis of the plane-linear forward intersection in road surveying[J]. Ningxia Engineering Technology, 2010, 9(1): 87–89. [陈立文. 公路测量中平面前方交会点位的精度分析[J]. 宁夏工程技术, 2010, 9(1): 87–89. ] [DOI:10.3969/j.issn.1671-7244.2010.01.027]