|
|
|
发布时间: 2017-01-25 |
全国第27届CACIS |
|
|
|
于英1,2,3, 张永生1, 薛武1,2,3, 莫德林1,2,3 |
收稿日期: 2016-07-05; 修回日期: 2016-08-27
基金项目: 国家自然科学基金项目（41501482）；地理信息工程国家重点实验室开放研究基金项目（SKLGIE2015-M-3-6和SKLGIE2014-M-3-1）；航空遥感技术国家测绘地理信息局重点实验室开放基金项目（2014B02）
第一作者简介: 于英(1985-), 男, 讲师, 2014年于信息工程大学获摄影测量与遥感专业博士学位, 主要研究方向为无人机摄影测量和点云数据处理等。E-mail:yuying5559104@163.com
中图法分类号: P231
文献标识码: A
文章编号: 1006-8961(2017)01-0108-07
|
摘要
目的 像方无人机影像多视匹配方法忽视了影像之间的几何关系，而以MVLL（multi-view vertical line locus）为代表的物方多视匹配方法缺乏对地形之间相互约束的考虑。为此构建一种融合两类多视匹配方法优点的无人机影像物方多视匹配算法。 方法 在MVLL匹配结构的基础上添加半全局匹配的相容性约束，不仅继承了原半全局算法对有弱纹理区域匹配效果好和物体边缘突出的优点，而且摆脱了需制作核线影像的繁琐过程；采用物方窗口SNCC（summed normalized cross correlation）一致性匹配测度计算方法，有效降低摄影角度和遮挡对匹配结果的影响；采用金字塔分层的策略以提高匹配的速度和可靠性。 结果 选取自主研制的旋翼无人机三轴稳定平台获取了高分辨率无人机影像作为实验数据，从匹配效果、新匹配测度性能和匹配精度3个方面对算法进行了测试实验。本文算法整体匹配效果良好，物方窗口SNCC一致性匹配测度可有效消除匹配测度中的粗差，经过测定本文匹配算法生成的点云数据的高程精度为0.049 m，即约为1个GSD（ground space resolution）对应的地面大小。 结论 本文算法充分利用了无人机影像的多视信息进行匹配计算，具有匹配效果好、鲁棒性强和匹配精度高的优势。
关键词
无人机影像; 多视匹配; 半全局; SNCC一致性匹配测度
Yu Ying1,2,3, Zhang Yongsheng1, Xue Wu1,2,3, Mo Delin1,2,3 Abstract
Objective The unmanned aerial vehicle (UAV) multi-view matching method in image space ignores the geometric relationship among images. The multi-view matching method in object space represented by modified vertical line locus (MVLL) does not consider the mutual restraint of terrains. A multi-view matching algorithm that is based on the advantages of two multi-view matching methods is proposed in this study. Method An UAV multi-view matching algorithm in object space is presented by adding a semi-global matching compatibility constraint to the MVLL structure. This algorithm not only inherits the semi-global matching advantages of exhibiting good matching performance on weak texture areas and object boundaries but also prevents the tedious production of original semi-global matching algorithm-required rectified images. A summed normalized cross-correlation (SNCC) consensus cost function of object window is presented to reduce the effects of camera angles and occluded areas. The matching speed and reliability of the algorithm are improved by pyramiding strategies. Result In the experimental part, high-resolution images, which are obtained from an independently developed rotor UAV three-axis stabilized platform, are used to effectively test the matching results. The algorithm is tested from three aspects, namely, the matching effect, performance of the new matching measure, and matching precision. The experimental results show that this algorithm displays good matching effect. The matching measure of the SNCC of the object square window can effectively eliminate the gross error in the matching measure. The point cloud data generated by the proposed matching method in the elevation direction can reach 0.004 9 m which is equivalent to the size of 1 GSD (ground space resolution). Conclusion The method utilizes the multi-view information of a UAV image for matching calculation, and it demonstrates good matching effect, strong robustness, and high matching precision.
Key words
unmanned aerial vehicle (UAV) images; multi-view matching; semi-global matching; summed normalized cross-correlation (SNCC) consensus cost function
0 引言
无人机低空摄影可获取大比例尺、高分辨率、纹理丰富的大重叠度影像[1]。传统的影像匹配受限制于航空传感器的立体成像能力，以“单基线”的影像匹配为主。由于无人机影像一般具有大重叠度并提供大量冗余信息，因此采用多视匹配的方法处理可有效解决“单基线”匹配中常见的重复纹理、断裂特征以及遮挡等问题[2-3]。
多视影像匹配方法可分为两类，第1类是在像方对立体像对进行单独匹配，然后在物方对所有立体像对匹配结果进行融合。袁修孝[4]等结合像方和物方信息，利用多光线束前方交会实现匹配结果在物方的融合。Li等人[5]采用传递跟踪的方法在像方实现立体像对匹配结果的融合。Rothermal等人[6]对所有重叠的立体像对进行半全局匹配，然后通过左右一致性检查去除错误匹配，最后在物方空间对所有的物方点进行多视前方交会。基于像方的多视影像匹配方法可以利用大量丰富成熟的匹配算法且容易进行并行加速计算，但忽视了多视影像的灰度信息以及影像间的几何关系。第2类多视影像匹配方法是通过物方空间对所有影像进行匹配，这种方法能充分利用所有影像的信息提高匹配的可靠性，且匹配方式比较灵活。Furukawa和Ponce[7]提出一种多基线匹配方法PMVS (patch-based multi-view stereo)，它采用特征点匹配-匹配传播-过滤策略实现同时处理多幅影像，但计算复杂度较高而且容易出现漏洞[8-9]。多视铅垂线轨迹法MVLL (multi-view vertical line locus)从物方地面元出发，地面元平面坐标已知，通过影像相关确定地面元高程值的同时确定影像上的同名像点，MVLL的匹配思路非常清晰但是由于没有考虑地形之间的约束，导致匹配效果不甚理想。
鉴于上述多视影像匹配方法存在的问题，本文构建了一种无人机影像物方多视匹配方法。该方法在MVLL匹配结构的基础上添加半全局匹配的相容性约束[10-11]有效地提高了纹理贫乏地区的匹配质量[12-13]，并采用一种新的物方窗口SNCC (summed normalized cross correlation)一致性匹配测度计算方法降低了摄影角度和遮挡对匹配结果的影响，算法实现过程使用了金字塔分层的策略以提高匹配的速度和可靠性。
1 无人机影像物方多视匹配算法
首先论述无人机影像物方多视匹配算法原理，然后对物方窗口SNCC一致性匹配测度计算方法进行描述，最后对算法的金字塔分层实现方法进行介绍。
1.1 算法原理
本文算法的基本原理如图 1所示，I1、I2，…，I
到物方空间上的点Pmin与Pmax，点P的正确位置应位于线段PminPmax上[14]。
在地面点P正确位置的搜索过程中添加相容性约束，具体过程如下：
1) 匹配测度值计算：地面点P的平面坐标为(X0, Y0)，其近似高程Z0来自近似DSM (数字表面模型)或者平均高程值，设定高程搜索步距
2) 匹配代价值计算：构建基于半全局匹配的相容性约束的物方空间能量函数
| $ \begin{array}{*{20}{c}} {E\left( Z \right) = \sum\limits_p {e\left( {P, Z} \right)} = }\\ {\sum\limits_p {\left( \begin{array}{l} c\left( {P, Z} \right) + \sum\limits_{q \in {N_P}} {{P_1}T\left( {\left| {Z-{Z_q}} \right| = \Delta Z} \right) + } \\ \sum\limits_{q \in {N_P}} {{P_2}T\left( {\left| {Z-{Z_q}} \right| > \Delta Z} \right)} \end{array} \right)} } \end{array} $ | (1) |
式中，第1项是当前高程下所有地面点匹配代价的总和即数据项；第2项是通过P1对地面点P与其邻域内地面点高程存在较小变化的情况进行的惩罚；第3项是通过P2对存在较小变化的情况进行惩罚。显然P1 < P2。T()是判断函数，当参数为真时返回1，否则返回0。ΔZ设定为
采用1维多路径(8条或16条)拟合近似代替的方法对式(1)进行求解得
| $ E\left( Z \right) \approx S\left( {P, Z} \right) = \sum\limits_r {{L_r}\left( {P, Z} \right)} $ | (2) |
计算每一条路径
| $ \begin{array}{*{20}{c}} {{L_r}\left( {P, Z} \right) = c\left( {P, Z} \right) + }\\ {\min \left\{ \begin{array}{l} {L_r}\left( {P-r, Z} \right), \\ {L_r}\left( {P-r, Z \pm dZ} \right) + {P_1}, \\ \begin{array}{*{20}{c}} {\min }\\ {i = {d_{\min }}, \cdots, {d_{\max }}} \end{array}{L_r}\left( {P-r, i} \right) + {P_2} \end{array} \right\} - }\\ {\begin{array}{*{20}{c}} {\min }\\ {i = {d_{\min }}, \cdots, {d_{\max }}} \end{array}{L_r}\left( {P - r, i} \right)} \end{array} $ | (3) |
式中，第1项在高程为Z时地面点P的匹配代价；第2项是在当前路径上的前一个地面点
3) 令
1.2 物方窗口SNCC一致性匹配测度计算方法
采用物方反投影的方法来确定匹配测度计算所用的影像窗口，采用物方窗口可显著减弱影像旋转角变化和比例尺变化带来的影响，具体过程如下：
1) 以地面点P为中心，沿均匀格网方向取一个水平矩形格网，矩形格网单元大小与当前金子塔影像的层级相适应，矩形格网每个点的高程值与点P相同。
2) 因本文匹配所用影像均已知精确的外方位元素，将水平矩形格网通过共线方程投影到各个可见影像上即可获得影像窗口，影像窗口一般不为整数，通过插值的方法为影像窗口赋予颜色值或灰度值。
匹配计算中常用的测度函数是Census[15]和NCC[16]。Census具备很强的抗辐射变化能力和一定的抗旋转能力，在基于像方的匹配中采用Census取得了很好的匹配效果。但本文物方窗口随着ΔZ变化在匹配窗口上表现为亚像素级运动，这需要能够区分窗口亚像素运动的代价函数，因此选择NCC更为合适，即
| $ \begin{array}{*{20}{c}} {{\rho _{fg}} = \frac{{{\sigma _{fg}}}}{{{\sigma _f} \cdot {\sigma _g}}} = }\\ {\frac{{\sum \left( {{f_i}-\overline f } \right)\left( {{g_i}-\overline g } \right)}}{{\sqrt {\sum {{\left( {{f_i}-\overline f } \right)}^2}} \sqrt {\sum {{\left( {{g_i} - \overline g } \right)}^2}} }}} \end{array} $ | (4) |
式中，
| $ \rho = 1-{\rho _{fg}} $ | (5) |
由式(5)可知
3) 地面点P若在
1) 设定阈值t=0.1，若
2) 循环对所有的
3)
1.3 金字塔分层匹配
采用高斯低通滤波的方法对待匹配的影像以
| $ \begin{array}{l} \Delta {X_l} = \Delta {X_{l + 1}} \cdot k\\ \Delta {Y_l} = \Delta {Y_{l + 1}} \cdot k\\ \Delta {Z_l} = \Delta {Z_{l + 1}} \cdot k \end{array} $ | (6) |
图 2为金字塔分层匹配流程，匹配开始阶段是从最顶层金字塔影像开始，匹配的搜索空间依据地区的平均高程确定。
2 实验结果与分析
2.1 实验数据
如图 3所示，在嵩山摄影测量与遥感定标综合实验场，利用Z5旋翼无人机搭载自主研制的三轴稳定光电吊舱(PHASE ONE iXA180面阵相机和POS/AVTM310传感器)在相对航高500 m高度沿东西方向有效飞行了14条航线，影像航向重叠度为83%，旁向重叠度为55%，无人机影像的地面分辨率约为0.05 m，影像的像素数为10 328×7 760像素。采用LPS软件(http://geospatial.intergraph.com/products/LPS/LPS/Details.aspx)对影像进行光束法平差获取了精确的影像外方位元素，平差后像点平均残差为0.463像素。
2.2 无人机影像匹配实验
如图 4(a)所示为选取本次飞行的8幅无人机影像拼接的结果，拼接影像覆盖地域有农田、植被、道路、房屋以及孤立的高大建筑非常适合对本文匹配算法的效果进行测试。采用本文匹配算法生成0.05 m大小格网间隔的点云，从图 4(b)可见，本文算法对白色椭圆形里的无纹理区域依然实现了较好的匹配效果，对黑色椭圆形里的建筑边缘匹配结果也非常清晰，尽管匹配的结果中特别是树林区域还有一些误差点，但这可通过后期的点云滤波算法予以剔除，因此整体来说本文匹配算法取得了非常好的效果。
2.3 新匹配测度效果分析
采用图 5(a)所示的孤立高楼影像来分析本文提出的物方窗口SNCC一致性匹配测度，图 5(b)采用物方窗口SNCC匹配测度因遮挡等因素难免出现许多的噪声点，图 5(c)为采用本文提出的物方窗口SNCC一致性匹配测度的匹配结果，相比图 5(b)明显减少了很多的噪声点。在已知地面高程为326.932 m处，以0.1 m为搜索步长，分别采用物方窗口SNCC匹配测度和物方窗口SNCC一致性匹配测度得到的聚合代价值如图 6所示，物方窗口SNCC匹配测度由于没有考虑误差的影响导致高程值错误地收敛到327.1 m处，而本文采用的物方窗口SNCC一致性匹配测度则正确地收敛到326.9 m，这说明本文方法对于匹配测度值中的粗差具有一定的抵抗作用。
2.4 匹配精度验证
采用嵩山摄影测量与遥感定标综合实验场的12个毫米级精度地面控制点和53个通过LPS软件空三加密立体量测得到的点，共65个地面点对本文匹配算法进行精度验证，这些点在影像上均匀分布，分别位于人工埋石点、建筑物屋顶、角点和地面上。精度验证具体方法是采用插值算法对匹配算法生成的5 cm格网大小的点云数据拟合地面点的高程值Z，然后比较Z和真实高程值ZT来验证匹配的精度。通过统计计算均方根误差(
| $ R = \sqrt {\sum\limits_{i = 1}^n {{{\left( {{Z_i}-{Z_{{T_i}}}} \right)}^2}/n} } $ | (7) |
从表 1可知，本文匹配算法拟合出的控制点高程值与地面点真实高程值比较的
表 1
物方精度
Table 1
The object accuracy
| /m | ||||||
| 序号 | 点名 | X | Y | Z | ZT | |Z-ZT| |
| 1 | K04 | *897.195 | *418.967 | *74.578 | *74.626 | 0.048 |
| 2 | K06 | *521.434 | *332.911 | *83.929 | *83.898 | 0.031 |
| 3 | K16 | *594.146 | *051.811 | *83.552 | *83.499 | 0.053 |
| ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ |
| 11 | K90 | *845.750 | *755.733 | *85.723 | *85.641 | 0.082 |
| 12 | K100 | *914.399 | *456.136 | *84.370 | *84.445 | 0.075 |
| 13 | C1 | *876.478 | *090.787 | *00.233 | *00.268 | 0.035 |
| 14 | C2 | *421.581 | *370.337 | *65.401 | *65.455 | 0.054 |
| 15 | C3 | *956.111 | *392.173 | *82.654 | *82.608 | 0.046 |
| ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ | ⋮ |
| 62 | C50 | *319.372 | *373.027 | *30.334 | *30.361 | 0.027 |
| 63 | C51 | *664.763 | *433.024 | *16.982 | *16.916 | 0.066 |
| 64 | C52 | *322.003 | *803.521 | *23.165 | *23.210 | 0.045 |
| 65 | C53 | *686.182 | *730.532 | *24.321 | *24.259 | 0.062 |
| 0.049 | ||||||
| 注：*表示数字的高位部分。 | ||||||
3 结论
本文以多度重叠的无人机影像为研究对象，提出了无人机影像物方多视匹配算法。算法将MVLL匹配和半全局匹配进行融合，构建了半全局物方多视匹配模型，可有效提高无人机影像匹配的可靠性；提出的物方窗口SNCC一致性匹配测度对摄影角度和遮挡带来的匹配难度有一定的抵抗作用；本文算法采用金字塔分层实现策略提高了匹配速度和匹配可靠性。实验数据选取Z5旋翼无人机搭载自主研制的三轴稳定光电吊舱获取的无人机影像数据，通过实验分析证明了本文算法匹配效果良好，满足无人机影像高精度3维重建的需求。未来将引进带法向量的地面元加入匹配中，并根据一定的原则对参与匹配的影像进行筛选，以进一步提高匹配的质量。
参考文献
-
[1] Zhang Y S. The conception and architecture of live-service for geospatial information[J]. Acta Geodaetica et Cartographica Sinica , 2011, 40 (1) : 1–4. [ 张永生. 现场直播式地理空间信息服务的构思与体系[J]. 测绘学报 , 2011, 40 (1) : 1–4. ]
-
[2] Zhang L. Automatic digital surface model (DSM) generation from linear array images[D]. Switzerland:ETH Zurich, 2005. https://www.researchgate.net/publication/36180044_Automatic_Digital_Surface_Model_DSM_Generation_from_Linear_Array_Images
-
[3] Ji S. Study on the strategy and improvement method of multi-view matching technology[D]. Zhengzhou:PLA Information Engineering University, 2012. [纪松.多视匹配策略与优化方法研究[D].郑州:解放军信息工程大学, 2012.] http://cdmd.cnki.com.cn/Article/CDMD-90005-1013161264.htm
-
[4] Yuan X X, Ming Y. A novel method of multi-image matching using image and space synthesis information[J]. Acta Geodaetica et Cartographica Sinica , 2009, 38 (3) : 216–222. [ 袁修孝, 明洋. 一种综合利用像方和物方信息的多影像匹配方法[J]. 测绘学报 , 2009, 38 (3) : 216–222. ]
-
[5] Li J G, Li E, Chen Y R, et al. Bundled depth-map merging for multi-view stereo[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco:IEEE, 2010:2769-2776.[DOI:10.1109/CVPR.2010.5540004]
-
[6] Rothermel M, Wenzel K, Fritsch D, et al. SURE:Photogrammetric surface reconstruction from imagery[C]//Proceedings LC3D Workshop. Berlin:[s.n.], 2012:8.
-
[7] Furukawa Y, Ponce J. Accurate, dense, and robust Multiview stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2010, 32 (8) : 1362–1376. DOI:10.1109/TPAMI.2009.161
-
[8] Wang S T, Cheng K K, Liu X L. An improved PMVS algorithm based on multi-view oblique images[J]. Journal of Henan Polytechnic University:Natural Science , 2015, 31 (1) : 59–63. [ 王双亭, 程锟锟, 刘晓龙. 一种基于多视倾斜影像的PMVS改进算法[J]. 河南理工大学学报:自然科学版 , 2015, 31 (1) : 59–63. DOI:10.16186/j.cnki.1673-9787.2015.01.012 ]
-
[9] Guo F S, Gao W, Hu Z Y. Automatic generation of large scale true ortho-image from UAV images[J]. Scientia Sinica Informationis , 2013, 43 (11) : 1383–1397. [ 郭复胜, 高伟, 胡占义. 无人机图像全自动生成大比例尺真正射影像方法[J]. 中国科学:信息科学 , 2013, 43 (11) : 1383–1397. DOI:10.1360/112012-591 ]
-
[10] Hirschmuller H, Scharstein D. Evaluation of cost functions for stereo matching[C]//Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA:IEEE, 2007:1-8.[DOI:10.1109/CVPR.2007.383248]
-
[11] Michael M, Salmen J, Stallkamp J, et al. Real-time stereo vision:optimizing semi-global matching[C]//Proceedings of 2013 IEEE Intelligent Vehicles Symposium. Gold Coast City, Australia:IEEE, 2013:23-26.[DOI:10.1109/IVS.2013.6629629]
-
[12] Zou Z R, Zou X D, Liu H F, et al. A three-dimensional reconstruction method based on semi-global multiple close images matching[J]. Bulletin of Surveying and Mapping , 2014 (2) : 34–36. [ 邹峥嵘, 邹小丹, 刘合凤, 等. 基于半全局多视近景影像匹配的三维建模方法[J]. 测绘通报 , 2014 (2) : 34–36. DOI:10.13474/j.cnki.11-2246.2014.0048 ]
-
[13] Bethmann F, Luhmann T. Semi-global matching in object space[C]//The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Munich, Germany:ISPRS, 2015:23-30.[DOI:10.5194/isprsarchives-XL-3-W2-23-2015]
-
[14] Yu Y. Research on key technologies of UAV dynamic photogrammetry[D]. Zhengzhou:PLA Information Engineering University, 2014. [于英.无人机动态摄影测量若干关键技术研究[D].郑州:解放军信息工程大学, 2014.] http://d.wanfangdata.com.cn/Thesis_D566450.aspx
-
[15] Gorbachev V A. Dense terrain stereoreconstruction using modified SGM[J]. Journal of Computer and Systems Sciences International , 2014, 53 (2) : 212–223. DOI:10.1134/S1064230714020105
-
[16] Zhang Y S, Fan D Z, Ji S. Multi-view matching algorithm model for ADS40 sensor[J]. Journal of Zhengzhou Institute of Surveying and Mapping , 2007, 24 (2) : 83–86. [ 张永生, 范大昭, 纪松. 用于ADS40传感器的多视觉立体匹配算法模型[J]. 测绘科学技术学报 , 2007, 24 (2) : 83–86. DOI:10.3969/j.issn.1673-6338.2007.02.002 ]
-
[17] Hiep V H, Keriven R, Labatut P, et al. Towards high-resolution large-scale multi-view stereo[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, Florida:IEEE, 2009:1430-1437.[DOI:10.1109/CVPR.2009.5206617]
-
[18] Guo F S, Gao W. Batch reconstruction from UAV images with prior information[J]. Acta Automatica Sinica , 2013, 39 (6) : 834–845. [ 郭复胜, 高伟. 基于辅助信息的无人机图像批处理三维重建方法[J]. 自动化学报 , 2013, 39 (6) : 834–845. DOI:10.3724/SP.J.1004.2013.00834 ]
-
[19] Wang J X, Zhu Q, Wang W X. A dense matching algorithm of multi-view image based on the integrated multiple matching primitives[J]. Acta Geodaetica et Cartographica Sinica , 2013, 42 (5) : 691–698. [ 王竞雪, 朱庆, 王伟玺. 多匹配基元集成的多视影像密集匹配方法[J]. 测绘学报 , 2013, 42 (5) : 691–698. ]
