Print

发布时间: 2019-02-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.180379
2019 | Volume 24 | Number 2




    图像分析和识别    




  <<上一篇 




  下一篇>> 





多重约束条件下的LBD描述子与直线段匹配
expand article info 王竞雪1,2, 何腕营1
1. 辽宁工程技术大学测绘与地理科学学院, 阜新 123000;
2. 西南交通大学地球科学与环境工程学院, 成都 611756

摘要

目的 针对直线描述子匹配算法缺乏有效的几何约束,且易受弱纹理、尺度变化的影响,提出一种结合多重约束条件的LBD描述子的直线段匹配算法(LBDs)。方法 该算法以LSD算法提取的直线段作为匹配基元,利用SIFT匹配得到的同名点构建同名三角网约束确定候选直线;参考影像上以目标直线段为中心轴建立该直线段的矩形支撑域;根据目标直线段端点及其支撑域四角点在搜索影像上的核线约束建立候选直线段的对应支撑域;利用仿射变换统一目标直线段及候选直线段支撑域的大小;将直线段支撑域分解为大小相等的条形带,通过计算每个条形带的描述符得到该直线段的描述子,依次完成目标直线段与候选直线段LBD描述子的构建;分别计算目标直线段与每个候选直线段描述子向量间的欧氏距离,将满足最近邻距离比准则的候选直线段作为匹配结果;最后选取角度约束对匹配结果检核,确定同名直线。结果 实验选取网上公开的3组分别存在角度、旋转、尺度变换的近景影像对作为实验数据,采用LBDs分别对其进行直线段匹配实验,并与其他直线段匹配算法进行对比分析,实验结果表明,LBDs获取同名直线数目约为其他算法的1.061.41倍,匹配正确率也提高了2.411.6个百分点,从匹配效率上来看,LBDs更为耗时,但兼顾该算法匹配获得同名直线数目、匹配正确率及运行时间,LBDs的鲁棒性更强,匹配结果的准确性与可靠性较高。结论 结合多重约束条件构建的LBD描述子对于存在角度、旋转和尺度变化的影像进行直线匹配过程中具有稳定性。

关键词

多重约束; LBD描述子; 直线匹配; 最近邻距离比; 角度约束

Line band descriptors based on multiple constraints and straight-line matching
expand article info Wang Jingxue1,2, He Wanying1
1. School of Geomatics, Liaoning Technical University, Fuxin 123000, China;
2. Faculty of Geosciences and Environmental Engineering, Southwest Jiaotong University, Chengdu 611756, China
Supported by: National Natural Science Foundation of China(41871379)

Abstract

Objective A new straight-line matching algorithm for line band descriptors (LBDs) combined with multiple constraints is proposed to solve the typical problems in many straight-line matching algorithms that use descriptors. Such problems include insufficient information utilization between matching straight lines, which are effective geometric constraints, and vulnerability of matching straight lines to the influence of low texture and scale change of images during the matching process. Method Straight line segments are extracted by using a line segment detector method as matching elements, and a corresponding triangulation network established by using SIFT matching points is then used as the constraint region to determine the candidate lines in the searched image. After the candidate lines are selected, a region for band descriptor construction is constructed. The construction method is described as follows. A rectangular support region, in which the target straight line segment is the central axis in the region, is established in the reference image. Then, the corresponding support region of the candidate straight line segment in the searched image is determined based on epipolar constraints, which is calculated by the endpoints of the target straight line segment and four corner points of its support region in the reference image. The support regions of the target and candidate straight line segments are constructed with the same size by utilizing affine transformation. After completing the support regions of straight line segments, the regions are divided into a set of bands, where each band has the same size and the length of the band equals the length of the straight line segment, and the LBDs of straight line segment are obtained by calculating the information of each band in the support region. The descriptors are calculated based on the gradient values of four directions of pixels, and each band weight coefficient that is along the vertical direction in the support region is controlled by using a Gaussian function. On the basis of the above methods, the matching descriptor construction of LBDs for the target and candidate straight line segments is completed in sequence. Furthermore, new LBDs combined with multiple constraints are normalized in obtaining a unit LBD to reduce the influence of nonlinear illumination changes, and the descriptor is a 40D vector. Euclidean distances are used as the similarity measure in our algorithm and are determined based on the calculated vectors between the target straight line segment and each candidate straight line segment descriptor. The candidate straight line segment, which satisfies the nearest neighbor distance ratio criterion of Euclidean distances, is the matching straight line. In this process, the minimum Euclidean distance and nearest neighbor distance ratio thresholds should be determined, which directly affect the matching performance of the algorithm. Thus, many experiments should be conducted to ensure the accuracy of multi-threshold. The angle constraint, which is between the corresponding straight line and its corresponding epipolar line, is used to evaluate the matching result and determine the final corresponding straight lines. Result Three typical groups of close-range image pairs with angle, rotation, and scale transformation are used as the experimental dataset, which is used to complete the straight line segment matching experiments by the proposed algorithm. In comparison with other straight line segment matching algorithms, the matching results show that the proposed algorithm is more suitable in different typical close-range image pairs. The conclusions based on the result analysis are summarized as follows. The successful matches of the proposed algorithm have 1.06-1.41 times more lines compared with other straight-line matching algorithms, and the proposed algorithm can improve the accuracy of straight line matching by 2.4% to 11.6%. In terms of matching efficiency, although the proposed algorithm is time-consuming, it is robust and achieves accurate and reliable straight line matching results by synthesizing the relevant experiment results on the number of corresponding matching straight lines, matching accuracy, and running time. Moreover, a highly accurate and reliable matching result is obtained. Conclusion Constructed LBDs combined with multiple constraints are stable for line matching of close-range images with angles, rotation, and scale changes. The instability of other descriptors caused by numerous factors in line matching is improved.

Key words

multiple constraints; line band descriptor; straight line matching; nearest neighbor distance ratio; angle constraint

0 引言

直线是图像的重要组成特征,它是视觉感知的重要线索[1]。由于直线特征具备丰富的图像信息,因此在影像匹配过程中,直线特征匹配成为摄影测量和计算机视觉研究的关键问题。直线特征匹配实质就是利用影像相关技术在两幅或者多幅影像上寻找同名直线特征的过程。

现有的直线匹配算法主要可分为3类:

1) 根据直线自身的固有属性[2-4](斜率、长度、重叠度等)进行信息匹配,此类方法由于提取的直线特征不完整、单一的几何约束[5]无法得出预期的匹配精度等问题,往往需要结合多重约束条件完成直线匹配,通常使用的约束条件有核线约束[6-10]、三角网约束[11]、同名点约束[12-15]等。

2) 利用一定条件对直线进行编组的匹配算法[16-19],根据直线间的拓扑关系进行编组,将编组得到的直线组作为匹配基元,充分利用直线组间更丰富的拓扑信息来完成匹配,但该类方法计算较为复杂且冗余,计算量相对较大,部分算法实时性、适用性较差,匹配效率低。

3) 构建直线描述子用于描述直线的局部特征,再通过描述子向量间的相似性度量完成直线匹配。如文献[20]比较直线邻域内匹配基元的灰度相关性完成短基线影像的直线匹配;文献[21]利用直线邻域的颜色直方图描绘直线局部特征构建描述子用于初始匹配,并将边界限制后的错误匹配点剔除,迭代至匹配出正确的直线。这类方法易受影像色差和光照变化的影响,具有局限性。

为了充分利用直线的局部特征,提高直线描述子的适应性,许多学者相继提出了性能优化后的描述子。文献[22]构造了具备3种图像特征的直线描述子,不需要任何已知条件及约束直接建立目标直线的平行区域,分别根据区域内像素的灰度、梯度及梯度幅值的信息形成描述矩阵,对该矩阵进行均值和标准差处理;文献[4]进一步提出MSLD(mean-standard deviation line descriptor)直线描述子,由于该描述子在直线平行域内构建多个描述矩阵,对于直线纹理弱以及尺度变换较大的影像,该算法性能降低;文献[12]提出基于DAISY描述子作为点对应集的关键点匹配算法,由于孤立直线的邻域内无法找出与其共面的关键点,同时匹配过程中需要复杂的迭代计算确定直线间的相似性,该算法不具有普遍适用性;文献[23]在MSLD直线描述子的基础上,利用平行直线间的较小间距将尺度不变性增添到描述子中,构造出一种新类型的SMSLD(scale-invariant MSLD)直线描述子;文献[24]提出的LBD(line band descriptor)直线描述子为了克服直线提取中的断裂问题以及对尺度变化影像的适应性,利用尺度空间提取的直线构建直线支撑区,将支撑区域平均划分为几个等同的子区域,根据子区域每行的全局高斯权重及局部高斯权重对直线的作用不同,统计子区域内每行梯度向量的4个方向,形成描述矩阵,匹配正确率较高。但由于该描述子的支撑区域应该归一化为具有固定大小的规则区域,且LBD描述子的向量维数用于表示线段的局部特征具有浮动性,匹配算法有待改进。上述描述子构建过程中不同影像上目标直线及其对应候选直线支撑域分别按照固定宽度单独构建,这种情况对于不同影像上直线提取断裂、尺度变化较大影像而言,两直线支撑域的对应性较弱,因此描述子的可靠性也相对较弱。

针对现有描述子构建过程中支撑域一致性对应问题,本文提出一种结合多重约束条件的LBD(LBDs)描述子的直线段匹配算法。该描述子先利用同名三角网约束确定候选直线的搜索范围,再分别构建目标直线和结合核线约束的候选直线的支撑区域,为解决支撑区域大小不一致等问题引入仿射变换,在经历仿射变换后的支撑域内建立LBD描述子,构建描述子时直接将高斯函数作用于子区域的每一行,而不是每个像素,充分利用目标直线相邻子区域梯度信息的同时提高了匹配效率,最后选用合适的相似性测度函数用于LBD描述子相似性约束后续匹配。实验结果表明本文提出的直线段描述子适用于存在角度、旋转和尺度变化的影像,匹配效果良好,具有一定的稳定性。

1 算法原理

本文基于多重约束条件的LBD描述子用于直线段匹配方法的流程如图 1所示。

图 1 LBD描述子直线匹配流程图
Fig. 1 Flow chart of LBD line matching

该算法通过SIFT(scale invariant feature transform)算法匹配获取参考影像和搜索影像的同名点,再利用RANSAC(random sample consensus)算法剔除错误匹配以获得高精度同名点,用以构建同名Delaunay三角网;根据同名三角网的区域约束得到目标直线的候选匹配;匹配过程中充分利用直线邻域内像素点的梯度信息,以参考影像的目标直线为中心轴,建立与目标直线长度相等且平行的矩形区域为直线支撑区;再依据目标直线端点及支撑区的四角点坐标建立核线约束下搜索影像候选直线对应的支撑区域;通过仿射变换统一两幅影像直线支撑域的大小,分别构建历经仿射变换后参考影像和搜索影像的直线支撑域的LBD描述子;最后计算LBD描述子向量间的欧氏距离,利用最近邻距离比准则作为相似性测度完成直线匹配;选取角度约束对匹配结果检核,获取可靠的同名直线。

1.1 同名Delaunay三角网约束

使用区域约束条件缩小候选直线搜索范围是提高算法运行效率的关键步骤。研究利用初始匹配得到的同名点构建同名Delaunay三角网约束匹配候选范围。具体步骤如下:对SIFT匹配且经过RANSAC算法剔除错配后获取的高精度同名点集,在参考影像上构建Delaunay三角网,对应地得到搜索影像上同名三角网。对参考影像上LSD(line segment detector)提取的每一条直线段,确定其所在的三角形,对应的搜索影像上同名三角形内经过的直线段即为该目标直线的候选直线段。相关示例如图 2所示:参考影像中的任一目标直线段$\mathit{\boldsymbol{L}}$经过三角网中索引号为1、2、3这3个三角形,搜索影像中对应的同名三角形内经过的直线段$\mathit{\boldsymbol{L}}_{1}$$\mathit{\boldsymbol{L}}_{2}$$\mathit{\boldsymbol{L}}_{3}$$\mathit{\boldsymbol{L}}_{4}$即为目标直线段的候选直线段。显然,通过同名Delaunay三角网约束不仅有效地缩小了直线匹配搜索范围,大大节省了匹配时间,提高了匹配效率,也为后续精确匹配奠定了基础。

图 2 同名Delaunay三角网约束
Fig. 2 Delaunay triangle constraint
((a)reference image; (b)searching image)

1.2 结合多重约束的LBD描述子

1.2.1 LBD描述子

Zhang等人[24]提出的LBD直线段描述子原理如下:已知影像上的任一特征直线段$\mathit{\boldsymbol{L}}$,以该直线段为中心建立矩形直线支撑域(LSR)用于描述子构建,如图 3所示。然后将该矩形区域分解为相等的子区域,称其为条形带的集合体$\left\{ {\mathit{\boldsymbol{B}}_{1}, \mathit{\boldsymbol{B}}_{2}, …, \mathit{\boldsymbol{B}}_{m}} \right\}$,每个条形带都平行于已知直线且条形带的长度等于直线长度,条形带的数目为$m$,宽度为$w$图 3中取$m=5$$w=3$

图 3 LBD描述子构建
Fig. 3 LBD descriptor structure

LBD描述子构建过程中需要建立局部坐标系来保持描述子的旋转不变性,分别以直线方向$d_{\rm{L}}$和顺时针旋转至直线垂直方向$d_{⊥}$为局部坐标系两方向,直线的中点为坐标系原点。假定LSR内每个像素点在原影像坐标系下梯度为$\mathit{\boldsymbol{g}}=[\mathit{\boldsymbol{g}}_{x}, \mathit{\boldsymbol{g}}_{y}]^{\rm{T}}$,将其转换到局部坐标系下

$ \mathit{\boldsymbol{g}}^\prime = {[{\mathit{\boldsymbol{g}}^{\rm{T}}}\cdot{d_{\rm{L}}}, {\mathit{\boldsymbol{g}}^{\rm{T}}}\cdot{d_ \bot }]^{\rm{T}}} = {[\mathit{\boldsymbol{g}}{^\prime _{{d_{\rm{L}}}}}, \mathit{\boldsymbol{g}}{^\prime _{{d_ \bot }}}]^{\rm{T}}} $ (1)

式中,$\mathit{\boldsymbol{g}}′=[\mathit{\boldsymbol{g}}′_{d_{\rm{L}}}, \mathit{\boldsymbol{g}}′_{d_{⊥}}]^{\rm{T}}$为转换后局部坐标系下的像素梯度,$\mathit{\boldsymbol{g}}′_{d_{\rm{L}}}$$\mathit{\boldsymbol{g}}′_{d_{⊥}}$分别为由两坐标系旋转角构成的投影转换矩阵。

首先计算每个条形带描述符$\mathit{\boldsymbol{D}}_{B_{j}}$,对于条形带$\mathit{\boldsymbol{B}}_{j}$,通过计算$\mathit{\boldsymbol{B}}_{j}$及与其相邻的两个条形带$\mathit{\boldsymbol{B}}_{j-1}$$\mathit{\boldsymbol{B}}_{j+1}$得出条带描述符$\mathit{\boldsymbol{D}}_{B_{j}}$。对计算过程中涉及到的每一行引入两个沿着$d_{⊥}$方向的高斯函数,分别作为全局权重系数和局部权重系数。全局权重系数以LSR中心为中心,支撑域中第$i$行的全局权重系数为${f_{\rm{g}}}\left(i \right) = (1/\sqrt {2{\rm{ \mathsf{ π} }}} {\sigma _{\rm{g}}}){{\rm{e}}^{ - d_i^2/2\sigma _{\rm{g}}^2}}$,其中$d_{i}$是支撑域中第$i$行到LSR中心的距离,$σ_{\rm{g}}=0.5(m·w-1)$。局部权重系数是以条形带$\mathit{\boldsymbol{B}}_{j}$中心为中心,以$\mathit{\boldsymbol{B}}_{j}$及与其相邻条形带$\mathit{\boldsymbol{B}}_{j-1}$$\mathit{\boldsymbol{B}}_{j+1}$作为$\mathit{\boldsymbol{B}}_{j}$描述子构建的局部区域,区域中每一行的局部权重系数为${f_{\rm{l}}}\left(k \right) = (1/\sqrt {2{\rm{ \mathsf{ π} }}} {\sigma _{\rm{l}}}){{\rm{e}}^{ - d_k^2/2\sigma _1^2}}$,其中$d_{k}$是局部区域中第$k$行到$\mathit{\boldsymbol{B}}_{j}$中心的距离,且$σ_{\rm{l}}=w$

对于局部区域的每一行,累计该行像素4个方向的梯度值

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{v}}1_j^k = \lambda \sum\limits_{g{^\prime _{{d_ \bot }}} > 0}^{} {\mathit{\boldsymbol{g}}{^\prime _{{d_ \bot }}}} \\ \mathit{\boldsymbol{v}}2_j^k = \lambda \sum\limits_{g{^\prime _{{d_ \bot }}} < 0}^{} { - \mathit{\boldsymbol{g}}{^\prime _{{d_ \bot }}}} \\ \mathit{\boldsymbol{v}}3_j^k = \lambda \sum\limits_{g{^\prime _{{d_{\rm{L}}}}} > 0}^{} {\mathit{\boldsymbol{g}}{^\prime _{{d_{\rm{L}}}}}} \\ \mathit{\boldsymbol{v}}4_j^k = \lambda \sum\limits_{g{^\prime _{{d_{\rm{L}}}}} < 0}^{} {( - \mathit{\boldsymbol{g}}{^\prime _{{d_{\rm{L}}}}})} \end{array} \right. $ (2)

式中,$\mathit{\boldsymbol{v}}1_j^k$$\mathit{\boldsymbol{v}}2_j^k$$\mathit{\boldsymbol{v}}3_j^k$$\mathit{\boldsymbol{v}}4_j^k$分别表示第$j$个条形带描述符计算过程中局部区域内第$k$行像素4个方向梯度向量统计值;$λ$为高斯相关系数,即$λ=f_{\rm{g}}(k)f_{\rm{l}}(k)$

累积$\mathit{\boldsymbol{B}}_{j}$局部区域中所有行的4个方向梯度值,得到条形带$\mathit{\boldsymbol{B}}_{j}$的描述子矩阵$\mathit{\boldsymbol{D}}_{B}$,其构造为

$ {\mathit{\boldsymbol{D}}_B} = \left( {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{v}}1_j^1}&{\mathit{\boldsymbol{v}}1_j^2}& \cdots &{\mathit{\boldsymbol{v}}1_j^n}\\ {\mathit{\boldsymbol{v}}2_j^1}&{\mathit{\boldsymbol{v}}2_j^2}& \cdots &{\mathit{\boldsymbol{v}}2_j^n}\\ {\mathit{\boldsymbol{v}}3_j^1}&{\mathit{\boldsymbol{v}}3_j^2}& \cdots &{\mathit{\boldsymbol{v}}3_j^n}\\ {\mathit{\boldsymbol{v}}4_j^1}&{\mathit{\boldsymbol{v}}4_j^2}& \cdots &{\mathit{\boldsymbol{v}}4_j^n} \end{array}} \right) \in {{\mathbf{R}}^{4n}} $ (3)

式中,$n$表示条形带$\mathit{\boldsymbol{B}}_{j}$局部区域的行数

$ n = \left\{ \begin{array}{l} 2w\;\;\;j = 1\left\| m \right.\\ 3w\;\;\;其他 \end{array} \right. $ (4)

对于顶部和底部的条带$\mathit{\boldsymbol{B}}_{1}$$\mathit{\boldsymbol{B}}_{m}$描述子构建时,仅考虑其自身条带及LSR范围内一侧邻域条带。

计算描述子矩阵$\mathit{\boldsymbol{D}}_{B}$的均值向量$\mathit{\boldsymbol{M}}_{j}$和标准差向量$\mathit{\boldsymbol{S}}_{j}$,得到条形带$\mathit{\boldsymbol{B}}_{j}$的描述子${\mathit{\boldsymbol{D}}_{{B_j}}} = {[\mathit{\boldsymbol{M}}_j^{\rm{T}}{\rm{, }}\mathit{\boldsymbol{S}}_j^{\rm{T}}]^{\rm{T}}} \in {{\mathbf{R}}^8}$,为了使描述子具有光照不变性,分别对均值和标准差向量进行归一化处理。最后组合$m$个条形带描述子生成直线段$\mathit{\boldsymbol{L}}$的LBD描述子

$ \mathit{\boldsymbol{L}} = {[\mathit{\boldsymbol{D}}_{{B_1}}^{\rm{T}}, \mathit{\boldsymbol{D}}_{{B_2}}^{\rm{T}}, \ldots , \mathit{\boldsymbol{D}}_{{B_m}}^{\rm{T}}]^{\rm{T}}} $ (5)

$ \mathit{\boldsymbol{L}} = [\mathit{\boldsymbol{M}}_1^{\rm{T}}, \mathit{\boldsymbol{S}}_1^{\rm{T}}, \mathit{\boldsymbol{M}}_2^{\rm{T}}, \mathit{\boldsymbol{S}}_2^{\rm{T}}, \ldots , \mathit{\boldsymbol{M}}_m^{\rm{T}}, \mathit{\boldsymbol{S}}_m^{\rm{T}}] \in {{\mathbf{R}}^{8m}} $ (6)

1.2.2 核线约束

由于参考影像中目标直线与搜索影像中候选直线的长度不尽相同,以及仅仅依靠同名直线端点难以准确获取直线位置,本文基于1.1节中Delaunay三角网约束确定候选直线的基础上利用核线约束进一步确定同名直线的重叠部分。如图 4(b)搜索影像内$\mathit{\boldsymbol{L}}_{1}$$\mathit{\boldsymbol{L}}_{2}$$\mathit{\boldsymbol{L}}_{3}$$\mathit{\boldsymbol{L}}_{4}$为三角网约束下的候选直线,已知参考影像内目标直线$\mathit{\boldsymbol{L}}$两端点$A$$B$,计算其在搜索影像内核线$\mathit{\boldsymbol{H}}_{A}$$\mathit{\boldsymbol{H}}_{B}$,保留核线约束范围内的候选直线$\mathit{\boldsymbol{L}}_{3}$$\mathit{\boldsymbol{L}}_{4}$。由于多种原因导致搜索影像内未被完整提取的候选直线需要将候选直线端点延长至与核线相交,确认在核线约束下的重叠区域,用于候选直线支撑域的构建。如图 4(b)搜索影像内候选直线$\mathit{\boldsymbol{L}}_{4}$,延长该直线获取与核线交点$C$$D$,得到的直线段即为对应目标直线的重叠区域。

图 4 核线约束
((a) reference image; (b) searching image)
Fig. 4 Epilolar constraint

1.2.3 LBD描述子支撑域的构建

利用LBD描述子进行直线段匹配之前需要构建直线支撑域。如图 5所示,以目标直线段$\mathit{\boldsymbol{L}}$为中心轴,构建长为$l$、宽为$m×w$的平行矩形区域作为支撑域,确定该支撑区域四角点1、2、3、4坐标,分别确定其在搜索影像上核线$\mathit{\boldsymbol{H}}_{1}$$\mathit{\boldsymbol{H}}_{2}$$\mathit{\boldsymbol{H}}_{3}$$\mathit{\boldsymbol{H}}_{4}$。根据1.2.2节中核线约束确定候选直线重叠部分端点$C$$D$,计算分别过端点$C$$D$且垂直于候选直线的两直线分别与核线$\mathit{\boldsymbol{H}}_{1}$$\mathit{\boldsymbol{H}}_{2}$$\mathit{\boldsymbol{H}}_{3}$$\mathit{\boldsymbol{H}}_{4}$的交点1′、2′、3′、4′,即为候选直线支撑域的四角点,至此完成目标直线及其对应候选直线支撑域的建立。

图 5 直线支撑域及仿射变换
Fig. 5 Line support region and affine transform

1.2.4 LBD描述子支撑域的仿射变换

影像匹配过程中,为了有利于后续目标直线和候选直线LBD描述子的构建,需统一目标直线和候选直线支撑域的大小及充分考虑直线支撑区域内影像的几何变形等,因此利用仿射变换对二者进行处理。固定仿射变换后直线支撑域的每个像素点坐标,将原直线支撑域的四角点坐标和仿射变换后直线支撑域对应的四角点坐标代入仿射变换

$ \mathit{\boldsymbol{T}} = \mathit{\boldsymbol{AX}} + \mathit{\boldsymbol{B}} $ (7)

$ \mathit{\boldsymbol{T}} = \left[ \begin{array}{l} {x_2}\\ {y_2} \end{array} \right], {\rm{ }}\mathit{\boldsymbol{A}} = {\left[ {\begin{array}{*{20}{c}} {{a_0}}&{{a_1}}\\ {{b_0}}&{{b_1}} \end{array}} \right]_{2 \times 2}} $

$ \mathit{\boldsymbol{X}} = \left[ \begin{array}{l} x\\ y \end{array} \right], {\rm{ }}\mathit{\boldsymbol{B}} = {\left[ \begin{array}{l} {a_2}\\ {b_2} \end{array} \right]_{2 \times 1}} $

式中,$\mathit{\boldsymbol{X}}$矩阵表示仿射变换后的坐标,$\mathit{\boldsymbol{T}}$矩阵表示仿射变换前的坐标,$\mathit{\boldsymbol{A}}$$\mathit{\boldsymbol{B}}$矩阵代表仿射变换参数。解算出6个未知的仿射变换参数;根据6个仿射变换参数以及仿射变换后矩形支撑域的每个像素点坐标,计算出与其对应的原直线支撑域的像素点坐标。该方法分别实现了目标直线和候选直线支撑区域2维坐标的线性变换,且保持了仿射变换后该区域的“平直性”和“平行性”。

仿射变换后统一了目标直线和候选直线支撑域的方向与大小,并且不再构建直线的局部坐标系,直接利用仿射变换后的直线支撑域,其原点设置在右下角点处,区域大小与目标直线支撑域相同。借助仿射变换简化构建LBD描述子的同时保证了描述子的旋转不变性,将仿射变换后的直线支撑区域划分为5个相同的条形带子区域,每个条形带的宽度为3,在此基础上,按照1.2.1节原理构建LBD直线段描述子用于线特征的描述。

1.3 同名直线获取

对目标直线和其对应的每条候选直线分别构建LBD描述子,计算目标直线与每条候选直线描述子的欧氏距离,距离越小,二者为同名直线的可能性越大,反之越小。如果最小欧氏距离$d$小于阈值$T_{d}$,在此基础上进一步采用最近邻距离比准则(NNDR)作为相似性度量确定同名直线。计算目标直线与候选直线中最小距离值与次最小距离值的比,如果比值小于阈值$T_{n}$,则最小欧氏距离$d$对应的候选直线即为目标直线的同名直线。最后利用角度约束对匹配结果进行检核,分别求出两影像上同名直线与对应的同名核线的夹角,如果两角度差小于一定的角度阈值$T_{θ}$,则认为该匹配直线为正确的同名直线。

2 实验与分析

为了验证本文算法的有效性和鲁棒性,借助MATLAB R2014a软件平台,实验环境为AMD A10 PRO-7800B R7 CPU、4 GB内存、64位操作系统,选用网上公开的3组典型的近景影像数据作为原始实验数据,如图 6所示。图 6(a)影像大小为800 × 600像素,存在25°~30°的视角变化;图 6(b)影像大小为640 × 480像素,存在35°~45°旋转变换并伴随较小倍数缩放;图 6(c)影像大小为800 × 600像素,存在着1.5~2倍的尺度缩放。

图 6 实验影像
Fig. 6 Text images
((a)angle transformation images; (b)rotation transformation images; (c)scale transformation images)

2.1 阈值分析

本文算法在构建LBD描述子的基础上,结合最小欧氏距离及NNDR计算LBD描述子间的相似度确定同名直线。其中涉及的最小欧氏距离阈值$T_{d}$和最近邻距离比阈值$T_{n}$的确定至关重要,直接影响算法的匹配性能,因此本文首先对图 6所示实验影像在$T_{d}$$T_{n}$取不同值时的实验结果进行分析,确定最优阈值。本文通过对不同影像数据的判断与分析,初步确定阈值$T_{d}$$T_{n}$存在的区间,取区间中不同的数值依次代入$T_{d}$$T_{n}$进行匹配实验,分析出不同的阈值对匹配结果的影响,从而确定最佳阈值用于后续匹配。

图 6(c)影像为例,在匹配条件一致的情况下,$T_{d}$∈[0, 1]和$T_{n}$∈[0, 1],分别对$T_{d}$$T_{n}$同时取值0.2、0.4、0.6、0.8、1进行直线匹配实验,结果分别如图 7所示。从图 7(a)可以看出,随$T_{d}$$T_{n}$的逐渐增大,匹配的正确率逐渐降低,在数值较小区间内匹配的正确率较高;但对应的直线匹配数目正好相反。从图 7(b)可以看出,随$T_{d}$$T_{n}$的增大,匹配直线的数目逐渐增多,在数值较小区间内匹配直线的数目较少,特别当$T_{n}=0.2$时,同名直线数目仅为25对。当$T_{d}=0.8$$T_{n}=0.8$时,直线数目开始趋于平稳,因此兼顾匹配直线数目和匹配正确率,本文算法最终确定$T_{d}$$T_{n}$的取值为0.8。

图 7 不同阈值参数的直线匹配结果分析
Fig. 7 Line matching results by different thresholds
((a)matching accuracy; (b)matching number)

此外,本文利用角度约束对匹配结果进行检核,对应的角度阈值$T_{θ}$相对较为宽泛,根据经验一般选择$T_{θ}=20°$

2.2 不同算法对比分析

为了与本文算法进行对比分析,本文还实现了文献[4]基于MSLD描述子和文献[24]基于LBD描述子的直线匹配算法。其中文献[24]采用与本文算法相同的实验条件,以LSD算法提取的直线结果为基础,结合三角网约束与核线约束确定候选直线,均采用长度大于20的直线段参与匹配,匹配过程中设置的参数阈值为$T_{d}=0.8$$T_{n}=0.8$$T_{θ}=20°$。匹配结果如图 8所示,其中红色线为正确匹配直线,蓝色线为错误匹配直线。鉴于文章篇幅,只对本文算法的匹配结果进行显示。图 6中3组影像不同算法的直线匹配结果统计如表 1所示,分别为参考影像和搜索影像参与匹配的直线数目、直线匹配总对数、正确匹配对数、匹配正确率及运行时间进行记录,其中正确匹配数目通过人工目视判断得到。

图 8 本文算法直线匹配结果
Fig. 8 Text images and line matching results
((a)angle transformation images; (b)rotation transformation images; (c)scale transformation images)

表 1 3种算法匹配结果对比分析
Table 1 Comparative analysis of matching results by three methods

下载CSV
实验影像 参与匹配直线数目(参考影像/搜索影像) 匹配方法 匹配总对数 正确匹配对数 匹配正确率/% 时间/s
角度变换 584 / 516 文献[4]
文献[24]
305
322
283
302
92.7
93.7
4
101
本文算法 337 324 96.1 135
旋转变换 329 / 301 文献[4] 106 92 86.7 2
文献[24] 140 119 85.0 89
本文算法 149 144 96.6 105
尺度变换 267 / 408 文献[4] 16 5 31.2 2
文献[24] 99 85 85.8 28
本文算法 127 121 95.2 37

结合图 8表 1对3种算法的直线匹配结果进行分析,从中可以直观地看出,针对图 6中每组影像,文献[4]、文献[24]、本文算法匹配得到的同名直线数目、正确匹配数目、匹配正确率基本上呈增长趋势。其中仅图 6(b)影像,文献[4]的正确率略高于文献[24]的正确率。对图 6中3组影像,本文算法的匹配正确率均高于95%,文献[24]算法的匹配正确率均高于85%。因此,与其他两种描述子直线匹配算法相比,本文算法匹配得到相对较多的同名直线,且匹配正确率较高。文献[24]算法匹配结果优于文献[4]算法匹配结果。特别对于图 6(c)尺度变换影像,文献[4]算法基本匹配无效,此外对于该组实验影像,3种算法匹配得到同名直线数目及正确匹配数目波动最大,这是因为MSLD描述子本身未考虑影像间尺度变换,而文献[24]LBD描述子构建过程中,对于每个条形带描述符构建考虑了其邻域条带,且增加全局及局部高斯权重因子,这一处理对于尺度变换具有一定的抵抗力,削弱了尺度变换对直线匹配的影响,而本文算法在此基础上另增加了对应的同名支撑域构建及仿射变换,因此描述子的鲁棒性更强,对于尺度变换影像取得更好的匹配结果。

从匹配效率上看,文献[4]算法运算速度最快,仅为2~4 s,这是因为与其他两种算法相比,该算法匹配过程仅涉及MSLD描述子构建;而由于本文算法和文献[24]算法匹配过程中采用了多重几何约束,因此算法运行时间相对较长,而本文算法更为耗时。这是因为本文算法是在文献[24]中LBD描述子的基础上,增加了核线约束确定候选直线重叠段区域,以及利用核线约束确定候选直线段支撑域,加之后续支撑域仿射变换,这些都降低了本文算法的运算效率。但上述的这些更新及改进,正是本文算法相较于文献[24]算法提高匹配可靠性的关键,与文献[24]算法相比,图 6(b)(c)的直线匹配正确率提高了约10%,体现了本文算法的优越性。综上所述,兼顾算法匹配得到同名直线数目、匹配正确率及运行时间而言,本文算法体现了更好的普适性,对图 6中3组不同类型的近景影像,均能得到较好的直线匹配结果。

3 结论

针对近景影像直线匹配过程中直线段支撑域构建的一致性对应问题,本文提出一种结合多重约束条件的LBD描述子与直线段匹配算法,该算法充分利用三角网约束限制了候选直线的搜索范围,描述子构建过程中结合核线约束确定候选直线支撑域的大小,引入仿射变换公式避免了局部坐标系建立的同时也保证了描述子的旋转不变性,确定最终同名直线选用了可靠的相似性测度最近邻距离比准则,且选用角度约束实现匹配结果的检核,通过选用3组具有代表性的近景影像(图 6)进行匹配实验,验证了本文算法的适用性和鲁棒性,改善了由多种因素导致的部分描述子进行直线匹配时的不稳定性。虽然本文采用不同的几何约束提高了直线匹配正确率,但由于需要利用目标直线及邻域边界的端点确定核线约束下的候选直线支撑区域,相对于其他方式耗时过长,构建过程复杂且烦琐,后续将进一步进行深入研究,提高直线匹配的效率。

参考文献

  • [1] Li D R, Zhou G Q. CAD-based line photogrammetry for automatic measurement and reconstruction of industrial object[J]. Int Arch Photogramm Remote Sens, 1994, 30(5): 231–240.
  • [2] Fu D, Wang C, Xu Y D, et al. A new algorism of matching line segments[J]. Journal of National University of Defense Technology, 2008, 30(1): 115–119. [傅丹, 王超, 徐一丹, 等. 一种直线段匹配的新方法[J]. 国防科技大学学报, 2008, 30(1): 115–119. ] [DOI:10.3969/j.issn.1001-2486.2008.01.024]
  • [3] Shao Z F, Chen M. Line-based matching for high-resolution images with robustness for scale, rotation and illumination[J]. Optics and Precision Engineering, 2013, 21(3): 790–798. [邵振峰, 陈敏. 尺度、旋转以及亮度稳健的高分辨率影像直线特征匹配[J]. 光学精密工程, 2013, 21(3): 790–798. ] [DOI:10.3788/OPE.20132103.0790]
  • [4] Wang Z H, Wu F C, Hu Z Y. MSLD:A robust descriptor for line matching[J]. Pattern Recognition, 2009, 42(5): 941–953. [DOI:10.1016/j.patcog.2008.08.035]
  • [5] Wang J X, Wang W X, Li X M, et al. Line Matching Algorithm for Aerial Image Combining image and object space similarity constraints[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, XLI-B3: 783–788. [DOI:10.5194/isprs-archives-XLI-B3-783-2016]
  • [6] Schmid C, Zisserman A. The geometry and matching of lines and curves over multiple views[J]. International Journal of Computer Vision, 2000, 40(3): 199–233. [DOI:10.1023/A:1008135310502]
  • [7] Zeng F Y, Zhong R F, Song Y, et al. Vehicle panoramic image matching based on epipolar geometry and space forward intersection[J]. Journal of Remote Sensing, 2014, 18(6): 1230–1236. [曾凡洋, 钟若飞, 宋杨, 等. 车载全景影像核线匹配和空间前方交会[J]. 遥感学报, 2014, 18(6): 1230–1236. ] [DOI:10.11834/jrs.20144025]
  • [8] Wu J, Yao Z X, Cheng M M. Airborne oblique stereo image dense matching by integrating SIFT and SGM algorithm[J]. Journal of Remote Sensing, 2015, 19(3): 431–442. [吴军, 姚泽鑫, 程门门. 融合SIFT与SGM的倾斜航空影像密集匹配[J]. 遥感学报, 2015, 19(3): 431–442. ] [DOI:10.11834/jrs.20154132]
  • [9] Song W D, Zhu H, Wang J X, et al. Feature line matching based on the principal component similarity constraint of line segment primitive support region[J]. Journal of Signal Processing, 2016, 32(8): 904–910. [宋伟东, 朱红, 王竞雪, 等. 线段元支撑区主成分相似性约束特征线匹配[J]. 信号处理, 2016, 32(8): 904–910. ] [DOI:10.16798/j.issn.1003-0530.2016.08.04]
  • [10] Song W D, Zhu H, Wang J X, et al. Line feature matching method based on multiple constraints for close-range images[J]. Journal of Image and Graphics, 2016, 21(6): 764–770. [宋伟东, 朱红, 王竞雪, 等. 多重约束下的近景影像线特征匹配方法[J]. 中国图象图形学报, 2016, 21(6): 764–770. ] [DOI:10.11834/jig.20160609]
  • [11] Wu B, Zhang Y S, Zhu Q. Integrated point and edge matching on poor textural images constrained by self-adaptive triangulations[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2012, 68: 40–55. [DOI:10.1016/j.isprsjprs.2011.12.005]
  • [12] Fan B, Wu F C, Hu Z Y. Line matching leveraged by point correspondences[C]//Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, CA, USA: IEEE, 2010: 390-397.[DOI: 10.1109/CVPR.2010.5540186]
  • [13] Fan B, Wu F C, Hu Z Y. Robust line matching through line-point invariants[J]. Pattern Recognition, 2012, 45(2): 794–805. [DOI:10.1016/j.patcog.2011.08.004]
  • [14] Liang Y, Sheng Y H, Zhang K, et al. Linear Feature matching method based on local affine invariant and epipolar constraint for close-range images[J]. Geomatics and Information Science of Wuhan University, 2014, 39(2): 229–233. [梁艳, 盛业华, 张卡, 等. 利用局部仿射不变及核线约束的近景影像直线特征匹配[J]. 武汉大学学报:信息科学版, 2014, 39(2): 229–233. ] [DOI:10.13203/j.whugis20120611]
  • [15] Wang J X, Song W D, Wang W X. Line matching algorithm for aerial image based on corresponding points and Z-Plane constraints[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(1): 87–95. [王竞雪, 宋伟东, 王伟玺. 同名点及高程平面约束的航空影像直线匹配算法[J]. 测绘学报, 2016, 45(1): 87–95. ]
  • [16] Hu H X, Li G. Line matching based on binary relations of geometric attributes[J]. Journal of Image and Graphices, 2014, 19(9): 1338–1348. [胡海霞, 李钢. 几何特性二元关系的直线匹配[J]. 中国图象图形学报, 2014, 19(9): 1338–1348. ] [DOI:10.11834/jig.20140911]
  • [17] Kim H, Lee S. Simultaneous line matching and epipolar geometry estimation based on the intersection context of coplanar line pairs[J]. Pattern Recognition Letters, 2012, 33(10): 1349–1363. [DOI:10.1016/j.patrec.2012.03.014]
  • [18] Wen G J. A global algorithm for straight line Stereo matching based on feature grouping[J]. Journal of Software, 2006, 17(12): 2471–2484. [文贡坚. 一种基于特征编组的直线立体匹配全局算法[J]. 软件学报, 2006, 17(12): 2471–2484. ] [DOI:10.1360/jos172471]
  • [19] Wang J X, Zhu Q, Wang W X. Reliable line matching algorithm for stereo images with topological relationship[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(11): 1850–1858. [王竞雪, 朱庆, 王伟玺. 顾及拓扑关系的立体影像直线特征可靠匹配算法[J]. 测绘学报, 2017, 46(11): 1850–1858. ] [DOI:10.11947/j.AGCS.2017.20170162]
  • [20] Schmid C, Zisserman A. Automatic line matching across views[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Puerto Rico: IEEE, 1997: 666.[DOI: 10.1109/CVPR.1997.609397]
  • [21] Bay H, Ferrari V, van Gool L. Wide-baseline stereo matching with line segments[C]//Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE, 2005: 329-336.[DOI: 10.1109/CVPR.2005.375]
  • [22] Wang Z H, Wu F C. Mean-standard deviation descriptor and line matching[J]. Pattern Recognition and Artificial Intelligence, 2009, 22(1): 32–39. [王志衡, 吴福朝. 均值-标准差描述子与直线匹配[J]. 模式识别与人工智能, 2009, 22(1): 32–39. ] [DOI:10.3969/j.issn.1003-6059.2009.01.006]
  • [23] Verhagen B, Timofte R, van Gool L. Scale-invariant line descriptors for wide baseline matching[C]//Proceedings of IEEE Winter Conference on Applications of Computer Vision. Steamboat Springs, CO, USA: IEEE, 2014: 493-500.[DOI: 10.1109/WACV.2014.6836061]
  • [24] Zhang L L, Koch R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 794–805. [DOI:10.1016/j.jvcir.2013.05.006]