Print

发布时间: 2018-10-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.180127
2018 | Volume 23 | Number 10




    图像处理和编码    




  <<上一篇 




  下一篇>> 




纹理边缘引导的深度图像超分辨率重建
expand article info 李宇翔, 邓慧萍, 向森, 吴谨, 朱磊
武汉科技大学信息科学与工程学院, 武汉 430000
收稿日期: 2018-03-19; 修回日期: 2018-05-07
基金项目: 国家自然科学基金项目（61502357，61702384，61502358）；湖北省自然科学基金项目（2017CFB348）；湖北省教育委员会研究基金项目（Q20171106）；武汉科技大学青年学者研究基金项目（2017xz008）
第一作者简介: 李宇翔, 1994年生, 男, 武汉科技大学电路与系统专业在读硕士研究生, 主要研究方向为多媒体信息处理。E-mail:2536870990@qq.com;
向森, 男, 讲师, 主要研究方向为3D视频与图像的处理, E-mail:xiangsen@wust.edu.cn;
吴谨, 女, 教授, 主要研究方向为模式识别与智能系统, E-mail:wujin@wust.edu.cn;
朱磊, 男, 副教授, 主要研究方向为模式识别及机器学习, E-mail:zhulei@wust.edu.cn.
中图法分类号: TP751
文献标识码: A
文章编号: 1006-8961(2018)10-1508-10

摘要

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像，但由于内部硬件的限制和外界因素的干扰，获取的深度图像存在分辨率低、边缘不准确的问题，无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样，并提取初始化深度图像的边缘；进一步利用高分辨率彩色图像和深度图像的相似性，采用基于结构化学习的边缘检测方法提取深度图的正确边缘；最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域，采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验，与8种最新的深度图像超分辨率重建算法作比较，用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时，能有效修正上采样后深度图像的边缘，使深度边缘与纹理边缘对齐，也能抑制上采样算法带来的边缘模糊现象；3维点云效果显示，本文算法能准确区分场景中的前景和背景，应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题，该算法结合同场景彩色图像与深度图像的相似性，利用纹理边缘引导深度图像的超分辨率重建，可以得到较好的重建结果。

关键词

深度图像; Kinect; 超分辨率重建; 边缘检测; 纹理边缘引导

Depth map super-resolution reconstruction based on the texture edge-guided approach
expand article info Li Yuxiang, Deng Huiping, Xiang Sen, Wu Jin, Zhu Lei
College of Information Science and Engineering, Wuhan University of Sicence and Technology, Wuhan 430000, China
Supported by: National Natural Science Foundation of China(61502357, 61702384, 61502358)

Abstract

Objective Depth map plays an increasingly important role in many computer vision applications, such as 3D reconstruction, augmented reality, and gesture recognition.A new generation of active 3D range sensors, such as Microsoft Kinect camera, enables the acquisition of a real-time and affordable depth map.Incidentally, unlike natural images captured by RGB sensors, the depth maps captured by range sensors typically have low resolution (LR) and inaccurate edges due to their intrinsic physical constraints.Given that an accurate and high-resolution (HR) depth map is required and preferable in many applications, excellent depth map super-resolution (SR) techniques are desirable.Depth map SR can be generally addressed by two different types of approaches that depend on the use of input data.For single depth map SR, the resolution of the input depth map can be enhanced based on the information learned with from a pre-collected training database.Meanwhile, depth map SR algorithms that use RGB-D data can be further classified into MRF and filtering-based approaches.MRF-based methods view depth map SR as an optimization problem.Filtering-based methods obtain the weighted average of local depth map pixels for SR purposes.These methods aim to obtain a smooth HR depth map for regions belonging to the same object.However, these methods have two main issues:1) the inaccurate edges of the depth map cannot be fully refined and 2) the edges of the HR depth map suffer from blurring.In this paper, a novel texture edge-guided depth reconstruction approach is proposed to address the issue of existing methods.We pay more attention to the depth edge refinement, which is usually ignored by existing methods. Method In the first stage, an initial HR depth map is obtained by general up-sampling methods, such as interpolation and filters.Then, initial depth edges are extracted from the initial HR depth map by using many edge detectors for edge detection, such as Sobel and Canny.The edges extracted directly from the initial HR depth map are not the true edges because the misalignment between the LR depth map edges and the texture edges and the up-sampling operation can cause further edge errors.Subsequently, the texture edges are extracted from the color image.Traditional approaches for edge detection do not consider the visually salient edges; the texture edges and illusory contours are all taken as image edges.Moreover, many edges of the color image do not correspond to depth edges, such as the edges inside the object.Inspired by the advanced positive result of the vision field, we propose a depth map edge detection method based on the structured forest.The edge map of the color image is initially extracted by using the recently structured learning approach.By incorporating the 3D space information provided by the initial HR depth map, the texture edges of the objects inside are removed.Then, we obtain a clear and true depth edge map.Finally, the depth values on each side of the depth edge are refined to align the depth edges and correct the depth errors in the initial HR depth map.We detect the incorrect depth regions between the initial depth edges and the corresponding true depth edges and then fill the incorrect regions until the depth edges are consistent with the corresponding color image.The incorrect regions of initial HR depth map are refined by the joint bilateral filter in an outside-inward refining order that is regularized by the detected true depth edges. Result We perform experiments on the NYU dataset, which offers real-world color-depth image pairs that were captured by a Kinect camera.To evaluate the performance of our proposed method, we compare our results with two method categories:1) state-of-the-art single depth image super resolution methods (ScSR, PB, and E.G.) and 2) state-of-the-art color-guided depth map super resolution approaches (JBU, GIU, MRF, WMF, and JTU).We implement most of these methods by using the same parameter settings as provided in the corresponding papers.We down-sample the original depth maps into LR ones and perform SR.We evaluate our proposed method with the recovered HR depth map and the reconstructed point clouds.The recovered HR depth maps indicate that our proposed methods generate more visually appealing results than the compared approaches.The boundaries in our results are generally sharper and smoother along the edge direction, whereas the compared methods suffer from blurred artifacts around the boundaries.To demonstrate further the effectiveness of our proposed approach, we provide the 3D point clouds constructed from the up-scaled depth map with different methods.Results indicate that our proposed method yields a relatively clear foreground and background, while the competing results suffer from obvious flying pixels and aliased planes. Conclusion We present a novel method for depth map SR for Kinect depth.Experimental results demonstrate that the proposed method provides sharp and clear edges for the Kinect depth, and the depth edges are aligned with the texture edges.The proposed framework synthesizes an HR depth map given its LR depth map and corresponding HR color image.Our proposed method first estimates the initial HR depth map via traditional up-sampling approaches, then extracts the true edges of the RGB-D data and the fake edges of the initial HR depth map to identify the incorrect regions between the two edges.The incorrect regions of the initial HR depth maps are further refined by joint bilateral filter in an outside-inward refining order to align the edges of color image and depth map.The key to our success is the use of RGB-D depth edge detection, which is inspired by the structured forests-based edge detection.Besides, unlike most depth enhancement methods that use raster-scan order to fill incorrect regions, our method can determine the filing order by considering the true edges.Thus, our HR depth map output exhibits better quality with clear and aligned depth edges compared with the existing depth map SR.However, texture-based guidance may result in incorrect depth value due to the smooth object surface with rich color texture.Thus, the suppression of texture copying artifacts may be our next research goal.

Key words

depth map; Kinect; super-resolution reconstruction; edge detection; texture-guided

0 引言

近几年，RGB-D传感器，如微软Kinect深度相机[1]的出现让3D场景中深度信息的获取更加便捷。RGB-D传感器能同时获取同一场景的彩色信息和深度信息，与2维视频相比，RGB-D格式的3维视频增加了深度信息，能为用户提供立体视觉感受，在虚拟现实、3D场景重建、手势识别等领域有广泛的应用[2-4]。然而，由于深度传感器尤其是Kinect深度相机内在硬件的限制，与RGB传感器获取的高分辨率的彩色图像相比，深度相机采集的深度图像分辨率很低，且受到相机光学畸变的影响，深度图与彩色图中的边缘是非对齐的[5]，这给3D场景重建等很多应用带来了极大的限制。

目前，深度图像分辨率重建的方法从是否利用彩色图像的角度可分为两类：1)只利用深度图像的单幅深度图像超分辨率算法；2)联合纹理和深度信息的深度图超分辨率算法。单幅图像超分辨率重建只利用一幅低分辨率图像结合一些先验信息重建出高分辨率图像，主要以基于学习的方法为主。例如Yang等人[6]提出的稀疏表示法(ScSR)假设低分辨率图像块能被完备图像块字典的基元素线性稀疏表示，用高、低分辨率图像块联合字典进行重建；Aodha等人[7]基于深度图的特点，提出了基于补丁的马尔可夫随机场模型(PB)；Xie等人[8]利用基于边缘引导的马尔可夫优化模型(EG)从低分辨率深度图中提取高分辨率图像的边缘，用边缘引导超分辨率重建。由于深度图含有的结构信息很少，单幅图像的超分辨率算法很难满足实际应用的要求。

考虑到同场景的彩色图像包含更多的结构信息，大多数深度图像的重建采用联合纹理和深度信息的深度图像超分辨率算法。这类算法主要有两个思路：基于优化的方法和基于滤波的方法。基于优化的方法通过构建一定约束条件的全局能量项以获得最终的结果，这种方法以马尔可夫随机场模型(MRF)为代表。例如：Diebel等人[9]提出的基于马尔可夫随机场的深度上采样方法，将能够准确获取深度值作为马尔可夫能量方程中的数据项，并将像素间的颜色相似性引作为平滑项的权重，通过求解能量最小的解获得上采样结果；Lu等人[10]基于深度图的特性对马尔可夫模型中的能量项进行了修改，保证了物体之间的深度不连续；Liu等人[11]对平滑项进行修改，以指数函数作为误差范数，能够从深度图本身获得深度不连续信息；Zuo等人在文献[12]中提出了一种利用最小生成树中的像素距离来更新平滑项系数的方案，显著减少了纹理复制的现象；在文献[13]中用二分匹配算法量化的测量边缘的匹配程度，并嵌入到平滑项中进行优化。以上提出的马尔可夫随机场模型基于全局优化，往往能保持更多全局结构化的信息，但存在复杂度高、实时性差的缺点。

基于滤波的方法利用像素点周围一定范围内的像素值信息来估计该像素的最终像素值。一种主流的方法是通过引导图像在不同的像素点位置产生不同的滤波核。例如：文献[14-17]均以联合双边滤波器为基础，将深度图作为滤波对象，而将彩色图像作为先验信息来引导深度图的超分辨率重建。Matsuo等人[18]针对深度图像的特点提出了一种带权重的联合双边滤波器，对深度图像中某些可信度较低的像素点分配较低的滤波权重，并针对实际中并不存在的但双边滤波容易出现的物体边缘深度过渡值提出了一种补偿方案；Song等人[19]考虑了局部窗口中支持像素数量过少的问题，对深度图进行邻近上采样，进而在高分辨率图像上设置空间内核，抑制了阶梯效应。Yuan等人[20]在联合双边滤波的基础上引入低分辨率深度图，充分利用其几何信息迭代地进行上采样，逐步消除模糊的边缘区域；Lo等人[21]基于联合双边滤波的思想提出了一种结合二阶微分算子的联合三边滤波器(JTU)，抑制了颜色相似区域的伪影现象；He等人[22]提出了一种新的引导滤波器(GIF)，其假设引导图像与输出图像呈线性关系，具备较高的效率，但有较明显的边缘模糊；Hua等人[23]利用二阶微分算子对引导滤波进行扩展，在保证计算效率的同时也保持了深度边缘。基于滤波的方法一般拥有较快运行效率，但是基于滤波的方法容易造成深度图边缘模糊，而且Kinect深度图本身存在边缘不对齐的问题，在超分辨率重建过程中会进一步加重深度图像边缘的错误。

本文提出了一种以纹理图像边缘引导的深度图像超分辨率重建方法，重点解决深度图重建造成的深度图与彩色图边缘不对齐问题和边缘模糊问题。针对边缘不对齐的问题，提出了一种基于结构化学习的边缘错误区域检测方法，利用同一场景深度图和彩色图的相似性，提取正确的深度图边缘，然后提取正确深度边缘与错误边缘之间的不可靠区域；针对滤波的方法容易造成边缘模糊的问题，设计了一种基于边缘对齐的不可靠区域修复方法，利用已得到的正确深度边缘将深度图划分为若干区域，根据深度图的平滑性用同一区域的可靠像素信息来填充边缘不可靠区域，从而得到清晰的深度图边缘。

1 算法设计

由于Kinect相机获取的深度信息与其对应的彩色信息都是描述的同一场景，所以主观上深度图像的边缘与彩色图像的边缘是一致的。本文根据这一关系利用彩色图像的边缘引导深度图像的超分辨率重建，能够对重建后的深度图不准确边缘进行修正，从而提高深度边缘与对应纹理边缘的吻合度，使深度图具有更好的主观质量。本文算法大致分为3个部分：1)对深度图像进行初步上采样，并提取初步上采样后深度图像的边缘；2)结合高分辨率彩色图像和深度图像的相关性，利用基于学习的边缘检测技术提取深度图像的正确边缘；3)对深度图的正确边缘与初始深度图的错误边缘之间的不可靠区域重新插值填充。算法的总体框图如图 1所示。



图 1 本文算法框架
Fig. 1 Framework of the proposed algorithm

1.1 深度图像的初始化

深度图像的初步上采样可以采用传统的上采样方法，例如基于插值的方法和基于滤波的方法，以获得初始化的高分辨率深度图像。上采样算法在深度不连续区域会造成边缘模糊的现象，为了减轻模糊区域对边缘修正的影响，在实验部分采用基于带权重系数的众数滤波方法(WMF)[24]对深度图进行初步的上采样。该滤波器首先对不同滤波窗口内的直方图分布进行估计，即

$ \begin{array}{l} {H_G}\left( {p, d} \right) = \sum\limits_{q \in N\left( p \right)} {{G_I}\left( {g\left( p \right)-g\left( q \right)} \right)} \\ \;\;\;\;{G_S}({p_{\rm{L}}}-{q_{\rm{L}}}){G_r}(d-f({q_{\rm{L}}})) \end{array} $ (1)

式中，${G_I}$, ${G_S}$和${G_r}$表示标准差分别为${\sigma _I}$，${\sigma _S}$和${\sigma _r}$的高斯函数，$p$、$q$是高分辨率图像上不同像素点的坐标，${p_{\rm{L}}}$、${q_{\rm{L}}}$是低分辨率深度图像中对应坐标的像素点坐标。$g$为高分辨率彩色图像，$f$为低分辨率深度图像，$d$为灰度级范围，$d$∈[0, 255]。选择使得加权直方图最大的灰度值作为当前像素点的滤波深度值，即

$ {f_G}\left( p \right) = \mathop {{\rm{arg}}\;{\rm{max}}}\limits_d {H_G}\left( {p, d} \right) $ (2)

该方法通过选取局部窗口中所有像素的带权重深度值的众数来获得每个像素点的滤波结果，从而消除了边缘模糊现象。

图 2(a)为原始低分辨率深度图像，经WMF算法进行初步上采样后的图像如图 2(b)所示，图 2(c)为上采样深度图的局部区域图像，可见图像的边缘十分清晰，没有边缘过渡像素的出现。然而，由于原始低分辨率深度图本身存在边缘不准确的问题，初步上采样后问题依然存在。图 2(d)是一幅与图 2(a)低分辨率深度图对应的彩色图像，对此图像进行边缘提取并映射到上采样后的高分辨率深度图，如图 2(e)所示，蓝线代表彩色图像边缘，红线代表深度图边缘，其局部区域如图 2(f)所示。可见上采样后的深度图像边缘与相应的纹理边缘吻合度很低，所以初步上采样得到的深度图像的边缘需要进一步修正。



图 2 初步上采样结果及其存在的问题
Fig. 2 Problem description in the existing SR method((a) LR depth map; (b)initial HR depth map; (c) detail of (b); (d) HR color image; (e)edges of (d) are mapped to the intial depth map; (f) detail of (e))

1.2 彩色图像边缘的提取

要修正深度图中边缘点的位置，使其与相应的彩色图像边缘对齐，就需要提取彩色图像的边缘信息来引导深度图的边缘修正。

传统的彩色图边缘检测方法是利用各个彩色分量图像的边缘来确定彩色图像的边缘，即首先基于某一彩色分量的图像进行灰度图边缘检测，然后再将每一独立分量的边缘图结合形成彩色图的边缘。这种方法忽略了人眼的视觉感知，往往得不到好的边缘检测效果。本文首先采用基于结构化学习的方法[25]提取符合人眼视觉特性的彩色图像边缘。学习训练的目的就是对图像块分类，采用滑动块取样的方式把图像分成32×32像素和16×16像素的图像块，分别提取每个图像块的颜色和梯度两种特征信息，构成两张查找表$\mathit{\boldsymbol{x}}\left({i, j, k} \right)$和$\mathit{\boldsymbol{x}}({i_1}, {j_1}, k)-\mathit{\boldsymbol{x}}({i_2}, {j_2}, k)$，其中$k$是颜色通道, $i$, $j$是指图像块上像素的坐标，${i_1}, {j_1}$和${i_2}, {j_2}$表示图像块中任意两个不同像素的坐标，分别记录了图像块的特征以及像素对的差分特征。对于原始彩色图，它在CIE-LUV颜色空间包含3路彩色信息，在32×32像素和16×16像素的尺度上各包含一路归一化的梯度模，每一梯度在4个方向上又可分为4路的梯度方向。因此，一幅彩色图像包含3路颜色信息，2路梯度的模和8路的梯度方向信息。标志位$\mathit{\boldsymbol{y}} \in \mathit{\boldsymbol{Y}}$表示16×16像素图像块的结构标签，$\mathit{\boldsymbol{z}} = \prod \left(\mathit{\boldsymbol{y}} \right)$表示一长串二进制编码矢量，标识着每个分割区域里的像素是否属于同一物体。训练过程就是要建立映射函数模型$\prod :\mathit{\boldsymbol{Y}} \to \mathit{\boldsymbol{Z}}$，通过计算每个向量$\mathit{\boldsymbol{z}}$之间的欧氏距离可以测量结构标签$\mathit{\boldsymbol{y}}$之间的相似度；然后建立映射模型：$\mathit{\boldsymbol{Z}} \to \mathit{\boldsymbol{C}}, \mathit{\boldsymbol{C}} = \left\{ {1, \ldots, k} \right\}$，使相似的结构标签$\mathit{\boldsymbol{y}}$能分配到相同的标记$c$，进而对图像块分类。结构化边缘检测一般是对原始的图像进行空域的上下采样，在不同分辨率级别上对图像进行训练学习。对原始的彩色图像，除了原始的图像外，四倍分辨率的图像和四分之一分辨率的图像分别进行结构化边缘检测，将3者的边缘图像的平均作为最后的边缘检测结果。

深度图像的边缘往往代表对象的边界，而彩色图像的边缘不仅在对象边界产生，也在对象内部产生。仅需要用对象边界来引导初始化错误深度边缘的修正过程，因此，得到彩色图像边缘后，进一步结合初步上采样深度图像在3D空间提供的距离信息去除存在于对象内部的纹理边缘，从而保留对象边界处边缘，即正确的深度边缘。具体做法是对于每一个边缘点，判断以该点为中心大小为$w$×$w$的窗口内最大深度值与最小深度值的差值，如果差值小于某一阈值，那么认为该区域是平滑区域，该窗口内的边缘就要去除；否则，该区域就是边缘区域，该区域内的边缘就是正确的深度边缘。该过程用公式描述为

$ {E_p} = \left\{ \begin{array}{l} 1\;\;\;\;\;\;\;\;({d_{{\rm{max}}}}-{d_{{\rm{min}}}}) \ge T\\ 0\;\;\;\;\;\;\;\;其他 \end{array} \right. $ (3)

式中，${d_{\max }}$和${d_{\min }}$分别是窗口内的最大深度值与最小深度值，本文中阈值$T$设置为10，窗口的大小选取为9×9像素的窗口。

图 3所示是本文边缘检测方法的效果对比，其中图 3(a)是一组原始的彩色图像，对其进行边缘检测，并将边缘映射到相应的深度图上。图 3(b) (c)分别显示了canny算子和本文方法的边缘检测效果。观察图 3(b)可以发现彩色图像的边缘包含了许多对象内部的纹理边缘，这些纹理边缘并没有与其对应的深度边缘，不仅对边缘修正毫无意义，还会引入不必要的错误，而图 3(c)中提取的彩色图像边缘与真实的深度边缘吻合。相比传统的边缘检测算法，本文采用基于学习的边缘检测技术并结合深度信息提取的深度边缘准确度更高。



图 3 彩色图像边缘检测效果对比
Fig. 3 Comparison of color image edge detection results with different methods ((a)original color images; (b) canny detector; (c) ours)

1.3 深度图边缘的修复

由1.2节得到的边缘与正确的深度边缘是吻合的，通过对正确深度边缘与错误深度边缘之间的不可靠区域重新插值修正，达到上采样深度边缘与相应彩色图像边缘一致的效果。

将1.2节得到的正确深度边缘映射到初步上采样的高分辨率深度图中，以该边缘上的点作为起始点，在该起始像素点的上下左右8个方向逐像素递进一定的像素个数进行扫描[26]，本文中扫描的像素个数不超过10个像素，如果扫描的过程中遇到初步上采样深度图上的错误边缘点，则停止扫描，并将扫描过程中所有扫描到的像素点标记为不可靠像素点，即深度图初步上采样过程中产生错误的深度值。扫描正确边缘上的每一个像素点，组成深度图的不可靠区域。找出不可靠区域后就可以对其进行插值修正。通常深度图上位于边缘一侧的局部区域在立体空间中从属于同一平面，区域中像素深度值大致相同。根据这个特点，本文基于已得到的正确深度边缘将图像分为若干区域，进一步，使用联合双边滤波器对不可靠像素点周围与该点同属一个区域的可靠像素的深度值进行加权求和，计算的结果作为该不可靠像素的深度值。修正的过程采用边缘对齐的策略，从不可靠区域的错误边缘一侧出发，逐步向正确边缘靠拢，直到初始化错误的深度边缘与正确深度边缘重合。联合双边滤波器的定义为

$ {J_p} = \frac{1}{{{k_p}}}\sum\limits_{q \in {\bf{\Omega}} } {{\boldsymbol{D}_q}o\left( {\left\| {\mathit{\boldsymbol{p}}-\mathit{\boldsymbol{q}}} \right\|} \right)h(\left\| {{\mathit{\boldsymbol{I}}_p}-{\mathit{\boldsymbol{I}}_q}} \right\|)} $ (4)

式中，${k_p}$是归一化系数，$\mathit{\boldsymbol{p}}$和$\mathit{\boldsymbol{q}}$表示像素的坐标，$\bf{\Omega} $是用于计算的目标像素$\mathit{\boldsymbol{p}}$的邻域像素，$o$和$h$分别表示空间域邻近度和颜色相似度高斯函数，标准差分别为${\sigma _I}$和${\sigma _S}$，$\boldsymbol{I}$表示彩色图像，$\boldsymbol{D}$为深度图像。

图 4显示了对不可靠区域插值修正的过程，其中不可靠区域用白色标记，红色表示正确的深度边缘点。下文对不可靠区域的修复过程做具体描述。遍历所有的不可靠像素点，对每一个不可靠像素做如下处理：检测其8邻域内是否存在可靠像素，若不存在则跳过该不可靠点继续遍历，若存在，则对8邻域内的可靠像素加权求值(如图 4(a)所示)；如果该不可靠像素点与正确深度边缘相邻，则对其上下左右4邻域内的可靠像素加权求值(如图 4(b)所示)，若4领域内不存在可靠像素点则跳过该点继续遍历；如果该不可靠像素点是正确的深度边缘点，则当且仅当其8邻域内除了与边缘相对应的点外都是可靠像素点才对其加权求值(如图 4(c)所示)，否则跳过该点继续遍历。按照以上方式每完成一次遍历后更新不可靠像素的像素值，反复进行遍历，直到所有的不可靠像素被重新赋值，得到最终的高分辨率深度图像。



图 4 不可靠区域修复示意图
Fig. 4 Illustration of our correcting process

2 实验结果及分析

为了分析本文算法的有效性，本文利用NYU2数据库提供的数据进行了相关实验。首先对原始的深度图进行2倍下采样，得到低分辨率深度图，然后用本文算法对低分辨率深度图像进行超分辨率重建，验证边缘修正的结果。

图 5展示了本文算法的深度恢复过程，图 5(a)图 (b)为一组原始的高分辨率彩色图像及其对应的低分辨率深度图像，图 5(c)是对图 5(b)初步上采样的结果，其中蓝线表示正确深度边缘，红线是初步上采样深度图的错误边缘。图 5(d)绿色标记区域表示正确深度边缘与错误边缘之间的不可靠区域，对不可靠区域重新滤波插值得到最后结果如图 5(e)所示。为了更清晰地看到修正后的细节，截取了图像的局部块放大。从图 5(f)中可以看出，本文算法得到的深度图边缘与正确的深度边缘是吻合的。



图 5 本文算法处理过程及结果
Fig. 5 Intermediate results of the SR process((a)color images; (b)original LR depth maps; (c)HR depth maps and edges; (d)error regions; (e)the result after inpainting; (f) details of (e) with texture edges and depth edges alignment)

为了进一步检验本文算法的性能，选择ScSR[6]，PB[7]，EG[8]3种单幅深度图像超分辨率算法以及联合双边滤波上采样(JBU)[14]，引导滤波上采样(GIU)[22]，MRF[11]，WMF[24]，JTU[21]5种联合彩色图像的上采样算法与本文算法进行对比实验.分别采用以上方法恢复出高分辨率深度图并进行3维点云重建，将得到的结果进行比较。实验中，滤波器的窗口大小均设置为5×5像素，滤波参数${\sigma _I}$、${\sigma _S}$设置为3和10，其他方法的参数均采用对应参考文献的参数设置。

图 6—图 8分别给出了3种场景下的对比结果。从图 6—图 8的(a)—(c)中可以看出，ScSR[6]算法在边缘处有明显的像素值失真现象；PB[7]采用图像块合成的原理，存在较为严重的块伪影；EG[8]算法用预测的高分辨率深度图的边缘来引导深度图的重建，能获取较为清晰的边缘区域。由于单幅图像的超分辨率重建算法没有考虑纹理与深度之间的关联，造成深度边缘与纹理边缘不对齐，如场景1的电视，场景2的椅子和场景3的沙发的边缘部分均被映射到墙壁上。从图 6—图 8的(d)—(f)中可以看出有大量的点云被映射到前景和背景之间，这是因为深度图的边缘区域有较多的过渡像素。其中，GIU[22]算法会产生较为严重的边缘模糊现象，MRF[11]算法则存在着物体边缘处过平滑等问题，JBU[14]能保护深度边缘，但在纹理复杂的边缘区域也会产生不准确的深度值；WMF[24]算法能避免边缘过渡像素的出现，但是这些算法也没有考虑边缘错位的问题，得到的深度边缘依然不能对齐；JTU[21]算法在误差较小的边缘不连续区域内有较好的修复效果，但对于有较大边缘误差的Kinect深度图修复效果不佳。本文算法考虑了边缘不对齐的问题，从彩色图像中提取了正确的深度边缘，引导错误边缘的修复，得到深度图像不仅边缘清晰，深度边缘也能与纹理边缘对齐，在3维点云图中能正确区分前景和背景，取得了非常好的3维重建效果。



图 6 场景1结果对比图
Fig. 6 The quality comparison for depth map SR on "TV" datasets((a) original images; (b)ScSR[6]; (c)PB[7]; (d)EG [8]; (e)JBU[14]; (f)GIU[22]; (g)MRF[11]; (h)WMF[24]; (i)JTU[21]; (j)ours)



图 7 场景2结果对比图
Fig. 7 The quality comparison for depth map SR on "sofa" datasets((a) original images; (b)ScSR[6]; (c)PB[7]; (d)EG[8]; (e)JBU[14]; (f)GIU[22]; (g)MRF[11]; (h)WMF[24]; (i)JTU[21]; (j)ours)



图 8 场景3结果对比图
Fig. 8 The quality comparison for depth map SR on "chair" datasets((a) original images; (b)ScSR[6]; (c)PB[7]; (d)EG [8]; (e)JBU[14]; (f)GIU[22]; (g)MRF[11]; (h)WMF[24]; (i)JTU[21]; (j)ours)

3 结论

针对Kinect深度相机获取场景的深度图像分辨率低，边缘不准确的问题，提出了一种纹理边缘引导的超分辨率重建方法。一方面，利用基于结构化学习的边缘检测技术提取高分辨率彩色图的纹理边缘，并结合初始化深度图提供的深度信息得到正确的深度边缘；另一方面，对初步上采样后的正确的深度边缘与不准确深度边缘间的不可靠区域利用同区域的像素滤波插值，正确填充了不可靠区域，使深度边缘与纹理边缘对齐。实验结果表明，本文算法优于其他上采样算法，使深度图具有较好的主观质量，为后续的应用如3维重建、虚拟现实等提供了可靠数据。由于本文算法是基于纹理边缘引导的上采样，它可以和不同的上采样算法结合，对所得结果进行边缘修正，因此具有良好的兼容性。下一步将解决在彩色图像引导的深度上采样过程中出现的纹理复制的问题，进一步提高深度图像的质量。

参考文献

  • [1] Fossati A, Gall J, Grabner H, et al. Consumer Depth Cameras for Computer Vision:Research Topics and Applications[M]. London: Springer, 2013: 1161-1167.
  • [2] Kitsunezaki N, Adachi E, Masuda T, et al.KINECT applications for the physical rehabilitation[C]//2013 IEEE International Symposium on Medical Measurements and Applications.Gatineau, QC, Canada: IEEE, 2013: 294-299.[DOI: 10.1109/MeMeA.2013.6549755]
  • [3] Chen G, Li JT, Wang B, et al. Reconstructing 3D human models with a kinect[J]. Computer Animation & Virtual Worlds, 2016, 27(1): 72–85. [DOI:10.1002/cav.1632]
  • [4] Pedraza-Hueso M, Martín-Calzón S, Díaz-Pernas F J, et al. Rehabilitation using kinect-based games and virtual reality[J]. Procedia Computer Science, 2015, 75: 161–168. [DOI:10.1016/j.procs.2015.12.233]
  • [5] Khoshelham K, Elberink S O. Accuracy and resolution of kinect depth data for indoor mapping applications[J]. Sensors, 2012, 12(2): 1437–1454. [DOI:10.1016/j.procs.2015.12.233]
  • [6] Yang J C, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861–2873. [DOI:10.1109/TIP.2010.2050625]
  • [7] Aodha O M, Campbell N D F, Nair A, et al.Patch based synthesis for single depth image super-resolution[C]//Proceedings of the 12th European Conference on Computer Vision.Florence, Iraly: Springer, 2012: 71-84.[DOI: 10.1007/978-3-642-33712-3_6]
  • [8] Xie J, Feris R S, Sun M T. Edge guided single depth image super resolution[J]. IEEE Transactions on Image Processing, 2016, 25(1): 428–438. [DOI:10.1109/TIP.2015.2501749]
  • [9] Diebel J, Thrun S.An application of markov random fields to range sensing[C]//Proceedings of the 18th International Conference on Neural Information Processing Systems.Vancouver, British Columbia, Canada: MIT Press, 2005: 291-298.
  • [10] Lu J B, Min D B, Pahwa R S, et al.A revisit to MRF-based depth map super-resolution and enhancement[C]//Proceedings of 2011 IEEE International Conference on Acoustics, Speech and Signal Processing.Prague, Czech Republic: IEEE, 2011: 985-988.[DOI: 10.1109/ICASSP.2011.5946571]
  • [11] Liu W, Jia S Y, Li P L, et al. An MRF-based depth upsampling:upsample the depth map with its own property[J]. IEEE Signal Processing Letters, 2015, 22(10): 1708–1712. [DOI:10.1109/LSP.2015.2427376]
  • [12] Zuo Y, Wu Q, Zhang J, et al.Minimum spanning forest with embedded edge inconsistency measurement for color-guided depth map upsampling[C]//Proceedings of 2017 IEEE International Conference on Multimedia and Expo.Hong Kong, China: IEEE, 2017: 211-216.[DOI: 10.1109/ICME.2017.8019366]
  • [13] Zuo Y F, Wu Q, Zhang J, et al. Explicit edge inconsistency evaluation model for color-guided depth map enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(2): 439–453. [DOI:10.1109/TCSVT.2016.2609438]
  • [14] Kopf J, Cohen M F, Lischinski D, et al. Joint bilateral upsampling[J]. ACM Transactions on Graphics, 2007, 26(3): #96. [DOI:10.1145/1276377.1276497]
  • [15] Chen J W, Adams A, Wadhwa N, et al. Bilateral guided upsampling[J]. ACM Transactions on Graphics, 2016, 35(6): #203. [DOI:10.1145/2980179.2982423]
  • [16] Deng H P, Wu J, Zhu L, et al. Texture edge-guided depth recovery for structured light-based depth sensor[J]. Multimedia Tools and Applications, 2017, 76(3): 4211–4226. [DOI:10.1007/s11042-016-3340-3]
  • [17] Cai J J, Chang L, Wang H B, et al.Boundary-preserving depth upsampling without texture copying artifacts and holes[C]//2017 IEEE International Symposium on Multimedia.Taichung, Taiwan, China: IEEE, 2017: 1-5.[DOI: 10.1109/ISM.2017.11]
  • [18] Matsuo T, Fukushima N, Ishibashi Y.Weighted joint bilateral filter with slope depth compensation filter for depth map refinement[C]//Proceedings of 2013 International Conference on Computer Vision Theory and Applications.Barcelona, Spain: VISAPP, 2013: 300-309.
  • [19] Song Y B, Gong L J.Analysis and improvement of joint bilateral upsampling for depth image super-resolution[C]//Proceedings of the 8th International Conference on Wireless Communications & Signal Processing.Hangzhou, China: IEEE, 2016: 1-5.[DOI: 10.1109/WCSP.2016.7752596]
  • [20] Yuan L, Jin X, Li Y G, et al. Depth map super-resolution via low-resolution depth guided joint trilateral up-sampling[J]. Journal of Visual Communication and Image Representation, 2017, 46: 280–291. [DOI:10.1016/j.jvcir.2017.04.012]
  • [21] Lo K H, Wang Y C F, Hua K L. Edge-preserving depth map upsampling by joint trilateral filter[J]. IEEE Transactions on Cybernetics, 2018, 48(1): 371–384. [DOI:10.1109/TCYB.2016.2637661]
  • [22] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397–1409. [DOI:10.1109/TPAMI.2012.213]
  • [23] Hua K L, Lo K H, Wang Y C F F. Extended guided filtering for depth map upsampling[J]. IEEE Multimedia, 2016, 23(2): 72–83. [DOI:10.1109/MMUL.2015.52]
  • [24] Min D B, Lu J B, Do M N. Depth video enhancement based on weighted mode filtering[J]. IEEE Transactions on Image Processing, 2012, 21(3): 1176–1190. [DOI:10.1109/TIP.2011.2163164]
  • [25] Dollár P, Zitnick C L. Fast edge detection using structured forests[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(8): 1558–1570. [DOI:10.1109/TPAMI.2014.2377715]
  • [26] Zhao X.The research on Kinect depth image inpainting technique[D].Dalian: Dalian University of Technology, 2013. [赵旭.Kinect深度图像修复技术研究[D].大连: 大连理工大学, 2013.] http://cdmd.cnki.com.cn/Article/CDMD-10141-1013201414.htm