Print

发布时间: 2018-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.180035
2018 | Volume 23 | Number 9




    图像理解和计算机视觉    




  <<上一篇 




  下一篇>> 





树木结构层次细化的立体树木图像构建
expand article info 董天阳, 陈东方, 杨丽锦, 姚佳洁, 范菁
浙江工业大学计算机科学与技术学院, 杭州 310023

摘要

目的 2维转3维技术可以将现有的丰富2维图像资源快速有效地转为立体图像,但是现有方法只能对树木的整体进行深度估计,所生成的图像无法表现出树木的立体结构。为此,提出一种树木结构层次细化的立体树木图像构建方法。方法 首先利用Lab颜色模型下的像素色差区别将2维树木图像的树干区域和树冠区域分割开来,并对树冠区域进行再分割;然后,在深度梯度假设思想基础上建立多种类型的深度模板,结合深度模板和树冠的区域信息为典型树木对象构建初始深度图,并通过基础深度梯度图组合的方式为非典型树木进行个性化深度构建;最后,根据应用场景对树木深度信息进行自适应调整与优化,将树木图像合成到背景图像中,并构建立体图像。结果 对5组不同的树木图像及背景图像进行了立体树木图像的构建与合成。结果表明,不同形态的树木图像都能生成具有层次感的深度图并自适应地合成到立体背景图像中,构建树木图像深度图的时间与原始树木图像的尺寸成正比,而构建立体树木图像并合成到背景中所需时间在2~4 s之间。对立体图像质量的主观评价测试中,这些图像的评分均达到良好级别以上,部分立体图像达到了优秀级别。结论 该方法充分利用了树木的形态结构特征,能同时适用于典型和非典型树木,所构建的立体树木图像质量较高,具有丰富的层次感,并具有舒适的立体观看效果。

关键词

树木图像; 立体图像; 图像合成; 深度模板; 树木结构

Construction of 3D tree image with hierarchical tree structures
expand article info Dong Tianyang, Chen Dongfang, Yang Lijin, Yao Jiajie, Fan Jing
College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China
Supported by: National Natural Science Foundation of China (61672464, 61572437)

Abstract

Objective 2D to 3D technology can quickly and effectively transfer the existing rich resource of 2D images into 3D images. However, existing methods only consider depth estimation on the entire object of a tree in the process of depth map generation. In this way, the tree in the final 3D images generated would normally lack a sense of depth and look like a piece of paper stuck on the background. The depth map generated by these methods cannot show the natural three-dimensional structural features of trees and has no sufficient rich stereoscopic levels to show the layering on the trees. To this end, this paper presents a 3D tree image construction method on the basis of depth template. Method In our proposed method, we first utilize the color difference of pixels under the laboratory color model to divide the 2D tree image into trunk and canopy areas and then divide the canopy area again into several small areas by using multiscale spectral-based image segmentation method. Then, considering the assumption of depth gradient hypothesis, we create various types of basic depth templates. In addition to the six commonly used basic depth templates, two new basic depth templates are added on the basis of the structural features of the trees. In accordance with the complexity of the morphology of trees, this paper divides the tree objects into two major categories:typical and atypical trees. The typical trees are those with regular shapes and can basically belong to the four typical tree models of spherical, conical, cylindrical, and wide spread shapes. The atypical trees are inconsistent with the basic characteristics of the existing four tree models. The initial depth maps of typical tree objects are constructed by combining the basic depth template and the area information of canopy. For the atypical tree object, we first select some basic depth templates to generate a personal depth temple, and then a personalized initial depth map is constructed through the combination of the personal depth temple and the tree's canopy area information. Finally, the tree depth information is adjusted and optimized adaptively in accordance with the application scene. 3D images of trees are adaptively adjusted in accordance with the depth information of the corresponding position of the background to obtain a depth map consistent with the background depth information. In addition, different objects in the scene are located at different depths, so when the tree images are synthesized into the background image, the occlusion between the objects in the scene needs to be adjusted. After the abovementioned process, the tree image is synthesized into the background image and the 3D image is constructed. Result To verify the effectiveness and practicability of our method, we used different background and tree image materials to create 3D image pairs. We show the five generated 3D images from the experiment in this paper. The experimental results show that all the tree images of different sizes, namely, typical and atypical, can produce layered depth images and can be adaptively synthesized into different 3D background images. The operating efficiency of the system is stable, and the time required to construct the stereoscopic image is linearly related to the size of the original tree image, which means that the run-time growth would not be explosively increased due to the increase in tree image size. In the subjective evaluation test on the stereoscopic image quality, we conducted tests and statistics on three aspects:3D image pair quality, depth map quality, and 3D comfort situation. Five different ratings are available for each aspect, covering all aspects related to the quality of the 3D image. In accordance with the statistics of each item, we obtain the total score under the percentile and then divide the total score into five grades:excellent, good, medium, normal, and poor. In the test, the ratings for these images all reach good levels, and some of them even achieve excellent levels. Conclusion To naturally blend 3D trees and 3D background images and enhance the 3D display of trees, by using the morphological characteristics of trees, this paper presents a 3D tree image construction method on the basis of depth template. The method takes full advantage of the morphological characteristics of trees and can be applied to both typical and atypical trees. The constructed 3D trees have a high image quality and comfortable stereoscopic effect. The depth template used in this paper presents a greater improvement in the depth sense of trees in 3D images than the existing methods.

Key words

tree image; 3D image; image synthesis; depth template; tree structure

0 引言

立体图像(3D image)是由赋予适当视差的左眼视图和右眼视图两幅图像组成的,当两者分别映入观察者双眼时,可以在双目视觉的作用下产生立体视觉感受。立体图像的获取主要有两种方式,一种是使用双目摄影机、立体照相机等设备进行图像采集,此类方式的3维立体图像制作周期较长,成本较高;另一种方式是利用现有的普通2维图像,经过图像处理得到立体图像,这类方法适用于大多数简单图像,但对复杂的图像场景的制作,处理过程也比较困难。

立体树木图像是指包含树木对象的立体图像,广泛应用在虚拟场景的构建中,如虚拟森林、城市规划、景观设计等。由于树木对象在场景中重复出现的频次较高,并且具有特殊结构特点,可以在普通2维树木图像中增加树木深度信息的方式,将其制作成为立体树木图像。此种方式不但可以提高图像素材的利用效率,还可以增加树木场景设计的灵活性和便捷性,从而降低3维场景图像的制作成本和周期。

深度信息的准确性会影响立体图像的视差构建,进而影响立体图像的视觉效果。常见的2维图像的深度信息构建方法主要有两大类:一类是基于双幅或多幅2维图像的特征匹配来估计视差,从而推算出深度图。这类方法往往被应用于双目立体视觉匹配或者基于视频序列的深度信息估计中。另一类是基于单幅2维图像的深度信息构建方法,这类方法从图像的空间、结构、纹理、色彩或者亮度等特征出发进行深度信息构建,难度相对更大。常见的单幅2维图像深度图构建方法包括:深度梯度假设方法、基于机器学习的深度获取方法和相似场景的深度迁移方法等。

深度梯度假设的方法主要通过梯度模板模拟图像的深度变化特征。如Cheng等人[1]所提出的基于边界信息的方法:对于自然场景图像,先通过边界检测将图像分区,再利用深度假设梯度的方式生成深度图,最后将深度信息运用至具体场景中。王平等人[2]提出的基于区域融合图像的深度获取方法,首先根据像素颜色特征实施区域合并,随后用假设深度梯度图对区域进行深度分配。该类方法对目标2维图像的层次布局有特定要求,可以针对具体图像类别进行借鉴和改进。

在基于机器学习的深度获取方法中,Lim等人[3]通过三角形小块的方法,利用每个三角区块深度信息不连续性和色彩特性对所采集的稀疏深度图进行重建,对不规则的深度区域构建具有较好效果。Make 3D[4]是另一种基于图像的小区块方法,并通过马尔可夫无监督学习的方法感知立体信息的细节。此外,Jung等人[5]利用贝叶斯学习算法实现图像物体的分类,从而根据物体的种类进行深度赋值得到深度图。Fang等人[6]则提出了一个结构森林框架来从单个RGB图像推断深度信息。由于该类方法侧重图像的局部特征信息,所获取的深度图比较粗略,深度图的整体层次布局仍有提升空间。

相似场景的深度迁移方法即充分利用图像库中所隐含的知识来指导输入图像[7]。基于相似场景图像可能具有相似深度信息的假设,Konrad等人[8]从现有立体图像中提取相似场景的深度信息,并通过中值算法对这些信息进行合并,从而用于2维图像的深度图构建。袁红星等人[9]通过语义排序[10]的方法对相似场景进行匹配,并通过SIFT算法建立目标场景图像与相似场景图像的像素级对应,由此将匹配所得深度信息迁移至目标2维场景中。

但是,将2维图像中提取的树木模型应用和融合到新的立体图像时,现有的方法一般只对树木的整体作深度估计,导致立体图像中树木纸片化,无法突出树木各个部位深度的差异,体现不了树木3维结构的立体效果。这样使得立体树木图像与立体背景图像无法进行自然地融合,影响了树木的立体显示效果。如果使用这些常见的单幅2维图像深度图获取方法,首先由于缺少大量的深度先验知识,基于相似场景深度迁移的方法在本文的树木深度信息构建中并不适用;基于机器学习的深度获取方法考虑了局部特征而忽视了深度变化的全局性;而基于深度梯度假设的深度获取方法虽然从全局层次进行考虑,在提高效率的同时对局部深度信息构建的细节有所缺失,因而需结合树木特点进一步对上述方法从局部和全局特征综合考虑来完成树木深度信息的构建。

因此,为了让立体树木图像与立体背景图像自然地融合,并提升树木的立体显示效果,本文提出了一种树木结构层次细化的立体树木图像构建方法。该方法通过分析树木本身的空间结构特征,利用深度模板初始化树木深度图,并根据立体背景图像的深度信息进行深度合成优化,将立体树木图像合成到立体背景图像中。实验结果表明,本文提出的立体树木图像构建方法能适用于典型和非典型树木,所构建的立体树木图像质量较高,并具有舒适的立体视觉效果。

1 树木结构层次细化的树木深度信息构建

1.1 树木结构分析与区域分割

树木结构分析与区域分割是通过树冠和树干的色差对树木的两部分结构进行分离,并通过多尺度图分割的区域划分方法对树冠部分实施再分割,由此作为后期树木深度信息构建的先验知识。树木结构分析与区域分割的主要步骤如图 1所示。

图 1 树木结构分析与区域分割过程
Fig. 1 The process of tree structure analysis and regional segmentation

基于Lab颜色模型的树木结构分割可分为以下几步:

1) 输入彩色树木图像,作为目标图像,如图 2(a)所示;

图 2 树木的结构分析与区域分割示例
Fig. 2 The sample of tree structure analysis and regional segmentation((a)target tree; (b)trunk; (c)canopy; (d)segmentation in canopy area)

2) 将彩色图像的颜色空间从RGB模型转化至Lab模型;

3) 对Lab颜色模型下的目标图像的各个像素值进行K-means聚类[11]

4) 根据各个聚类集的特征对比,确定树干类,并实行基于形态学方法[12]的去噪处理, 由此获得目标树木的树干图像,如图 2(b)所示;

5) 根据树木原始形态分离出树木对象的树冠部分,如图 2(c)所示。

为了使树木的树冠结构能够科学有效地进行区域划分,利用基于多尺度图谱的分割方法[13],通过计算不同尺度中邻近像素间的相似程度来对树冠区域进行再划分。首先根据树冠区域的亮度和轮廓特征进行图像边界编码,并在此基础上完成最优归一化分割的计算。图 2(d)所示为对树冠部分进行再分割的结果,该方法能够将树冠划分为较为均匀的多个区块。

1.2 树木深度模板的构建

深度梯度假设方法常常被应用于单幅2维图像的室内场景或是室外场景的深度信息假设中,采用不同变化方向的渐变深度来模拟景物的深度变化情况。深度梯度假设的内容是深度阶梯化过渡的情况,常用的深度图梯度有left、left-down、up-bottom、bottom-up、right-down和right等6种[1],如图 3所示。

图 3 常用的深度梯度图
Fig. 3 Commonly used depth gradient map

然而,对于大多数树木深度信息的变化特点,上述6种深度梯度并不能完全满足树木深度模板构建的需求。因为大多数树木具有对称性的结构,本文增设了两个基础深度梯度假设图,分别名为bottom-mid-up和left-mid-right,代表大多数树木的树冠从上至下与从左至右两个方向上的深度变化趋势,如图 4所示。利用这8种基础深度梯度图的合并与重组,可以为各种类型树木构建深度信息。

图 4 本文新增深度梯度图
Fig. 4 New depth gradient map added

由于树木的形态结构复杂多变,有限数量的深度模板不一定能满足所有树木的深度构建需求。因此,本文依照树木形态的复杂程度,将树木对象分为典型树木和非典型树木两大类。典型树木是指外形规则,能够基本归属于球形、锥形、圆柱形和宽展开形4种典型树木模型的树木,如图 5所示;而非典型树木是指与现有树木模型的基本特点不一致的树木。针对非典型树木,本文提出了个性化模板构建的方法,可以根据树木个体的具体情况来构建新的深度模板。

图 5 典型树木的4种类型
Fig. 5 Four types of typical trees

通过分析可知,球形树木的树冠深度信息特点是:水平方向上的深度距离先变小,再变大;垂直方向上的深度距离也是先变小后变大。因此,为这一类树木的树冠构建深度模板时,利用图 3中left-mid-right和bottom-mid-up两种基础深度梯度图组合得到球形深度梯度模板。由此,为4种典型树木分别构建了4种深度模板,如图 6所示,其中图 6(a)为各类型树木的模型及对应主视图,图 6(b)为模板构建时所用到的基础深度梯度图,图 6(c)为深度模板。由于4种基本树木类型的树冠形状依次为圆形、矩形、三角形和六边形,可以通过树冠形状与4种典型树木主视图形的相似度匹配[14],找到相似度最高的树木类型,并将该类型的典型树木模板作为对应树木的深度模板。

图 6 典型树木的深度模板
Fig. 6 Depth template of typical trees((a)tree type; (b)base depth gradient map; (c)depth template)

对于外形结构相对不规则的非典型的树木对象,可以采用个性化选择的方法,选择8种基础深度梯度图中的一种或几种,根据具体树木的个性化需求自由组合,合成新的模板,如图 7所示。

图 7 非典型类型的树木深度构建
Fig. 7 Depth map construction of atypical trees

1.3 树木深度图初始化

在1.1节中,已经通过局部特征对树木的树冠部分进行了分割。分割后的树冠图像由若干个较为均匀的区域组成,认为每个区域具有不同的深度信息,并且同一区域中的深度信息是近似相同的。由此,可以在树冠区域分割结果的基础上应用与树冠结构相对应的深度梯度模板,作为初始深度图。对于树冠图像中的任意区域$\mathit{\boldsymbol{R}}$,与其对应的深度模板中的区域平均深度作为目标树木图像的树冠区域的初始化深度,即

$ D\left( \mathit{\boldsymbol{R}} \right) = \frac{1}{{\left| \mathit{\boldsymbol{R}} \right|}}\sum\limits_{\left( {x,y} \right) \in \mathit{\boldsymbol{R'}}} {D\left( {x,y} \right)} $ (1)

式中,$\mathit{\boldsymbol{R}}$为树木对象结构分析和区域分割后的任一分割区域,${\mathit{\boldsymbol{R'}}}$是该对应深度模板中的相同区域,${\left| \mathit{\boldsymbol{R}} \right|}$指区域$\mathit{\boldsymbol{R}}$中的像素个数,${D\left({x, y} \right)}$指区域${\mathit{\boldsymbol{R'}}}$内的某一像素点的深度值。

对于典型树木而言,通过树木结构分析结果中的树冠形状与4种典型树木类型的主视图进行匹配,选择相似度最高的树木类型对应的深度模板进行初始化;对于非典型树木,通过指定一个或多个基础深度梯度图作为个性化模板来完成深度图的初始化。在生成初始化树木深度图像时,采用双边滤波器[15]对深度图进行平滑处理。图 8所示为部分树木对象的深度图初始化情况,图 8中以红、黄、蓝的颜色层次顺序来表现深度信息的差异。其中红色区域表示的深度距离观察点最近,其次是黄色,最后是蓝色。需要注意的是,颜色的变化仅显示单幅图像中树木个体的深度信息相对变化值,并不能作为两幅图像间的深度对比。

图 8 基于模板的树木深度图初始化
Fig. 8 The initialization of tree depth map based on template

2 树木图像与背景图像合成的立体图像构建

2.1 在合成背景图像中的树木深度自适应调整

当树木合成特定场景的图像时,需要根据具体场景的深度信息来调整树木本身的深度信息,否则将会因为合成进去的立体树木与前后景深度差异过大而使得视觉效果不佳。

首先,利用Smith等人[16]提出的较为经典的图像深度估计方法对背景立体图像对实施深度估计,获得背景图像的深度图。然后,为了实现深度信息在背景图像对中的自适应调整,需要确定树木与背景的深度融合点。融合点应位于树木的树根底部的中心点位置。根据树木的主干的竖直结构特征,自适应调整后主干的深度应同融合位置区域的深度一致。为了避免背景图像深度图中的噪声影响,选取背景深度图中以$\mathit{\boldsymbol{R}}$为中心的小面积邻域${\mathit{\boldsymbol{N}}_r}$内的平均深度值,并把该深度值作为主干所处的深度${D_t}$,即

$ {D_t} = \frac{{\sum\limits_{\left( {x,y} \right) \in {\mathit{\boldsymbol{N}}_r}} {D\left( {x,y} \right)} }}{{{S_{{N_r}}}}} $ (2)

式中,${{S_{{N_r}}}}$表示背景深度图中以$\mathit{\boldsymbol{R}}$为中心的小面积邻域$\mathit{\boldsymbol{N}}_r$内的像素点的总数。

若目标树木初始化时的主干深度值为${D_0}$,则此时主干底部深度变化值为${D_0} - {D_t}$。若背景图像对最大深度和最小深度分别为${D_{\max }}$${D_{\min }}$${D_1}\left(p \right)$是点$p$对应的树木初始化深度值,${D_2}\left(p \right)$是除树木中的主干像素点外其他任意像素点$p$自适应调整后的深度值,$\left({{D_0} - {D_t}} \right)/\left({{D_{\max }} - {D_{\min }}} \right)$即是主干部分的深度值变化率,则有

$ {D_2}\left( p \right) = {D_1}\left( p \right) \times \left( {1 + \frac{{{D_0} - {D_t}}}{{{D_{\max }} - {D_{\min }}}}} \right) $ (3)

立体树木图像会根据背景对应位置的深度信息自适应调整,得到与背景深度信息相一致的深度图像。图 9展示了树木深度图通过深度自适应调整方法处理后的变化,其中,图 9(a)是背景图像对的深度图,${R_1}$${R_2}$${R_3}$分别是指定的3个树木将要合成的位置;图 9(b)是通过深度模板方法形成的目标树木的初始深度图;图 9(c) (d) (e)依次为树木初始深度图在背景深度图中${R_1}$${R_2}$${R_3}$处的深度值影响下进行自适应调整后的深度图。

图 9 树木深度信息的自适应调整
Fig. 9 The adaptive adjustment of tree depth map
((a)corresponding position; (b)initial depth map; (c)${R_1}$; (d)${R_2}$; (e)${R_3}$)

通过在不同目标融合位置点的深度自适应变化情况可以发现,经过树木深度的自适应调整可以使树木的深度图更适应具体的背景。由此说明,本文的树木深度自适应调整方法有助于树木的深度信息与背景深度信息的匹配度更高,使得深度信息更符合真实场景的实际需要。

2.2 深度值与景物的遮挡关系

树木立体图像对与背景图像对进行合成时,需要将前后景对应的左视图相融合、右视图相融合[17]。由于场景中的不同物体所处的深度位置不一样,因而需要考虑物体之间的遮挡关系, 即较近的物体应遮挡较远的景物。

在本文方法中,对立体图像深度融合的同时,需要将前后景中物体的深度信息进行比较。已知较大深度值代表较近的距离,这样的基于遮挡关系的深度融合后的深度图为

$ \mathit{\boldsymbol{R}}\left( {x,y} \right) = \left\{ {\begin{array}{*{20}{l}} {Fg\left( {x,y} \right)}&{{D_{fg}}\left( {x,y} \right) \ge {D_{bg}}\left( {x,y} \right)}\\ {Bg\left( {x,y} \right)}&{{D_{fg}}\left( {x,y} \right) < {D_{bg}}\left( {x,y} \right)} \end{array}} \right. $ (4)

式中,${{D_{fg}}\left({x, y} \right)}$是树木图像的中任意像素点对应的深度值,${{D_{bg}}\left({x, y} \right)}$是背景立体图像的深度图中任意像素点所对应的任意深度值。${Fg\left({x, y} \right)}$是树木图像中的任意像素点,${Bg\left({x, y} \right)}$是背景立体图像中的任意位置像素值。

基于上述原则,对树木的立体图像对与背景进行了深度融合,选择不同位置的融合点后,可以得到图 7所示的几个不同位置的融合结果。图 10(a)为树木在背景场景中具体位置后的整体深度图;图 10(b)是对场景的深度图进行彩色映射处理的结果,其中,景物距离观测点的距离由近至远依次为红、黄、蓝的顺序。图 10(c) (d)分别为经过基于遮挡的图像合成后的立体图像的左眼视图和右眼视图。经过基于遮挡的树木图像的立体合成,树木与周围场景间具有明显的相对位置关系和层次关系。

图 10 立体图像中的景物遮挡关系
Fig. 10 Scene occlusion in 3D images((a)depth map; (b)depth change mapping; (c)left eye view; (d)right eye view)

3 实验

为了验证本文方法的有效性和实用性,使用不同的背景素材和林木素材进行了立体图像对的制作。实验使用的计算机配置为:3.40 GHz的英特尔酷睿i3-3240处理器和6 GB RAM,在matlab平台的R2012版本下进行实验。

3.1 立体树木图像构建的相关实验

图 11所示,给出5组树木立体图像制作的效果图。其中,图 11(a)是目标树木图像;图 11(b)是立体背景图像的左眼视图;图 11(c)是立体背景图像的右眼视图;图 11(d)是在背景图像中对树木进行深度融合操作后的深度图进行彩色映射后的显示,其中,从视点到景物的距离从近至远依次为红色、黄色、蓝色。图 12依次为经本文方法构建而成的红蓝立体图像对效果图,在观看时需要佩戴红蓝立体3D眼镜。从图 12的5幅立体图像中可以看出,通过本文方法构建并合成到背景图像中的树木,具有鲜明的层次性与立体感,而背景图像中原来的植物则呈现出片状与块化,没有表现出其结构。

图 11 立体树木图像构建示例
Fig. 11 The sample of 3D tree image construction
((a)target trees; (b)background left eye view; (c)background right eye view; (d)depth maps)
图 12 本文方法所构建的红蓝立体图像
Fig. 12 Red-blue 3D images constructed by our method

表 1给出了图 11中(1)—(5)的各个示例实验时的图像尺寸数据,其中目标图像的原始尺寸指对素材库中树木进行结构分离和深度信息构建时的树木图像的大小;前景图像融合尺寸是根据具体背景图像的大小,对目标图像进行尺寸调整后用于立体图像融合的图像对大小;背景图像对的尺寸与最终制作而成的红蓝立体图像尺寸一致。

表 1 示例图像相关数据
Table 1 The data of the sample images

下载CSV
/像素
图 11 目标树木图像原始尺寸 前景图像融合尺寸 背景图像对尺寸
(1) 1 024×1 024 300×300 400×527
(2) 1 000×1 000 200×200 300×445
(3) 800×670 185×155 230×367
(4) 900×400 200×89 230×309
(5) 450×450 250×250 490×390

表 2展示了各个示例图像的树木结构层次细化的深度图初始化所需时间、树木图像的立体图像构建所需时间以及总时间。对照表 2中相关数据,相比于立体图像合成所需时间,树木深度图初始化占用总工作时间的比重较大,这是由于原始树木图像像素较高。构建树木深度图所需要的时间与原始树木图象的尺寸成正比,因此不会因为树木图象尺寸的增长而造成运行效率的大幅下降。此外,对于前景和背景图像尺寸的变化,树木图像的立体图像构建方法所需时间的变化幅度较小,基本在2~4 s的时间范围内浮动,因此处理时间和效率基本稳定。

表 2 示例立体图像构建时间
Table 2 Construction time of the sample images

下载CSV
/s
图 12 树木深度图初始化时间 树木图像的立体图像构建时间 总时间
(1) 42.83 3.51 46.34
(2) 39.27 3.24 42.51
(3) 20.90 2.65 23.55
(4) 14.58 2.55 17.13
(5) 8.70 2.11 10.81

3.2 立体图像质量的主观评价

为了更好地对立体图像的视觉效果进行评价,组织了32位从事立体视觉相关研究的评估者按照具体评价细则和评价说明对5组示例立体图像进行主观评分[18]。主观评分按照表 3中的各个评价项目给出百分制的分数。每一评价项目中,各小项的评分平均值作为该项目的评分。其中,在对舒适度进行评价时,观察者需佩戴红蓝立体眼镜。对所有评分报告进行回收统计,在均值化计算后得出各示例图像在立体图像对质量、深度图质量和立体舒适度情况3个方面的评价结果,如图 13所示。

表 3 立体图像质量评价项
Table 3 Quality evaluation items of 3D images

下载CSV
立体图像评价项 深度图评价项 舒适度评价项
景物的可辨性和图像的完整性 深度图像的层次性 目标对象的立体感
纹理的清晰细腻程度以及线条中途的断裂情况 深度信息的连贯性
(物体边缘深度过渡是否平坦)
景物分布的层次效果是否明显
色彩的自然程度和失真情况 深度信息的细致和详尽程度 视觉重影和视觉模糊现象的程度
区域变化是否自然 深度信息的完整度 短时间内观察有无眩晕感
景物的遮挡关系是否符合客观规律 深度信息是否符合客观规律 立体图像的整体协调感
图 13 立体图像质量的主观评测统计图
Fig. 13 Statistic chart of the subjective quality evaluation of 3D images

对于立体图像质量的主观评分结果,一般可以分为优秀、良好、中等、一般、差5个级别。0~59分为差,这样的立体图像存在着很大的问题,观感不佳;60~69分为一般,这样的立体图像有一定的问题,在观看时会使观测者感到不适;70~79分为中等,这样的立体图像的视觉效果在可以接受的范围之内,但还有待提升;80~89分为良好,这类立体图像比较符合人眼的视觉,观感较好。90~100分为优秀,这类立体图像接近拍摄得到的立体照片的质量,观感很舒适。

图 13中的评价结果可以发现,采用本文方法构建的各组图像的立体图像对、深度图以及视觉舒适度3个方面的评分基本在85分以上,大部分都达到良好级别的质量评价,甚至一些立体图像的评价结果达到了90分以上,获得了优秀级别的质量评价。综合立体图像对、深度图以及视觉舒适度3个方面的评价结果,图 12(1)立体图像的质量综合评价最好。图 12(2)的深度图上,邮箱上有一块区域深度值有误,是在构建背景图像深度图的过程中产生的,这导致其深度图评价较低。图 12(3)中,左边第一棵树的融合位置有些靠前,其树木与前景的标牌几乎在同一片面,在立体视觉中产生了不协调感,这使得它的深度图评价与立体视觉舒适度评价都较低。图 12(4) (5)的综合质量都比较好,没有明显的弱项,但相比图 12(1)在深度过渡上不够平坦,前景到远景之间比较空旷,使其综合评价不及图 12(1)。综合来看,各立体图像都达到了较好的立体视觉效果,本文提出的立体树木图像深度信息构建和树木图像的立体图像合成方法能够满足实际的应用需求。

4 结论

为了让立体树木与3维背景图像自然地融合,并提升树木的立体显示效果,从树木形态结构特征出发,提出了一种树木结构层次细化的树木立体图像构建方法。首先,该方法利用基于Lab颜色模型的树木结构分析和区域划分方法实现基本结构的分离和树冠区域的再分割。然后,提出了利用模板的2维树木图像的深度构建方法,在深度梯度假设思想的基础上建立多种典型树木模型的深度模板,对于非典型的树木对象按照具体树木深度特点对基础模板进行重组和应用,并结合模板深度和树木区域信息为树木进行深度赋值。最后,在背景图片中对树木深度进行自适应调整,并构建立体树木图像。实验和应用结果表明,本文所提出的立体树木图像构建方法能同时适用于典型和非典型树木,具有稳定的运行效率,所构建的立体树木图像质量较高,并具有舒适的立体观看效果。

本文使用的深度模板对于树木层次感的呈现比现有方法有比较大的提升,但还是不够精细和准确。尤其在树木结构特别复杂的时候,不能较好地显示出树木的立体感。对于这种情况,可以考虑对树木结构作进一步分析,对每一个细分区域的深度作调整,以进一步提升立体视觉效果。本文方法也适用于竹子、农作物等结构异于一般树木的单棵植物立体图像构建,但是需要采用相应植物类型的深度模板。由于本文方法基于单棵树木的结构特征,而对于连成一片的树木无法将单棵树木分割出来,从而难以有效地对成片的树木图像进行处理。此外,在图像融合方面,未来可以进一步研究立体图像融合与优化技术,以提升立体图像的视觉感知效果。

参考文献

  • [1] Cheng C C, Li C T, Chen L G. A novel 2Dd-to-3D conversion system using edge information[J]. IEEE Transactions on Consumer Electronics, 2010, 56(3): 1739–1745. [DOI:10.1109/TCE.2010.5606320]
  • [2] Wang P, An P, Wang K, et al. Depth extraction of single-view image using region merging[J]. Video Engineering, 2011, 35(19): 11–13. [王平, 安平, 王奎, 等. 基于区域融合的单视点图像深度信息提取[J]. 电视技术, 2011, 35(19): 11–13. ] [DOI:10.3969/j.issn.1002-8692.2011.19.004]
  • [3] Lim H, Park H W. Depth map rasterization using triangulation and color consistency for various sampling structures[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(7): 1081–1098. [DOI:10.1109/TCSVT.2014.2376313]
  • [4] Saxena A, Sun M, Ng A Y. Make3D:learning 3D scene structure from a single still image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 824–840. [DOI:10.1109/TPAMI.2008.132]
  • [5] Jung J I, Ho Y S. Depth map estimation from single-view image using object classification based on Bayesian learning[C]//Proceedings of 20103DTV-Conference: the True Vision-Capture, Transmission and Display of 3D Video. Tampere, Finland: IEEE, 2010: 1-4. [DOI:10.1109/3DTV.2010.5506603]
  • [6] Fang S, Jin R, Cao Y. Fast depth estimation from single image using structured forest[C]//Proceedings of 2016 IEEE International Conference on Image Processing. Phoenix, AZ, USA: IEEE, 2016: 4022-4026. [DOI:10.1109/ICIP.2016.7533115]
  • [7] Wang M, Zhang F L, Hu S M. Data-driven image analysis and editing:a survey[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(11): 2015–2024. [汪淼, 张方略, 胡事民. 数据驱动的图像智能分析和处理综述[J]. 计算机辅助设计与图形学学报, 2015, 27(11): 2015–2024. ]
  • [8] Konrad J, Brown G, Wang M, et al. Automatic 2D-to-3D image conversion using 3D examples from the internet[C]//Proceedings of SPIE Stereoscopic Displays and Applications XXⅢ. Burlingame, California, USA: SPIE, 2012: 12.
  • [9] Yuan H X, Wu S Q, Yu H Q, et al. 2D-to-3D method via semantic depth transfer[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(1): 72–80. [袁红星, 吴少群, 余辉晴, 等. 语义级深度迁移的2D转3D算法[J]. 计算机辅助设计与图形学学报, 2014, 26(1): 72–80. ]
  • [10] Cao Y, Kang K, Zhang S J, et al. Automatic tag saliency ranking for stereo images[J]. Neurocomputing, 2016, 172: 9–18. [DOI:10.1016/j.neucom.2014.09.097]
  • [11] Kanungo T, Mount D M, Netanyahu N S, et al. An efficient k-means clustering algorithm:analysis and implementation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 881–892. [DOI:10.1109/TPAMI.2002.1017616]
  • [12] Soille P. Morphological Image Analysis: Principles and Applications[M]. Berlin, Heidelberg: Springer Science & Business Media, 2013.
  • [13] Shi J B, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(8): 888–905. [DOI:10.1109/34.868688]
  • [14] Kim J, Li H, Yue J J, et al. Shape matching using a Self similar affine invariant descriptor[C]//Proceedings of 2016 IEEE International Conference on Image Processing. Phoenix, AZ, USA: IEEE, 2016: 2470-2474. [DOI:10.1109/ICIP.2016.7532803]
  • [15] Liu F, Deng Z R. Denoising algorithm based on adaptive wavelet threshold and bilateral filter[J]. Journal of System Simulation, 2014, 26(12): 2935–2938. [刘芳, 邓志仁. 基于自适应小波阈值和双边滤波器的去噪算法[J]. 系统仿真学报, 2014, 26(12): 2935–2938. ] [DOI:10.16182/j.cnki.joss.2014.12.019]
  • [16] Smith B M, Zhang L, Jin H L. Stereo matching with nonparametric smoothness priors in feature space[C]//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009: 485-492. [DOI:10.1109/CVPR.2009.5206793]
  • [17] Fácil J M, Concha A, Montesano L, et al. Single-view and multi-view depth fusion[J]. IEEE Robotics and Automation Letters, 2017, 2(4): 1994–2001. [DOI:10.1109/LRA.2017.2715400]
  • [18] Zhang Y J, Li S M, Wei J J, et al. Subjective quality evaluation method of stereo image[J]. Acta Photonica Sinica, 2012, 41(5): 602–607. [张英静, 李素梅, 卫津津, 等. 立体图像质量的主观评价方案[J]. 光子学报, 2012, 41(5): 602–607. ] [DOI:10.3788/gzxb20124105.0602]