Print

发布时间: 2021-11-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200475
2021 | Volume 26 | Number 11




    计算机图形学    




  <<上一篇 




  下一篇>> 





单幅植物叶片图像的3维重建
expand article info 任非儿, 刘通, 杨龙
西北农林科技大学信息工程学院, 杨凌 712100

摘要

目的 植物叶片形态复杂,在虚拟场景中很难真实表现。为了从信息量有限的单幅图像中恢复植物叶片的3维形状,本文基于从明暗恢复形状(shape from shading,SFS)的方法,利用亮度统计规律和植物形态特征恢复叶片的3维形状。方法 在SFS的基础上,设计基于图像骨架的距离场偏置加强表面细节;针对SFS对恢复宏观几何形状的不足,提出根据图像亮度统计分布选取控制点控制表面宏观形状变化,并利用叶片中轴的距离场约束恢复宏观几何形状,每种方法对于表面宏观几何形状恢复的权重基于恢复的反射图和输入图像间的相似度设定;将表面细节添加到宏观几何形状上得到目标对象的3维形状。结果 选取植物叶片图像进行实验,并与其他方法进行比较,实验结果表明本文方法增强了表面细节显示,并有明显的宏观几何形状变化。同时为了验证本文方法对其他物体表面细节恢复的适用性,分别对硬币和恐龙恢复表面细节,实验结果表明提出的增强表面细节的方法同样适用于其他物体。结论 针对单幅植物叶片图像的3维重建,在SFS的基础上提出了根据骨架特征加强表面细节,根据图像亮度统计分布和叶片中轴距离场约束共同恢复表面宏观几何形状的算法,实验结果验证了本文方法的可行性。

关键词

3维重建; 从明暗恢复形状(SFS); 单幅图像; 图像骨架; 图像亮度统计; 距离场约束

3D reconstruction of a single plant leaf image
expand article info Ren Feier, Liu Tong, Yang Long
College of Information Engineering, Northwest A & F University, Yangling 712100, China
Supported by: National Natural Science Foundation of China (61702422);Fundamental Research Funds for the Central Universities (2452018146)

Abstract

Objective In recent years, with the continuous improvement of computer hardware performance and the continuous in depth research of virtual plant modeling and landscape design in the fields of film and television and games, plant shape modeling has become possible and necessary. As one of the important organs of plants, leaves have complex physiological and morphological characteristics, which are difficult to represent in virtual scenes. Therefore, 3D reconstruction of plant leaves is a very challenging subject. Current 3D reconstruction methods have two main types. 1) External equipment such as laser or radar are used to measure the distance of the target by transmitting signals and then receiving the signals reflected by the target object to obtain the 3D shape of the surface. 2) Using the principle of binocular vision, two or more images are obtained from different perspectives in the same scene, then the 3D shape of the object is obtained according to the parallax between the images. The former requires the introduction of external equipment, which is costly and difficult to operate, whereas the latter needs to detect and match the feature points between the acquired image sequences due to the reconstruction based on multiple images. The acquisition of a single image is simple, and the problem of feature matching of multiple images is eliminated. However, due to the less information contained in a single image and to recover the 3D shape of plant leaves from the limited information, this paper is based on the method of the shape from shading (SFS) and preprocesses the image to add a priori to the 3D shape estimation. The brightness statistic information obtained from the image and the prior information of plant morphological characteristics are used to recover the final 3D shape of the leaf. Method When restoring the 3D shape of a single plant leaf image, the restoration of the surface shape is divided into two aspects: surface detail and surface macroscopic geometric shape. First, based on SFS, a distance field offset algorithm is designed according to the image skeleton to enhance the surface details of 3D shapes. The edge detection method is used to detect the leaf veins as the skeleton of the image, and the distance from the image skeleton is used as the constraint of the SFS minimization method to enhance the surface detail display. Then, to address the deficiencies of SFS in recovering the macroscopic geometric shape, various factors that affect the macroscopic geometric shape are considered, and the characteristics of leaf surface unevenness and curvature are finally realized. Selecting control points according to the statistical distribution of image brightness is proposed to control the change of the surface macroscopic geometric shape, and the distance field constraint of the blade central axis is used to restore the macroscopic geometric shape. According to the brightness statistics, the image is divided into bright-dark areas, the centroid of the unconnected areas of the bright and dark regions is used as the control point, and the cubic Bezier surface is used to generate the concave and convex characteristics of the blade surface. The overall bending of the blade can be estimated based on the distance from each point of the blade to the central axis because most blades have a certain degree of bending about the central axis and the curvature at the central axis changes the most. The two weights for the restoration of the surface macroscopic geometric shape are set based on the similarity between the restored reflection map and the input image, and the surface details are finally added to the macroscopic geometric shape to obtain the final 3D shape of the target object. Result Plant leaf images are selected for experiments, and their 3D restoration results are compared with those of other methods (including Tsai linear approach, Zheng minimization approach, SIRFS(shape, illumination, and reflectance from shading), and variational approach). Experimental results show that the method proposed enhances the display of surface details and has evident changes in macroscopic geometric shape. To verify the applicability of the method in the restoration of object surface details, namely, recovering the surface details of coins and dinosaurs, the experimental results prove that the proposed method of enhancing surface details is also applicable to other objects. In addition, using the ratio of error to information entropy is proposed to describe the effect of 3D reconstruction of the target. Error describes the accuracy of restoration, and information entropy describes the richness of information. The larger the entropy is, the greater the difference between the depth of restoration, which means larger surface macroscopic geometry changes. When the error is smaller and the information entropy is larger, the ratio of error to information entropy is smaller and the recovery effect is better. Conclusion To address the 3D reconstruction problem of a single plant leaf image, decomposing the problem into two aspects is proposed: surface details and macroscopic geometric shape. Based on SFS, the surface details are enhanced according to the skeleton feature, the surface macroscopic geometric shape is jointly restored using the statistical distribution of image brightness and the axial distance field constraints of the leaves, the final 3D shape is obtained by combining the surface details and the macroscopic geometric shape, and the feasibility of the proposed method is verified by multiple sets of experiments.

Key words

3D restoration; shape from shading(SFS); single image; image skeleton; image brightness statistics; distance field constraint

0 引言

随着计算机硬件性能的不断提升以及虚拟植物建模、景观设计在影视和游戏等领域研究的不断深入,植物的形态建模成为可能。叶片作为植物的重要器官之一,具有复杂的生理特性和形态特征,在虚拟场景中很难真实表现(陆声链等,2009)。基于图像的重建方法由于操作简单且恢复效果较好成为热点,而从单幅图像恢复目标区域的3维形状,由于图像所含信息有限,是3维重建中很有挑战的工作之一(孙宇阳,2011)。

从图像中获得3维形状的方法大多是基于双目视觉原理,在同一场景中从不同视角获取两幅或多幅图像,利用图像间的视差,得到目标的3维形状。但从单幅图像推导3维形状,可利用的信息十分有限,只能依据图像的阴影、纹理和梯度等几何信息来估计表面深度(赵子阳等,2019)。Horn(1970)首先提出了从阴影估计物体形状,并定义了亮度图与表面形状之间映射关系的反射函数,使根据图像亮度恢复物体的深度成为可能。此后的相关研究多是在该理论模型的基础上添加约束条件使问题更容易求解。在Horn(1970)模型的基础上,Zheng和Chellappa(1991)引入梯度约束,既能保证表面的连续性,又保留了表面可能存在的尖锐特征,抗噪性较强,易于稳定收敛(廖熠和赵荣椿,2001须明等,2004)。Tsai和Shah(1994)提出线性化反射函数,将非线性问题转换为线性问题,提高了计算效率但易受图像噪声的影响(Zhang等,1994Zhang等,1999胡志勇等,2007Durou等,2008)。钟方洁等人(2012)利用图像中的明暗信息结合纹理信息恢复3维形状。Barron和Malik(2015)提出SIRFS(shape, illumination, and reflectance from shading)方法,利用训练集对反射率先验、形状先验和光照先验进行学习,然后利用单幅图像恢复3维形状。Quéau等人(2017)构造了自然光照下的变分框架,提出基于偏微分方程的变分求解方法。张淑军和刘文晓(2018)通过对目标提取轮廓及骨架,寻找最优“轮廓—骨架”点对,使点对自动生长,网格化得到3维模型。对于叶片的建模,王立臣等人(2010)提出利用Delaunay三角剖分的优化算法将叶片网格化,然后以叶脉作为变形控制骨架,模拟叶片的弯曲变形效果。李书钦等人(2016)通过田间实测数据获取叶片形态特征参数,确定NURBS(non-uniform rational B-splines)曲面控制点构建叶片3维表面。汪丽萍等人(2017)选取轮廓点创建样条曲线,将样条曲线的交点作为控制点构造叶片表面。

在图像数据量有限,且不引入外部数据的情况下,大多数基于单幅图像恢复3维形状的方法对表面细节的恢复结果较好,但对整体宏观几何形状的恢复效果不突出(苗旺,2020)。为此,本文在从明暗恢复形状(shape from shading, SFS)方法的基础上,通过对图像进行预处理,为3维形状的推算增加先验信息,并将预处理中检测到的叶片骨架作为先验条件,增强目标物体的表面细节。同时,为了改进物体宏观几何形状的恢复效果,根据图像亮度信息的统计分布和叶片中轴(中线附近的主叶脉)的距离场约束推导宏观几何形状,最后合并多尺度3维形状信息生成目标表面。

1 研究基础

由于成像过程将3维物体以2维图像的方式保存,丢失了大量3维信息,所以从单幅图像生成目标3维表面作为成像的逆过程,初始信息有限,问题求解存在不适定性(黄军等,2019),且因为植物叶片表层并不完全遵循朗伯反射定理,需要从图像中提取SFS恢复3维形状需要的明暗信息和其他先验条件。

相机捕获的图像与场景光照、物体材质和表面形状等因素有很大关系,因此,对图像进行本征图像分解(郭银斌,2014Barron和Malik,2015)操作,得到反射率图和亮度图。反射率图反映物体颜色、材质等与周围环境无关的特性,亮度图反映光照环境与物体结构作用后的明暗信息。为了避免镜面反射造成的高光,对分解得到的亮度图利用双边滤波器消除高光(卢桂荣等,2014)。

亮度图反映了光源与物体表面作用后的结果,SFS是在已知光源的条件下构造2维到3维之间的映射。对光源和反射率的估计主要分为全局方法和局部方法两种,区别在于全局方法假设反射率是常数,局部方法假定各点的反射率不同。Zheng和Chellappa(1991)假设表面由球形面片拼合,局部平坦,表面法向量的偏角和倾角互相独立且分布均匀,然后根据图像强度的统计矩,求出表面倾角和偏角的概率密度分布,求解出光源方向,最后利用图像亮度和亮度平方均值求解表面反射率。

SFS从2维图像推导3维形状的原理是当入射光线照射到物体表面,表面会吸收或反射部分光,被表面反射的光进入相机镜头,在底片上成像,因此,图像亮度与光源、物体表面特性和表面形状相关,由于亮度图能获取的只有像素点的位置和亮度值,根据该反射原理,SFS的反射函数模型为

$ \begin{gathered} E(x, y) \approx R(p, q)= \\ \rho \frac{1+p \times p_{s}+q \times q_{s}}{\sqrt{p^{2}+q^{2}+1} \times \sqrt{p_{s}^{2}+q_{s}^{2}+1}} \end{gathered} $ (1)

式中,$ \rho $是表面反射率,反映物体本身的特性,只与物体材质相关,$ \left(p_{s}, q_{s}, 1\right) $为光源方向,$ E\left({x, y} \right) $为图像亮度值,$ R\left({p, q} \right) $为反射函数,$ \left({p, q} \right) $为表面梯度,设$ Z\left({x, y} \right) $是物体表面深度,则

$ p=\frac{\partial Z(x, y)}{\partial x} $ (2)

$ q=\frac{\partial Z(x, y)}{\partial y} $ (3)

反射函数表示图像亮度与几何形状的关系,但对于每个像素点来说,有2个待求的未知量$ \left({p, q} \right) $,而只有一个已知的亮度值$ E\left({x, y} \right) $,所以要引入其他的图像特性作为约束条件限制解的范围。

SFS算法主要分为演化方法、局部方法、最小化方法和线性化方法(廖熠和赵荣椿,2001)。演化方法是从已知形状或者可以求得形状的点出发,向周围扩展,演化出整个表面。局部方法将局部表面的形状假设与反射模型相结合,构造线性偏微分方程组进行求解。最小化方法是将反射模型和其他约束条件构造为能量函数的形式,转化为最优化问题,对该问题求最小值,引入其他约束条件是为了限制解的范围。线性化方法通过线性化反射函数,将非线性问题简化为线性问题,便于求解。演化方法中,图像的奇点易与图像噪声混淆;局部方法的假设对自然表面很难满足(廖熠和赵荣椿,2001)。

SFS的线性化方法首先将函数$ f $关于深度$ Z $的线性逼近用泰勒级数展开,然后利用雅可比迭代求解,简化后可得

$ \begin{gathered} 0 \approx f(Z(x, y)) \approx f\left(Z^{n-1}(x, y)\right)+Z(x, y)- \\ Z^{n-1}(x, y) \frac{\mathrm{d} f\left(Z^{n-1}(x, y)\right)}{\mathrm{d} Z(x, y)} \end{gathered} $ (4)

式中,第$ n $次迭代的深度求解为

$ \left.Z^{n}(x, y)\right)=Z^{n-1}(x, y)-\frac{\mathrm{d} f\left(Z^{n-1}(x, y)\right)}{\mathrm{d} Z(x, y)} $ (5)

假设所有点的初始深度值为0,然后迭代式(5)可得到最终的$ Z $

SFS的最小化方法是通过构造包含亮度约束和其他约束的能量函数并使其最小化,从而求解出深度值。为了减少实际图像中噪声对结果的影响,约束方程引入光强误差作为亮度约束,具体为

$ E_{1}=\iint(I-R)^{2} \mathrm{~d} x \mathrm{d} y $ (6)

式中,$ I $是测量强度,$ R $是估计的反射强度。

引入其他约束条件,构造整体误差表达式,具体为

$ e=E_{1}+\lambda \times E_{2}+\mu \times E_{3} $ (7)

式中,$ E_2 $$ E_3 $表示可选择的其他约束表达式,$ \lambda $$ \mu $是对应的加权因子。

SFS的线性化方法计算简单,但由于该方法将反射函数线性化,导致最终结果只是对真正解的一种近似,始终存在系统误差,且受图像质量影响较大;最小化方法的鲁棒性相对较高,在理论上可以无限逼近正解(廖熠和赵荣椿,2001)。两种方法对表面细节的恢复较好,但几乎没有宏观几何形状的起伏,对全局重建效果不佳(苗旺,2020)。

2 单幅叶片图像3维重建方法

对图像进行预处理,以便从图像中提取更多有效信息,将3维形状恢复分解为表面细节和整体宏观几何形状恢复两个方面,算法步骤如图 1所示。

图 1 单幅叶子图像恢复3维形状的实现步骤
Fig. 1 Steps for realizing the restoration of three-dimensional shape from a single leaf image

2.1 图像预处理

对输入图像进行预处理,提取目标主体,改善图像质量,为推导3维形状提供更多的线索。首先,使用Chan-Vese方法检测图像中目标主体并标记前景和背景,最大程度降低背景对恢复结果的影响,并找到目标主体的边界,增加约束条件,限制解的范围,有助于形状的恢复。其次,对图像进行本征图像分解,得到亮度图和反射率图,然后对亮度图利用双边滤波器消除高光,接下来对亮度图进行多尺度细节提升操作,选取不同尺度的高斯模糊来增强图像的细节特征。最后,将Canny算子边缘检测的结果视为目标主体的骨架。

2.2 2维图像推导3维形状

SFS恢复的3维形状有较清晰的表面细节,但是几乎没有明显的宏观几何形状表现。在图像预处理的基础上,利用图像骨架特征作为约束条件提升表面细节的恢复效果,同时,基于叶片在中轴处弯折的特性和图像亮度分布规律对宏观几何形状进行恢复。

2.2.1 表面细节恢复

SFS的最小化方法鲁棒性高,但相较于线性化方法求解速度慢,线性化方法的求解速度快,但易受图像噪声的影响(须明等,2004),因此,将线性化方法与最小化方法结合,在图像预处理结果的基础上,利用线性化方法获得最小化方法的初始值。在已知光源方向和表面反射率等信息的条件下,先利用线性化方法初步恢复出物体的深度值,以该值作为最小化方法的初始值,迭代求解出最优深度值。

本文使用的最小化方法的能量函数包含亮度约束(重建图像与输入图像的总亮度误差)、光滑性约束(保证曲面的连续性)和强度梯度约束(保证曲面本身锐化的性质)。

光滑性约束定义为

$ E_{2}=\iint\left(p_{x}^{2}+p_{y}^{2}+q_{x}^{2}+q_{y}^{2}\right) \mathrm{d} x \mathrm{d} y $ (8)

式中,$ p_{x}, p_{y}, q_{x}, q_{y} $分别为$ p, q $$ x, y $方向上的偏导。

因为图像是离散的像素点,离散化的表面方向$ \left({{Z_x}, {Z_y}} \right) $与连续的表面方向$ \left({p, q} \right) $之间存在一定误差,所以引入的梯度约束表示为

$ E_{3}=\iint\left(Z_{x}-p\right)^{2}+\left(Z_{y}-q\right)^{2} \mathrm{~d} x \mathrm{d} y $ (9)

叶脉作为植物叶片的重要特征对3维形状的推导有重要意义,分为主脉、侧脉和细脉。主脉是从叶根到叶尖的最宽脉络,也叫中轴,侧脉和细脉呈羽状分布。经边缘检测得出的叶脉骨架附近存在较大的亮度变化,亮度变化意味着几何形状的变化,因此,在最小化方法中加入叶脉骨架距离场偏置增强表面细节的恢复。距离场是各像素距离边缘检测得出的骨架的最小像素距离,单位像素距离指相邻两个像素之间的距离。距离场偏置既要突显出骨架处的特征,又要保证表面连续性。骨架距离场偏置示意图如图 2所示,其中五角星表示检测的骨架位置,正方形表示距离骨架较近的点,圆形表示距离较远的点,骨架及距离骨架较近的点形状变化明显,而距离较远的点形状几乎不变。距离场偏置定义为

$ E_{\mathrm{DC}}=a \times \mathrm{e}^{\frac{b}{s}}+c $ (10)

图 2 骨架距离场偏置示意图
Fig. 2 Skeleton distance field offset diagram

式中,$ s $是当前像素到最近骨架的像素距离,$ a $控制骨架处的凸显程度,$ b $控制随着距离的增加,深度变化的趋势,$ c $为常数,本文中$ c=0 $。偏置后的结果如图 2中三角形位置所示。

在第1次迭代时加入距离场偏置,凸显表面细节,之后的迭代过程中利用光滑约束和梯度约束来不断优化表面细节,图 3(a)是仅使用骨架距离场偏置的结果,表面连续,骨架特征较清晰。利用上述方法对不同高斯模糊尺度下细节特征增强的结果恢复出多尺度深度值,得到包含不同形状信息的细节层,最后将这些细节层融合得到最终的表面细节$ {Z_{\rm{D}}} $,结果如图 3(b)所示。

图 3 表面细节恢复
Fig. 3 Surface detail restoration
((a)skeleton distance field; (b)final surface details)

2.2.2 宏观几何形状恢复

在宏观几何形状的推理中,需要考虑多种影响宏观几何形状的因素,实现叶面凹凸和弯曲的特征。本文利用亮度分布和到叶片中轴的距离恢复宏观几何形状。

图 4(a)为单幅图像获得的亮度信息统计。利用差分法计算得到相邻亮度值对应的像素点数量差的最大值和最小值,将最大值和最小值对应的亮度值作为亮暗分区的阈值,计算方法为

$ \phi_{+}=\arg \max \left\{f_{i}-f_{i+1}\right\},\ i \in[0,254] $ (11)

$ \phi_{-}=\arg \min \left\{f_{i}-f_{i+1}\right\},\ i \in[0,254] $ (12)

图 4 亮度统计规律分区结果
Fig. 4 Division results of brightness statistics
((a)brightness statistics histogram; (b)bright and dark partition results)

式中,$ f_i $表示亮度$ i $的频数,图像中亮度值小于$ {\phi _-} $的为暗区,大于$ {\phi _+} $的为亮区,分区结果如图 4(b)所示。

将亮暗分区不连通区域的质心作为控制点(见图 5(a)),利用三次贝塞尔曲面恢复出宏观几何形状$ {Z_{\rm{b}}} $(如图 5(b)),可以看出叶片中间的暗区有凹陷,叶尖的亮区部分有凸起,图像中的亮暗分区与3维形状的凹凸基本对应。

图 5 控制点恢复的宏观几何形状
Fig. 5 Macroscopic geometry of control point restoration
((a)control points; (b)restored macro geometry)

大多数叶片关于中轴具有一定程度的弯折,且中轴处曲率变化最大。因此,基于叶片各点到中轴的距离,可以推测出叶片整体的弯折情况。采取交互方法在中轴处手动选取操作点,然后用曲线拟合得到叶片中轴。

将叶片弯折的方向定义为正面,则距离叶片中轴越近的位置曲率变化较大,深度值越小。叶片中轴的距离场约束定义为

$ Z_{\mathrm{mDC}}=\sqrt{d} $ (13)

式中,$ d $是当前像素点到中线的像素距离。

对叶子中轴距离场约束的宏观几何形态恢复结果如图 6所示,可以看出叶片关于中轴有一定的形态变化,较为符合叶子的真实形态。

图 6 中轴距离场约束恢复的宏观几何形状
Fig. 6 Macroscopic geometric shapes recovered from the constrained recovery of the central axis distance field
((a)blade axis; (b)recovery result from view 1;(c)recovery result from view 2)

将计算得到的表面形状$ {Z_{\rm{b}}} $$ {Z_{\rm{mDC}}} $分别代入反射函数(式(1))求得亮度图$ {\boldsymbol{R}_{\rm{b}}} $$ {\boldsymbol{R}_{\rm{mDC}}} $,与原图像的亮度值进行相似度对比,并以对比结果作为其对最终宏观几何形状的权重$ {\lambda_{\rm{b}}} $$ {\lambda_{\rm{mDC}}} $,最终的宏观几何形状计算公式为

$ Z_{\mathrm{H}}=\lambda_{\mathrm{b}} \times Z_{\mathrm{b}}+\lambda_{\mathrm{mDC}} \times Z_{\mathrm{mDC}} $ (14)

最后将计算所得的微观表面结果作为细节层,添加到宏观几何形状上,得到叶片的3维表面形状恢复结果$ Z $(如图 7所示),即

$ Z=Z_{\mathrm{b}}+Z_{\mathrm{H}} $ (15)

图 7 最终3维形状
Fig. 7 Final three-dimensional shape
((a)view 1;(b)view 2)

3 实验结果与讨论

为了验证本文方法的有效性和准确性,设计了7组对比实验,展示了本文方法对叶子3维形状及其他物体表面细节的恢复效果。

图 8为本文方法与Tsai线性化方法(Tsai和Shah,1994)、Zheng最小化方法(Zheng和Chellappa,1991)、SIRFS方法(Barron和Malik,2015)和变分方法(Quéau等,2017)对单幅植物叶片图像表面细节的恢复结果对比,从上至下依次为叶片1、叶片2、叶片3、叶片4和叶片5,图中展示了两个视角的恢复结果。图 9为本文方法与Tsai线性化方法和Zheng最小化方法对单幅硬币和恐龙图像表面细节的恢复结果对比。图 8图 9对本文方法有优势的地方用红圈标示。Tsai线性化方法的恢复结果如图 8(b)所示,纹理比较清晰,但该方法易受图像噪声的影响,鲁棒性低。如图 9(b)中硬币的恢复结果,在数字“1”附近由于噪声的影响恢复效果较差。Zheng(Zheng和Chellappa, 1991)的结果如图 8(c)所示,叶片表面纹理不明显,相比于Tsai线性化方法的恢复结果具有一定差距,但鲁棒性较高,如图 9(c)硬币的恢复结果,数字“1”附近的噪声对恢复结果影响不大。上述方法对叶片表面细节的恢复有较好的表现,但没有考虑叶片的宏观几何形态(叶片的凹凸和弯折)。本文方法基于线性化方法提供初始深度值,利用最小化方法优化叶片表面细节,使用骨架距离场偏置增强最小化方法恢复表面细节,并基于亮度统计找出分布于不同亮度区域的控制点对叶片表面进行三次贝塞尔曲面拟合,利用叶片中轴的距离场条件约束表面形状,恢复叶片的宏观几何形态。本文方法对5种不同叶片的表面细节恢复结果和整体表面形态如图 8(g)所示,相较于前两种方法,本文方法的恢复结果表面细节更清晰,并具有更明显的宏观几何形状。SIRFS方法利用训练集得到关于反射率、形状和光照的先验,根据图像的先验信息约束来推断单个图像最有可能的3维形状。变分方法构造了自然光照下SFS通用的数值框架,增加了形状先验和非线性平滑项。通过观察实验结果,注意到SIRFS方法表面细节不太清晰,但有明显的几何形状变化(图 8(d)),而变分法恢复结果有一部分细节明显,但无明显的宏观形状变化(图 8(e))。使用本文的控制点恢复结果(图 8(f))与SIRFS和变分法结果进行比较,本文方法的结果更符合真实的叶片凹凸特性。

图 8 不同方法对单幅植物叶片图像的表面细节恢复结果
Fig. 8 Recovery detail restoration results of single plant leaf images by different methods
((a)original images; (b)Tsai linear approach(Tsai and Shah, 1994); (c)Zheng minimization approach(Zheng and Chellappa, 1991); (d)SIRFS(Barron and Malilk, 2015); (e)variational approach(Quéau et al., 2017); (f)our control point method; (g)ours)
图 9 不同方法对单幅硬币和恐龙图像的表面细节恢复结果
Fig. 9 Surface detail restoration results of single coin and dinosaur images by different methods
((a)original images; (b)Tsai linear approach(Tsai and Shah, 1994); (c)Zheng minimization approach(Zheng and Chellappa, 1991); (d)ours from view 1;(e)ours from view 2)

在仅有单幅图像,不引入外部数据的情况下,SFS算法只能得出相对的3维形状,所以其重建效果与立体视觉重建效果或其他数据进行定量对比是无意义的(苗旺,2020)。为了验证本文方法的有效性,用误差—信息熵之比来衡量恢复效果。误差是将所求3维形状根据成像原理利用反射函数计算得到的亮度结果与输入图像的亮度信息进行误差分析;信息熵用来描述信息的丰富程度,熵值越大表明恢复的深度之间差异越大,表面几何形态变化越大。误差越小,信息熵越大时,误差—信息熵之比越小,恢复效果越好。误差—信息熵之比计算为

$ e r r=\frac{\sum\limits_{i=1, j=1}^{M, N}\left|R_{i, j}-I_{i, j}\right|}{M \times N \sum\limits_{Z=0}^{Z_{\max }}\left|P(Z) \log _{2} P(Z)\right|} $ (16)

式中,$ R_{i, j} $表示像素$ \left({i, j} \right) $处估计的亮度值,$ I_{i, j} $为测量亮度值,$ M $$ N $表示图像的像素大小$ P\left(Z \right) = {n_Z}/(M \times N), {n_Z} $表示对应深度值的数量。不同方法对叶子3维重建的误差—信息熵之比如表 1所示。

表 1 不同方法对叶子3维重建的误差—信息熵之比
Table 1 Error-Information entropy ratio of 3D reconstruction of leaves by different methods

下载CSV
方法 叶片1 叶片2 叶片3 叶片4 叶片5
Tsai线性化(Tsai和Shah, 1994) 0.282 1 0.143 7 0.217 0 0.111 6 0.249 0
Zheng最小化(Zheng和Chellappa, 1991) 0.226 8 0.262 4 0.383 5 0.160 3 0.356 2
SIRFS(Barron和Malik, 2015) 0.107 1 0.141 0 0.124 2 0.152 4 0.283 5
变分法(Quéau等, 2017) 0.285 4 0.136 0 0.117 8 0.064 9 0.245 9
本文控制点 0.055 5 0.178 0 0.064 5 0.015 0 0.175 5
本文 0.053 2 0.085 0 0.092 7 0.082 6 0.191 4
注:加粗字体表示各列最优结果。

虽然本文方法是针对单幅叶片图像的3维形状恢复,但也适用于其他物体基于单幅图像的表面细节恢复。本文方法与Tsai线性化方法(Tsai和Shah, 1994)和Zheng最小化方法(Zheng和Chellappa, 1991)对硬币和恐龙的单幅图像进行3维重建的误差—信息熵之比如表 2所示。可以看出,对其他物体表面细节的恢复,本文方法相较对比方法仍具有一定优势。

表 2 不同方法对其他物体3维重建的误差—信息熵之比
Table 2 Error-Information entropy ratio of 3D reconstruction of other objects by different methods

下载CSV
方法 硬币 恐龙
Tsai线性化(Tsai和Shah, 1994) 0.028 9 0.146 6
Zheng最小化(Zheng和Chellappa, 1991) 0.330 1 0.335 2
本文 0.023 5 0.143 1
注:加粗字体表示各列最优结果。

4 结论

针对单幅图像的3维形状恢复,SFS方法对表面细节恢复有比较好的表现,但是未考虑物体的宏观几何形状变化。本文在图像数据量有限,且不引入外部数据的情况下,针对单幅叶片图像进行3维形状恢复,利用SFS线性化方法的深度值结果作为最小化方法的初始深度值,同时为最小化方法引入距离场偏置,既保证了表面的连续性,又使得恢复的3维表面细节更加突出。此外,根据图像明暗信息的统计分布,将图像分割为不同亮度区域,并在不同亮度区域确定控制点,在此基础上,利用三次贝塞尔曲面对叶片表面进行拟合,恢复叶片的凹凸特征。为了恢复叶片整体的弯折特征,提出了关于叶片中轴的距离场约束,两者结合对叶片的整体形状具有较好的恢复效果。

针对算法的可靠性设计了5组对比实验。结果表明,本文方法恢复的叶片表面细节清晰可靠,并且有较好的宏观几何形状。另外设计了2组实验表明本文方法同样适用于其他物体的表面细节恢复。但基于中轴的距离场约束是针对叶片的特性提出的,并不具备通用性。此外,若图像中存在阴影遮挡,则遮挡部分的细节难以恢复。

未来将进一步优化本文方法,提高计算效率,同时基于本文方法的恢复结果,结合不同的环境模型,模拟叶片在不同条件下的形态变化,使其有更广泛的应用。

参考文献

  • Barron J T, Malik J. 2015. Shape, illumination, and reflectance from shading. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(8): 1670-1687 [DOI:10.1109/TPAMI.2014.2377712]
  • Durou J D, Falcone M, Sagona M. 2008. Numerical methods for shape-from-shading: a new survey with benchmarks. Computer Vision and Image Understanding, 109(1): 22-43 [DOI:10.1016/j.cviu.2007.09.003]
  • Guo Y B. 2014. Research on Intrinsic Image Decomposition Algorithm and Its Applications. Xiamen: Xiamen University (郭银斌. 2014. 本征图像分解算法研究及其应用. 厦门: 厦门大学)
  • Horn B K P. 1970. Shape from Shading: A Method for Obtaining the Shape of a Smooth Opaque Object from One View. Technical Report 232. Massachusetts Institute of Technology: 1-198
  • Hu Z Y, Liang F Z, Zhang X F, Zhou J. 2007. The current situation and trends of shape from shading. Journal of Zhengzhou University of Light Industry(Natural Science), 22(2/3): 182-185 (胡志勇, 梁发周, 张秀芬, 周洁. 2007. 明暗恢复形状技术研究进展. 郑州轻工业学院学报(自然科学版), 22(2/3): 182-185) [DOI:10.3969/j.issn.1004-1478.2007.02.053]
  • Huang J, Wang C, Liu Y, Bi T T. 2019. The progress of monocular depth estimation technology. Journal of Image and Graphics, 24(12): 2081-2097 (黄军, 王聪, 刘越, 毕天腾. 2019. 单目深度估计技术进展综述. 中国图象图形学报, 24(12): 2081-2097) [DOI:10.11834/jig.190455]
  • Li S Q, Zhu Y P, Liu H L, Li S J, Liu D, Zhang H Y, Li Z Y. 2016. Research and realization of wheat leaf three-dimensional visualization based on NURBS surface. Journal of Agricultural Science and Technology, 18(3): 89-95 (李书钦, 诸叶平, 刘海龙, 李世娟, 刘丹, 张红英, 李中阳. 2016. 基于NURBS曲面的小麦叶片3维可视化研究与实现. 中国农业科技导报, 18(3): 89-95) [DOI:10.13304/j.nykjdb.2015.641]
  • Liao Y, Zhao R C. 2001. Analysis and evaluation of several typical SFS algorithms. Journal of Image and Graphics, 6(10): 953-961 (廖熠, 赵荣椿. 2001. 从明暗恢复形状(SFS)的几类典型算法分析与评价. 中国图象图形学报, 6(10): 953-961) [DOI:10.3969/j.issn.1006-8961.2001.10.002]
  • Lu G R, Tang J F, Jiang M. 2014. Research on image highlight removal based on fast bilateral filter. Computer Engineering and Applications, 50(10): 176-179, 207 (卢桂荣, 汤景凡, 姜明. 2014. 基于快速双边滤波的图像高光去除研究. 计算机工程与应用, 50(10): 176-179, 207) [DOI:10.3778/j.issn.1002-8331.1310-0359]
  • Lu S L, Guo X Y, Li C F. 2009. Research on techniques for accurate modeling and rendering 3D plant leaf. Journal of Image and Graphics, 14(4): 731-737 (陆声链, 郭新宇, 李长锋. 2009. 3维植物叶片精确建模和绘制技术研究. 中国图象图形学报, 14(4): 731-737) [DOI:10.11834/jig.20090426]
  • Miao W. 2020. 3D Reconstruction of Soft Tissue Image Based on Binocular Endoscope. Chengdu: University of Electronic Science and Technology of China (苗旺. 2020. 基于双目内窥镜的软组织图像3维重建. 成都: 电子科技大学)
  • Quéau Y, Mélou J, Castan F, Cremers D and Durou J D. 2017. A variational approach to shape-from-shading under natural illumination//Proceedings of the International Workshop on Energy Minimization Methods in Computer Vision and Pattern Recognition. Venice, Italy: Springer: 342-357[DOI: 10.1007/978-3-319-78199-0_23]
  • Sun Y Y. 2011. A survey of 3D reconstruction based on single image. Journal of North China University of Technology, 23(1): 9-13 (孙宇阳. 2011. 基于单幅图像的3维重建技术综述. 北方工业大学学报, 23(1): 9-13) [DOI:10.3969/j.issn.1001-5477.2011.01.002]
  • Tsai P S, Shah M. 1994. Shape from shading using linear approximation. Image and Vision Computing, 12(8): 487-498 [DOI:10.1016/0262-8856(94)90002-7]
  • Wang L C, Huai Y J, Yang G, Luo D. 2010. Research on realism leaves modeling and rendering in virtual botany. Computer Simulation, 27(5): 204-208 (王立臣, 淮永建, 杨刚, 罗岱. 2010. 虚拟植物叶片的可视化建模技术研究. 计算机仿真, 27(5): 204-208) [DOI:10.3969/j.issn.1006-9348.2010.05.050]
  • Wang L P, He H J, Yang H Y. 2017. Three-dimensional shape modeling and real-time color rendering of rice leaf. Computer Engineering and Applications, 53(24): 187-190 (汪丽萍, 何火娇, 杨红云. 2017. 水稻叶片3维建模与叶色渲染. 计算机工程与应用, 53(24): 187-190) [DOI:10.3778/j.issn.1002-8331.1606-0328]
  • Xu M, Liao Y, Zhang Y N, Zhao R C. 2004. Analyzing the minimization methods of shape from shading. Computer Engineering and Applications, 40(2): 20-22 (须明, 廖熠, 张艳宁, 赵荣椿. 2004. Shape From Shading最小化方法分析. 计算机工程与应用, 40(2): 20-22) [DOI:10.3321/j.issn:1002-8331.2004.02.007]
  • Zhang R, Tsai P S, Cryer and Shah. 1994. Analysis of shape from shading techniques//Proceedings of 1994 IEEE Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE: 377-384[DOI: 10.1109/CVPR.1994.323854]
  • Zhang R, Tsai P S, Cryer J E, Shah M. 1999. Shape-from-shading: a survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 21(8): 690-706 [DOI:10.1109/34.784284]
  • Zhang S J, Liu W X. 2018. Skeleton-based single image 3D reconstruction. Computer and Digital Engineering, 46(5): 997-1002 (张淑军, 刘文晓. 2018. 基于骨架的单幅图像3维建模. 计算机与数字工程, 46(5): 997-1002) [DOI:10.3969/j.issn.1672-9722.2018.05.030]
  • Zhao Z Y, Jiang M R, Huang Y Q, Hao J Y, Zeng K. 2019. Single image depth estimation algorithm based on SFS and binocular model. Computer Science, 46(S1): 161-164 (赵子阳, 蒋慕蓉, 黄亚群, 郝健宇, 曾科. 2019. 结合SFS和双目模型的单幅图像深度估计算法. 计算机科学, 46(S1): 161-164)
  • Zheng Q, Chellappa R. 1991. Estimation of illuminant direction, albedo, and shape from shading. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(7): 680-702 [DOI:10.1109/34.85658]
  • Zhong F J, Xiao Z T, Zhang F. 2012. Shape recovery algorithm based on both shading and texture information. Journal of Tianjin Polytechnic University, 31(3): 60-64 (钟方洁, 肖志涛, 张芳. 2012. 一种结合明暗信息和纹理信息的形状恢复算法. 天津工业大学学报, 31(3): 60-64) [DOI:10.3969/j.issn.1671-024X.2012.03.015]