Print

发布时间: 2018-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170642
2018 | Volume 23 | Number 9




    综述    




  <<上一篇 




  下一篇>> 





基于3维模型的数字浮雕生成技术
expand article info 王美丽1,3, 杨丽莹1, 耿楠1,3, 何东健2,3
1. 西北农林科技大学信息工程学院, 杨凌 712100;
2. 西北农林科技大学机械电子工程学院, 杨凌 712100;
3. 农业农村部农业物联网重点实验室, 杨凌 712100

摘要

目的 浮雕是雕塑艺术的一种,根据其空间结构和用途的不同分为高浮雕、浅浮雕和凹浮雕3类。随着数字化技术和3D打印技术的发展,数字化浮雕的生成技术已经成为近年来计算机图形学领域的研究热点之一,从3维模型生成浮雕以其真实自然的效果成为浮雕生成的主要方法之一。为了使即将进入该领域的学者尽快了解该方法的现状和发展趋势,本文对3种类型的浮雕生成技术进行了系统的综述。方法 介绍了3种类型的浮雕生成技术,着重比较分析了基于3维网格模型的数字浅浮雕生成过程中的关键技术,存在问题及解决方案。针对复杂3维网格模型在生成数字凹浮雕过程中存在的部分细节信息丢失、特征线类型体现形式不完善、线条与形体间的过渡尚未解决、生成浮雕效果不自然等具体问题,提出了适用于3维复杂网格模型生成数字凹浮雕的研究方案。同时,从角色动画序列出发,对最优浮雕的生成技术进行了探讨,探讨结合信息熵理论计算选择最佳动作及观察视角的场景,还原艺术家的创作过程,为适用于面向3维打印的用户浮雕产品定制服务提供了可行的解决方案。结果 基于3维模型的浮雕生成方法是生成数字浮雕的一种重要方法,如何通过压缩和细节保持相关算法得到效果自然的浮雕模型一直是研究者们研究的热点问题。结论 虽然由3维模型生成数字浮雕是一种行之有效的方法,但是仍存在细节信息丢失、线条过渡不自然、特征线类型不完善等几个值得继续研究的问题,另外一个值得研究的问题就是如何智能地从3维动画序列生成浮雕。

关键词

浅浮雕; 凹浮雕; 细节保持; 非线性压缩; 最佳视角; 最佳姿态; 3D打印

Survey and prospect of 3D model-based digital relief generation
expand article info Wang Meili1,3, Yang Liying1, Geng Nan1,3, He Dongjian2,3
1. College of Information Engineering Northwest A & F University, Yangling 712100, China;
2. College of Mechanical and Electronic Engineering Northwest A & F University, Yangling 712100, China;
3. Key Laboratory of Agricultural Internet of Things, Ministry of Agriculture and Rural Affairs, Yangling 712100, China
Supported by: National Natural Science Foundation of China(61402374); National High Technology Research and Development Program of China(2013AA102304); Key Laboratory of Agricultural Internet of Things, Ministry of Agriculture and Rural Affairs, Yangling, Shaanxi 712100, China(2018AI07-09)

Abstract

Objective Relief art is a type of sculpture that can be categorized into high, bas, and sunken reliefs in accordance with space structure and application. High relief is characterized by height above 50% of the original mesh depth. Bas relief has a height below 50% of the original mesh depth. Sunken relief is always obtained by carving an object into a background plane. In modern industrial production, relief has a broad application in producing nameplates, coins, architectural decorations, and others. Currently, two main methods are available to generate digital reliefs:2D image-based and 3D mesh-based methods. Most 2D image-based methods usually generate digital relief by feature extraction and 3D reconstruction technologies. However, 2D images cannot convey the depth of 3D mesh. 3D mesh-based methods always obtain digital relief by compression and detail preservation technologies. Digital relief generation based on 3D mesh is a recently emerging research topic with the development of digital technology and 3D printing. This method has become one of the hot topics to generate digital reliefs from 3D models in computer graphic fields. Therefore, this paper presents a literature review to support scholars in gaining further insights into the frontier development of the topic. Method Three types of digital relief generation techniques were systematically analyzed, and the key technologies, problems, and solutions in the process of digital bas-relief generation were examined and compared. Although digital high-relief and bas-relief generation has been widely investigated, spaces remain to be explored for the sunken relief. Currently, some drawbacks are present in generating sunken reliefs with a complex model:detailed information is missing, the line type has not achieved a good embodied form, the transition between the lines and the body was not achieved, and the generated sunken relief is not vivid and natural. This paper provides a solution for generating digital sunken reliefs from 3D complex models. To investigate the technology of optimal relief generation, this paper starts from the character animation sequence and calculates the optimal action and perspective of the scene with the information entropy theory aiming to recover the creation process of artists. The investigation work aims to provide a feasible solution for user customization and 3D printing relief production services. Result This process is one of the main methods to generate a piece of relief from 3D models. Considering high and bas reliefs, numerous researchers have studied several methods, which we categorize into two classes. One is based on human visual information and relief is generated by compressing the 3D model. Although this algorithm is simple, most relief details are lost during compression. The other class is based on several geometrical operations. This algorithm is good in preserving details but always needs to solve the Poisson equation, which requires several calculations and has low efficiency. Furthermore, this algorithm can easily generate local deformation, and sometimes, human interactions, such as adjusting parameters, are necessary to achieve the desired effect. At present, the process of how to obtain a vivid effect through compression and detail preservation has been a hot topic. Sunken relief always conveys information by lines. However, existing methods have not considered the manifestations of three types of lines, namely, main, inner, and fine shadow lines. A simple line arrangement could not show a complete sunken relief. Moreover, transition between the lines is necessary to generate a vivid and natural sunken relief. For these problems, some research is consequential, such as investigating different embodied forms of various types of lines and setting different engraving depths and locations for various types of lines for a smooth transition between the lines and the body. On the basis of relief generation, two important studies exist, that is, the selections of best attitude and perspective. In addition, the process of how to achieve an optimal relief through intelligent algorithms is worth discussing. This case will reduce the difficulty encountered by artists and sculptors in the process of carving. Selecting the best posture from an animation sequence is similar to the problem of key frame extraction. Furthermore, the best perspective can provide more important information than other perspectives. Thus, using the information entropy theory is a feasible scheme for optimal relief generation from an animation sequence. In addition, current digital relief generation methods cannot composite models considering the spatial structure and importance of characters. Combination model relief should not be generated by simply compositing several models together. Conclusion Generating a digital relief from 3D models is an effective method. However, the processes of obtaining additional details and line types, creating the transition between lines, and intelligently generating the 3D bas relief automatically from the 3D animation sequence also pose certain problems.

Key words

bas relief; sunken relief; details reservation; non-linear compression; the best perspectives; the best attitude; 3D printing

0 引言

雕塑是一种重要的3维造型艺术,用来展示具有一定寓意、象征或象形的观赏物和纪念性物体。浮雕是雕塑艺术的一种,它伴随着人类社会的发展而产生。最初山洞中的原始岩画和雕刻,是浮雕的一种原始形态。浮雕按照其所占空间和用途的不同可分为高浮雕,浅浮雕和凹浮雕3类[1],高浮雕指其高度为原始雕塑高度的50%以上,浅浮雕指其高度为原始雕塑高度的50%以下,凹浮雕指将对象刻进背景平面,3种类型的浮雕效果如图 1所示。时至今日,浮雕仍然具有非常广泛的应用,浮雕产品既可以作为单件艺术品,又可以作为装饰品来修饰家具、墙体等。

图 1 3种浮雕类型
Fig. 1 Three types of relief
((a) high relief; (b) bas relief; (c) sunken relief)

传统浮雕由手工制作完成,不仅费时费力,而且一旦制成浮雕产品就不能修改。数字浮雕较传统浮雕具有易保存、可编辑的优点,并且可以作为计算机辅助制造的输入,用来生产浮雕产品,也可作为一种独特的艺术形式,为教育、娱乐等领域提供一种全新的展现形式。特别是近年来随着3D打印技术的日益成熟,浮雕产品的个性化定制需求剧增。因此,对数字浮雕的生成技术也提出了更高要求。

目前,数字浮雕生成方法的研究主要有基于图像和基于3维网格模型两种。基于图像的浮雕生成方法利用特征提取、3维重建等技术实现从2维图像生成3维浮雕[2-4],基于图像的浮雕生成技术不能表达3维网格模型的深度信息,因此本文围绕近年来3维建模的研究热点之一——基于3维网格模型的数字浮雕生成技术展开讨论。

对3维网格模型在给定视觉方向上进行深度压缩,是目前数字浮雕生成的一种新方法。这种方法允许重用现有的3D模型,可以比较容易地生成高浮雕,然而浅浮雕并不能够完全依靠直接压缩原始模型而获得,原因在于浅浮雕不同于一般的雕塑,其所占空间小,但细节信息却极为丰富,同时受到浮雕造型设计、空间组织等一系列因素影响。目前多数浮雕生成算法[5-7]可以在压缩率高(接近于0.02)的情况下保留完整的细节信息,并且具有很好的视觉效果。本文拟从信息增强方式、压缩方式、压缩函数选取及存在问题等方面比较分析现有数字浅浮雕生成技术。

针对数字凹浮雕的生成,研究基础还比较薄弱,对于简单模型,部分算法可以取得很好的凹浮雕效果[8-11],但是对于细节信息丰富的复杂模型,尚未有很好的增强和保持细节的解决方案。本文针对该问题指出可以通过研究3维模型细节信息增强技术、表面显著性信息提取技术、特征线提取及表示技术等来进行凹浮雕生成技术研究。

目前,3种数字浮雕生成技术主要集中在基于3维静态模型的浮雕生成上,然而众所周知,在实际应用中,雕刻家们需要找到雕刻对象的最佳姿态和视角,因而本文拟在数字浮雕生成技术上,对智能优化浮雕生成技术进行展望,讨论从现存海量动画(以角色动画为例)数据中智能提取最佳静态场景,拟结合信息熵理论,通过定义动作和投影的熵值来获取最佳的姿态和视角生成一个静态场景,进而生成各类浮雕模型,从而还原艺术家的创作过程,并且可以对浮雕产品的个性化定制与文物数字化提供有力参考。

基于3维模型的浮雕生成技术需要进行以下3个方面的研究:

1) 高度场空间压缩指的是通过从梯度域、空间域和混合域空间实现3维模型的高度场的压缩,从而生成浮雕模型,且不同的压缩函数,压缩率的选取都会影响浮雕的生成效果。现有研究将浅浮雕的压缩率定义为2%,通过研究不同的压缩算法,使得在有限的体积厚度内保持模型的外形轮廓和视觉效果。

2) 细节增强。直接对3维模型进行压缩,生成浮雕模型后视觉显著特征会变得模糊甚至丢失,因此如何在压缩模型的同时保留模型的细节特征,保证浮雕细节丰富,效果生动也是浮雕生成研究中的关键环节之一。

3) 特征提取。针对数字凹浮雕的生成,需要突出特征线条的重要性,因此研究如何从3维网格模型中提取特征线条和轮廓线是生成3维凹浮雕的基础。

此外,对于智能最优浮雕编辑还需考虑结合计算机视觉和认知心理学,利用选择最佳视角、信息熵等技术优化浮雕生成过程和效果。

1 高浮雕生成技术分析

Cignoni等人[12]首次开发了一个基于3维模型的计算机辅助浮雕建模系统,该系统利用视场空间生成具有透视效果的高度场,使用压缩率与高度成反比的线性压缩方法来实现浮雕生成。这种方法比较适合高浮雕的生成。Arpa等人[13]提出了一个半自动高浮雕合成技术,为了能够将3维模型有效投射在背景平面上,需要考虑解决模型不同深度部分的不连续性及整体的连续性。首先通过用户选择一些投射点,重新计算坐标,然后将模型对应到平面上,对于整体也会进行一个范围内的压缩来保持连续性,这种方法的缺点是需要大量用户交互,以生成合适的高浮雕模型。

Wang等人[14]提出了一种有效的、能够自动从3维网格模型生成高浮雕的方法。该方法使用3维非锐化掩模方法增强3维网格中的视觉特征,最后使用非线性压缩方法生成最终的浅浮雕和高浮雕模型。这种方法可以对同一模型快速、高效地生成不同姿势、不同视角的高浮雕。图 2为部分生成的高浮雕效果。

图 2 部分生成的高浮雕效果图
Fig. 2 Some high relief renderings
((a) Arpa et al[13]; (b) Wang et al[14])

2 浅浮雕生成技术分析

2.1 基于人类感知的浅浮雕生成技术

首个计算机辅助浮雕建模系统[12]在压缩率比较大的情况下不能很好地保持模型表面细节信息,生成的浅浮雕效果并不理想。Belhumeur等人[15]研究了曲面重建的二义性,证实了结构的变换可以对应浮雕的生成。然而该方法要求观察者处于一个合适的角度,否则物体将会变形。上述两种浮雕生成方法均依赖于人类的主观感知,对其适应性具有较大的限制。

2.2 基于细节增强和压缩的浅浮雕生成方法

2007年,Song等人[16]结合3维网格模型的显著性特征[17],引入图像处理中的高动态范围图像压缩技术,并建立模型的Poisson方程,然后进行线性压缩,最后通过求解Poisson方程来产生浮雕模型,生成的浮雕能保留一些特征细节,但该方法对浮雕模型的轮廓线考虑不足,容易产生变形。2007年,Kerber等人[18]开发了针对3维模型的高度场信息压缩的细节保留算法,他们借鉴了Lee等人[17]文中的思想,在梯度空间处理几何信息,有效地保持了物体的表面细节信息。Weyrich等人[5]提出了一种半自动的,基于骨架融合过滤器保持细节信息的方法,这种方法可以确保不连续梯度的精确性,在细节信息保留程度和准确性方面都取得了很好的效果。Kerber等人[19]通过采用双线性滤波技术和在多尺度空间采用非线性压缩的方法,较好地保持了3维模型的表面细节信息。赵鹏等人[20]提出通过匹配背景曲面模型与浮雕模型的轮廓点,并设置浮雕模型的边界条件实现在曲面上生成浮雕,然而由于该方法采用了线性压缩,生成的曲面浮雕在细节效果上并不明显。Bian等人[21]提出了在生成浮雕后利用微分不变量再次恢复细节的方法,该方法使用自适应函数(以arctan为核心的压缩方程)压缩梯度域,并通过拉普拉斯增强细节信息,从而生成浅浮雕模型。2013年,边哲等人[22]提出了一种基于积分不变量的细节特征保持算法,该算法使用了以arctan为核心的非线性压缩函数,能够有效地保持模型表面的细节特征。

以上描述的方法均可以看做是高动态范围压缩在几何模型中的变形应用,需要将3维模型转换为某一观察视图的高度场。与之不同的是,李博等人[20, 23]通过对模型进行拉普拉斯分解,按频率将3维模型分解为基础网格、拉普拉斯算子及更高次算子,然后对分解后的各频率部分采取不同的压缩策略进行深度压缩,最后叠加以生成浅浮雕。李博等人[24]又从信号处理角度出发,使用区分低频、高频和噪声信号的频率分割方法,通过控制频谱的分割和扩散函数的参数实现浮雕模型细节的增强,但此方法在分割高分辨率网格时会存在一些分割痕迹。Sun等人[25]直接操作3维物体的高度域,仅仅将梯度信息作为附加的权重,采用改进的均衡直方图保持细节信息,并基于该方法开发了一个自动生成浮雕的系统。它允许用户在多尺度中区分物体特征,该方法生成的浮雕效果较好,但是预处理过程比较耗时。Zhang等人[26]通过空间双线性滤波提取细节信息,采用基于视觉的坐标纹理映射技术以及自适应压缩函数实现3维浮雕实时生成。Wang等人[27]通过将视觉信息融入几何操作中,首先提取模型顶点的显著性信息,然后根据显著性信息对3维模型进行非线性压缩。Wang等人[14]于2016年提出的方法可有效保存细节信息,因此也适用于浅浮雕的生成。Zhang等人[28]提出了通过直接操作3维模型的梯度域来生成浮雕模型的方法。2016年,Zhang等人[29]考虑了在光照条件下的浮雕生成技术,所以可生成不同光照条件下的浮雕模型。以上浮雕生成技术取得了很好的效果,产生的部分浮雕如图 3所示。表 1列出浅浮雕生成过程中的信息增强方法、压缩方式、压缩函数以及存在问题,并对上述主要生成方法进行了综合对比。

图 3 浅浮雕生成效果
Fig. 3 Bas-relief generate effect
((a) Weyrich et al[23]; (b) Schüller et al[30];(c) Kerber et al[7]; (d) Sun et al[25]; (e) Zhang et al[28])

表 1 浅浮雕主要生成方法对比
Table 1 The comparison of bas-relief generation methods

下载CSV
作者 信息增强方法 压缩方式 压缩函数 分析
Cignoni等人[12] 直接压缩 深度线性压缩 压缩量大时会丢失大量的细节信息, 因此,线性压缩不适宜作为压缩函数
Weyrich等人[5] 基于骨架融合滤波 带阈值非线性
Kerber等人[7] 双线性滤波 多尺度非线性压缩
(对数函数)
Song等人[16] 显著性信息,非锐化抑制(USM) 梯度域或者
高度域
线性按比例缩小 生成浮雕效果好,然而需要求解泊松方程,计算量大,效率低;会引起局部变形;但是需人工交互调节阈值参数
Kerber等人[19] 非锐化抑制、滤波 非线性压缩(对数函数)
Bian等人[21] 微分不变量恢复细节 自适应压缩(正切函数)
边哲等人[22] 积分不变量 非线性压缩(正切函数)
周世哲等人[31] 高动态范围压缩 分段函数(正切函数)
李博等人[23] 频域分析 分频域压缩 低频(线性压缩),高频(非线性压缩) 针对小规模采样数据,细节保持较好,生成浮雕效果好,然而针对大规模采样数据,细节信息保持不好
Sun等人[25] 加权自适应直方图均衡化 直接压缩 非线性压缩(对数函数) 生成浮雕的细节信息量取决于采用频率,需要求解泊松方程,计算量大
Zhang等人[26] 双线性滤波 自适应压缩函数 生成的浮雕会产生不连续的现象
Zhang等人[28] 高斯滤波 梯度域 线性压缩函数 生成浮雕效果好,然而需要求解泊松方程,计算量大,参数多,需要交互
Zhang等人[29] 拉普拉斯 高度域 线性压缩函数 需求解泊松方程,计算量大,浮雕生成的角度主观性过大,且没有考虑透视效果,对于复杂模型的细节保留不够完整

在同等压缩率下,采用不同的压缩函数也会得到不同的压缩效果。对于上述表 1中的压缩函数在相同压缩率2%的对比如图 4所示。

图 4 压缩函数图像
Fig. 4 Compression function image

在产生浮雕模型的基础上,一些研究者进行了浮雕编辑、风格化以及其他应用方面的研究。刘胜兰等人[32]提出了基于矢量调整的浮雕曲面粘贴算法,将已经产生的浮雕模型通过网格编辑和曲面参数化粘贴到不同的3维网格上,实现浮雕的添加、整合。李博等人[33]提出一种细节保持的曲面浮雕算法,首先对内外轮廓的梯度域进行非线性压缩,然后使用双边滤波算子保持和增强细节信息,最终通过求解积分方程重建曲面浮雕。刘玉洁等人[34]提出了一种基于法向域的浅浮雕重新风格化方法,该方法通过分离浅浮雕模型上不同频率的特征信息并在法向量域上分别处理,不仅自然地保留和增强了模型表面的特征细节,而且得到了各种异于原浅浮雕模型的风格效果。陆巧等人[2]提出一种基于3维深度图像和与之对应的2维强度图像的混合人脸浅浮雕生成算法,该方法生成的人脸浅浮雕特征表达准确且具有艺术美感。这些研究工作增加了浮雕产品的实际应用潜力。文献[28-29]提出的浮雕生成效果也提供了浮雕编辑功能,部分浮雕编辑效果如图 5所示。

图 5 浮雕编辑效果[28-29]
Fig. 5 Bas-relief editing effect
((a) Zhang et al[28]; (b) Zhang et al[29])

2.3 存在问题及解决方案

由以上分析可知,目前基于3维模型的数字浅浮雕生成技术的研究主要分为两类:一类依靠人类视觉信息,通过对几何模型透视投影后进行深度压缩来生成浮雕,然而此方法在压缩量很大时会丢失大量的细节信息;另一类是通过直接对3维物体进行几何操作生成浮雕,这类方法普遍存在的问题有:部分算法需要求解泊松方程,计算量大,效率低;容易引起局部变形;必要时需要人工交互,调节阈值参数以达到期望的效果。

为了解决生成浮雕模型时效率较低的问题,周世哲等人[31]在GPU上利用一种新的动态范围压缩函数建立了一个实时数字浮雕建模系统。Ji等人[35]在GPU上实现了将3维模型渲染为深度信息与法线信息,分别用于生成浅浮雕的大致形状与细节信息,可以实时生成不同形态的浅浮雕。数字浮雕可以在GPU并行系统上实时生成,进而可以生成一些交互式的浮雕动画[26]。随着浮雕生成效率的进一步提高,Sohn[36]开发了手机上生成浅浮雕的系统。

在高效浮雕生成的基础上,很多研究者[14-28]提出的方法可以快速、高效地对同一模型,生成不同姿势、不同视角的浮雕,且可以对任意模型进行组合,生成组合浮雕模型。最后通过观察3维打印机打印浮雕模型。组合模型生成浮雕效果如图 6所示。

图 6 组合模型的浮雕生成效果
Fig. 6 The generate effect of combination models relief
((a) Wang et al[14]; (b) Zhang et al[28])

图 6可以看出,目前的浅浮雕生成算法中对于组合模型的浮雕生成尚未考虑空间结构和模型中人物的重要程度等问题。组合模型在雕刻的过程中,不应该简单地拼在一起,来直接生成浮雕模型,而应该考虑各个模型空间组织关系及角色的重要性。

3 凹浮雕生成技术概述及存在问题分析

3.1 基于特征线条的凹浮雕生成

凹浮雕是浮雕的一种特殊表现形式,主要依靠线条来表示形体[1],目前针对凹浮雕的生成研究并不多,在研究方法和效果上都有待进一步提高。现有的浅浮雕生成算法,虽不能直接用于生成凹浮雕,但凹浮雕与3维模型之间的关系,即在与视觉方向相关、细节信息增强、细节信息保持、对深度进行压缩等方面是一致的,因此现有的浅浮雕生成方法对于研究数字凹浮雕具有一定的借鉴性。

刘胜兰等人[8]提出了一种凹浮雕生成技术,首先提取轮廓点,然后计算各点与视线方向相关的曲率值大小,通过设定阈值来提取谷特征点集,并将图像处理中的膨胀和腐蚀技术运用在特征点集的优化上,最后给定特征点集的雕刻深度,即可获得凹浮雕效果。Wang等人[9]使用特征线条来表示凹浮雕形体,首先从3维模型提取线条图,采用了两种预处理方式,一种是基于模型光滑,一种是对提取出的线条图进行图像处理,最后通过将线条刻入一个背景平面来生成凹浮雕,但是尚未解决线条与形体之间的过渡问题。Zhang等人[10]通过提取特征线条,后期处理(裁剪、链接、光滑等)特征线条,最后使用连续的点状腐蚀法产生凹浮雕,并定义了雕刻的最大深度。因为观察对象的轮廓会随着观察视点而改变,该算法中一旦轮廓发生改变,浮雕表面的整体形状都需要进行相应的修改。Wang等人[11]在前期工作[6]的基础上结合2D、2.5D、3D(线条图、渲染图和3D模型)不同的输入形式,通过一个加权能量最小化的优化方法生成最后的凹浮雕,这种融合了深度信息的方法可以很好地体现线条之间的形体变化,生成的凹浮雕效果也更加自然,然而优化过程计算量较大。Kolomenkin等人[37]提出基于线条和基础网格的3维凹浮雕生成技术,首先通过轮廓线构建基础网格,然后在基础网格上雕刻线条,这种方法可以解决复杂模型的浮雕生成问题,根据给定的雕刻高度,既可以生成浅浮雕,又可以生成凹浮雕。部分凹浮雕效果如图 7所示。

图 7 凹浮雕效果
Fig. 7 Sunken relief effect
((a) Zhang et al[10]; (b) Wang et al[11])

3.2 存在主要问题及解决方案

关于凹浮雕的生成算法,从图 7中效果可以看出,对于简单3维模型,生成凹浮雕效果较好,但是对于包含丰富表面信息的3维模型,生成的模型效果却不尽如意,因此对于如何保持更多的细节信息的问题,还需要进一步进行研究。凹浮雕主要依靠线条来表现形体,然而现有的关于凹浮雕的生成技术没有考虑3种类型线条的不同表现形式。仅仅依靠简单的线条组合排列并不能展现完整的凹浮雕,线条与线条之间平滑过渡是创建自然、生动凹浮雕的必要条件,但是目前没有对线条与形体之间平滑过渡的问题进行的研究。针对以上问题,提出以下解决方案:

1) 3维网格模型细节信息增强及保持方法。研究基于不同滤波方法的模型增强技术以保持原有细节在增强过程中模型不会发生变形[38]。应考虑如何减少细节信息的过度丢失问题,可以通过设计不同算法提取模型表面的显著性信息,然后根据显著性信息重要程度进行层次聚类分类,以便在后期生成凹浮雕时能够根据视觉显著性信息重要程度的不同进行压缩。

2) 不同类型特征线提取方法研究。根据凹浮雕不同的轮廓线,如图 8所示,设计针对3种不同类型特征线[1]的提取方法,3类特征线分别是主线、内部线和细部阴线。其中主线表示浮雕的主要轮廓线,如人体的外轮廓,内部线表示浮雕的内部模型的主要线条,如人体的四肢、躯干,细部阴线表示浮雕的细节线条,如人体的面部细节等。同时研究不同类型特征线在凹浮雕雕刻过程中的表现形式,即根据雕刻需要选择不同的线型进行雕刻。

图 8 凹浮雕特征线类型
(a为主线,b为内部线,c为细部阴线)
Fig. 8 unken relief characteristic line types
S(a is the main line, b is the inner line, c is the fine shadow line)

3) 凹浮雕生成技术研究。拟对包含显著性信息和表面特征线的3维模型在给定视觉方向上进行非线性压缩,对不同类型的特征线条赋予不同的雕刻深度及雕刻位置,如图 9所示,从而保证压缩过程中线条与形体之间保持平滑过渡。

图 9 3种类型特征线定义及模拟雕刻效果
Fig. 9 Three types of characteristic line definition and simulation engraving effect

4 智能最优浮雕生成展望

浮雕创作本质上是一种艺术过程,在实际雕刻过程中艺术家需要找到被雕刻对象的最佳姿态和视角,这两个选择的难度很大,因为姿态的选择会影响视角的选择,反之亦然,二者之间的相互影响增加了这个问题的难度。因此如何通过智能算法生成一个最优浮雕从而降低艺术家和雕刻家在实际操作过程中的难度,是一个值得探讨的问题。

近年来,Schüller等人[30]提出了一个统一的框架,通过固定的形状、视角和空间约束来生成浮雕,类似于选择一个最佳的动作和视角,扈婧乔等人[39]提出一种基于视觉显著性的浅浮雕位置优化算法。该算法从视觉显著性出发,首先计算3维模型的最佳观察视角,并构造有限的视角采样区域,通过定义的基于浅浮雕面积与形变的评价准则,优化求解浅浮雕位置参数,得到评价准则下的最优浅浮雕结果。以上两种方法主要是从单一模型出发,通过调整视角或者添加约束生成最优浮雕。然而,在浮雕实际创作过程中,绝大多数情况是在多个对象的连续动作中进行选择生成的。Wolf[40]在研究中指出“一个静态图片可以反映一个完整的故事”,因此一段动画序列可以用一幅信息量大的静态图片描述整个故事。而这个静态图片的选择由最佳姿态选择和最佳视角选择两部分组成。受此启发,本文拟在数字浮雕生成技术的基础上,探讨以动画角色为输入对象,通过进行姿态选择和最优视角选择一帧模型,进行最终浮雕生成,从而还原雕刻家的雕刻思路,以此为数字化技术在文化传承上提供可行思路[41]

在最优浮雕的生成上,有两个重要的研究方面,姿态选择与视角选择。从动画序列中选择最佳姿态的问题类似于关键帧提取。基于关键帧的提取已经取得了一定的研究成果[42]。这种方法可以得到一系列的关键帧或者是一个动画序列摘要,而最终选择雕刻的浮雕姿态只能选一个最优的关键帧。但从信息理论的角度来看,这可能不是最优的。因此信息熵的计算是一个较好的可以作为关键帧提取的策略[43]

在姿态选择的基础上,一个好的视点能稳定地为观察者提供尽可能多的有意义内容,相对其他观察方向投影信息量更大的视点观察方向称为最佳视角。韩红雷等人[44]提出一种模型摆正方向检测方法,根据最优视角与向上方向、最差视角与向下方向之间的相关性,筛选出候选摆正方向,该方法对人造和非人造模型均能较好处理。Lienhard等人[45]使用机器学习建立模型的几何特征与语义性内容之间的关联性,并以此进行视点度量。

利用信息熵理论为基于3维动画序列的智能最佳浮雕生成提供一个可行方案[46-47],还原浮雕创作本质,模拟实际雕刻过程中艺术家选择雕刻对象的最佳姿态和视角过程,为信息理论与计算机图形学研究提供重要的理论依据,同时也可为真实浮雕雕刻中最佳姿态与视角的选择提供有力参考,为适用于面向3维打印的用户浮雕产品定制服务提供可行的解决方案。

5 结论

本文从3维模型生成数字浮雕出发分析浮雕技术的研究现状。针对目前数字浅浮雕的生成,从生成效果、压缩率、准确性以及细节信息保持等方面对浮雕生成效果进行评价,可以看出浮雕生成技术已经趋于成熟,但在浮雕编辑和组合浮雕的生成方面,现有的方法仍有一些不足。

针对凹浮雕的生成,复杂3维模型的数字凹浮雕生成理论研究尚不完善,导致凹浮雕生成效果不能很好地保持模型表面细节信息、不够生动自然,针对这些问题,通过进一步研究3维模型细节信息增强技术、表面显著性信息提取技术、特征线提取及表示技术等技术,可以进行基于复杂3维模型且保持丰富表面细节信息的高效凹浮雕生成技术研究。在浮雕生成技术的基础上,以从海量动画序列中选择最佳动作与视角的3维模型作为浮雕制作的新突破口,深入研究智能算法在计算机辅助制作数字浮雕过程中的巨大作用。本文对基于角色动画的智能数字浮雕生成方法研究进行了探讨,从给定的动画序列中选取最佳的姿态和视角,从而建立高效、自然、真实感强且能够用于实际雕刻的浮雕模型。信息熵理论和关键帧视频压缩技术都为此问题提供了解决思路。

3维浮雕生成过程的研究将对模型信息增强技术、模型显著性信息提取、3维模型特征线提取、模型非线性压缩、信息理论、形状分析、模型几何操作、投影方向优化等方面做出一定的贡献,具有重要的科学意义。通过计算机生成的数字浮雕可以作为计算机辅助制造的输入,进行浮雕产品的加工制作,为扩大浮雕产品的快速应用范围,解决面向3维打印技术的用户浮雕产品个性化定制服务问题提供新思路。

参考文献

  • [1] Rogers R L. Relief Sculpture[M]. Oxford: Oxford University Press, 1974.
  • [2] Lu Q, Wang L, Meng X X, et al. The bas-relief generation method of human faces from 3D depth images and 2D intensity images[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(7): 1172–1181. [陆巧, 王璐, 孟祥旭, 等. 结合深度图像和强度图像的人脸浅浮雕生成算法[J]. 计算机辅助设计与图形学学报, 2015, 27(7): 1172–1181. ] [DOI:10.3969/j.issn.1003-9775.2015.07.004]
  • [3] Zeng Q, Martin R R, Wang L, et al. Region-based bas-relief generation from a single image[J]. Graphical Models, 2014, 76(3): 140–151. [DOI:10.1016/j.gmod.2013.10.001]
  • [4] To H T, Sohn B S. Bas-relief generation from face photograph based on facial feature enhancement[J]. Multimedia Tools and Applications, 2017, 76(8): 10407–10423. [DOI:10.1007/s11042-016-3924-y]
  • [5] Weyrich T, Deng J, Barnes C, et al. Digital bas-relief from 3D scenes[J]. ACM Transactions on Graphics, 2007, 26(3): #32. [DOI:10.1145/1276377.1276417]
  • [6] Kerber J, Tevs A, Belyaev A, et al. Real-time Generation of Digital Bas-Reliefs[J]. Computer-Aided Design & Applications, 2010, 7(4): 465–478. [DOI:10.3722/cadaps.2010.465-478]
  • [7] Kerber J, Wang M, Chang J, et al. Computer assisted relief generation-a survey[J]. Computer Graphics Forum, 2012, 31(8): 2363–2377. [DOI:10.1111/j.1467-8659.2012.03185.x]
  • [8] Liu S L, Xu X Y, Li B, et al. An Algorithm for Generating Line-engraving Relief[J]. Journal of Chinese Computer Systems, 2011, 32(10): 2088–2091. [刘胜兰, 徐小燕, 李博, 等. 一种刻线浮雕生成算法[J]. 小型微型计算机系统, 2011, 32(10): 2088–2091. ]
  • [9] Wang M L, Kerber J, Chang J, et al. Relief stylization from 3D models using featured lines[C]//Proceedings of the 27th Spring Conference on Computer Graphics. Viničné, Slovak Republic: ACM, 2011: 37-42. [DOI:10.1145/2461217.2461226]
  • [10] Zhang Y W, Zhou Y Q, Li X L, et al. Line-based sunken relief generation from a 3D mesh[J]. Graphical Models, 2013, 75(6): 297–304. [DOI:10.1016/j.gmod.2013.07.002]
  • [11] Wang M L, Chang J, Kerber J, et al. A framework for digital sunken relief generation based on 3D geometric models[J]. The Visual Computer, 2012, 28(11): 1127–1137. [DOI:10.1007/s00371-011-0663-y]
  • [12] Cignoni P, Montani C, Scopigno R. Computer-assisted generation of bas-and high-reliefs[J]. Journal of Graphics Tools, 1997, 2(3): 15–28. [DOI:10.1080/10867651.1997.10487476]
  • [13] Arpa S, Süsstrunk S, Hersch R. High Reliefs from 3D Scenes[J]. Computer Graphics Forum, 2015, 34(2): 253–263. [DOI:10.1111/cgf.12557]
  • [14] Wang M L, Yu S, Zhang H M, et al. Digital relief generation from 3d models[J]. Chinese Journal of Mechanical Engineering, 2016, 29(6): 1128–1133. [DOI:10.3901/CJME.2016.0720.084]
  • [15] Belhumeur P N, Kriegman D J, Yuille A L. The bas-relief ambiguity[J]. International Journal of Computer Vision, 1999, 35(1): 33–44. [DOI:10.1023/A:1008154927611]
  • [16] Song W H, Belyaev A, Seidel H P. Automatic generation of bas-reliefs from 3D shapes[C]//Proceedings of 2007 IEEE International Conference on Shape Modeling and Applications. Lyon, France: IEEE Computer Society, 2007: 211-214. [DOI:10.1109/SMI.2007.9]
  • [17] Lee C H, Varshney A, Jacobs D W. Mesh saliency[J]. ACM Transactions on Graphics, 2005, 24(3): 659–666. [DOI:10.1145/1073204.1073244]
  • [18] Kerber J, Belyaev A, Seidel H P, et al. Feature preserving depth compression of range images[C]//Proceedings of the 23rd Spring Conference on Computer Graphics. Budmerice, Slovakia: ACM, 2007: 101-105. [DOI:10.1145/2614348.2614363]
  • [19] Kerber J, Tevs A, Belyaev A, et al. Feature sensitive bas relief generation[C]//Proceedings of 2009 IEEE International Conference on Shape Modeling and Applications. Beijing, China: IEEE, 2009: 148-154. [DOI:10.1109/SMI.2009.5170176]
  • [20] Zhao P, Bian Z. The bas-relief on curved surface from 3D meshes[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(7): 1126–1131. [赵鹏, 边哲. 曲面浅浮雕生成算法[J]. 计算机辅助设计与图形学学报, 2010, 22(7): 1126–1131. ]
  • [21] Bian Z, Hu S M. Preserving detailed features in digital bas-relief making[J]. Computer Aided Geometric Design, 2011, 28(4): 245–256. [DOI:10.1016/j.cagd.2011.03.003]
  • [22] Bian Z, Zhai Z Y. Feature recovery for bas-relief based on integral invariant[J]. China Sciencepaper, 2013, 8(1): 35–40. [边哲, 翟自勇. 基于积分不变量的浅浮雕特征恢复算法[J]. 中国科技论文, 2013, 8(1): 35–40. ] [DOI:10.3969/j.issn.2095-2783.2013.01.009]
  • [23] Li B, Liu S L, Zhang L Y, et al. Bas-relief generation algorithm based on Laplace operator decomposition of 3D model[J]. Computer Integrated Manufacturing Systems, 2011, 17(5): 946–951. [李博, 刘胜兰, 张丽艳, 等. 基于3维模型拉普拉斯分解的浮雕生成算法[J]. 计算机集成制造系统, 2011, 17(5): 946–951. ]
  • [24] Li B, Liu S Y, Zhang L Y. Bas-relief generation using manifold harmonics analysis[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(2): 252–261. [李博, 刘胜兰, 张丽艳. 基于流形调和变换的浅浮雕生成算法[J]. 计算机辅助设计与图形学学报, 2012, 24(2): 252–261. ] [DOI:10.3969/j.issn.1003-9775.2012.02.019]
  • [25] Sun X F, Rosin P L, Martin R R, et al. Bas-relief generation using adaptive histogram equalization[J]. IEEE Transactions on Visualization and Computer Graphics, 2009, 15(4): 642–653. [DOI:10.1109/TVCG.2009.21]
  • [26] Zhang Y W, Zhou Y Q, Zhao X F, et al. Real-time bas-relief generation from a 3D mesh[J]. Graphical Models, 2013, 75(1): 2–9. [DOI:10.1016/j.gmod.2012.10.003]
  • [27] Wang M L, Guo S H, Zhang H M, et al. Saliency-based relief generation[J]. IETE Technical Review, 2013, 30(6): 454–480. [DOI:10.4103/0256-4602.125659]
  • [28] Zhang Y W, Zhou Y Q, Li X L, et al. Bas-relief generation and shape editing through gradient-based mesh deformation[J]. IEEE Transactions on Visualization and Computer Graphics, 2015, 21(3): 328–338. [DOI:10.1109/TVCG.2014.2377773]
  • [29] Zhang Y W, Zhang C M, Wang W P, et al. Adaptive bas-relief generation from 3D object under illumination[J]. Computer Graphics Forum, 2016, 35(7): 311–321. [DOI:10.1111/cgf.13028]
  • [30] Schüller C, Panozzo D, Sorkine-Hornung O, et al. Appearance-mimicking surfaces[J]. ACM Transactions on Graphics, 2014, 33(6): #216. [DOI:10.1145/2661229.2661267]
  • [31] Zhou S Z, Liu L G. Realtime digital bas-relief modeling[J]. Journal of Computer-Aided Design & Computer Graphics, 2010, 22(3): 434–439. [周世哲, 刘利刚. 实时数字浮雕建模[J]. 计算机辅助设计与图形学学报, 2010, 22(3): 434–439. ]
  • [32] Liu S L, Tang Z X, Li B, et al. Relief pasting algorithm based on normal vector adjustment[J]. Journal of Computer Applications, 2011, 31(1): 33–36. [刘胜兰, 汤正翔, 李博, 等. 基于法矢调整的浮雕曲面粘贴算法[J]. 计算机应用, 2011, 31(1): 33–36. ] [DOI:10.3724/SP.J.1087.2011.00033]
  • [33] Li B, Liu S L, Zhang L Y. Detail-preserving bas-relief on surface from 3D scene[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(6): 799–807. [李博, 刘胜兰, 张丽艳. 细节保持的曲面浅浮雕算法[J]. 计算机辅助设计与图形学学报, 2012, 24(6): 799–807. ] [DOI:10.3969/j.issn.1003-9775.2012.06.014]
  • [34] Liu Y J, Ji Z P, Liu Z, et al. Stylized design of bas-relief based on normal field[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(12): 2120–2127. [刘玉洁, 计忠平, 刘真, 等. 基于法向域的浅浮雕风格化设计[J]. 计算机辅助设计与图形学学报, 2016, 28(12): 2120–2127. ] [DOI:10.3969/j.issn.1003-9775.2016.12.011]
  • [35] Ji Z P, Sun X F, Li S, et al. Real-time bas-relief generation from depth-and-normal maps on GPU[J]. Computer Graphics Forum, 2014, 33(5): 75–83. [DOI:10.1111/cgf.12433]
  • [36] Sohn B S. Ubiquitous creation of digital bas-reliefs using smartphone[C]//Proceedings of 2016 Eighth International Conference on Ubiquitous and Future Networks. Vienna, Austria: IEEE, 2016: 748-750. [DOI:10.1109/ICUFN.2016.7537138]
  • [37] Kolomenkin M, Leifman G, Shimshoni I, et al. Reconstruction of relief objects from archeological line drawings[J]. Journal on Computing & Cultural Heritage, 2013, 6(1): #3. [DOI:10.1145/2442080.2442083]
  • [38] Sahillioǧlu Y, Kavan L. Detail-preserving mesh unfolding for nonrigid shape retrieval[J]. ACM Transactions on Graphics, 2016, 35(3): #27. [DOI:10.1145/2893477]
  • [39] Hu J Q, He S, Lyu L. Placement optimization for generating bas-reliefs based on visual saliency[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(12): 2128–2133. [扈婧乔, 何莎, 吕琳. 考虑视觉显著性的模型浅浮雕位置优化算法[J]. 计算机辅助设计与图形学学报, 2016, 28(12): 2128–2133. ] [DOI:10.3969/j.issn.1003-9775.2016.12.012]
  • [40] Wolf W. Narrative and narrativity:a narratological reconceptualization and its applicability to the visual arts[J]. Word & Image, 2003, 19(3): 180–197. [DOI:10.1080/02666286.2003.10406232]
  • [41] Scopigno R, Cignoni P, Pietroni N, et al. Digital fabrication techniques for cultural heritage:a survey[J]. Computer Graphics Forum, 2017, 36(1): 6–21. [DOI:10.1111/cgf.12781]
  • [42] Hong X J, Peng S J, Liu X. Key-frame extraction of motion capture data via laplacian score based feature selection[J]. Computer Engineering & Science, 2015, 37(2): 365–371. [洪小娇, 彭淑娟, 柳欣. 基于拉普拉斯分值特征选择的运动捕获数据关键帧提取[J]. 计算机工程与科学, 2015, 37(2): 365–371. ] [DOI:10.3969/j.issn.1007-130X.2015.02.027]
  • [43] Han H L, Li J, Fei G Z. A hybrid measure of viewpoint scoring using visual perception and information entropy[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(6): 939–947. [韩红雷, 李静, 费广正. 结合视觉感知与信息量的视点评分方法[J]. 计算机辅助设计与图形学学报, 2014, 26(6): 939–947. ]
  • [44] Han H L, Wang W C, Hua M. Getting upright Orientation of 3D objects via viewpoint scoring[J]. Journal of Software, 2015, 26(10): 2720–2732. [韩红雷, 王文成, 华淼. 基于视点评分的3维模型摆正[J]. 软件学报, 2015, 26(10): 2720–2732. ] [DOI:10.13328/j.cnki.jos.004742]
  • [45] Lienhard S, Specht M, Neubert B, et al. Thumbnail galleries for procedural models[J]. Computer Graphics Forum, 2014, 33(2): 361–370. [DOI:10.1111/cgf.12317]
  • [46] Wang M L, Guo S H, Liao M H, et al. Pose selection for animated scenes and a case study of bas-relief generation[C]//Proceedings of the Computer Graphics International Conference. Yokohama, Japan: ACM, 2017: #31. [DOI:10.1145/3095140.3095171]
  • [47] Wang M L, Guo S H, Liao M H, et al. Action snapshot with single pose and viewpoint[J]. The Visual Computer, 2018. [DOI:10.1007/s00371-018-1479-9]