Print

发布时间: 2018-08-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.170583
2018 | Volume 23 | Number 8




    图像分析和识别    




  <<上一篇 




  下一篇>> 





引入力触觉的数字文物多模交互方法
expand article info 祁彬斌, 朱学芳
南京大学信息管理学院多媒体信息处理研究所, 南京 210023

摘要

目的 针对当前文物资源由传统的实体文物向虚拟展示和数字文物进行扩展的趋势,如何提供一种多模态的信息呈现方式就显得尤为重要。通过将力触觉技术引入3维文物展示领域,提出一种基于多模感知的3维文物交互式呈现的算法框架。在对文物的基本特征进行视、听、触觉多通道分析的基础上,依据用户与文物模型的接触状态对多通道信息进行计算和整合。方法 在力触觉计算渲染方面,基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程,引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征,通过法线贴图来实现文物表面纹理的触觉处理;针对交互的环境由2维平面拓展至立体空间,结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理,借助操作代理构建"旋转"和"选择-移动-释放"两种基本的操作范式来实现用户意图;最后,物理引擎的引入将物体的基本运动规律集成至虚拟场景,提升场景交互的真实感. 结果 使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统,抽取志愿者对实验系统进行测评。实验结果表明:运用本文方法,用户可从视觉、听觉、触觉多个通道对数字文物的整体和细节信息进行感知,且交互的整体过程简单、自然、有效。结论 本文提出的基于多模感知的数字文物交互式呈现方法,可有效实现对各类数字遗产特别是3维文物的多模重现,在保证较高实时性的同时拥有良好的可用性和情感体验效果。

关键词

虚拟现实; 触/力觉感知; 数字文物; 多模态; 人机交互

Multi-mode interactive method for digital cultural relics based on haptics
expand article info Qi Binbin, Zhu Xuefang
Institute of Multimedia Information Processing School of Information Management, Nanjing University, Nanjing 210023, China
Supported by: National Social Science Fund of China (10 & ZD134, 15 & ZD126)

Abstract

Objective Cultural heritage is a powerful witness to the cultural inheritance and development of a country or region. In view of the current trend in which cultural relics extend from traditional physical relics to virtual exhibitions and digital relics, providing a multi-mode presentation method of digital cultural relics is necessary. By introducing computer haptics into the field of cultural relic exhibitions, we propose an algorithm framework for interactive presentation based on the multi-mode perception of 3D artifacts. The proposed framework is based on multi-channel analysis of tactual, auditory, and visual characteristics of cultural relics. Considering the contact states between users and these digital 3D models of relics, the multi-channel information is identified, calculated, integrated, and processed. Eventually, information is passed to the visual, audio, and haptic devices to complete the multi-mode perception. Method In this study, the impedance control mode is used as the basic driving mechanism of the haptic computing rendering. The basic idea is that a user inputs the position and direction information, and the force and torque are then calculated and fed back to the user. The calculation and rendering for different characteristics of these artifacts, such as contour shapes, physical materials, and surface textures, are also implemented in stages. For the contour shape of these artifacts, the spring system based on the embedding depth is constructed to simulate the contact process, and the stiffness coefficient of the spring is related with the cultural object. To reflect these material characteristics of the surface friction, the friction during the contact of cultural relics is simulated by introducing the dynamic and static friction factors. With the movement of the operation proxy on the surface of cultural relics, the finite state machine is alternately updated between static and dynamic friction. Although discrete triangular patch groups can identify the complex form, deviations remain because the existing models are usually represented by triangular patches. To address this problem, the normal mapping is used to perform the haptic processing of the surface texture. Compared with the traditional 2D interaction, 3D space provides more freedom and more abundant interactive tasks. At this time, through the comparison or abstraction of certain mechanisms existing in the real world, the behaviors and states of users' operation can be mapped to a proxy in a virtual environment. Through the operation proxy, we further build unified "rotation" and "select-move-release" interaction models to realize user intention. The "rotation" operation allows users to freely change their perspective according to their own needs, providing multi-view observation and appreciation of cultural relic models. During 3D interaction, the "select-move-release" operation helps users to freely manipulate the artifact model in a virtual environment. This method can also enhance the overall cognition of the artifact model. Finally, to further enhance the realistic characteristics of the virtual environment, ODE physics engine is introduced to cultural relic interaction. The reasonable introduction of physics engine integrates the basic motion law of objects into the virtual environment to enhance the realism of physical movement and scene interaction. Result With Phantom Omni haptic device as basis, multi-mode perceptual experimental systems for cultural artifacts are built, and 15 volunteers (eight males and seven females) are selected to evaluate the system. Experimental results show that the method can enable human operators to perceive the overall and detailed information of digital relics through multiple channels of vision, hearing, and touch. In addition, the entire interaction is simple, natural, and effective. On the basis of the user experience theory of Rolls-Royce, we evaluate the experiential effects from three dimensions, namely, usability, sensory experience, and emotional experience. Among these dimensions, usability and emotional experience scores are higher, whereas the sensory experience score is relatively lower. With regard to these set problems, users' acceptance and satisfaction degree are relatively high, satisfying the curiosity of people and the attraction of the presentation manner. However, users' ratings in realistic details of cultural models and the naturalness of interaction between the human and artifacts are relatively low. In general, the interactive mode proposed in this study is more natural than the mouse interaction, but it still maintains a certain distance from the human-object interaction under the real environment. Conclusion This study presents an interactive presentation method of digital artifacts based on multi-modal perception that can effectively achieve the multi-modal reproduction of various types of digital heritage, especially 3D artifacts. While ensuring high real-time performance, the method has good usability and emotional experience. In our future work, we will continue to explore the new surface haptic-rendering algorithm of the cultural relics. The method of haptic interaction for multi-point grasping of virtual artifacts needs to be further studied. Multi-point interaction can provide higher fidelity and richer operation experience than the existing interaction between single point and digital relics.

Key words

virtual reality; haptic rendering; digital cultural relics; multi-mode integration; human computer interaction

0 引言

文化遗产是一个国家或地区文化传承与发展的有力见证.随着数字技术的发展和计算机通讯技术的应用普及, 文物作为人类历史文化遗产的重要形式, 正步入数字化的研究、保存和展览阶段。数字化、集成化、可交互和多模态正成为3维文物展示发展的必然趋势。

经过十几年的研究和发展, 3维文物数字化展示方面的研究已取得一定的成果。Chow等人[1]给出一种面向陶瓷文物的3维交互式虚拟展览的方法, 该方法通过一组多视角的图像序列重建3D模型, 使用漫反射图像序列进行纹理映射, 并运用鼠标和键盘来完成交互过程, 从而给用户提供良好的交互性和真实感体验。Fabio等人[2]在对文物进行3D重建的基础上, 将音频样本、图片画廊、介绍性屏幕和电影等集成至文物展示的过程中, 并通过使用轨迹球和按钮实现用户交互。Belen等人[3]进一步将VR技术引入到复杂文物模型的展示过程中, 通过Oculus Rift(一种VR眼镜)和Kinect(一种体感交互设备)为数字文物提供沉浸式体验, 并实现在3D场景中自由交互和导航。国内在文物数字化领域研究工作起步相对较晚, 但相关学者在敦煌石窟的虚拟展示[4]、殷墟博物苑的3维呈现[5]、3维场景的移动导览[6]等诸多方面也取得了不俗的研究成果。

尽管当前有关3维文物展示的研究成果已相当丰富, 但不断涌现的新兴技术(如Kinect体感交互[7], 计算机力触觉计算[8])以及应用对技术的持续需求, 推动着文物展示研究进入更深层面。现有的文物展示工作仍存在两方面的问题:一方面, 现有大多数文物数字化呈现方面的研究和应用主要针对于视听通道, 对触觉方面的涉猎相对较少。然而在现实生活中, 人与环境之间的交互呈现多模态的特征:即人类每时每刻都在使用视觉、听觉、触觉和嗅觉等多种方式去感知周围的环境。在现有文物展示过程中引入触觉等通道, 实现用户对数字文物的多模感知就成为研究工作的一个技术难点。另一方面, 主流的文物展示平台普遍采用鼠标、键盘作为人机交互的主要方式, 该方式在传统的2维桌面环境中曾发挥重要作用; 然而随着VR/AR的应用普及, 人机交互的环境逐步由2维平面拓展到立体空间, 交互的形式呈现多元化的趋势, 交互的任务也变得更为复杂[9]。以一种简单、自然的方式实现人与虚拟世界中3维文物之间的合理交互就成为研究工作中的另一个难点。

针对这两个问题, 本文提出一种基于多模感知的数字文物交互式呈现方法。该方法首先从视、听、触觉3个维度对3维文物进行分析, 结合用户交互数据实现多通道信息的识别、计算、整合和处理, 并传递给视、听、触觉设备完成多模感知; 其次, 通过引入新型的力触觉交互设备[10], 将人的操作意图有效转换为计算机的交互隐喻, 从而实现人与虚拟环境之间的双向沟通和有效交流。而考虑到虚拟场景的真实感特征, ODE(open dynamics engine)物理引擎[11]的合理引入则将物理学的基本规律集成至虚拟场景, 在交互过程中实现操作者对物理世界的普遍感知, 提升整体交互的真实感和沉浸感。

1 力触觉交互

2008年, 力触觉技术被国际顶级学术期刊《Nature》列为未来可能改变世界的十大技术之一[12]。其作为一种新型的人机交互技术, 在人们信息交流和沟通中的作用日益显著。借助相应的力触觉设备[13], 人们可以自由、真实地触摸、操纵和感知虚拟场景中的物体, 以便获取良好的逼真感和沉浸感。一般来说, 力触觉交互可细分为触觉交互和力觉交互两类, 触觉交互主要是通过物体表面的材质和纹理来识别触摸的对象, 力觉交互则主要通过重力、阻尼和摩擦力等因素对接触对象进行判别[14-15]

经过几十年来的努力, 学者们就力触觉交互提出了多种不同类型的算法。最初, 研究者的关注点主要集中于力触觉交互的表达方式, Zilles等人[16]提出一种基于表面约束的力触觉交互算法, 该算法的基本思想是将运动的力触觉设备映射成虚拟场景中的操作点, 当该操作代理点进入虚拟物体内部时, 在虚拟物体表面生成一个理想的约束点God-object, 通过具体代理点和God-object的相对位置关系实现力触觉计算和渲染。为了降低误差引起的God-object点掉入多面体模型表面缝隙中的可能性, Ruspini等人[17]将God-object力触觉交互模型扩展为Virtual-proxy模型, Virtual-proxy可看做是在物体表面运动的适当大小的球。近十几年来, 研究者开始将力触觉交互与具体的应用领域相结合, 陈辉等人[18]提出一种具有力触觉交互的虚拟雕刻系统, 该系统将体绘制、体触觉和体的局部变形进行有机结合, 可为具体应用系统提供参考。王党校等人[19]提出一种面向牙科手术培训的力觉合成技术, 重点研究了实时碰撞检测算法、切削力计算模型和多层次力觉渲染算法等, 相关研究成果不仅可有效增强虚拟牙科手术的沉浸感, 而且对其他外科手术培训也具有重要意义。汪莉等人[20]提出一种基于CHARMM(Chemistry at HARvard Macromolecular Mechanics)力场的蛋白质分子场能量的计算方法, 通过触觉去感知分子间作用力, 有助于设计人员更好地把握分子间相互作用, 从而方便分子对接和药物设计。杨广卿等人[21]将力触觉交互引入至虚拟绘制过程, 提出一种基于力反馈技术的毛笔笔道仿真方法, 该方法可有效增强虚拟绘制过程的真实感, 保证用户良好的书写体验。

2 多模感知算法框架

本文通过将力触觉技术引入3维文物展示领域, 提出一种基于多模感知的3维文物交互式呈现的方法, 并将该方法细分为3个模块:预处理模块、用户交互动作识别模块以及多模感知与交互式呈现模块。预处理模块主要负责3维文物的视听触觉信息分类获取, 以及虚拟环境的真实感建模。整个过程只需执行一次, 处理后可被后续操作多次调用。用户交互动作识别模块是整个系统流程的起点, 负责的是人与文物、环境之间的数据交换和信息交流, 共包括两部分内容:动作信息的获取和交互操作的选择。前者是将用户使用力触觉交互设备时的行为和状态转化为虚拟环境中的操作代理, 后者则是根据用户的意图对文物模型施加基本操作(触碰、移动、旋转等), 以便于用户更好地认识和感知文物信息。多模感知与交互式呈现则是文物展示流程的核心部分, 其依据上述两个子模块生成的数据, 确定用户操作的路径和方式以及包含多通道信息的文物对象模型, 保证操作者能在虚拟仿真环境中触摸、感知和识别出文物模型的多维特征和动态效果。本文算法的基本框架如图 1所示。

图 1 本文的算法框架
Fig. 1 Control pipeline of our algorithm

多模感知是指综合运用视觉、听觉、触觉等多种感官, 通过图像、声音、动作以及力触感等多种手段和方式实现3维文物感知的过程。算法首先从视觉、听觉、触觉多通道的角度对3维文物的基本特征进行分析, 同时结合相应算法实现力触觉、声音和图像信息的实时渲染, 依据用户与文物模型的接触状态实现多通道信息的计算和整合, 并最终传递给视、听、触觉设备完成多模感知。

2.1 视听触觉分析

文物数字化以往是基于扫描数据或多视角图像[22]进行3维建模, 通过纹理映射实现文物表面真实感处理, 并嵌入文本、音频和视频信息完成多媒体展示。整个处理和展示过程主要立足视听双通道, 关注的是文物的数字模型和几何属性。在此基础上, 本文尝试为文物引入物理属性参数, 并从视觉、听觉、触觉多通道的角度对3维文物的基本特征进行分析和重构。首先, 几何轮廓是3维文物最基本的特征, 为表达这一特征, 视觉上需渲染具有纵深信息的立体图像, 实现用户对文物的全局感知; 触觉上当操作代理在虚拟空间接触到文物模型时, 需约束代理于文物模型表面, 并给用户反馈相应的力觉或触觉信息; 听觉上则是当操作代理以不同速度敲击文物模型时, 应提供合理的、富有差异性的声音信号。其次, 纹理是反映文物表面具有缓慢变化或周期性变化的组织排列属性, 主要涉及两方面的内容:物体表面凹凸不平的沟纹以及光滑表面的彩色图像。对于文物表面的颜色信息, 主要是通过视觉通道进行渲染; 而对于纹理中的沟纹特征, 应考虑先为其恢复合适的高度信息, 而后通过触觉通道实现局部凹凸感的合理呈现。最后, 材质是保证文物模型真实感的重要因素, 文物表面的材质是材料和质感的结合。从视觉角度, 其表现为色彩、光滑度、透明度、发光度、反射率和折射率等可视属性; 从触觉角度, 主要需考虑文物对象的刚度、表面粗糙度以及摩擦力等信息。

2.2 多通道整合

在操作代理与3维文物模型交互过程中, 依据两者接触状态的不同对多通道信息进行计算和整合, 具体可分为: 1)当操作代理在虚拟空间自由移动但尚未与文物模型发生碰撞时, 只需从视觉层面对文物模型和操作代理的运动状态进行渲染; 2)当操作代理与文物模型发生碰撞, 在视觉呈现的基础上, 算法还需依据接触瞬间的运动信息进行文物表面硬度的触觉计算和文物敲击时声响的渲染; 3)当操作代理紧贴文物模型并在模型表面进行滑动时, 应着重考虑文物表面沟纹以及摩擦力等因素对触觉、声音的影响, 实现多通道信息的整合和视听触觉同步渲染。图 2为多通道信息整合的处理框架。

图 2 多通道信息整合的处理框架
Fig. 2 Processing framework for multi-channel integration

本文借鉴OpenAL的思想构建文物交互过程中声音渲染的基本框架, 所涉及的主要对象有: 1)用于发出声响的声源AudioSource。该声源附着在操作代理上, 通常依据用户的意图在虚拟空间中自由移动, 当与文物模型交互时启动音频播放; 2)用于监听声音的听众AudioListener。而获取的声音的响度和质量取决于AudioListener与AudioSource两者的相对位置和方向, 在虚拟空间中AudioListener的数目通常是唯一的; 3)用于存储声音的缓冲区AudioBuffer。在用户交互的过程中, 需要被存储的声音可分为两类:用户敲击文物时产生的声音以及用户在文物表面滑动时的摩擦声响; 声音的整体渲染过程与交互时接触状态密切相关。与文物触觉计算渲染相关的内容将在下文进行系统阐述。而对于3维文物模型的图像渲染, 相关研究成果已较为成熟, 可参考文献[23-25]。

3 本文方法

本文方法大致可分为触觉绘制、用户交互识别和物理建模3个部分, 下文将对算法的核心内容作具体阐述。

3.1 触觉绘制

在力触觉计算渲染方面, 力触觉交互的控制模式主要包括两种:阻抗控制和导纳控制。前者依据用户输入的位置和方向信息进行力和力矩的计算, 并实时反馈给用户; 后者则是输入力和力矩后进行物理计算, 生成当前时刻操作端的位置和方向。本文采用阻抗控制方式作为触觉计算渲染的基本驱动机制, 按照由简单到复杂、从粗糙到精细的思路实现文物轮廓形状、物理材质以及表面纹理等不同层级特征的计算渲染。对于文物的轮廓形状, 本文基于嵌入深度构建弹簧系统近似模拟文物表面轮廓的接触过程, 弹簧的劲度系数与文物对象的刚度密切相关; 为了反映文物表面的摩擦力这一材质特征, 本文通过引入动摩擦因数和静摩擦因数来模拟文物接触过程中的摩擦, 认为随着操作代理在文物表面运动趋势的变化, 有限状态机在静摩擦和动摩擦之间交替更新。现有的文物模型通常是采用三角面片进行表示, 离散的三角面片组虽可较好地逼近复杂形体, 但仍存在一定的误差。为了解决这一问题, 本文通过引入法线贴图来还原文物表面的局部细节信息。法线贴图以往常被用来解决视觉通道上模型的真实感处理[26]和点云数据的3维重建[27]问题, 本文将其应用于文物表面沟纹特征的处理, 从触觉通道的角度实现文物模型梯度表面的估算, 并依据梯度表面对已生成力触觉信息进行局部修正。

算法的实现主要采用虚拟匹配的思想, 虚拟匹配法是指力触觉设备控制操作代理的目标位置${p_t}$, 在目标位置${p_t}$与实际显示位置${p_s}$之间构建弹簧模型进行关联, 并依据${p_t}$${p_s}$之间的位置差别进行反馈力的计算。其中, 在运行阶段${p_s}$的计算被分成两个部分:当操作代理未与文物模型发生碰撞时, 代理物体的${p_t}$${p_s}$两者位置保持一致; 当两者确定发生碰撞, 则需计算出${p_t}$在文物模型表面对应的${p_s}$。本文触觉绘制环节的算法流程如图 3所示。

图 3 本文方法触觉绘制环节的流程
Fig. 3 Haptic rendering pipeline in our algorithm

算法的具体步骤如下:

1) 依据操作代理当前时刻位置$p_t^n$和上一时刻位置$p_t^{n - 1}$生成运动轨迹, 计算获取该运动轨迹与文物模型的交点${p_c}$, 根据${p_c}$与操作代理的半径$r$设定初始显示位置${p_0}$;

2) 考虑到文物表面摩擦因素的影响, 通过引入动摩擦因数${u_d}$和静摩擦因数${u_s}$进行物理仿真。当操作代理和文物模型之间有相对运动趋势但尚未发生相对滑动时, 即粘着状态stick, 摩擦力的模拟选用静摩擦因数${u_s}$; 当两者处于相对滑动状态$slip$时, 则选用动摩擦因数${u_d}$。在相同的接触情形下, 静摩擦因数通常会略大于动摩擦因数, 此时运动状态确定的规则如下:

首先, 分别求解动摩擦角${\varphi _d}$、静摩擦角${\varphi _s}$以及全反力与表面法线的夹角$\theta $, 可参考图 4, 具体计算过程为

$ \left\{ \begin{array}{l} {\varphi _d} = \arctan \left( {{u_d}} \right)\\ {\varphi _s} = \arctan \left( {{u_s}} \right)\\ \theta = \arccos \left( {\frac{{{\mathit{\boldsymbol{v}}_1} \cdot {\mathit{\boldsymbol{v}}_2}}}{{\left| {{\mathit{\boldsymbol{v}}_1}} \right|\left| {{\mathit{\boldsymbol{v}}_2}} \right|}}} \right) \end{array} \right. $ (1)

图 4 摩擦情形下运动状态切换示意图
Fig. 4 Motion state switch under friction situation ((a)slip; (b)stick)

式中, ${\mathit{\boldsymbol{v}}_1}$的起点是操作代理的当前位置$p_t^n$, 终点是当前时刻的初始显示位置$p_0^n$, ${\mathit{\boldsymbol{v}}_2}$表示的是文物模型在点${p_c}$处法线。

然后, 依据当前时刻${\varphi _d}$${\varphi _s}$$\theta $三者之间的关系确定运动状态。当上一时刻两者处于相对滑动状态slip时, 参考图 4(a),当前时刻的运动状态为

$ \left\{ \begin{array}{l} state = {\rm{stick}}\;\;\;\;\theta < {k_d}{\varphi _d}\\ state = {\rm{slip}}\;\;\;\;\;\;\theta \ge {k_d}{\varphi _d} \end{array} \right. $ (2)

式中, ${k_d}$是设定的动摩擦滞后系数, 用来避免两者状态切换时发生振荡现象。当上一时刻两者处于粘着状态stick时, 参考图 4(b),当前时刻的运动状态为

$ \left\{ \begin{array}{l} state = {\rm{slip}}\;\;\;\;\;\;\theta \ge {\varphi _s}\\ state = {\rm{stick}}\;\;\;\;\theta < {\varphi _s} \end{array} \right. $ (3)

3) 依据运动状态确定摩擦因子$u$, 计算摩擦力因素影响下操作代理的实际显示位置${p_s}$。假设交点${p_c}$处对应的表面法向为$\mathit{\boldsymbol{n}}\left( {A, B, C} \right)$, 则经过点${p_0}\left( {{x_0}, {y_0}, {z_0}} \right)$且法向为$\mathit{\boldsymbol{n}}$的平面$m$$A\left( {x - {x_0}} \right) + B\left( {y - {y_0}} \right) + C\left( {z - {z_0}} \right) = 0$, 计算点${p_t}$到平面$m$的距离即嵌入深度${d_p}$。由摩擦因子$u$和嵌入深度${d_p}$确定摩擦力的作用半径${d_f} = u{d_p}$, 生成操作代理目标位置${p_t}$和初始显示位置${p_0}$之间的距离${d_r}$, 比较${d_f}$${d_r}$从而计算摩擦因素下操作代理的实际显示位置${p_s}$

$ \left\{ \begin{array}{l} {p_s} = {p_0}\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{d_r} < {d_f}\\ {p_s} = {p_t} + {d_f}/{d_r} \cdot \left( {{p_0} - {p_t}} \right)\;\;\;\;\;{d_r} \ge {d_f} \end{array} \right. $ (4)

4) 已知操作代理的实际显示位置${p_s}$和目标位置${p_t}$, 设$k$为文物表面的刚性系数。利用胡克定律完成反馈力$\mathit{\boldsymbol{f}}$的计算, 计算得到的反馈力$\mathit{\boldsymbol{f}}$可分为两个部分:垂直于文物模型接触表面的切向力${\mathit{\boldsymbol{f}}_n}$和平行于模型接触表面的法向力${\mathit{\boldsymbol{f}}_t}$, 具体公式为

$ \mathit{\boldsymbol{f}} = k \cdot \left( {{p_s} - {p_t}} \right) = {\mathit{\boldsymbol{f}}_n} + {\mathit{\boldsymbol{f}}_t} $ (5)

5) 当点云数据重建的3维文物为高细节模型时, 模型表面的细小轮廓信息都可被合理呈现。但通常情况下, 文物重建只是选取体现模型特征的点云数据, 并对该部分点云数据进行三角化处理, 简化后的3维模型可能无法体现文物表面的局部细节。为了解决这一问题, 本文通过计算高细节模型和简化模型的差异生成法线贴图, 该法线贴图保留着高细节模型的表面细节, 借助法线贴图获取高细节模型表面的法线信息, 依据法线信息和接触时的三角面片进一步估算文物的梯度表面。法线贴图中的法线数据通常用贴图中RGB三个通道进行存储, 法线的范围从[-1, 1]变换至RGB通道的灰度范围[0, 255]。此时, 接触点处高细节模型法线的计算过程为:

假设贴图的宽、高分别是$w$$h$, 接触点在贴图上的相对纹理坐标为$\left( {u, v} \right)$, 可获取与接触点最近的4个像素点$pi{x_1}\left( {u', v'} \right)$$pi{x_2}\left( {u'+1, v'} \right)$$pi{x_3}\left( {u', v'+1} \right)$$pi{x_4}\left( {u'+1, v'+1} \right)$, 边界情况需进行特殊考虑。其中, ${u'}$${v'}$的求解过程为

$ \left\{ \begin{array}{l} u' = \left\lfloor {\left( {w - 1} \right) \cdot u} \right\rfloor \\ v' = \left\lfloor {\left( {h - 1} \right) \cdot v} \right\rfloor \end{array} \right. $ (6)

像素点处的法线是通过法线贴图的颜色转化而来, 可表示为

$ \begin{array}{*{20}{c}} {pix_n^{{\rm{normal}}} = 2 \cdot \left( {pix_n^{{\rm{color}}} - 128} \right)/255}\\ {n \in \left[ {1,2,3,4} \right]} \end{array} $ (7)

式中, $pix_n^{{\rm{color}}}$为每个像素点的灰度范围, $pix_n^{{\rm{normal}}}$为各像素对应的法线向量数据。对接触点邻近4个像素点的法线进行双线性插值, 获取接触点法线信息, 加权系数为$x$$y$, 则$pi{x^{{\rm{normal}}}}\left( {{\rm{d}}x, {\rm{d}}y, {\rm{d}}z, } \right)$通过插值公式进行求解的过程,即

$ \begin{array}{*{20}{c}} {x = \left( {w - 1} \right) \cdot u - u'}\\ {y = \left( {h - 1} \right) \cdot v - v'}\\ {pi{x^{{\rm{normal}}}} = \left( {1 - x} \right)\left( {1 - y} \right)pix_1^{{\rm{normal}}} + }\\ {x\left( {1 - y} \right)pix_2^{{\rm{normal}}} + y\left( {1 - x} \right)pix_3^{{\rm{normal}}} + }\\ {xy \ pix_4^{{\rm{normal}}}} \end{array} $ (8)

6) 依据接触点所在的三角形顶点${v_0}$${v_1}$${v_2}$, 顶点对应的纹理坐标${t_0}$${t_1}$${t_2}$, 三角形对应的面法向$\mathit{\boldsymbol{n}}$以及求解的$pi{x^{{\rm{normal}}}}$估算出梯度表面, 并对原有的表面法向进行修正。首先, 计算生成${v_1}$${v_0}$${v_2}$${v_0}$${t_1}$${t_0}$${t_2}$${t_0}$之间的向量, 定义向量的模长分别是$le{n_{v10}}$$le{n_{v20}}$$le{n_{t10}}$$le{n_{t20}}$, 单位向量为$\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{v10}}$$\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{v20}}$$\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{t10}}$$\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{t20}}$; 然后, 通过$\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{t10}}\left( {{m_{00}}, {m_{10}}} \right)$$\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{t20}}\left( {{m_{01}}, {m_{11}}} \right)$获系数矩阵

$ \left[ {\begin{array}{*{20}{c}} {{c_{01}}}\\ {{c_{02}}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{m_{00}}}&{{m_{01}}}\\ {{m_{10}}}&{{m_{11}}} \end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}} {\Delta x}\\ {\Delta y} \end{array}} \right] $

估算出来的梯度表面局部法向量${\mathit{\boldsymbol{p}}_{{\rm{surface}}}}$、修正后表面法线${\mathit{\boldsymbol{n'}}}$分别为

$ \begin{array}{*{20}{c}} {{\mathit{\boldsymbol{p}}_{{\rm{surface}}}} = {c_{01}}/le{n_{v10}} \cdot \mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{v10}} + {c_{02}}/le{n_{v20}} \cdot }\\ {\mathit{\boldsymbol{ve}}{\mathit{\boldsymbol{c}}_{v20}} + \Delta z \cdot \mathit{\boldsymbol{n}}}\\ {\mathit{\boldsymbol{n'}} = \frac{{{\mathit{\boldsymbol{p}}_{{\rm{surface}}}}}}{{\left| {{\mathit{\boldsymbol{p}}_{{\rm{surface}}}}} \right|}}} \end{array} $ (9)

7) 最终反馈的力触觉信息被修正为

$ \mathit{\boldsymbol{f}} = \left| {{\mathit{\boldsymbol{f}}_n}} \right| \cdot \mathit{\boldsymbol{n'}} + {\mathit{\boldsymbol{f}}_t} $ (10)

3.2 用户交互识别

相比于2维交互, 3维空间为用户交互提供的自由度更高, 交互任务更为复杂。此时, 通过对现实世界存在的一些机制进行比拟或抽象, 并借用到交互过程中, 实现全新的3维交互隐喻。在3维交互中, 交互隐喻把用户使用力触觉交互设备产生的动作信息(主要是位置和姿势信息、以及离散的按钮状态)映射为虚拟空间的操作代理, 用户可借助操作代理实现对文物模型表面的触碰和抚摸, 在此基本上, 本文借鉴文献[28]的思想, 进一步提出两种基本的操作范式, 以完成特定交互任务。

3.2.1 “旋转”建模

在文物数字化展示过程中, 每一时刻用户获取的文物图像信息都是基于特定视角的。此时, 通过引入“旋转”操作可使用户根据自身需求自由变换视角, 实现对文物模型多视角的观察和鉴赏。在现实生活中, 人们通常使用手指转动文物所在的圆盘或底座实现文物查看。3维交互过程中, 手指被隐喻为虚拟世界的操作代理, “旋转”操作本质上是物理学上的定轴转动运动。其运动学方程依据刚体转动定律确定, 用来描述转动时角加速度、转动惯量以及合外力矩之间的关系。力矩计算公式为

$ \mathit{\boldsymbol{M}} = \mathit{\boldsymbol{r}} \times {\mathit{\boldsymbol{f}}_o} = \mathit{\boldsymbol{J\beta }} = \mathit{\boldsymbol{J}}\frac{{{\rm{d}}w}}{{{\rm{d}}t}} $ (11)

式中, $\mathit{\boldsymbol{J}}$是刚体的转动惯量, $\mathit{\boldsymbol{w}}$为加速度, $\mathit{\boldsymbol{\beta }}$是角加速度, ${\mathit{\boldsymbol{f}}_o}$与上文的$\mathit{\boldsymbol{f}}$互为一对作用力和反作用力, $\mathit{\boldsymbol{r}}$是转动轴到着力点的距离矢量。

在对着力点进行动力学分析后, 运用数值积分对常微分方程进行求解, 求解公式为

$ \left\{ \begin{array}{l} {\mathit{\boldsymbol{\theta }}_{t + 1}} = {\mathit{\boldsymbol{\theta }}_t} + \Delta t \cdot \left( {{\mathit{\boldsymbol{\omega }}_t} + {\mathit{\boldsymbol{\omega }}_{t + 1}}} \right)/2.0\;\;\;\;{\mathit{\boldsymbol{f}}_o} = 0\\ {\mathit{\boldsymbol{\theta }}_{t + 1}} = {\mathit{\boldsymbol{\theta }}_t} + \Delta t \cdot {\mathit{\boldsymbol{\omega }}_t} + \Delta {t^2}{\mathit{\boldsymbol{\beta }}_t}/2.0\;\;\;\;{\mathit{\boldsymbol{f}}_o} \ne 0 \end{array} \right. $ (12)

式中, ${\mathit{\boldsymbol{\theta }}_{t + 1}}$${\mathit{\boldsymbol{\omega }}_{t + 1}}$为下一时刻的角度和角速度, ${\mathit{\boldsymbol{\theta }}_t}$${\mathit{\boldsymbol{\omega }}_t}$${\mathit{\boldsymbol{\beta }}_t}$分别为当前时刻的角度、角速度和角加速度, $\Delta t$为时间步长。同时在${\mathit{\boldsymbol{\omega }}_t}$${\mathit{\boldsymbol{\omega }}_{t + 1}}$之间引入角速度衰减因子${{c_d}}$, 即${\mathit{\boldsymbol{\omega }}_{t + 1}} = \left( {1 - {c_d}} \right){\mathit{\boldsymbol{\omega }}_t}$。最终迭代求解实现真实力感下文物“旋转”这一交互任务。

3.2.2 “选择-移动-释放”建模

在现实情况下, 由于文物本身具有的唯一性、易氧化和不可再生等特点, 文物的接触、移动和转移工作都需符合特定的操作规范和流程。对于参观者而言, 此过程基本杜绝了用户直观感知文物重量、观察文物运动状态的可能性。因此, 在3维交互过程中, 提供“选择—移动—释放”等一系列基本文物模型交互操作, 有助于用户在虚拟环境下实现对文物模型自由操作, 提升对文物模型的整体认知。“选择”操作是指在虚拟场景的若干个文物模型选取一个文物作为操作对象, 当操作代理接触到文物模型时, 通过按下力触觉设备的按钮, 设定文物模型的作用点${p_A}$。当操作代理根据用户意图继续运动时, 此时操作代理的位置被设定为非约束点${p_B}$

由于力触觉设备本身性能参数和规格的限制, 文物的真实重量无法直接在虚拟环境中进行体现, 因此需在文物真实重量和力触觉设备可感知范围之间构建映射关系。本文借鉴心理物理学的“比例加工”(proportional processing)[29]这一概念, 其认为人类在对物体刺激进行感知觉加工和比较的过程中, 遵循比较加工机制的基本原则, 即依赖于刺激间的相对差异, 而非刺激间的绝对差异。因此, 文物真实重量和力触觉设备可感知范围之间的映射不该是一种简单的线性映射关系, 随着文物真实重量的递增, 相同的重量变化所引发的感觉强度应是逐步递减的。

本文通过参考“韦伯—费希纳定律”构建从文物真实重量范围[${w_{\min }}$, ${w_{\max }}$]到力触觉设备可感知范围[${s_{\min }}$, ${s_{\max }}$]的非线性映射关系, 其表达式为

$ s = \left( {{s_{\max }} - {s_{\min }}} \right)\frac{{\lg \left( {w - {w_{\min }} + 1} \right)}}{{\lg \left( {{w_{\max }} - {w_{\min }}} \right)}} + {s_{\min }} $ (13)

本文在作用点${p_A}$和非约束点${p_B}$两者之间添加弹簧模型, 设定弹簧形变阈值为${\tau _{\max }}$, 则弹簧的刚度系数为$k = s/\left( {{\tau _{\max }} - {l_0}} \right)$。然后, 计算得到${p_A}$处的作用力${\mathit{\boldsymbol{f}}_A}$, 计算公式为

$ {\mathit{\boldsymbol{f}}_A} = k \cdot \left( {\left| {{p_B} - {p_A}} \right| - {l_0}} \right)\frac{{{p_B} - {p_A}}}{{\left| {{p_B} - {p_A}} \right|}} $ (14)

式中, ${l_0}$为弹簧的初始长度。此后, 将文物模型上的作用点${p_A}$和作用力${\mathit{\boldsymbol{f}}_A}$作为参数传递给ODE引擎可实现文物模型的“移动”, 相关原理将在后续的3.3节作具体阐述。

当交互过程结束后, 用户松开力触觉设备的按钮, 文物模型上设定的作用点和弹簧系统被取消, “释放”操作最终被完成。

3.3 物理建模

为了进一步提升虚拟场景的真实感特征, 本文考虑将ODE物理引擎引入至文物交互的过程中, 物理引擎的合理引入将物体的基本运动规律集成至虚拟场景, 实现操作者对物理世界的普遍感知。

3.3.1 ODE建模

ODE是由Russell等人设计的开源动力学引擎, 可用来实现虚拟(仿真)环境下力的模拟和物体间的相互作用。ODE通常使用World、Body、Geom、Joint和Space等基本元素来描述现实世界中的实体。其中, Body是描述现实世界的最主要的元素, 表示具有多种属性的刚体。这里的属性可细分为随时间变化和固定不变的两类, 随时间变化的属性主要包括物体的位置、速度和姿势等, 不变的属性则主要涉及质量、转动惯量以及质点的相对坐标等。Geom表示刚体的几何形状, 其支持的形式包括球、圆柱、平面、立方体以及三角网格模型等; 对于单个Geom元素, 有且仅有一个Body与之对应, 两者的结合实现现实世界中物体的有效描述。Joint主要负责描述现实世界刚体之间的约束关系, 简而言之就是连接两个刚体之间的关节。Space被称之为碰撞空间, 负责检测场景中包含的若干Geom对象是否发生碰撞, 并对碰撞的刚体进行处理。World代表整个虚拟世界, 包含所有Body、Geom和Joint对象, 并负责重力加速度等动力学参数的设定。

本文3维文物展示过程中进行的ODE建模涉及World、Body、Geom和Space等4种基本元素, 基本处理过程如下: 1)创建文物展示的虚拟世界World, 该虚拟世界包含展示场景和虚拟文物两部分内容, 同时对其中的重力加速度、阻尼系数和最大角速度等环境参数进行设置; 2)通过使用Body和Geom两个基本元素实现虚拟环境中文物的描述, 其中Body负责文物质量、初始位置以及姿势等信息的设置, Geom负责使用三角网格模型对文物的形状进行描述; 3)创建碰撞空间Space, 包含文物和场景的Geom元素, 主要负责检测虚拟世界中文物与文物之间、文物与静态场景之间的碰撞情况。

3.3.2 真实感处理

在人与文物真实交互的过程中, 用户从视听触多个通道获取文物信息的同时, 文物也在用户的作用下进行真实的物理运动。为了对这一运动过程进行仿真, 进一步提升交互的真实感, 本文采用ODE物理引擎进行动力学建模。图 5是文物在交互环节物理仿真流程图。

图 5 文物交互环节物理仿真的流程
Fig. 5 Physical simulation process during real-time interaction

当用户使用操作代理接触文物模型并对模型施加基本操作时, 依据两者的接触状态对文物模型进行受力分析, 判断受力点以及受力点处被施加的作用力。然后, 检测当前迭代区间碰撞空间Space中物体的碰撞情况, 在有可能发生碰撞的物体之间添加Contact类型的接触关节, 并设置参数信息。在接触关节添加完成后, 依据受力情况调用ODE函数执行当前迭代区间的动力学计算, 生成虚拟场景中各物体当前时刻的位置和方向。计算完成后, 清空当前迭代过程中添加的接触关节, 将更新后的各物体位置和方向信息传递给主程序, 完成当前时刻实现文物模型运动状态的图像渲染。若当前时刻仿真未结束, 则ODE物理引擎自动进入下一次迭代过程。当仿真结束后, 实现文物最终效果的呈现。

4 实验与讨论

笔者通过引入典型的桌面式力触觉设备(Phantom Omni手控器具有6自由度的位置和姿势检测, 3自由度的触觉反馈检测精度约为0.055 mm, 工作空间大于160$W$×120$H$×70 mm3, 最大施加力3.3 N)构建基于多模感知的3维文物交互式呈现系统。使用OpenGL开放图形库实现视觉渲染的功能, 实验系统的运行平台为安装了Win7操作系统、配备Intel Core2*4 2.66 GHz CPU、内存为4 GB的PC机, 开发工具是Visual Studio 2013。图 6为本文的基于多模感知的3维文物交互式呈现实验系统。

图 6 基于多模感知的3维文物交互式呈现实验环境
Fig. 6 Multi-mode perceptual experimental systems for cultural artifacts

4.1 实验及结果展示

图 7所示为阻抗控制下文物感知的输入/输出曲线, 实验结果表明在操作代理自由探索文物表面的时间区间内, 系统输出的力触觉信号较为精细, 触觉感受流畅而无振荡感。

图 7 阻抗控制下文物感知的输入/输出曲线
Fig. 7 Input/output curves of perceiving cultural relic under impedance control mode ((a) input curves of position; (b) output curves of force)

图 8是角速度衰减因子${c_d} = 0.1$时, “旋转”操作下反馈力和转动角度的输入/输出曲线, 该图采用双坐标轴的形式, 左侧坐标轴对应反馈力在$x$$y$$z$3个方向上的分量, 右侧则对应力作用下3维文物转动的角度。由图 8可知, 在角速度衰减因子的作用下, 3维文物转动的角度呈逐渐下降的趋势; 同时, 外部作用力的施加会显著影响单位时间内3维文物的转动角度。

图 8 “旋转”操作下反馈力和转动角度输入/输出曲线
Fig. 8 Input/output curves of force and angle under "rotation" operation

图 9为“选择-移动-释放”操作下反馈力的输出曲线。在本实验中, 设定文物真实重量(单位N)范围[0, 300]到力触觉设备可感知力(单位N)的范围[0, 3], 实验中选取的文物真实质量为10 kg, 重力加速度为9.81 N/kg, 依据式(13)计算出虚拟空间的映射力约为1.4 N。从图 9中可看出在文物的拾取过程中, 力触觉设备输出的反馈力逐步变大; 在文物移动的过程中, 反馈力和重力基本保持平衡状态, 释放文物后, 反馈力的各方向的分量重新归零。

图 9 “选择-移动-释放”操作下反馈力输出曲线
Fig. 9 Output curves of force under "select-move-release" operation

图 10(a)-(d)分别展示了4种3维文物的展示效果片段, 可以看出, 本文的文物交互式呈现实验系统是可行的, 整体的展示效果富有真实感。图 11图 12分别是“旋转”操作和“选择-移动-释放”操作下多视角的3维文物交互效果图。实验效果表明,系统能较好地完成用户的操作意图, 且交互过程简单、自然、有效。

图 10 3维文物的呈现效果图
Fig. 10 Screenshots of scenes rendered by actually running our algorithm ((a) blue and white porcelain; (b) bronze tripod; (c) single ear porcelain; (d) Terra-Cotta Warriors)
图 11 “旋转”操作下多角度3维文物交互效果图
Fig. 11 Multi-angle effect graphs of 3D cultural relics under "rotation" interaction models ((a) rotate 0°; (b) rotate 90°; (c) rotate 270°; (d) rotate 360°)
图 12 “选择-移动-释放”操作下3维文物交互效果图
Fig. 12 Effect graphs of 3D cultural relics under "select-move-release" interaction models ((a) select artifact; (b) pick artifact; (c) move artifact; (d) release artifact)

4.2 用户体验反馈

用户体验(UE)是指用户在产品的使用或体验过程中建立起来的主观感受。本文依据劳斯的用户体验理论[30], 从可用性、感官体验和情感体验3个维度建立指标进行体验效果评估。

本实验邀请15名志愿者(8名男性和7名女性)对展示系统进行了体验。体验开始前, 进行体验的内容和交互方法进行了简要说明。在具体感知的过程中, 志愿者自主地对虚拟环境中的数字文物进行3~5 min的探索和感知。体验结束后, 志愿者完成问卷的填写, 填写的内容主要分为两部分, 一是志愿者年龄、性别等背景信息的收集; 二是通过问题设定对用户的体验效果进行描述。设定的问题囊括视听触感官体验、易学性、易用性、舒适性、趣味性和探索感等诸多方面。用户打分采用5级量表, 1分代表完全不符合, 5分代表完全符合。图 13所示为展示系统的用户体验评价结果。

图 13 用户对实验系统的交互体验评分
Fig. 13 User experience ratings of experimental system

调查结果表明, 本文实验系统在用户体验效果的3个维度上, 可用性和情感体验两者的得分较高, 感官体验方面的得分相对较低。就设定的问题而言, 在满足用户的好奇心以及展示方式有趣性方面, 用户的认可度较高; 而在文物模型的真实感细节信息和人与文物交互的自然性方面, 用户的评分相对较低。实验结束后, 通过对用户进行访谈发现, 用户认为实验系统对文物局部细节的展示方面还有进一步优化的空间; 与此同时, 现有的交互方式虽相对于鼠标已较为自然, 但相比真实环境下人与物体的交互尚有一定的距离。

5 结论

本文提出一种基于多模感知的数字文物交互式呈现方法。首先从视听触觉多通道的角度对3维文物进行分析和重构, 按照从简单到复杂、从粗糙到精细的思路实现文物轮廓形状、物理材质以及表面纹理等不同层级特征的力触觉计算渲染, 结合实时生成的图像和声音信息实现多模感知。在3维交互过程中, 结合新型的力触觉交互设备完成用户操作意图向计算机交互隐喻的合理映射, 利用操作代理构建了“旋转”和“选择—移动—释放”两种基本的操作范式。考虑到虚拟场景的真实感特征, 通过引入ODE物理引擎将物体的基本运动规律集成至虚拟场景, 实现操作者对物理世界的普遍感知。实验表明:本文系统可从视觉、听觉、触觉多个通道对3维文物整体和细节信息进行合理呈现, 且整体交互过程简单、自然、有效。算法适用于各类数字遗产特别是3维文物的多模重现。

但不足之处在于, 本文算法对文物局部复杂纹理的触觉呈现还不够精细; 触觉交互的方式也较为简单, 相比于真实环境中交互过程仍存在着一定的差距。未来的研究将主要针对上述问题进行改进, 评估采用深度学习分析文物表面细节信息的可行性, 若能将深度学习方法引入表面沟纹深度的估算过程中, 则可进一步提升文物表面触觉渲染的精细度; 同时, 研究多点抓取虚拟文物的力触觉交互方法, 相比于现有单个点与数字文物的交互, 多点交互可提供更高的逼真度和更丰富的操作体验。

参考文献

  • [1] Chow S K, Chan K L. Reconstruction of photorealistic 3D model of ceramic artefacts for interactive virtual exhibition[J]. Journal of Cultural Heritage, 2009, 10(2): 161–173. [DOI:10.1016/j.culher.2008.08.011]
  • [2] Bruno F, Bruno S, Sensi G D, et al. From 3D reconstruction to virtual reality:a complete methodology for digital archaeological exhibition[J]. Journal of Cultural Heritage, 2010, 11(1): 42–49. [DOI:10.1016/j.culher.2009.02.006]
  • [3] Fernández-Palacios B J, Morabito D, Remondino F. Access to complex reality-based 3D models using virtual reality solutions[J]. Journal of Cultural Heritage, 2017, 23: 40–48. [DOI:10.1016/j.culher.2016.09.003]
  • [4] Liu Y, Lu D M, Diao C Y, et al. Dunhuang 285 cave multimedia integrated virtual exhibit[J]. Journal of Computer-Aided Design & Computer Graphics, 2004, 16(11): 1528–1534. [刘洋, 鲁东明, 刁常宇, 等. 敦煌285窟多媒体集成虚拟展示[J]. 计算机辅助设计与图形学学报, 2004, 16(11): 1528–1534. ] [DOI:10.3321/j.issn:1003-9775.2004.11.011]
  • [5] Duan X Y, Liu X L, Liu C X. 3D display technique of virtual Yin ruin's museum[J]. Journal of System Simulation, 2005, 17(9): 2187–2190. [段新昱, 刘学莉, 刘晨曦. 虚拟殷墟博物苑的3维展示技术[J]. 系统仿真学报, 2005, 17(9): 2187–2190. ] [DOI:10.3969/j.issn.1004-731X.2005.09.037]
  • [6] Lin Y, Chen J, Liu Y, et al. User experience design of VR-AR hybrid mobile browsing system based on mental model[J]. Chinese Journal of Computers, 2015, 38(2): 408–422. [林一, 陈靖, 刘越, 等. 基于心智模型的虚拟现实与增强现实混合式移动导览系统的用户体验设计[J]. 计算机学报, 2015, 38(2): 408–422. ] [DOI:10.3724/SP.J.1016.2015.00408]
  • [7] Leyvand T, Meekhof C, Wei Y C, et al. Kinect identity:technology and experience[J]. Computer, 2011, 44(4): 94–96. [DOI:10.1109/mc.2011.114]
  • [8] Ernst M O, Banks M S. Humans integrate visual and haptic information in a statistically optimal fashion[J]. Nature, 2002, 415(6870): 429–433. [DOI:10.1038/415429a]
  • [9] Zhang F J, Dai G Z, Peng X L. A survey on human-computer interaction in virtual reality[J]. Scientia Sinica Informationis, 2016, 46(12): 1711–1736. [张凤军, 戴国忠, 彭晓兰. 虚拟现实的人机交互综述[J]. 中国科学:信息科学, 2016, 46(12): 1711–1736. ] [DOI:10.1360/N112016-00252]
  • [10] Song A G, Tian L, Ni D J, et al. Multi-mode haptic interaction technique and its application[J]. Scientia Sinica Informationis, 2017, 47(9): 1183–1197. [宋爱国, 田磊, 倪得晶, 等. 多模态力触觉交互技术及应用[J]. 中国科学:信息科学, 2017, 47(9): 1183–1197. ] [DOI:10.1360/N112017-00081]
  • [11] Xue F Z, Liu C J, Li N, et al. Open humanoid robot simulator based on ODE[J]. Robot, 2011, 33(1): 84–89. [薛方正, 刘成军, 李楠, 等. 基于ODE引擎的开放式仿人机器人仿真[J]. 机器人, 2011, 33(1): 84–89. ] [DOI:10.3724/SP.J.1218.2011.00084]
  • [12] Buxton B, Hayward V, Pearson I, et al. Big data:the next Google[J]. Nature, 2008, 455: 8–9. [DOI:10.1038/455008a]
  • [13] Wang D X, Jiao J, Zhang Y R, et al. Computer haptics:haptic modeling and rendering in virtual reality environments[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 881–895. [王党校, 焦健, 张玉茹, 等. 计算机触觉:虚拟现实环境的力触觉建模和生成[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 881–895. ] [DOI:10.3969/j.issn.1003-9775.2016.06.003]
  • [14] Sun P F, Bao J S, Jin Y. Haptic perception of 3D vortex structure[J]. Journal of Shanghai Jiaotong University, 2003, 37(1): 50–53. [孙鹏飞, 鲍劲松, 金烨. 3维涡流结构的触觉表达[J]. 上海交通大学学报, 2003, 37(1): 50–53. ] [DOI:10.3321/j.issn:1006-2467.2003.01.014]
  • [15] Zhang Y R, Li C B, Wang D X, et al. Task oriented method for designing haptic devices[J]. Journal of Mechanical Engineering, 2015, 51(13): 212–217, 226. [张玉茹, 李朝斌, 王党校, 等. 面向任务的力觉交互设备设计[J]. 机械工程学报, 2015, 51(13): 212–217, 226. ] [DOI:10.3901/JME.2015.13.212]
  • [16] Zilles C B, Salisbury J K. A constraint-based god-object method for haptic display[C]//Proceedings of 1995 IEEE/RSJ International Conference on Intelligent Robots and Systems. Human Robot Interaction and Cooperative Robots. Pittsburgh, PA: IEEE, 1995, 3: 146-151. [DOI: 10.1109/iros.1995.525876]
  • [17] Ruspini D C, Kolarov K, Khatib O. The haptic display of complex graphical environments[C]//Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 1997: 345-352. [DOI: 10.1145/258734.258878]
  • [18] Chen H, Sun H Q. Haptic sculpturing in the virtual volume space[J]. Chinese Journal of Computers, 2002, 25(9): 994–1000. [陈辉, 孙汉秋. 虚拟体空间中的触觉雕刻[J]. 计算机学报, 2002, 25(9): 994–1000. ] [DOI:10.3321/j.issn:0254-4164.2002.09.015]
  • [19] Wang D X, Zhang Y R, Wang Y, et al. Haptic rendering for dental training system[J]. Science in China Series F:Information Sciences, 2009, 39(1): 159–174. [王党校, 张玉茹, 王勇, 等. 面向牙科手术培训的力觉合成技术[J]. 中国科学F辑:信息科学, 2009, 39(1): 159–174. ] [DOI:10.1360/zf2009-39-1-159]
  • [20] Wang L, Wan H G, Peng Q S. Computation and haptic application of protein interaction fields based on CHARMM force field[J]. Journal of Computer-Aided Design & Computer Graphics, 2009, 21(7): 886–892. [汪莉, 万华根, 彭群生. 基于CHARMM力场的蛋白质分子场计算及触觉感知[J]. 计算机辅助设计与图形学学报, 2009, 21(7): 886–892. ]
  • [21] Yang G Q, Hou Z X, Guo C, et al. The simulation of brush stroke based on force feedback technology[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(5): 849–854. [杨广卿, 侯增选, 郭超, 等. 基于力反馈技术的毛笔笔道仿真[J]. 计算机辅助设计与图形学学报, 2016, 28(5): 849–854. ] [DOI:10.3969/j.issn.1003-9775.2016.05.019]
  • [22] Qiu Z W, Zhang T W. Key techniques on cultural relic 3D reconstruction[J]. Acta Electronica Sinica, 2008, 36(12): 2423–2427. [邱兆文, 张田文. 文物3维重建关键技术[J]. 电子学报, 2008, 36(12): 2423–2427. ] [DOI:10.3321/j.issn:0372-2112.2008.12.028]
  • [23] Hsu W H, Ma K L, Correa C. A rendering framework for multiscale views of 3D models[J]. ACM Transactions on Graphics, 2011, 30(6): #131. [DOI:10.1145/2070781.2024165]
  • [24] Chen T D, Jin W W, Chen Y D, et al. Contour optimization of multi-channel 3D Chinese ink rendering model[J]. Journal of Electronics & Information Technology, 2015, 37(2): 494–498. [陈添丁, 金炜炜, 陈英旦, 等. 轮廓线优化的多通道3维水墨渲染模型[J]. 电子与信息学报, 2015, 37(2): 494–498. ] [DOI:10.11999/JEIT140434]
  • [25] Suarez J, Belhadj F, Boyer V. Real-time 3D rendering with hatching[J]. The Visual Computer, 2017, 33(10): 1319–1334. [DOI:10.1007/s00371-016-1222-3]
  • [26] Schüssler V, Heitz E, Hanika J, et al. Microfacet-based normal mapping for robust Monte Carlo path tracing[J]. ACM Transactions on Graphics, 2017, 36(6): #205. [DOI:10.1145/3130800.3130806]
  • [27] Zhu X J, Guo G L, Zha J F. Reconstruction of 3D laser scanning data based on normal map[J]. Geography and Geo-Information Science, 2012, 28(6): 35–38. [朱晓峻, 郭广礼, 查剑锋. 基于法线贴图的3维激光扫描数据模型重建[J]. 地理与地理信息科学, 2012, 28(6): 35–38. ]
  • [28] Feng Z Q, Yang B, Xu T, et al. 3D direct human-computer interface paradigm based on free hand tracking[J]. Chinese Journal of Computers, 2014, 37(6): 1309–1323. [冯志全, 杨波, 徐涛, 等. 基于自然手势跟踪的直接操作型3维人机交互范式[J]. 计算机学报, 2014, 37(6): 1309–1323. ] [DOI:10.3724/SP.J.1016.2014.01309]
  • [29] Sun J, Content A, Sun P. Studying numerical representation by Weber-Fechner Law[J]. Psychological Research, 2017, 10(5): 35–39. [孙霁, ContentA, 孙沛. 数量表征和韦伯-费希纳定律:应用及发展[J]. 心理研究, 2017, 10(5): 35–39. ] [DOI:10.3969/j.issn.2095-1159.2017.05.005]
  • [30] Rouse W B. Design for Success:A Human-Centered Approach to Designing Successful Products and Systems[M]. New York: Wiley, 1991: 270.