0引言混合现实(mixed reality，MR)系统可以提供增强信息和真实环境实时叠加的虚实融合场景，经典分类方式如图 1所示，图中真实环境与虚拟环境之间定义为混合现实(Milgram等，1994)。混合现实系统有光学透视式和视频透视式两种呈现方式。光学透视式系统采用半反射半透射的光学组件在用户观看到的真实环境中添加绘制的虚拟物体。视频透视式系统使用摄像头捕获真实场景视频并叠加虚拟物体。 图1 混合现实中的虚实融合场景分类 The categorization of mixed realityFig 1随着可视化技术和人机交互技术的飞速发展，混合现实系统已广泛应用于教育培训、文物保护、军事仿真、装备制造、手术医疗和展览展示等领域。在绘制虚实融合场景时，首先需要根据标定数据进行坐标转换得到虚拟摄像机模型，然后根据头部跟踪数据和虚拟摄像机位置渲染场景中的虚拟内容，包括提供深度信息的图形化线索和具有不同表面特性的虚拟物体。如图 2所示，用户在观察混合现实系统呈现的虚实融合场景时包括3个过程：1)将来自不同深度的信息转换为各自的距离信号。该过程中起关键作用的是在虚实融合场景中通过渲染技术呈现的虚拟物体，用户通过虚拟物体固有特性判断深度。2)识别场景中其他视觉刺激变量并将各自距离信号转换为最终距离信号。该过程中起关键作用的是虚实融合场景中提供深度信息的线索，用户需要借助深度线索判断物体位置。3)确定场景中各物体之间的距离关系并将最终距离信号转换为相应指示距离。该过程中起关键作用的是人眼在观看虚实融合场景时的视觉规律(Anderson，1981)。 图2 虚实融合场景中物体的呈现与感知 The presentation and perception of virtual objectFig 2根据上述分析，为了提高混合现实系统的交互效率和用户表现，需要研究虚实融合场景中的深度线索生成和虚拟物体渲染方法。目前虚实融合场景绘制渲染中主要存在以下问题：1)用于指导虚实融合场景绘制的视觉规律和感知理论匮乏。为了能够在虚实融合场景的设计和开发中有效应用视觉规律，增加深度感知的准确性，需要研究人眼在观看虚实融合场景时的视觉模型和感知规律以形成有效的应用指导，提升虚实融合场景的绘制效果，改善混合现实应用的交互效率和用户体验。2)虚实融合场景中图形化线索可提供的绝对深度信息缺失。为了能够帮助用户感知目标物体的深度，需要在场景中生成可以提供有效的绝对深度信息的图形化线索，提取不同图形化线索的特征并量化研究其对于深度感知的作用，提升深度感知中的用户表现，为虚实融合场景的绘制提供依据。3)虚实融合场景中虚拟物体的渲染维度和特征指标不足。为了明确对虚实场景中虚拟物体渲染起主要作用的特性，需要研究合理的参数指标和有效的物体渲染方法，构建不同特征交互作用模型并明确不同虚拟物体渲染特性在深度感知中的作用，为虚实融合场景的渲染提供依据。上述问题严重制约了混合现实系统的推广应用，为此本文在深入分析混合现实系统中视觉规律应用、图形化深度线索生成和虚拟物体渲染等科学问题的基础上，围绕面向虚实融合场景绘制的人眼视觉规律应用方法、提供绝对深度信息的图形化线索生成方法和具有环境适应性的虚拟物体渲染方法等开展研究工作。研究成果可以为混合现实系统的虚实融合绘制渲染提供理论和技术支持，提升混合现实系统的交互效率和用户表现。1国内外研究现状分析为了提高混合现实系统的交互效率和用户表现，国内外研究人员围绕虚实融合场景中的图形化线索生成和虚拟物体的渲染问题，在人眼感知的视觉规律、场景中的深度线索和虚拟物体的固有特性等方面进行了大量研究工作。1.1用于深度感知的视觉规律人们在观看虚实融合场景时，通过视觉系统感知场景中的物体。为了优化虚实融合场景的绘制，需要研究与感知机理相关的视功能因素以及视觉规律对深度感知的指导作用。随着感知技术在混合现实中的发展应用，国内外研究人员围绕地面接触理论、人眼感知方向的各向异性和感知时的人眼注视点分布情况等展开研究。1.1.1视功能因素与人眼相关的深度线索包括辐辏和调节。辐辏是视轴在目标处相交时两只眼睛中心视线之间角度的量度，调节是人眼自然地聚焦在感兴趣物体过程中焦距深度变化的度量。图 3是在真实世界和头盔显示器中辐辏距离和调节距离的变化示意图，其中P为观察点位置，L和R分别为左右眼位置。可以看出，在真实世界中辐辏和调节的距离是一致的，并随目标物体距离的变化而变化。在通过头盔显示器观看虚实融合场景时，人眼始终聚焦在显示屏幕上，然而辐辏距离会随视差的变化而变化，从而产生辐辏调节冲突。 图3 真实世界和头盔显示器中辐辏距离和调节距离的变化 The change of converge and accommodation in real world and head mounted display ((a)real world; (b)head mounted display)Fig 3人眼为了聚焦在某一深度的物体上，需要向内或向外旋转，因此观看不同深度的物体时两只眼睛视线之间的角度是不同的。尽管为每只眼睛提供单独显示图像的头盔显示器可以自动调整该角度或更改图像，但是由于辐辏是眼睛肌肉的运动，头盔显示器很难实时提供正确的视觉刺激。McCandless等人(2000)对辐辏变化过程中的眼睛位置进行定量分析，表明为了在双目显示器中准确描绘固定刺激距离，需要对观察者的眼球运动进行实时补偿。头盔显示器大多使用针孔相机模型进行图形渲染，从而可以创建无限的景深，因此视场角中的所有物体都聚焦，导致无法实时改变焦点。Mantiuk等人(2011)提出的散焦渲染方法可以实现适当的模糊，但计算过程复杂，难以实时实现，因此很少在交互式系统中使用。视频透视式头盔显示器通过摄像机为真实环境提供调节提示，通常无法对焦点进行实时更改。为此，Liu等人(2010)提出具有多个焦平面的光学透视式显示方法，通过实现不同的焦点提供调节与辐辏匹配，但系统较为笨重，且光能利用率低。性别等因素也会带来人眼视觉特性的生理差异，从而对深度感知造成影响。在室内外真实环境和虚拟环境下的深度感知任务都体现出了一定程度的男女差异。Coluccia和Louse(2004)对已有研究的统计分析结果表明深度感知任务存在性别差异，男性的任务表现相比女性高出28.57%。Coelho等人(2019)通过虚拟环境中的近距离伸手交互任务发现性别确实对深度感知有所影响，然而虚实融合场景中性别与深度感知差异的机理尚不明确，需要开展进一步的研究工作。1.1.2深度感知中的地面接触理论基于现实世界中的物体通常与地平面接触或者放置在与地面接触的表面上的现象，Arnheim等人(1952)提出地面接触理论，表明地面对陆生动物感知距离具有重要作用，对物体深度的感知依赖于物体与连续背景关系的感知，物体与放置平面形成关联有助于对物体深度的感知。Ooi等人(2001)提出的角扩展理论认为感知深度可能会受到地平线以下偏角减小的幻觉的影响，此过程中视线偏角由β变为α，这对于站在地面上的观看者是重要的视觉提示。由于视线和地面的夹角与对地面上物体的深度感知成反比，因此在深度感知中通常会低估物体的深度，如图 4所示。 图4 对物体距离的低估与地平线以下角偏离的关系(Ooi等，2001) The relationship between the underestimation of depth and the deflection angle(Ooi et al., 2001)Fig 4Rand等人(2012)通过控制放置物体平台的可见性，探究了在真实环境中用户行为空间内接触平面对深度感知的作用，当看台可见时，用户可以准确判断到目标的距离；当看台不可见时，用户感知的是物体在地面上的视觉投影位置而非实际位置，从而高估物体的距离，如图 5所示。Rosales等人(2019)研究了混合现实中物体是否与地面接触对深度感知的影响，研究结果表明与同地面接触的虚拟物体相比，混合现实系统中不与地面接触的虚拟物体看起来更远，但是该研究只设置了一个与地面接触进行比较的离地高度。 图5 通过改变平台可见性实现的地面接触(Rand等，2012) Ground contact showing by platform visibility(Rand et al., 2012)Fig 5在没有额外提示信息时，漂浮在空中的物体看起来像在更远处的地面上，即视觉投影的位置；而在有其他接触线索存在时，可以看到物体漂浮在地面上方，而且由于其位置受到视线的限制，因此看起来比物体的遮挡部分更靠近观察者。在地面上呈现虚拟物体的阴影使其看起来与地面接触有助于用户判断物体的深度，且该物体深度与地面的被遮挡部分提示有关(Bian，2005)。Hu等人(2000)和Madison等人(2001)的研究表明，近距离范围内的阴影和相互反射会影响观察者对虚拟物体之间距离的判断(Kersten，1997)。Sugano等人(2003)提出虚拟物体的阴影通过在现实世界和虚拟物体之间提供接触信息，从而提升了虚拟物体的深度感知。然而上述工作都是针对物体与地面之间已有的直接接触展开研究，没有涉及通过其他方式实现虚拟物体与参考平面之间的间接接触并探究其对深度感知的影响。1.1.3深度感知中方向的各向异性除了深度感知外，定向感知也是虚实融合场景中用户感知方面的一个重要研究内容。定向感知指用户对物体偏移程度的感知，Tharp和Ellis(1990)研究了悬空物体之间相对位置的定向感知并发现用户在不同的方向上有不同的误差。Jones等人(2019)在沉浸式虚拟环境中研究了用户对圆形刺激物方向的判断，发现在虚拟环境中随着角度的变化感知误差呈正弦分布，同时在真实环境中也发现了相同的误差，表明在真实和虚拟环境中的定向感知都存在径向的各向异性。这些研究结果证明了真实和虚拟环境中物体的方向会对用户感知产生明显影响，因此物体的偏离方向对深度感知的影响也是一个需要研究的问题。为了研究真实环境中深度感知的空间模型，Watanabe(2004)对比了在拍摄的照片中和在真实环境中的深度感知，任务是判断从目标物体到固定点的距离以及偏离中线的角度，研究结果表明与真实环境相比，照片中的距离被低估且被感知的偏离角度更大，即图像空间具有与视觉空间相同的各向异性。van Doorn等人(2007)也发现了在不同视角和方向下深度感知存在各向异性。但这些研究中有关虚拟环境中深度感知的各向异性并不明确，没有揭示引起深度感知各向异性的人眼生理机能。人眼对虚拟环境中位于侧面虚拟物体的深度感知与位于正前方的虚拟物体不同，因此需要进一步研究虚拟物体的偏向角度对深度感知的影响。Li等人(2013)通过视觉匹配和手势行走任务研究了真实环境和虚拟环境中深度感知范围的各向异性，研究结果表明视觉匹配比手势行走更准确并且在虚拟环境和真实环境中存在相似的各向异性结果。近年来，有学者探究了深度感知中的各向异性是否由眼部肌肉的运动引起。深度感知通常与大小感知结合，如果眼睛位置出现偏移，则感知尺寸的差异较大；如果没有出现偏移，则感知尺寸的差异较小，因此眼睛的位置偏移会影响感知的大小(Suzuki，2007)。早在1970年Thor等人(1970)就发现了眼部肌肉的动觉信息对于感知大小和距离的重要性，在实验中用户保持身体不动，只有眼睛可以转动，任务是判断位于水平方向和竖直方向之间的刺激物的大小和距离，研究结果表明从水平到竖直的过程中用户感知到刺激物越来越小。Tošković(2011)的实验研究表明，对于不同大小和角度的物体，不论被试的身体是否移动，感知距离均不会随观察方向而变化，表明深度感知的各向异性不是由眼睛肌肉的动觉信息引起的，感知大小和距离各向异性可能取决于眼部肌肉的视觉信息和动觉信息之间的相互作用。为研究头部运动方向对深度感知的各向异性的作用，Peillard等人(2019)在虚拟现实中通过二者强制选择的标准化任务比较了视觉刺激物放置在观察者正前方和侧面时深度感知的差异，如图 6所示。实验中用户在观看不同偏离角度的物体时仅转动头部而目标物体始终出现在用户视线的中央，结果表明虚拟物体相对于用户的偏离角度会引入更多的感知偏差，放置在侧面的物体被感知的距离比正前方的物体更远，随着角度的增大这种感知偏差更加明显。虚拟环境中的深度感知结果也出现了与之前实验类似的各向异性，说明用户的头部运动并不是造成虚拟现实中深度感知各向异性的原因。 图6 虚拟物体的偏离角度(Peillard等，2019) The angle between virtual object and the line of sight (Peillard et al., 2019)Fig 6上述研究表明，在真实和虚拟环境中都存在深度感知的各向异性，但起因尚不明确，而在混合现实中的深度感知研究更是匮乏，因此针对虚实融合场景中不同偏离程度物体的深度感知研究是一个急需填补的空白。1.1.4深度感知中的眼动分析研究人眼在观察时眼球的位姿会随着目标的运动而产生变化，这一过程称为眼动。Matin(1974)提出扫视(眼球本身运动)和注视(眼球保持静止并从视觉阵列获取新信息)是眼动的两个基本组成部分。Rayner(2009)发现扫视时人眼在稳定的视觉刺激下眼动的速度很快，人眼无法看清视线中的内容，只会感觉到模糊，仅在注视期间才能获取新信息，因此关于注意力的研究多数集中在眼睛注视阶段。眼动数据可以作为测试用户注视点分布的指标(Duc，2008)，已广泛用于阅读、场景感知和视觉搜索等认知过程中用户注意力的研究，但用户在观看虚实融合场景时的注视情况并不明确，为此需要开展进一步的研究。人们的注意力会被场景中的重要目标信息所吸引，场景中的目标对眼动数据具有较大影响。早期Mackworth和Morandi(1967)和Antes(1974)的研究表明眼球会快速运动到场景中的信息区域，即场景不同部分的显著性会影响人眼的注视重点(Mannan等，1995, 1996；Parkhurst和Niebur，2003)。之后，Rutishauser和Koch(2007)和Underwood等人(2008)的研究工作大多围绕显著性等影响场景中注视位置的因素展开(Itti和Koch，2000)。显著性并不是确定注视点的唯一因素(Williams和Henderson，2007)。Mannan等人(1996)发现用户在观看经过高通或低通滤波后的场景时注视点分布几乎相同，表明用户的注视点不受场景中显著性特征的影响。Neider和Zelinsky(2006)研究了在真实场景中进行目标搜索任务时的眼动情况，结果表明观察者不仅将注视点集中在场景中最有可能包含搜索目标的区域，同时在指定目标物体区域时也很快搜索了场景中的其他区域。这揭示了场景中的视觉搜索受场景上下文影响，并不严格遵循显著性，观察者倾向于注视物体的中心，并且存在注视点低于物体中心的趋势(Henderson，1993)。然而这些研究工作仅围绕显著性展开，忽略了场景中的对比度、颜色、亮度和空间频率等更基本的视觉信息对确定下一步注视点的重要作用。综上所述，针对真实环境和虚拟环境中地面接触理论和深度感知的各向异性的研究成果证明了用户深度感知中地面接触的优势和存在的各向异性，但是有关虚实融合场景中视觉规律的研究并不充分。已有的眼动跟踪系统相关研究主要集中在阅读、视觉搜索和兴趣点预测等方面，缺乏用户在观看虚实融合场景时注视点分布的研究。1.2虚实融合场景中的深度线索虚实融合场景中的背景环境和虚拟物体可以为用户提供深度信息线索，已有的相关研究大多专注于在虚实融合场景中添加各种深度线索，通过实验探究场景中额外的深度信息与深度感知的关系。随着计算机图形学的快速发展，越来越多的图形技术用于虚实融合场景创建，以增强虚拟物体的深度位置提示，包括线性透视、提示位置信息的图形技术和创造X射线视觉的图形技术等。1.2.1基于线性透视的深度线索轨道线是最常见的基于线性透视提示的深度线索，通过类似铁轨的直线表明物体沿轨道线方向的距离和在轨道线形成的区域中的相对大小。如图 7所示，轨道线深度线索可以给轨道线附近的虚拟物体提供参考，用户根据近大远小的线性透视法则判断虚拟物体的深度。由于室内走廊提供的线性透视视觉提示与轨道线的设计类似，Knapp和Loomis(2003)、Sugano等人(2003)、Jones等人(2008)、Livingston等人(2009)和Diaz等人(2017)直接采用走廊形成的自然线性透视提示展开深度感知研究。Swan等人(2007)在走廊中通过匹配任务研究了虚拟物体的深度感知，研究结果表明用户对位于地面的虚拟物体的深度比位于天花板的虚拟物体的深度感知得更准确。Livingston等人(2009)在室内外分别设计了轨道线深度线索并通过深度匹配任务测试了用户的深度感知误差，研究结果证明轨道线深度线索对深度感知准确性有一定提升，但基于线性透视的线索仅能提供轨道线附近物体的相对大小关系，无法提供物体的绝对深度信息。 图7 轨道线形成的深度线索 The tramline depth cueFig 7Bane和Hollerer(2004)提出的基于线性透视的虚拟隧道是由平行于视平面的矩形所形成的视锥体，用户在视锥体的顶点处观看场景。如图 8所示，视椎体内部由3个平面构成了4个区域，第1个区域为用户位置到遮挡物之间的透明区域；第2个区域为上下文区域，遮挡物使用线框轮廓绘制，向用户提供浏览内容的上下文信息；第3个区域为注视区域，用于呈现渲染的被遮挡物体；第4个区域为虚拟物体到用于遮挡真实世界的不透明背景之间的区域。用户可以滑动整个区域以获得线性透视深度线索。然而该方法创建的多个区域容易造成视觉混乱，因此应用范围受限。 图8 虚拟隧道形成的深度线索(Bane和Hollerer, 2004) The virtual tunnel depth cue(Bane and Hollerer, 2004)Fig 81.2.2提示相对位置关系的深度线索点画法来源于经典的绘画技术，使用实线、虚线和点来表示物体之间的相对位置关系。Feiner等人(1992)提出了在混合现实中通过引入点画法来提示相对位置线索的方法，如图 9所示，该方法用实线描述可见物体表面，用虚线描述被遮挡的物体表面，基于场景中纹理的相对密度创建深度提示。由于点画模式是连续表面的非连续表示，所以可以将被遮挡的非连续物体表面重建为可见的连续物体表面。但是点画线索打乱了由遮挡造成的深度顺序，会造成深度提示冲突。 图9 点画线形成的深度线索(Feiner等，1992) The pointillism depth cue(Feiner et al., 1992)Fig 9网格线是呈现在被遮挡区域地面上的虚拟网格，通常由同心圆或对应于某些外部坐标系的直线网格组成。Tsuda等人(2006)提出通过地面网格表示遮挡物与被遮挡物之间的水平位置关系，如图 10所示，用户通过绘制的网格线确定被遮挡物所在区域的大小和位置。尽管网格线线索可以提供一定程度的位置关系，但是会增加视觉混乱，并在某种程度上降低被遮挡位置的可见性。 图10 网格线形成的深度线索(Tsuda等，2006) The gridline depth cue(Tsuda et al., 2006)Fig 10通过使用边缘图、显著图等图形技术可以呈现被遮挡的物体，从而使其对用户可见。在显著性分析和上下文可视化技术的启发下，Kalkofen等人(2007)提出了保留上下文的概念，使用被遮挡部分的边缘图将真实环境替换为被遮挡的虚拟物体。Avery等人(2009)将这一概念扩展到移动系统中，检测了遮挡物的边缘并将其放置在被遮挡的虚拟物体上，从而增加了被遮挡物与遮挡物之间的位置参考关系。Sandor等人(2010b)提出采用空间扭曲的可视化技术来虚拟化遮挡物以显示被遮挡的物体。尽管该方法提供了被遮挡位置的清晰视图，但是由于未保留足够的遮挡物信息，因此遮挡的环境受到破坏，可能会造成深度感知的混乱。Zollmann等人(2010)提出通过图像处理提取叠加在虚拟物体前面用来传达真实表面显著特征的方法。Sandor等人(2010a)设计了多个包含色相、亮度和运动等显著特征的显著图深度线索，如图 11所示。然而这些图形技术仅提供了虚拟物体与真实环境之间的相对位置遮挡关系，对判断虚拟物体深度的作用有限。 图11 显著图形成的深度线索(Sandor等，2010a) The saliency map depth cue(Sandor et al., 2010a)Fig 11Livingston等人(2011)提出的虚拟墙线索是基于目标物体深度添加的一组简单的标准边缘，如图 12所示。该线索可以添加或减去位于真实物体表面之后的不同深度的物体边缘，从而展示用户感兴趣的虚拟物体的一个或多个物理表面。尽管边缘图技术在表达真实和虚拟表面的相对位置关系方面取得了成功，但由于计算边缘图需要消耗硬件设备和时间，因此适用性有限。 图12 虚拟墙形成的深度线索(Livingston等，2011) The virtual wall depth cue(Livingston et al., 2011)Fig 12深度投影通过将虚拟物体的位置投影到侧面或者顶部的平面上提示其空间位置。Wither和Hollerer (2005)在虚拟物体所处的空间侧面和上方设计了半透明的平面并将虚拟物体的深度信息投射在表面上，如图 13所示，其效果与侧视图和顶视图相同，有助于用户在户外移动虚实环境中的深度感知。由于该方法仅提供了虚拟物体的空间投影位置，因此需要用户有一定的空间想象力才可以获取物体的深度信息。 图13 深度投影形成的深度线索(Wither和Hollerer, 2005) The depth projection depth cue (Wither and Hollerer, 2005)Fig 131.2.3创造X射线视觉的辅助性深度线索X射线视觉指穿过遮挡的表面观察到隐藏在其后的物体，在构建混合现实场景时可以通过创造X射线视觉呈现遮挡表面后的虚拟物体。Feiner和Seligmann(1992)提出的基于X射线视觉的虚拟孔可以为虚拟物体和真实表面创建上下文环境(Bajura等，1992)，明确了虚拟物体与真实表面的相对位置关系。虽然虚拟孔破坏了真实表面的连续性，但由于直观呈现了被遮挡的虚拟物体，因此有助于用户感知物体深度。切开表面是将虚拟物体呈现在遮挡表面之前的另一种表现形式，Fuchs等人(1998)将其用于腹腔镜可视化的混合现实系统，如图 14所示。但是上述线索都是通过破坏用户对表面连续性的感知偏好传达深度的顺序关系(Ellis和Menges，1998)，因此应用范围受限。 图14 虚拟孔形成的深度线索(Fuchs等，1998) The virtual hole depth cue(Fuchs et al., 1998)Fig 14虚拟覆盖通过添加辅助性深度线索创建X射线视觉以帮助用户感知物体的深度。Zollmann等人(2014)使用基于阿尔法混合、基于边缘和基于图像的3种不同的重影贴图作为深度线索在虚实融合场景中呈现X射线视觉。基于图像的重影贴图包括显著性、边缘和纹理等细节信息，与基于阿尔法混合或基于边缘的重影贴图相比，可以帮助用户更好地估计虚拟物体的深度。Eren和Balcisoy(2018)通过图形渲染技术生成了4种不同的X射线视觉深度线索并研究了这些线索对虚实融合场景中深度感知的影响，结果表明显示覆盖边缘和显示横截面的深度线索有助于用户在垂直方向上的深度感知，如图 15所示。该方法主要作用于竖直平面内物体的深度感知，当作用于水平平面的深度感知时会增加场景的复杂度，造成视觉混乱。 图15 虚拟覆盖形成的深度线索(Eren和Balcisoy, 2018) The virtual overlay depth cue(Eren and Balcisoy, 2018)Fig 151.2.4视错觉几何图形线索人眼对特定的几何图形会产生视错觉，典型的与2维几何图形有关的视错觉称为艾宾浩斯视错觉(Ebbinghaus illusion)，与1维几何图形有关的视错觉称为穆勒莱尔视错觉(Muller-Lyer illusion)。艾宾浩斯视错觉图形如图 16所示，可以看出，图 16(c)中的圆被图 16(a)中更大的圆包围时，中心圆的大小被低估，被图 16(b)中更小的圆包围时，中心圆的大小被高估。即一个固定大小的圆被比其更大或更小的圆包围时，会导致感知到的中心圆的大小发生明显变化。 图16 艾宾浩斯视错觉图形 The Ebbinghaus illusionFig 16图 17所示的穆勒莱尔视错觉也是一种常见的几何视错觉，通过在线段两端放置带有特定角度的箭头诱发长度判断偏差。与图 17(c)所示线段相比，由于图 17(a)中的箭头指向外部，中间线段的长度被判断为比实际线段更短；而由于图 17(b)的箭头指向内部，中间线段被判断为比实际线段更长。 图17 穆勒莱尔视错觉图形 Muller-Lyer illusionFig 17与视错觉有关的研究工作主要集中在视错觉是否影响用户的感知和行动上，如直接进行尺寸比较或用户伸手触摸图形以引起错觉反应的抓握力测量的任务等(Aglioti等，1995；Franz，2001；Haffenden等，2001；Plodowski和Jackson，2001；Franz等，2003)。Girgus等人(1972)量化研究了艾宾浩斯视错觉的影响，大小匹配任务的实验结果表明随着周围圆和中间圆之间距离的增加，中间圆盘的被感知大小减小。Tudusciuc和Nieder (2010)通过延迟采样的匹配任务研究了穆勒莱尔错觉对长度感知的影响，对长度感知的定量分析表明用户会受到穆勒莱尔视错觉的严重影响，向外箭头的视错觉图形的长度被感知的比无箭头的线段更短，而向内箭头的视错觉图形的长度被感知的更长，同时感知的误差随着长度的增加而增加。Aglioti等人(1995)测量了抓取一个位于桌面上艾宾浩斯图形中心的薄3维圆盘时抓握力的大小，实验结果表明尽管视觉匹配判断力受视错觉的严重影响，但抓握力的大小仅受圆盘物理变化的影响。随后更多学者围绕艾宾浩斯错觉对抓握力的影响展开研究(Bruno，2001；Carey，2001；Franz，2001)。Franz(2001)发现通过艾宾浩斯图形与上下文的对比可以引起抓握力和感知尺寸的变化。Biegstraaten等人(2007)设计的实验让用户用拇指和食指抓取放置在穆雷莱尔图形中间线段上的杆并测量抓取力的大小，实验结果表明穆勒莱尔图形会对用户的抓取力产生影响，但对抓取速度没有影响。Hara等人(2009)测试了穆勒莱尔视错觉对伸手动作的影响，实验结果表明穆勒莱尔错觉主要影响基于行为的任务。但是目前对于视错觉图形的研究工作主要集中在真实环境中的视错觉效应，缺乏在虚实融合场景中视错觉效应的量化研究和视错觉图形对深度感知作用的研究。为了探究虚拟现实环境中视错觉图形对深度感知的影响，Finney和Jones(2020)通过盲目触及任务测量了用户对艾宾浩斯图形的深度感知误差，实验结果表明艾宾浩斯图形对中心圆大小的判断产生了对称的影响，对深度感知产生了不对称的影响，同时被大圆包围的艾宾浩斯图形对深度感知没有显著性影响，而被小圆包围的艾宾浩斯图形会使用户低估目标物体的距离。然而艾宾浩斯图形的视错觉效应在虚实融合场景中的作用尚不明确，还需要进一步研究。综上所述，目前国内外研究人员针对虚实融合场景中基于图形技术的深度线索的研究结果证明了图形化深度线索对深度感知的积极作用，但已有的图形化线索大多只提供了物体之间的遮挡关系和相对位置关系，未能提供物体的绝对深度信息。此外，关于视错觉图形感知效应的量化研究集中在真实环境和平面显示器中，缺乏在光学透视式头盔显示器中的应用及其对虚实融合场景中深度感知影响的分析。1.3虚拟物体的渲染特性混合现实系统中呈现的虚拟物体是虚实融合环境中的重要组成部分。为了研究虚实融合场景中虚拟物体的固有特性在深度感知中的作用，国内外研究人员从虚拟物体的大小、颜色、亮度、透明度、纹理和表面光照等方面进行了大量的量化实验研究。这些基于渲染的虚拟物体特性最早是从17世纪的绘画技术中提取而来，与传统的绘画深度线索(Cutting，1997)不同。1.3.1物体大小由线性透视基本原则可知，同样大小的物体位于远处时在视网膜上所占的面积比位于近处时小，因此位于远处的物体看起来较小。相对大小是两个或多个相似对象的视网膜投影角度范围的度量，如果人眼能识别出物体的相对大小，则可以根据该线索确定顺序并量化深度。物体大小同样会影响用户识别与虚拟目标相关的深度提示的能力(Bradshaw等，1996)，原因在于较小的物体显示较少可识别的表面光照(Stone等，2014)。Siegel和Kelly(2017)在虚拟现实系统中和Zhou等人(2019)在球形鱼眼全景显示系统中分别研究了虚拟物体的大小感知和深度感知，如图 18所示，研究结果表明用户会高估物体的大小而低估物体的深度。用户在通过头盔显示器观看虚拟环境时对物体大小变化的感知与真实世界中有所不同(Eggleston等，1996)，Rolland等人(2002)发现在头盔显示器中物体的大小和深度的感知之间存在一定的数学相关性(Rolland等，1995)。Diaz等人(2017)将物体大小、位置和旋转作为一个随机变量，发现了虚实融合场景中该随机变量与深度感知误差的线性关系，但未能充分研究物体大小本身对深度感知的影响。 图18 深度感知中的物体大小匹配 The size matching of virtual objectFig 181.3.2亮度和颜色物体亮度和颜色是突出的表面特征，对于相同深度的物体，明亮的物体看起来更靠近观察者(Coules，1955；Farnè，1977；Egusa, 1982, 1983)。Singh等人(2020)发现虚实融合场景中较亮的物体会被感知的更近，如图 19所示。这种结果在单眼和双眼条件下以及近距离(Ashley，1898；Farnè，1977)和中距离(Coules，1955)范围中都存在，但并未讨论原因。Taylor和Sumner (1945)认为明亮的物体会更强烈地刺激视网膜，从而使图形具有更多细节，因此物体看起来更近。此外，由于辐辏和调节的变化，当观察较亮的物体时，会引起瞳孔收缩，因此可以感觉到较亮的物体更近(Singh，2013)。 图19 虚拟物体的亮度(Singh等，2020) The brightness of virtual object(Singh et al., 2020)Fig 19物体相对于背景亮度的对比度也会影响用户的深度感知。如果亮度对比之间存在差异，则亮度对比最大的物体被认为是最近的；当背景较暗时，最较亮的物体被认为是最近的；而当背景较亮时，较暗的物体被认为是最近的(Farnè，1977；Egusa，1982)。Egusa(1982)通过将目标呈现为前景或背景研究了物体呈现对深度感知的影响，结果表明当亮度对比度最大的物体作为前景图像出现时被感知得较近；而当其作为背景出现时被感知得更远。然而有关研究只针对虚拟物体和背景之间的相对亮度对比，缺少关于亮度对比的量化分析。颜色由色调和饱和度组成，色相同样会对深度感知产生影响，例如蓝色区域上的红色区域可能看起来很突出，而色盲会因为无法区分颜色而影响正常的深度感知(Howard和Rogers，2012)。Egusa(1983)发现饱和度也会影响深度感知，随着饱和度之间差异的增加，用户感知的深度也会增加。在CIELab(International Commission on Illumination Lab Color Space)空间内，每种颜色对应唯一的明度值，明度值越高物体的亮度越大，因此颜色和亮度同样会给用户的深度感知带来类似的影响。Pisanpeeti和Dinet(2017)研究了单个静止图像中形状和颜色特征对深度感知的影响，结果表明透明物体的颜色可以通过在形状特征不突出时给人以接近感，从而影响深度感知，如图 20所示。Swan等人(2006)和Livingston等人(2009)在深度匹配任务中为虚拟物体和参考对象设置不同的颜色，但是缺乏颜色导致的深度感知差异的相关研究。Hedrich等人(2009)发现用户对虚拟物体颜色的感知和对真实物体颜色的感知不同，需要进一步研究虚实融合场景中物体颜色对深度感知的作用。 图20 物体的颜色(Pisanpeeti和Dinet, 2017) The color of virtual object(Pisanpeeti and Dinet, 2017)Fig 201.3.3表面光照和纹理基于光照的深度线索由照射在物体表面的入射光、入射角度和表面材质反射率等因素决定，可以通过基于经验、物理和数据驱动的方法构建由这些因素构成的物体表面光照模型。Lindemann和Ropinski(2011)对计算机图形学和Adams和Elder(2014)对用户感知的研究表明，用于渲染虚拟物体的光照模型会影响其感知的空间特性(Kersten等，1997, 2006；Koch等，2014)。关于光照模型的其他研究集中在形状感知(Lampton等，1995；Kruijff等，2010)和虚拟物体之间的空间关系(Langer和Bülthoff，2001；Lindemann和Ropinski，2011；Adams和Elder，2014)。Todd等人(1997)的研究证明了镜面高光对于传达虚拟物体相对位置的深度信息的重要性(Berbaum等，1983)。然而，在虚实融合场景中由于真实照明和虚拟照明并不相同，虚拟高光与现实世界之间存在差异(Adams和Elder，2014)。Diaz等人(2017)探索了将不同级别的漫反射和镜面阴影应用于虚拟物体的朗伯(Lambert)、冯氏(Phong)和布林冯氏(Blinn-Phong)等光照模型，如图 21所示。结果表明这三种不同的光照模型对深度感知的准确性没有明显影响，但光照、广告牌和阴影之间存在交互作用，需要更多的研究来验证光照模型的重要性。 图21 虚拟物体的光照模型(Diaz等，2017) The shading model of virtual object(Diaz et al., 2017)Fig 21纹理是与物体表面细节复杂程度相关的重要深度线索，物体距离越远，表面的纹理越密集(Kruijff等，2010)。Uratani等人(2005)研究了在物体上添加的纹理对深度感知的作用，证明纹理化的目标物体可以增强深度感知(Hou，2001；Bichlmeier等，2007；Berning等，2014)。这些研究大多将纹理作为单一变量。有关纹理与其他深度线索对深度感知共同作用的研究结果表明纹理对深度感知的影响很小(Mikkola等，2010)。Diaz等人(2017)在虚实融合场景中的虚拟物体上使用了补充纹理，如图 22所示，然而从实验结果中并没有发现补充纹理对深度感知的显著性影响。 图22 虚拟物体的补充纹理(Diaz等，2017) The texture of virtual object(Diaz et al., 2017)Fig 221.3.4物体透明度将虚拟物体的表面渲染为不同的透明度可以传达目标物体处于场景中不同深度的信息。Livingston等人(2003)提出将虚拟表面的透明度设置为与观察者之间距离函数的方法。透明度渲染对人类感知的挑战在于其明确破坏了遮挡线索，与被遮挡物体相对应的图形和真实物体表面在观察方向上都必须可见。同时此技术也受到显示器件性能的影响，已有的光学透视式头盔显示器呈现的虚拟物体无法完全遮挡真实世界，在这种情况下所有物体都是半透明的，因此需要进一步研究虚拟物体的透明度对虚实融合场景中深度感知的作用。针对半透明物体深度感知的研究主要集中在直接体绘制中3维物体的深度感知以及不同虚拟物体之间的空间关系，如图 23所示。Boucheny等人(2009)通过体积渲染方法生成半透明的虚拟物体以确定不同物体之间的深度顺序，Marreiros和Smedby(2013)提出更改虚拟物体的透明度可以改善两个遮挡的3维物体的位置感知。但这些研究工作未涉及透明度对物体深度感知本身的影响。 图23 透明度对3维物体位置关系的影响 Opacity effects on the relationship between 3D objectsFig 23从上述分析可以看出，物体特性在真实环境和虚拟环境中对深度感知的影响已经取得了系列研究成果，但是在虚实融合场景中的研究并不充分。同时，关于虚拟物体的表面光照模型和透明度的研究主要集中在体积渲染与物体之间的位置关系上，有关这些渲染特性对虚拟物体深度感知的影响尚不明确。2发展趋势与展望混合现实技术已广泛应用于社会生活的诸多领域。为了满足各种不同的应用需求，提高混合现实系统的精确度和交互效率，需要解决虚拟物体与真实环境的无缝融合问题。混合现实系统采用标定数据构建虚拟摄像机模型，根据实时头部跟踪数据绘制虚拟内容并叠加在真实世界中，人眼在虚拟摄像机的位置观看绘制的虚实融合场景，通过场景中渲染的图形化线索和虚拟物体特征判断目标物体的位置。该过程主要面临的问题是视觉规律理论指导及应用不明确、深度线索绘制研究不系统和虚拟物体的渲染特性研究不充分等。针对这些问题，在对比不同技术的优势和不足的基础上，本文对虚实融合场景中深度感知的研究趋势和重点进行展望和预测。1) 为了优化虚实融合场景的绘制渲染，提升用户深度感知表现，明确与感知机理相关的视功能因素和视觉规律对深度感知的指导作用，未来研究的方向可以针对更多的视觉模型在虚实融合场景中的应用规律例如视觉显著性(Lang等，2012)以进一步优化混合现实系统的绘制渲染。2) 在围绕线性透视、提示位置信息的图形技术和创造X射线视觉的图形技术等生成的图形化线索方面，应在虚实融合场景中增强虚拟物体的深度提示，从而提升深度感知的准确率。目前的图形化线索都是提示虚拟物体的位置信息，未来的研究工作可以围绕提示虚拟物体的绝对深度信息的图形化线索展开。此外，目前的工作都针对场景的绘制，没有考虑真实背景的复杂度对虚实融合系统中效率的影响，在未来的工作中需要围绕背景复杂度(Crosby等，2001)展开研究。3) 混合现实系统中呈现的虚拟物体是虚实融合场景中的重要组成部分，虚拟物体特性最早是从绘画技术中提取而来，但又与传统的绘画深度线索有所不同。针对虚实融合场景中虚拟物体的大小、颜色、亮度、透明度、纹理和表面光照等固有特性在深度感知中的作用，未来的研究工作可以围绕虚拟物体的渲染方法展开，提升虚拟物体的渲染质量。此外，可以开展更多维度的虚拟物体特性渲染(Tsutsui等，2002)，增加虚实融合场景的细节，从而提升混合现实系统的交互效率和用户表现。