Print

发布时间: 2021-06-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200851
2021 | Volume 26 | Number 6




    三维视觉和图形技术    




  <<上一篇 




  下一篇>> 




沉浸式立体显示技术在临床医学领域中的应用
expand article info 邰永航1,2, 石俊生1,2
1. 云南省光电信息技术重点实验室, 云南师范大学, 昆明 650500;
2. 云南师范大学, 物理与电子信息学院, 昆明 650500
收稿日期: 2020-12-29; 修回日期: 2021-02-18; 预印本日期: 2021-02-25
基金项目: 国家自然科学基金项目(62062069，62062070，62005235)
作者简介: 邰永航, 1988年生, 男, 副教授, 主要研究方向为虚拟手术、数字孪生与增强现实技术。E-mail: taiyonghang@ynnu.edu.cn
石俊生, 通信作者, 男, 教授, 主要研究方向为颜色科学与技术、光电成像系统与图像处理技术。E-mail: shi-js@263.net
*通信作者: 石俊生  E-mail: shi-js@263.net
中图法分类号: TP391
文献标识码: A
文章编号: 1006-8961(2021)06-1536-09

摘要

随着现代科学技术的快速发展，立体显示技术为临床医生的双眼视觉功能和临床应用场景，提供了现实模拟度更高的载体，并成为当前计算机视觉和临床医学领域共同研究的热点。在微创手术术前，与传统的平面显示技术相比，沉浸式立体显示技术能够提供更生动、准确的3维人体生理和病理影像，使医生更易于判断病变的层次、形状和血管等复杂结构及解剖关系；同时虚拟现实能够为医学培训及手术预演提供沉浸式的手术情境模拟，帮助医生高效地掌握手术技巧，提高医学术前诊断效率，从而进一步降低手术风险。在微创手术术中，基于增强现实的三维成像导航技术，能够将微创手术过程立体、直观地展现在医生面前，使术区各组织及其与手术器械间的位置关系和距离更加容易判断，同时通过叠加相同区域的术前检查影像，为手术提供实时的路径导航，实现精准微创手术。此外，在临床医疗资源共享中占据重要比重的远程诊疗领域，立体显示技术能够为远程诊断、线上会诊以及机器人手术等提供更为精确的深度信息，以及更多维度的图像信息，使医学数据的远程显示结果更具有真实性和实用性。现阶段立体显示技术在临床医学领域中也存在显示模式转换不舒适、三维重建图像信息缺失以及立体显示软、硬件系统带来的视觉疲劳等问题，但该技术在医学领域已经展露头角，在未来的临床医学进步中会成为不可或缺的一部分。本文详细分析了沉浸式立体显示技术在临床医学中的代表性应用，介绍了微创外科手术以及远程诊疗领域国内外的研究现状，从影像诊断、手术训练、规划与导航、治疗和教育培训4个方面，总结了立体显示技术在临床医学领域中的研究进展。

关键词

立体显示; 增强现实; 图像重建; 手术模拟; 手术导航; 远程手术

Application of immersive 3D imaging technology in the clinic medical field
expand article info Tai Yonghang1,2, Shi Junsheng1,2
1. Yunnan Key Laboratory of Optoelectronic Information Technology, Yunnan Normal University, Kunming 650500, China;
2. School of Physics and Electronic Information, Yunnan Normal University, Kunming 650500, China
Supported by: National Natural Science Foundation of China (62062069, 62062070, 62005235)

Abstract

With the development of modern imaging 3D reconstruction, haptic interaction and three-dimensional (3D) printing technology, the traditional concept of tumor surgery is undergoing unprecedented revolutionary changes. The tumor treatment is not limited to traditional open surgery, large-area radiotherapy, chemotherapy, and other extensive treatment methods. The popularization of individualized precision surgery planning means that "precision medicine" is gradually applied to clinical surgery, and "precision medicine" mode will also make the treatment of tumor enter a new research area. The physiological anatomy and pathological changes of various organs of the human body are presented as a three-dimensional shape, while medical teaching images, diagnostic medical images, and various endoscopic surgery images are mostly plane images. However, how to interpret them often depends on the professional experience of doctors. This plane display mode limits the effect of medical training, the accuracy of interpretation of diagnostic images and the efficiency of surgical operation. Modern science and technology, stereo display technology provides a carrier with a higher realistic simulation degree for binocular vision function and training and has become a joint research hotspot in the field of computer vision and clinical medicine. Before minimally invasive surgery (MIS), compared with the traditional planar display technology, the immersive stereoscopic display technology can provide more vivid and accurate 3D human physiological and pathological images, making it easier for doctors to judge the layers, shapes, blood vessels and other complex structures and anatomical relations of lesions. At the same time, it can also provide immersive surgical situation simulation for medical training, help doctors quickly master surgical skills, further improve the efficiency of medical diagnosis and reduce the risk of surgery. In the process of minimally invasive surgery, the three-dimensional imaging navigation technology for augmented reality can not only make it easier for doctors to judge the position relationship and distance between the tissues in the surgical area and the surgical instruments, but also provide surgical navigation by superposing the preoperative examination images of the same location. Which is also achieved the accurate minimally invasive surgery. Besides, in the field of remote diagnosis and treatment, which occupies a significant proportion in the sharing of clinical medical resources, stereo display technology can provide the more accurate depth information and more dimensional image information for remote diagnosis, online consultation, and robotic surgery, so that the remote display results of medical data are more authentic and practical. Although at the present stage, the unadaptability of display mode conversion, partial information loss of 3D reconstruction images. Furthermore, the visual fatigue of users is still a problem that needs to be overcome in the field of clinical medicine. The three-dimensional display technology still has a broad space for development in medical science and is a new driving force to promote medical progress in the future. This article comprehensively analyzes the stereo display technology in clinical medicine; the application of minimally invasive surgery is summarized. The research status at home and abroad in remote diagnosis and treatment, from the image diagnosis and surgery training, planning and navigation, the training and education from four aspects, summarizes the stereo display technology research progress in the field of clinical medicine. This article fully analyzes the stereo display technology in the application of clinical medicine, provides an introduction to the field of minimally invasive surgery and remote diagnosis and research status at home and abroad, from the image diagnosis and surgery training, planning and navigation, the training and education from four aspects, summarizes the stereo display technology research progress in the field of clinical medicine. Clinical medicine in the future, with the aid of a 3D image technology, mixed reality technology, interactive technology, and a series of cutting-edge computer technology, can be more intuitive, accurately make the mixed reality device presents visualization of three-dimensional graphics, and provide a series of digital simulation tools, the surgeon can be based on the data communication with others, better-making operation plan. The extended reality technology can be used in the teaching of medical anatomy so that medical students can more intuitively understand the structure of human organs and their spatial position relationship with adjacent organs and tissues. Simultaneously, as an essential achievement to expand the combination of fundamental technology and medical research, virtual surgery is also one of the hot issues in medical research.

Key words

stereo display; augment reality; image reconstruction; surgical simulation; surgical navigation; remote surgery

0 引言

随着现代影像学三维重建、触觉交互以及三维(three-dimensional, 3D)立体打印等技术日渐成熟，传统的手术治疗理念正在发生前所未有的革命性改变。传统开放性的手术、大面积放疗和化疗等粗放型治疗方式在复杂病症的治疗中已经逐渐被个体化精准手术规划的“精准医学”所替代，随着“精准医学”模式逐步应用到临床手术，手术治疗进入一个新的时代。现实中人体的器官及其病理变化都是呈现三维变化的，相比于医学教学二维图像和各种诊断医学二维图像，立体显示技术更加直观和具体。而在生活中解读各种内窥镜手术影像和诊断医学图像都是依赖于医生的专业经验，限制了医学诊断的效果，也降低了解读诊断影像的准确性，增加了手术操作的难度。随着21世纪科技的飞速发展，高清晰度、高亮度、低串扰的立体成像显示技术越发成熟，使其在医学领域中的应用越发深入。医学的发展和立体显示技术两者相辅相成，后者为前者提供患者影像数据中病况、病灶的大小位置及与其周围血管脏器的定量关系，前者根据后者提供的关系和影像数据制定个性化的精准治疗方案。简而言之，前者为后者提供强大的牵引需求，后者带来了更为先进的技术支持(Stepan等，2017)。科幻的出现往往是基于科学又高于科学，远程手术这一想法最初就是通过好莱坞的电影进入医学领域，经由医学工作者们关注转变为具体化造福人类。师云雷(2014)于2014年提出了基于管理信息系统的医学机器人系统，即二维远程运动中心，此系统通过促进机器人技术的发展、提高机器人性能为复杂的外科手术问题的解决提供了可能。

沉浸式立体显示技术，或称做扩展现实技术(extended reality, XR)，根据观察者沉浸体验的不同，以及真实环境与虚拟环境的虚实结合程度主要分为：虚拟现实(virtual reality, VR)、增强现实(augmented reality, AR)和混合现实(mixed reality, MR)，图 1中展示的头盔显示器(helmet-mounted displays, HMD)是VR显示系统现阶段普遍采用的一种立体显示设备(陈华等，2006)。依据计算机断层扫描(computerized tomography, CT)以及核磁共振图像(magnetic resonance imaging, MRI)等二维图像创建的3D模型图像，以此来重建病人的解剖结构，使医生能够根据情况更好地制定手术计划。此外，这项技术还能够对头骨附近的神经以及血管进行3D构建，使脑部结构能够在VR头盔中显示出来，以此来观察肿瘤的确切位置，使医生能够更好地找到肿瘤并精确地切除掉。而AR技术是将虚拟事物在现实中叠加，并且能够与虚拟事物进行实时交互，使AR显示技术在医疗、工业和教育等领域具有广阔的应用发展前景。尤其是在临床医学中，可以帮助医生在手术过程中实时获取各种必要的信息，而且可以将虚拟的器官组织模型叠加到真实的器官组织上，让外科医生在手术过程中实时获取患者的影像检查、血管造影等图像支持数据。MR技术则结合了VR与AR技术的优势，同时集成了数据采集、跟踪、呈现和交互技术，加之与传感网络的结合日益紧密，MR显示技术逐步成为人在虚实融合环境中数据汇聚、交互可视分析和决策的载体。MR技术在临床医学中最重要的应用是诊疗教育与训练。本文将从影像诊断、手术训练、规划与导航、治疗和教育培训4个方面，总结立体显示技术在临床医学领域中的研究进展。



图 1 混合现实概念示意图
Fig. 1 Concept schematic for mixed reality

1 国际研究现状

1.1 基于虚拟现实的数字解剖教学应用研究

人体解剖学是研究人体正常形态结构的科学，旨在理解和掌握人体各组织器官的结构、位置，以及与周围组织器官的空间关系，为临床医学奠定了基础，医学生进入临床实践必须要具备良好的解剖学知识。传统的解剖教学主要包括书本上的平面解剖图、尸体解剖和三维假体等，但是这些方式都存在很大的不足，书本上的平面解剖图缺乏空间感，主要凭借医生的经验和主观猜测在大脑中形成三维器官及空间关系。由于尸体资源严重不足，无法满足广大医学生的需求，尸体解剖教学受到了极大限制。随着VR技术的发展，目前其已广泛应用到很多领域，在医学解剖中也发挥了很大的作用。医生能够通过VR技术在术前针对不同患者的解剖和病变特点制定个体化手术方案，立体显示技术结合VR系统为优化术前规划、提高手术成功率提供了理想的平台。该平台能够让医生提前反复体验术中所见的手术场景，提前对术中可能遇到的意外情况做出安排，锻炼应变能力的同时减少手术风险。VR医学解剖很大程度上解决了传统解剖教学的不足，提供沉浸式的解剖环境，将三维的人体器官组织更加真实地展现在用户面前，并可以通过多种交互方式和虚拟器官进行交互(Maciel等，2008；Coles等，2011)；同时也支持多人同时在线共享同一解剖学模型，便于专家直接对学习者进行指导。Medis Media公司开发了一款3D Organon VR解剖软件，拥有完整的3D男性和女性身体模型及系统，使用户可以直观地了解身体构造，探索人体内4 000多个逼真的解剖结构和器官(Halic和De，2010)。

1.2 基于虚拟现实的微创手术技能培训应用研究

与传统的开放手术相比，微创手术由于创伤小、疼痛轻和恢复周期短等优点成为常规手术之一(Cutolo等，2017)。微创手术的优点也使其操作技能变得极其重要，微创手术主要包括：胸腔镜手术、腹腔镜手术和内窥镜手术等，传统的手术技能培训主要包括尸体解剖、视频教学和手术室观摩等，这些传统的方式都存在很多不足之处，主要集中在实体资源匮乏，几乎没有上手实践机会，因此大量的模拟器被开发用于新手的操作技能培训，新手可以随时随地进行不同的手术技能练习, 如手眼协调、双手协调和深度感知的能力等，同时模拟器也可用于对受试者进行手术技能评估。目前，市场上主要有针对腹腔镜技能培训的箱式模拟器和虚拟现实模拟器，还没有专门针对胸腔镜的模拟器上市。腹腔镜模拟器在市场上已得到较好的应用，美国胃肠和内窥镜外科医生协会(Society of American Gastvointestinal and Endoscopic Surgeons, SAGES)和美国外科医师学会(American College of Surgeons, ACS)开发和验证了腹腔镜手术基础培训项目(fundamentals of laparoscopic surgery, FLS)，并提出了腹腔镜手术技能的评估标准(Qian等，2015)。Fried等人(2004)设计并验证了MISTELS(minimal invasive surgery, tele-surgery)是可靠、有效的，可作为医学技能培训设备。Fu等人(2020)仿照FLS箱式模拟器开发了一款虚拟基础腹腔镜技能培训模拟器VBLaSTTM，包括4个任务: 微小物体转移、图案剪切、结扎和缝合，VBLaSTTM作为FLS项目的虚拟版可用于对受试者进行培训。Nemani等人(2019)首次将无创脑成像技术应用到腹腔镜的技能评估中，fNIRS(functional near-infrared spectroscopy)指标更加客观、准确，验证了在FLS箱式模拟器和VBLaST模拟器上获得的技能能够转移到真实的环境中。Huber等人(2018)将VR头盔和虚拟腹腔镜(LapSim)结合，创建了一个人造的虚拟现实(artificial VR, AVR)场景和一个高度沉浸式的虚拟现实(immersive VR, IVR)场景，使新一代的手术技能培训模拟器成为可能。Jensen等人(2017)在传统的箱式模拟器和虚拟腹腔镜模拟器(LapSim)上进行了胸腔镜的肾切除术训练，保留一段时间后又在猪模型上进行了胸腔镜肺叶切除术，验证了两种模拟器的有效性，箱式模拟器比虚拟现实模拟器训练更加有效。同时Jensen等人于2016年首次验证了VATS(video-assisted thoracoscopic surgery)中右上肺叶切除的虚拟现实模拟器的有效性，确定了评估医学生的胸外科手术技能指标(Jensen等，2017)。

1.3 基于增强现实的术中导航应用研究

增强现实技术虚实结合的优点使其在多个领域有广阔的应用，如医疗、工业和教育等。在临床医学中，医生在减少手术时间的同时还必须进行复杂的手术任务，而且还要保持高精度的手术操作要求，所以术中导航技术就显得至关重要。结合增强现实技术的AR手术导航系统应运而生，由于其能够精准显示病灶、无创体外操作以及快速注册等特性，使得AR手术导航系统逐渐成为临床微创手术导航的首选。将AR技术引入其中，为医生提供术区的深度线索的同时还解决了手眼一致性问题(Coles等，2011；丁再珍，2006)。为了让医生观察到穿透半透、半反镜中叠加到真实场景中的三维医学影像信息，AR导航一般采用原位透视融合显示系统，以此作为实现AR手术导航的一条新途径。AR技术是一种用于“无缝”集成真实世界信息和虚拟世界信息的新技术(Shan等，2017)，其中包括了多媒体、三维建模、实时跟踪及注册、智能交互和传感等多种技术手段的广泛运用，通过模拟仿真计算机生成的文字、图像、三维模型和视频等虚拟信息与真实世界中的信息相互补充，从而实现对真实世界的“增强” (Hou等，2016)。Wei等人(2014)开发了一种基于投影的AR术中系统，可以将模拟区域图像(肿瘤或血管)实时投影到患者的头部、颅骨或脑表面。该系统不需要外科医生在手术过程中佩戴额外的设备，可更快更容易地计划手术过程，同时降低成本。Gerard等人(2018)将术中超声AR图像与传统的NSSs(neuro-surgical simulations)相结合，对MRI进行处理和可视化，以提高手术中的准确性。Cutolo等人(2017)提出了一种新的基于头戴式立体视频透视显示的AR系统。Liebmann等人(2019)则开发了一种适用于在微软Hololens上运行的新导航方法，在不需要术中成像的情况下，通过实时可视化实现配准和工具跟踪，结果表明该装置可以精确地实现腰椎椎弓根螺钉插入导航(Liebmann等，2019；Basdogan等，2004)。

1.4 基于立体视觉的机器人及远程手术应用研究

混合现实技术在临床医学中作为一个外科手术工具，具备不受地域限制、可扩展性强等优势，在手术中基于混合现实的高清图像传输给医生，提供了清晰、精准的手术视野和临床环境。机器人手术的存在，对于远程手术的精密度和准确性都有很大的提高。机器人手术促进了远程手术的发展，外科医生通过立体显示技术借助高速数据传输和远程信息控制，可以操控手术机器人完成远程手术，拉近与患者的空间距离，缩短手术时间、降低操作错误概率。现有已开发的远程手术机器人系统，主要应用是分析系统的性能和可靠性，并在局域网环境下成功地实施组织吻合手术。全球主要有美国、英国、法国、德国和日本等发达国家着手于基于立体视觉的机器人及远程手术应用研究。早在20世纪90年代左右，有关医疗方面的手术机器人已经开始发展。2001年，关于机器人远程手术的研究大幅度涌现在人们的视线中，美国Instuitive Surgical公司推出的达芬奇外科手术机器人在微创条件下可以为医生提供开口手术的直观操作感受，同时也可以过滤掉医生由于各种原因造成的手抖现象。主刀医生在立体显示技术所提供的全景、三维、10~15倍的高清放大的立体图像的辅助下，能够更加清晰准确地完成组织定位和手术器械操作，使手术的精确性得到了保障。除此以外，美国Computer Motion公司开发研制了ZEUS(宙斯)机器人外科手术系统，并且得到了美国的FDA(Food and Drug Administration)认证(Feng等，2012)。2003年一套远程微创外科手术机器人系统由日本东京大学与九州大学联合完成。美国的达芬奇手术系统(da Vinci Surgical System)，应用于医学微创条件下的外科机器人，目前已在多个医院使用，应用率较高(Liu等，2017)。在2006年—2007年这一时期，美国华盛顿大学利用开发的RAVEN远程手术机器人进行了有效的实验(Khan等，2017)。实验对象是特定环境内的动物，实验环境是在极端环境分别进行水上与水下远程操作实验。2012年，美国的约翰霍普金斯大学针对商业化手术机器人的体积大、远程等功能受制的缺点开发了一套紧凑型远程微创手术机器人系统(Escobar-Castillejos等，2016)。随着机器人技术在微创手术领域的发展，机器人的性能得到了很大发展，逐步能够帮助解决复杂的外科手术问题。国外的远程手术机器人系统特点主要是具有3D高清视觉系统、操纵手感极佳并且控制能力顺畅，使其在手术治疗过程中大大缩短了时间，突破传统方法并解决了资源分配问题。但是也存在手术系统调试过程复杂、机器人占地面积较大且价格昂贵等问题。

2 国内研究进展

2.1 基于虚拟现实的数字解剖教学应用研究

在将虚拟现实技术应用于数字解剖教学方面，国内的发展相比于国外有一定程度的滞后，这也导致了在相关技术方面相对薄弱。在这种形势下，国内的一些高校和研究单位仍然在该领域获得了显著成果，包括北京工业大学于2014年使用Unity3D结合Kinect手势识别技术开发出一款能够让多人同时在线学习，无创远程、便捷的虚拟解剖教学系统；另外还有历时五年时间，由四川大学打造的兼容HTC Vive设备的“人卫3D系统解剖学”软件，将虚拟现实技术和现代医学教学相结合，帮助学生全方位、立体地观察人体的器官；此外还有上海曼恒公司开发的虚拟人体解剖系统，以及北京黎明视景公司的生物医学三维模型库等(陈华，2006)。随着虚拟现实技术的成熟，以其为基础的数字解剖教学凭借方便性和实用性在医学领域中占据了重要的地位。但由于虚拟现实技术所包含的理论层次复杂，涉及的学科种类多样，包括物理学、信息学等，这也就为其技术创新提供了上升的空间，所以接下来的发展需要高校和各大医院进行深入合作和研究。

2.2 基于虚拟现实的微创手术技能培训的应用研究

基于虚拟现实的微创手术技能培训的应用研究在国内发展迅速。通过弹性系数、阻尼系数和质量等参数的建模，天津大学在物理建模方面引入表现人体器官的物理特性，同时采用线性弹性模型，构造出了柔性可形变的质点弹簧模型作为人体器官的虚拟手术训练模型，从而使得人体器官模型的形变和反馈力可以通过邻接矩阵来表示模型的拓扑结构，并建立了模型的动力学方程，求解方程来得到。陈华(2006)将力反馈设备应用到小耳畸形手术的教学中，模拟、指导小耳畸形整形修复所涉及的手术过程，实现手术仿真操作，力反馈的运用使医学中应用的虚拟现实技术从单纯的视觉方面发展到视觉和触觉并存的系统。汪军和刘冬(2016)开展了一种胆囊切除虚拟手术仿真训练平台的研究，提出一种采用不同的包围盒碰撞检测的Capsule-Sphere混合碰撞检测方法。在受力变形上，提出一种网格—骨架模型的质点弹簧形变方法，并在前期研究的虚拟手术力反馈手柄上进行了测试。北京航空航天大学潘俊君团队于2015年提出了一个有效的框架，根据腹腔镜手术的实际需求，对形变模拟、碰撞检测、软组织解剖和绘制等方面进行优化，以提高整体性能的逼真度和响应速度(Qian等，2015)。潘俊君团队又于2020年提出了一个实时缝合模拟框架，可以处理外科手术器械和软组织之间复杂的交互作用(Yu等，2020)。通过匹配并生成针、缝合线与穿透路径之间的约束条件，提出了一种新颖的耦合方法，该方法具有较高的视觉真实感和触觉保真度，能够达到较好的实时效果(de Paolis，2012)。Fu等人(2020)采用累积和方法分析了医学生在模拟器VBLaST-SS上进行150次培训的学习曲线，参与者在体内缝合和图案剪切任务上的技能有了明显提高，并且休息2周后，技能仍得到了保留。

2.3 基于增强现实的术中导航的应用研究

基于增强现实的术中导航的应用研究，我国开展的时间相对较早。钮艳华等人(2004)从空间定位、跟踪、匹配和可视化方面对基于增强现实的外科手术导航技术进行了分类综述，对其系统及应用系统进行探讨和展望，使虚拟现实技术开始逐步走向人们的视野。自2008年，北京航空航天大学虚拟现实技术(VR)与系统国家重点实验室开始了VR在医学教育中的技术研究，形成了一批我国自主知识产权并带动了国内虚拟现实技术的研究，至今国内主要由北京航空航天大学、北京理工大学和浙江大学等高校对增强现实技术这方面进行研究，同时这一技术已经被列为我国技术发展的一个重点方向。袁媛等人(2008)将虚拟模型和病人的鼻内镜术野图像以及手术器械融合通过增强现实技术显示，从而为医生提供病人鼻窦结构的准确空间信息，同时设立手术危险区域用于对手术器械“警告”提醒，提高手术训练系统的真实性。臧晓军等人(2010)对病人的CT和MRI扫描进行颅内组织器官的三维建模，并用三维扫描仪对病人的面部数据进行采集，运用DLT(direct linear transformation)算法坐标校准，术中使用光学跟踪器对手术器械实时跟踪，使整个系统的精度达到了亚毫米级，满足手术的实时操作需求。复旦大学的宋志坚等人(2010)发明了一种基于光学增强现实技术的手术导航系统及方法，这项系统根据标定点三维空间到光学式头盔显示器成像二维空间的映射，绘制虚拟信息显示在头盔显示屏上，实现对手术场景进行增强，这项技术的发表很好地支持了增强现实技术在手术导航系统上的应用。张欣然等人(2015)通过设计单独的光学透镜组件提高了立体全像分辨率，同时设计了一个高精度立体全像渲染的方式来弥补光学透镜相差引起的光学系统像差的问题，为实现更精确的微创手术提供了理论支持。李杨(2017)提出了基于多模态数据融合的微创脊柱手术引导系统框架，此框架针对腰椎CT图像的个性化差异，不同角度、病理情况下CT图像特征多变问题，根据二维术中图像对患者的姿态进行三维腰椎模型重构。手术过程中腰椎内部解剖结构黑盒问题提出4种不同的针对性算法，将病人的脊柱腰椎模型更加具象化地展现在医生眼前，使微创脊柱手术引导系统框架的精确度更上了一个台阶。南昌大学的Cheng等人(2018)展开了针对虚拟手术仿真系统中软组织切割模型的研究，将大量医学图像中的二维CT图像作为数据源，重构了包含表面网格和内部点云的软组织三维体素。Hou等人(2016)通过对MRI和iPhone失位照片进行配准来定位颅内肿瘤, 并与无框NSS(neuro-surgical simulation)进行比较，结果表明基于图像的iPhone助手和增强现实解决方案是可行的。实验证明通过结合增强现实技术和力反馈系统能够使整个手术导航系统更加精确，对医学初学者来说更加具有训练的指导意义。

2.4 基于立体视觉的机器人及远程手术应用研究

在国外研究团队着手于有关远程手术时，我国的研究团队也已经对这方面有所重视。1997年北京航空航天大学机器人研究所针对机器人的定向神经外科手术展开了立项研究，这一研究打开了我国对机器人在医学领域的大门(Wang等，2012)。2001年北京航天大学联合海军医院与清华大学在共同研发无框架定向神经外科手术机器人时引入了虚拟现实技术，开创了国内自主开发外科手术机器人的先河(Zhao和Wang，2010)。2005年天津大学发明了关于喉部手术“妙手”系统。2006年北京积水潭医院与延安大学附属医院联合完成了基于立体视觉的机器人及远程手术关于骨科的第一个案例(Jiang等，2013)。哈尔滨大学基于达芬奇手术机器人进行了腹腔镜手术，并发明了手术操作中所使用的相关手术器械，对猪的胆囊进行远程剥离操作实验，并取得了成功(王征，2006)。通过了解不同专业外科医生对远程医疗和远程医疗技术的具体需求，我国的机器人手术也在远程医疗和远程医疗服务中逐步发展。

3 存在的问题与未来的发展

3.1 存在的问题

沉浸式立体显示技术通过其沉浸性(immersion)、互动性(interactivity)和构想性(imagination)，将真实世界和虚拟世界进行融合，把虚拟信息叠加到现实世界上产生虚实结合的效果，给临床医学中的各种复杂应用场景提供了训练与决策方式的变革(Qian等，2017)。但需要注意的是，目前沉浸式立体显示技术在临床医学中，仍然需要解决几个关键的技术问题：

1) 如何实现人体器官模型建模的智能化和精确化，虚拟病人和临床手术环境的高效物理建模(physics-based rendering, PBR)，例如：颜色复现的准确性、立体视觉真实感、准确的纹理表现，以及生物组织的非匀质、半透明光学特性，具有较高的动态范围，另外扫描设备在获得物体的三维颜色信息、纹理信息时，由于器官光滑包膜表面的散射和高光变得困难，同时也很难通过反射信号获得准确的空间编码信息。

2) 虚拟环境的实时三维注册和视觉图像的融合呈现，将医学图像数据库前期的信息与术中器官组织的实时状态进行无缝关联和交叠，是现阶段AR手术导航中面临的最大挑战。例如：如何将术前CT/MRI静态图像重建的三维图形与术中呼吸状态下的动态人体器官进行精准注册融合，以及手术过程中烫断、切割和剥离等复杂场景中的虚拟重建信息的实时逼真合成等。

3) 沉浸式交互过程中硬件系统设计本身带来的问题，例如：传感器和真实图像之间的图像偏差，需要对亮度以及光学传感进行实时矫正；同时现有的手术仿真系统的交互设备及SDK(software development kit)，绝大多数仅支持单触点和纯压觉(Haptic)的触觉渲染，但对于复杂手术过程中要求的双手、多指、动—压觉精细渲染的要求还差很远，如何将复杂的视—触交互模型应用推广到手术训练的范围和更深层次的现实场景中的问题，仍然亟待解决。

3.2 发展趋势与展望

扩展现实技术可用于医学解剖教学，使医学院学生能够更加直观地了解人体的器官组织结构及与相邻器官组织的空间位置关系。同时，作为扩展现实技术和医学研究结合的重要成果，虚拟手术也是当今医学领域研究的热点问题之一。扩展现实技术与医学相结合的虚拟手术，成为解决手术问题和训练外科医生的研究热点。结合扩展现实技术的手术模拟器可以对实习医生和住院医师进行手术技能模拟训练，快速提高操作者的手术技能，如双手协调、手眼协调和深度感知能力等。增强现实技术在手术导航中具有重要的作用，如增强现实外科导航系统，用以辅助脊椎、颅骨和创伤外科手术，基于增强现实的穿刺活检导航等。另外，机器人辅助系统在微创手术中得到了广泛的应用，可以显著提高手术过程的精密度和准确性。新的VR/AR类硬件设备，需要医生学习和适应新的显示模式和临床具体应用场景结合，掌握新的系统操作技巧；同时3D头盔或显示器的长时间佩戴，会给医生带来眩晕和头痛等不适感。在认真分析上述问题并提出针对性的解决方案后，才能促使临床医学与立体显示技术的相互促进和融合发展。

4 结语

沉浸式立体显示技术作为一个集医学、生物力学、光学工程、材料科学和计算机技术等诸多学科为一体的交叉研究领域，目前已成为一个新兴的研究方向。本文充分分析了立体显示技术在临床医学中的应用，介绍了微创外科手术以及远程诊疗领域的国内外研究现状，从影像诊断、手术训练、规划与导航、治疗和教育培训4个方面，总结了立体显示技术在临床医学领域中的研究进展。在未来临床医学领域，借助三维图像技术、混合现实技术、人机交互技术等一系列前沿计算机技术，能够更加直观、精准地使混合现实设备呈现可视化三维图形，并提供一系列数字模拟工具，使得临床医生可以依据虚拟模型与真实临床应用场景进行交流沟通，从而更精准的定制个体化的临床诊断和治疗方案。

参考文献

  • Basdogan C, De S, Kim J, Muniyandi M, Kim H, Srinivasan M A. 2004. Haptics in minimally invasive surgical simulation and training. IEEE Computer Graphics and Applications, 24(2): 56-64 [DOI:10.1109/MCG.2004.1274062]
  • Chen H. 2006. Application of computer medical science virtual surgery in the plastic surgery. Chinese Journal of Aesthetic Medicine, 15(5): 600-602 (陈华. 2006. 计算机医学手术仿真技术在整形外科领域中的应用. 中国美容医学, 15(5): 600-602) [DOI:10.3969/j.issn.1008-6455.2006.05.058]
  • Cheng Q Q, Liu P X, Lai P H, Xu S P, Zou Y N. 2018. A novel haptic interactive approach to simulation of surgery cutting based on mesh and meshless models. Journal of healthcare engineering: #9204949
  • Coles T R, Meglan D, John N W. 2011. The role of haptics in medical training simulators: a survey of the state of the art. IEEE Transactions on Haptics, 4(1): 51-66 [DOI:10.1109/TOH.2010.19]
  • Cutolo F, Meola A, Carbone M, Sinceri S, Cagnazzo F, Denaro E, Esposito N, Ferrari M, Ferrari V. 2017. A new head-mounted display-based augmented reality system in neurosurgical oncology: a study on phantom. Computer Assisted Surgery, 22(1): 39-53 [DOI:10.1080/24699322.2017.1358400]
  • de Paolis L T. 2012. Serious game for laparoscopic suturing training//Proceedings of the 6th International Conference on Complex, Intelligent, and Software Intensive Systems. Palermo, Italy: IEEE: 481-485[DOI: 10.1109/CISIS.2012.175]
  • Ding Z Z. 2006. Research on Minimally Invasive Surgery System Based on Virtual Reality. Tianjin: Tianjin University (丁再珍. 2006. 基于虚拟现实技术的微创手术系统研究. 天津: 天津大学)
  • Escobar-Castillejos D, Noguez J, Neri L, Magana A, Benes B. 2016. A review of simulators with haptic devices for medical training. Journal of Medical Systems, 40(4): #104 [DOI:10.1007/s10916-016-0459-8]
  • Feng M, Fu Y L, Pan B, Chang L. 2012. Development of a medical robot system for minimally invasive surgery. International Journal of Medical Robotics + Computer Assisted Surgery: MRCAS, 8(1): 85-96 [DOI:10.1002/rcs.440]
  • Fried G M, Feldman L S, Vassiliou M C, Fraser S A, Stanbridge D, Ghitulescu G, Andrew C G. 2004. Proving the value of simulation in laparoscopic surgery. Annals of Surgery, 240(3): 518-528 [DOI:10.1097/01.sla.0000136941.46529.56]
  • Fu Y Y, Cavuoto L, Qi D, Panneerselvam K, Arikatla V S, Enquobahrie A, De S, Schwaitzberg S D. 2020. Characterizing the learning curve of a virtual intracorporeal suturing simulator VBLaST-SS©. Surgical Endoscopy, 34(7): 3135-3144 [DOI:10.1007/s00464-019-07081-6]
  • Gerard I J, Kersten-Oertel M, Drouin S, Hall J A, Petrecca K, De Nigris D, Giovanni D A D, Arbel T, Collins D L. 2018. Combining intraoperative ultrasound brain shift correction and augmented reality visualizations: a pilot study of eight cases. Journal of Medical Imaging, 5(2): #021210 [DOI:10.1117/1.jmi.5.2.021210]
  • Halic T and De S. 2010. Lightweight bleeding and smoke effect for surgical simulators//Proceedings of 2010 IEEE Virtual Reality Conference. Boston, USA: IEEE: 271-272[DOI: 10.1109/VR.2010.5444771]
  • Hou Y Z, Ma L C, Zhu R Y, Chen X L, Zhang J. 2016. A low-cost iPhone-assisted augmented reality solution for the localization of intracranial lesions. PLoS One, 11(7): #0159185 [DOI:10.1371/journal.pone.0159185]
  • Huber T, Paschold M, Hansen C, Lang H, Kneist W. 2018. Artificial versus video-based immersive virtual surroundings: analysis of performance and user's preference. Surgical Innovation, 25(3): 280-285 [DOI:10.1177/1553350618761756]
  • Jensen K, Bjerrum F, Hansen H J, Petersen R H, Pedersen J H, Konge L. 2017. Using virtual reality simulation to assess competence in video-assisted thoracoscopic surgery (VATS) lobectomy. Surgical Endoscopy, 31(6): 2520-2528 [DOI:10.1007/s00464-016-5254-6]
  • Jiang D, Hovdebo J, Cabral A, Mora V, Delorme S. 2013. Endoscopic third ventriculostomy on a microneurosurgery simulator. Simulation, 89(12): 1442-1449 [DOI:10.1177/0037549713491519]
  • Khan Z A, Kamal N, Hameed A, Mahmood A, Zainab R, Sadia B, Mansoor S B, Hasan O. 2017. SmartSIM-a virtual reality simulator for laparoscopy training using a generic physics engine. The International Journal of Medical Robotics and Computer Assisted Surgery, 13(3): #1771 [DOI:10.1002/rcs.1771]
  • Li Y, 2017. Research on Image-Guided Technology for Percutaneous Puncture of Minimally Invasive Spine Surgery. Shenyang: Shenyang Institute of Automation, Chinese Academy of Sciences (李杨. 2017. 面向微创脊柱手术经皮穿刺的图像引导技术研究. 沈阳: 中国科学院沈阳自动化研究所)
  • Liebmann F, Roner S, von Atzigen M, Scaramuzza D, Sutter R, Snedeker J, Farshad M, Fürnstahl P. 2019. Pedicle screw navigation using surface digitization on the Microsoft HoloLens. International Journal of Computer Assisted Radiology and Surgery, 14(7): 1157-1165 [DOI:10.1007/s11548-019-01973-7]
  • Liu X Z, Bai H, Song G L, Zhao Y W and Han J D. 2017. Augmented reality system training for minimally invasive spine surgery//Proceedings of 2017 IEEE International Conference on Robotics and Biomimetics. Macau, China: IEEE: 1200-1205[DOI: 10.1109/ROBIO.2017.8324581]
  • Maciel A, Liu Y Q, Ahn W, Singh T P, Dunnican W, De S. 2008. Development of the VBLaSTTM: a virtual basic laparoscopic skill trainer. The International Journal of Medical Robotics and Computer Assisted Surgery, 4(2): 131-138 [DOI:10.1002/rcs.185]
  • Nemani A, Kruger U, Cooper C A, Schwaitzberg S D, Intes X, De S. 2019. Objective assessment of surgical skill transfer using non-invasive brain imaging. Surgical Endoscopy, 33(8): 2485-2494 [DOI:10.1007/s00464-018-6535-z]
  • Niu Y H, Wang Y M, Duan H L. 2004. A survey on augmented-reality-based IGS system. Chinese Journal of Medical Devices, (01): 50-54 (钮艳华, 汪元美, 段会龙. 2004. 基于增强现实的外科手术导航技术. 中国医疗器械杂志, (01): 50-54)
  • Qian K, Bai J X, Yang X S, Pan J J and Zhang J J. 2015. Virtual reality based laparoscopic surgery simulation//The 21st ACM Symposium on Virtual Reality Software and Technology. Beijing, China: ACM: 69-78[DOI: 10.1145/2821592.2821599]
  • Qian K, Xuan J X, Yang X S, Pan J J, Zhang J J. 2017. Essential techniques for laparoscopic surgery simulation. Computer Animation and Virtual Worlds, 28(2): #1724 [DOI:10.1002/cav.1724]
  • Shan Q, Doyle T E, Samavi R, Al-Rei M. 2017. Augmented reality based brain tumor 3D visualization. Procedia Computer Science, 113: 400-407 [DOI:10.1016/j.procs.2017.08.356]
  • Shi Y L. 2014. Design and Study of Remote MIS Robot Under Large Delay. Tianjin: Tianjin University (师云雷. 2014. 大延迟环境下远程微创手术机器人系统设计与实验研究. 天津: 天津大学)
  • Song Z J, Hu L, Wang M N, Yao D M, Li W S and Du W J. 2010. A surgical navigation system and method based on optical augmented reality technology. China, No. CN101904770A (宋志坚, 胡亮, 王满宁, 姚德民, 李文生, 杜文健. 2010, 一种基于光学增强现实技术的手术导航系统及方法. 中国. CN101904770A)
  • Stepan K, Zeiger J, Hanchuk S, Del Signore A, Shrivastava R, Govindaraj S, Iloreta A. 2017. Immersive virtual reality as a teaching tool for neuroanatomy. International Forum of Allergy and Rhinology, 7(10): 1006-1013 [DOI:10.1002/alr.21986]
  • Wang D X, Zhang Y R, Hou J X, Wang Y, Lv P J, Chen Y G, Zhao H. 2012. iDental: a haptic-based dental simulator and its preliminary user evaluation. IEEE Transactions on Haptics, 5(4): 332-343 [DOI:10.1109/TOH.2011.59]
  • Wang J, Liu Dong. 2016. Research on cholecystectomy virtual surgery simulation training platform. Journal of System Simulation, 28(8): 1853-1862 (汪军, 刘冬. 2016. 一种胆囊切除虚拟手术仿真训练平台研究. 系统仿真学报, 28(8): 1853-1862) [DOI:10.16182/j.cnki.joss.2016.08.021]
  • Wang Z. 2006. Study of the Simulation of Soft Tissue Deformation in Virtual Surgery. Nanjing: Southeast University (王征. 2006. 虚拟手术中的软组织形变仿真算法研究. 南京: 东南大学)
  • Wei L, Najdovski Z, Nahavandi S, Weisinger H. 2014. Towards a haptically enabled optometry training simulator. Network Modeling Analysis in Health Informatics and Bioinformatics, 3(1): #60 [DOI:10.1007/s13721-014-0060-3]
  • Xu X F, Zhang D L, Qu G H, Pan H B. 2001. A three-dimensional medical visualization system. Computer Engineering, 27(2): 159-160 (徐晓峰, 张大力, 曲桂红, 潘洪波. 2001. 三维医学可视化系统. 计算机工程, 27(2): 159-160) [DOI:10.3969/j.issn.1000-3428.2001.02.063]
  • Yu P, Pan J J, Qin H, Hao A M, Wang H P. 2020. Real-time suturing simulation for virtual reality medical training. Computer Animation and Virtual Worlds, 31(4/5): #1940 [DOI:10.1002/cav.1940]
  • Yuan Y, Weng D D, Wang Y T, Liu Y. 2008. Navigating system for minimally invasive endoscopic sinus surgrey based on augmented reality. Journal of System Simulation, 20(S1): 150-153 (袁媛, 翁冬冬, 王涌天, 刘越. 2008. 基于增强现实的鼻内镜微创手术导航系统. 系统仿真学报, 20(S1): 150-153)
  • Zang X J, Weng D D, Wang Y T, Liu Y. 2010. Navigation system for endoscopic sinus surgery based on augmented reality. Journal of Beijing Institute of Technology, 30(1): 69-73 (臧晓军, 翁冬冬, 王涌天, 刘越. 2010. 基于增强现实的鼻内窥镜手术导航系统. 北京理工大学学报, 30(1): 69-73) [DOI:10.15918/j.tbit1001-0645.2010.01.014]
  • Zhang X R, Chen G W and Liao H E. 2015. A minimally invasive surgical navigation system based on enhanced holographic in situ fusion//Proceedings of 2015 Chinese Biomedical Engineering Association Annual Conference. China Institute of Electronics; Chinese Institute of Instrumentation; Chinese Optical Society; China Society of Image and Graphics; Chinese Society of Biomedical Engineering (张欣然, 陈国文, 廖洪恩. 2015, 基于增强立体全像原位融合的微创手术导航系统//2015年中国生物医学工程联合学术年会. 中国电子学会; 中国仪器仪表学会; 中国光学学会; 中国图象图形学会; 中国生物医学工程学会)
  • Zhao H and Wang D X. 2010. Soft tissue simulation with bimanual force feedback//Proceedings of 2010 International Conference on Audio, Language and Image Processing. Shanghai, China: IEEE: 903-907[DOI: 10.1109/ICALIP.2010.5685189]