【原】泌尿外科领域的虚拟现实技术

医学镜界 2022-06-30 发布于江苏

展开全文

Virtual Reality and Animation

Cite this chapter

Yolcu, M.B., Huri, E., Emre, S. (2021). Virtual Reality and Animation. In: Huri, E., Veneziano, D. (eds) Anatomy for Urologic Surgeons in the Digital Era. Springer, Cham. https:///10.1007/978-3-030-59479-4_12

虚拟现实和动画

随着新技术设备的广泛使用，沉浸式技术（虚拟现实、增强现实和混合现实）开始应用于生活的许多领域。虚拟现实在手术中的使用也在增加，这是一种基于对现实生活中数字视觉内容的感知的方法。在本章中，评估了虚拟现实技术和动画在学术生活、医学教育和泌尿外科的当前和可能的应用，并给出了实际应用的例子。可以预见，泌尿外科和小儿泌尿外科领域的研究将处于良好的技术应用状态，并将逐步增加。

关键词

虚拟现实
动画
虚拟现实耳机
增强现实
混合现实
泌尿外科
机器人手术模拟
手术助理培训

12.1简介

当今数字技术发展迅速，在新技术不断涌现的同时，它们也被称为颠覆性技术，因为它们破坏了以前的技术。作为其中一部分的视觉技术跟上了这一速度。这些是虚拟现实（VR）、增强现实（AR）和混合现实（MR）。视觉技术出现的原因之一是在传递内容时，当时的技术还不够。随着虚拟现实技术的发展，内容的格式也演变成这样。其中，3D 模型和动画处于最前沿。这些技术在健康领域的使用从教育水平延伸到临床实践。有关于在医学教育中使用这些技术的学术研究[ 1 ]。本节包括沉浸式技术的重要性。从虚拟现实设备到制作内容，有许多变化和发展。因此，虚拟现实和动画概念的相互联系是一个可以检验的领域。

12.2 什么是虚拟现实（VR）？

这个定义是多年来用不同句子定义的第一个例子，很好地解释了技术的局限性。它包含模拟环境而非真实环境中的三维 (3D)、立体、头部跟踪显示、手/身体跟踪和双耳声音内容。VR 是一种身临其境的多感官体验。VR和动画是互补的元素。借助 VR [ 3 ] ，可以体验 3D 动画。还有必要提一下其他与VR基本有类似目的的技术。其中一些是增强现实（AR）和混合现实（MR）。这些技术需要不同的设备，但使用相似的技术基础设施 [ 4 ]。例如，虽然 AR 可用于手机和平板电脑等移动设备，但 MR [ 5 ] 需要高级 MR 眼镜。

事实上，称为 MR 的技术结合了 VR 中的交互性和在真实环境中体验虚拟环境和对象的能力，就像在 AR 中一样（图12.1）。如果我们在所有这些视觉技术中包含 360° 视频和全息图，则可以将它们全部收集在增强虚拟 (AV) [ 6 ] 的标题下。

那么如何开发这些技术并为人们提供这样的体验，让我们来解释一下。

12.3 VR的基础是什么？

VR由两个基础组成。这些是工程和逆向工程。工程部分包括 VR 的软件和硬件部分。逆向工程部分由人类生理和人类感知组成（图12.2）。

硬件和软件来到最前沿，检查 VR 技术子标题。如今，VR头显无疑是专为VR开发的设备之一。尽管这些耳机有许多不同的版本，但它们的工作原理是相似的。VR头显一般由屏幕和镜头组成（图12.3）[ 8 ]。在一些便携式 VR 耳机中，这种屏幕功能也可以通过手机等外部设备提供 [ 9 ]。

尽管软件方面的开发人员有很大的工作领域，但随着对该领域投资的增加，它的工作量会更大。软件部分也分为字幕。这些可以简化为创建和交互的内容。作为用户，从人们的动作和行为中接收到的数据通过 VR 耳机刺激并再次传输给用户（图12.4）[ 10 ]。

可以通过许多不同的技术设备来提供这些接收和传输的运动和数据。该设备是诉诸人的感觉器官，即视觉器官、触觉器官、嗅觉器官、味觉器官、听觉器官[ 11 ]。将一些感觉器官集成到 VR 耳机中的研究仍在继续。这些 VR 头戴式耳机每天都在开发。

12.4 虚拟现实耳机

让我们来看看一个既便携又能达到许多人可以使用的水平的设备。在此内容发布时，最新发布的设备之一是 Oculus Quest（图12.5）[ 12 ]。该设备的特点之一是它是便携式的。尽管使用了移动处理器，但它可以通过上面的软件以 3D 网格形式识别您的手。

这样，您就可以在虚拟环境中同步移动您的手。当您在使用 VR 耳机的虚拟环境中时，它可以让您使用设备上的内置扬声器轻松脱离真实环境。同时，可以使用内置麦克风制作与您的语音命令配合使用的应用程序 [ 13 ]。

为了说明这一点，手术助手可以在 VR 中获得交互式体验，只需要语音命令，而在手术过程中不需要任何其他控制器 [ 14 ]。这里提到的一些功能也可以在其他类似设备中找到。由于触觉设备 [ 15 ] ，如今可以吸引多个感官的设备变得越来越普遍。我们可能会看到这些设备的未来添加可能会吸引我们的其他感觉器官。

12.5 VR 中的动画

当您想要创建我们现实世界的虚拟副本或不存在的情况时，我们可以使用这些技术。当从 2D 动画切换到 3D 动画时，我们需要从 PC 屏幕或投影设备切换到 VR-AR 设备。我们需要 3D 环境来有效地使用 3D 的特性。如果我们用一个例子来解释，绘制或拍摄一个用于教育目的的解剖结构将能够从二维的单角度框架中为我们提供信息。

为了从视觉效果中获得更多信息，可能需要从多个角度绘制的照片或插图。视频开始使用，1 s 内录制了 24 帧。24 帧代表 24 张照片。这个概念定义为相对于 1 秒内查看的帧速率的 Fps（每秒帧数）。这些视频也可以由数百张记录的照片组成，也可以通过组合数百张图纸获得。使用这种方法，通过将计算机上创建的绘图和视觉效果连续带到 2D 动画和视频中。如今，在制作视频和动画时经常使用 24 fps 和 60 fps（图12.6）。这样，在观看单个视频或动画时，可以在短时间内接收到许多视觉信息。

如今，人们试图用比视频和动画更好的方法来增加信息的传递能力。完成工作后，可以使可以在现实中重复的事情成为可能，或者在虚拟环境中消除实际上无法完成的负面情景。因此，需要可以被视为 3D 视频的内容。3D 内容最重要的技术来源是 3D 动画。但是，在 2D 屏幕上体验这些 3D 动画并不方便。为此需要不同的设备 [ 16 ]。

这些设备的第一个示例是可以使用虚拟现实 (VR) 内容的 VR 耳机。用户可用的第一个版本是有线并连接到计算机的。该系统需要一个 VR 耳机和一台高处理能力的计算机。今天，仍然有专业设备继续使用该系统（图12.7）[ 17 ]。

12.6如何在医学中创建 3D 内容？

谈到 VR 内容时，3D 模型和动画是第一位的。需要 3D 模型才能将现实世界的资产转移到虚拟环境或创建虚构的虚拟环境。可以通过不同的方式获得 3D 模型。如果您要开发的内容对您来说是独一无二的，则可能需要从头开始建模 3D 模型。

有必要举例说明，小儿泌尿外科已经开发了一种疾病特异性模型。为此，您需要使用计算机上的 3D 建模程序之一对您想要的解剖器官结构和变形进行建模。这种方法为您提供了模型原创性和自由度的可能性。用这种方法开发的 3D 模型只能用于教育模拟（图12.8）[ 18 ]。

当您想在诊所研究病例时，您将需要使用患者自己的视觉数据，例如计算机断层扫描 (CT) 或磁共振成像 (MRI)。对于这种方法，有许多特定于不同领域的计算机应用程序。通过这些应用程序，可以通过将放射图像上的软组织和其他结构相互分离，在 3D 中对其进行建模。这个过程称为分割（图12.9）。虽然一些高级软件可以完成这个半自动过程，但不幸的是，在许多领域可以全自动执行这个过程的系统还不常见。一般来说，通过这种方法获得的不同3D模型编辑程序可以对3D模型进行排列。在 3D 模型上而非 2D 放射影像上进行手术计划可以在时间和成功方面提供优势。从这方面的研究来看，它似乎很有希望。

如果我们继续操作的例子，应该确保动作是模拟的和交互的，这样这些 3D 模型才能模拟现实。它可以通过扫描手术室或手术进行 3D 建模（图12.10）。此时，3D模型在虚拟环境中的行为和位置可以通过计算机上的许多不同程序转化为3D动画。创建的动画包括事件的流程。

例如，可以将操作的每个阶段准备为虚拟环境的 3D 动画。

12.7如何创作VR内容？

随着 VR 的使用越来越多，便携版本的设备开始变得普遍 [ 19 ]。随着 VR 设备的发展，对设备中适当内容的需求开始增加。大公司倾向于开发他们的基础设施，而不是在这里参加开发竞赛。这是一种很好的方法，为当今此类技术的发展铺平了道路。得益于此，来自世界各地的开发者开始开发类似于开发移动应用程序或游戏的 VR-AR 内容。VR 和 AR 作为应用程序开发阶段非常相似 [ 20 ]。让我们通过在此背景下进行的研究来检查开发过程。

在伊斯坦布尔大学-Cerrahpasa、Cerrahpasa 医学院、小儿外科、小儿泌尿科等领域进行的这项研究中，使用 AR 技术开发了一种可在移动设备上使用的 AR 应用程序。选择先天性异常之一的膀胱输尿管反流 (VUR) 进行样本研究。在具有临床经验的医生的带领下，使用 Autodesk 3dsMax 3D 建模软件在计算机上对五种类型的 VUR 疾病进行建模。模型被转移到 Unity 程序，一个游戏开发平台（图12.11）[ 21 ]。

使用了 Google ARCore 基础架构，并在模型中添加了移动、旋转和缩放等交互功能。从本研究中的 3D 模型制作到在平台上开发移动应用程序，都类似于 VR。然后，通过使用 VR 设备品牌开发的基础设施，将设备特定的交互（例如语音命令）添加到软件中。它在品牌的在线商店中发布，并免费或收费提供。

12.8什么是沉浸式技术？

VR在医学上有基本的应用，但具体领域的研究尚未普及。VR 的发展之后是增强现实 (AR) 技术。对于 AR，您可以使用自己的手机或平板电脑（提供最低要求和更新）[ 22 ]。与VR相比，有一些优点和缺点。虽然 AR 可以提供易用性，而无需在您的环境中使用其他设备，但它无法为您提供像 VR 这样的高体验。混合现实 (MR) 设备已通过混合两种技术来满足这一需求。这些设备使您可以在您喜欢 AR 的真实环境中捕捉交互性和交互性方面的 VR 体验。

12.9当前医学中的虚拟现实

“自 2000 年 FDA 批准时发布原始版本以来， daVinci ^{® Surgical System 不断发展。}根据 2012 Intuitive Surgical 年度报告，全球安装了 2585 台达芬奇^®手术系统，其中美国 1878 台，欧洲 416 台，世界其他地区 291 台。2013 年整体手术量的增长是由美国普通外科手术、美国妇科手术和美国以外的泌尿外科手术的增长推动的 [ 23 ]。” 研究表明，机器人手术中开发的 VR 内容可用于手术助理培训（图12.12）[ 24 ]。这表明，随着VR内容质量的提高，未来它可能会更多地进入我们的生活。

由于这些 VR 内容，可以减少专注于术前病例的手术助理或外科医生使用实用方法犯错误的可能性 [ 25 ]。同时，可以重复创建和练习罕见案例的模拟版本。交互式虚拟现实应用程序的最佳示例之一是机器人手术中的模拟。借助这些应用程序，您可以在虚拟环境中使用带有 VR 眼镜的虚拟环境中使用触觉控制器引导手术器械 [ 26 ]。这里经验的真实性可以在实践中增加患者在手术中的成功率。

12.10沉浸式技术的未来

根据 Gartner 的报告，作为新兴技术之一的 VR 技术在 2017 年已经通过了炒作周期（图12.13）。紧随其后的是 AR。在 2018 年的报告中，VR 完成了这个周期，并与 AR 一起经历了新的衍射，使 MR 技术能够在这个周期中取得进展（图12.14）。2019年，VR、AR、MR技术似乎都完成了这个周期（图12.15）。这意味着它们已经通过了发展中的技术阶段，成为一种成熟的技术。在今年即将发布的报告中，这些沉浸式技术的子衍射很可能会进入或完成这个循环。

12.11虚拟现实的有效使用

对于成熟的 VR 技术，投资的增加和开发者的数量都可以预测。这种越来越便宜的技术可用于从医疗保健到初级保健，从教育到患者信息的许多不同领域。借助VR技术，临床上存在的许多问题都会随着时间的推移而得到解决。未来几年，即使该技术不在制造商或开发商方面，也有必要能够在行业中使用和消费它。

那么这些设备是如何开始以这种方式传播的呢？确保这些的一些最重要因素是小型化电子设备和合身舒适性。VR头显的快速发展和普及也支持了这种情况。他们正在使可穿戴系统更加可行[ 15 ]。

因此，VR技术在健康领域的可用性增加了。特别是，可穿戴设备的医疗保健使用提供了监测和潜在增强用户健康的新方法 [ 27 ]。VR在健康领域的使用非常重要。该技术在医学领域越来越广泛，可用于从细胞培养研究到手术、医学生教育到外科助理培训的不同领域（图12.16）。

12.12泌尿外科中的虚拟现实

外科教育通常基于“看一、做一、教一”的哈尔斯泰德方法。这种方法取决于患者的数量以及对他们的访问。外科领域涵盖范围广泛的复杂程序。由于公众对患者安全意识的提高，使用 Halstedian 方法进行教学或学习是一项挑战 [ 28]。MedTRain3Dmodsim 项目中生产了三种不同的 VR 模拟器，分别是 VR 膀胱镜检查、VR 逆行肾内手术和 VR 腹腔镜肾切除术。鞑靼人等。据报道，如果在手术培训中使用更多的 3D 医学手术模型，可以减少手术并发症。这些模型描述了正确的解剖计划、适当的手术计划和增加实体器官解剖的可视化 [ 28 ] ，可以改善外科解剖学的学习曲线。希门尼斯等人。强调了图像引导手术 VR 方法的重要性，通过支持对各种疾病的指导，在泌尿外科领域展示了潜力。增加数量的术前和术中成像方式可用于创建详细的手术路线图 [ 29]。然而，使用 3D 虚拟现实进行手术计划是数字泌尿外科手术的另一个主要部分。舍克等人。表示在进行机器人肾部分切除术时使用 3 维虚拟现实模型改善了重要的手术结果参数，手术时间更短（141 分钟对 201 分钟，P < 0.0001），钳夹时间（13.2 分钟对 17.4 分钟，P = 0.0274）和估计失血量（134 cc 对 259 cc，P = 0.0233）[ 30 ]。

根据 MedTRAin3DModsim 团队开发虚拟模拟器的经验；使用重建的患者特定 CT 生成 3D 模型对于保持相似的解剖形状、大小和适用的物理模拟器至关重要。医学 3D 模拟技术为医学诊断和实践开发了令人兴奋的新解决方案和可能性。使用通用 3D 模型为静态生物模型和物理模拟器生成步骤。这些过程从患者或尸体的 CT 或 MRI 数据开始，这些数据是从 DICOM 文件生成的。然后将这些导入软件程序，在其中分割解剖结构以创建所需的解剖结构。使用 Autodesk 3dsMax 和 Z-brush 3D 模型编辑工具在需要时进一步修改和修复数据。使用 Adobe Photoshop CC 执行纹理处理以表达逼真的解剖纹理。接下来，为 3D 打印 (3DP) 或虚拟现实生成多边形网格（立体光刻，STL）文件。该数据可用于生成虚拟现实模型或打印模型。

12.13结论

随着 VR 设备价格的下降和广泛的使用，我们不能忽视每个人都可以拥有 VR 设备和手机的可能性。因此，我们似乎可以在未来更多地使用 VR 技术、VR 耳机和动画内容。健康领域是应该应用创新的最重要领域之一。医生将能够决定如何整合开发的新技术，因为患者的利益在医学中是优先考虑的。由于这种情况，有必要展示这些技术如何工作以及如何将它们与科学方法一起使用。这些技术中最重要的一点是开发设备创建的可能性和内容。通过内容开发过程中的多学科方法，可以根据每个人的能力使每个人受益。因此，可以通过分析这些视觉技术可能有用的部分来对此进行科学研究。