空间计算/虚实融合/物理模型/行为模型，虚拟现实里不明觉厉的深层技术听专家一次说个够

  2013 年以来，随着虚拟现实（virtual reality， 简称 VR）／增强现实（augmented reality， 简称 AR） 设备（如头戴式显示器等） 质量迅速提升、价格大幅降低， VR 开始普及化， 从军事、航空航天等高端行业应用进入大众生活。 在这样的趋势下， 越来越多的科技公司将眼光投向 VR， 部署研发团队并推出自己的 VR 创新产品， 展开抢占 VR 产业制高点的激烈竞争， 使得 VR 技术进入了前所未有的快速发展时期。

任何一项新兴高技术产业的可持续发展都需要有三方面的条件支撑， VR 产业也不例外， 这就是需要关键技术突破与科技创新的持续支持， 各类 VR 人才的强大支撑， 以及市场需求的不断推动， 而市场的形成又有赖于 VR 应用系统与内容的不断丰富与创新。

实现一个 VR 系统， 大体需要四方面的技术： 数据与获取、分析与建模、绘制与表现， 以及传感与交互。 这四个方面均涉及硬件平台与装置、核心芯片与器件、软件平台与工具和软硬标准与规范。 同时 VR 应用也需要结合各行业领域的应用技术， 因此 VR 是学科高度综合交叉的科学技术领域， 是存在许多有待解决的科学技术问题、并不断产生新科学技术问题的充满活力的新兴领域。

虚拟现实技术与系统国家重点实验室主任赵沁平

2009 年我根据自己多年从事 VR 技术研究的体会， 归纳总结了当时 VR 中的 10 个科学问题， 并于 2011 年发表于 Communications of the ACM。 现在回头来看， 这些问题的提出， 在一些方面推动了 VR 技术的研究， 其中有的在一定程度上有所突破， 有的进展不明显， 有的则被更为迫切的问题所掩盖， 这体现了 VR 技术领域的活跃性。 根据本人对近年来 VR 技术的发展趋势、VR 应用和产业发展所遇到的技术瓶颈的认识， 以及本人新的研究体会， 在本文提出当前 VR 科学技术中新的 10 个科学技术问题。 这些技术的突破会导致 VR 应用和产业的新的巨大进展。

1、VR 头戴显示的输入与交互

现有 VR 头戴式显示器看不到体验者自身， 输入不便， 也缺少与景物的交互机制， 身临其境的感觉受限。 因此， VR 鼠标等便捷友好的 VR 输入方式， 能够实时逼真地表现体验者肢体、并能与虚拟场景对象实时交互的机制是需要研究的问题。

2、头戴式显示的空间计算与 AR 虚实融合及其室外化

头戴式显示虚拟场景的空间计算， 包括体验者头部和位置的实时精准跟踪定位， 以及 AR 头戴显示中虚拟对象在现实空间中的位置计算与实时表现是需要进一步研究的问题。 与此相关， 虚实融合是 AR 的基本问题之一， 包括视频式 AR 显示中图形对象与视频图像的融合， 以及光学透视式 AR 显示中图形对象与现实景物的融合。 前者研究的时间比较长， 后者随着光学 AR 头戴显示的实用化， 逐步成为这一方向的主流， 许多问题有待解决。 同时， 光学透视式 AR 的室外化， 包括室外大场景下的虚实融合是有待探索的一个方向。

3、VR 视频的采集、制作与交互式播放

VR 全景视频（包括基于桌面、移动终端或 Web 的 VR 视频） 的采集、制作、交互式播放技术与设备， 以及跨平台 VR 视频播放器， 是一个研究发展方向。 如何在 VR 视频中引入几何与控制元素， 增加 VR 视频的交互类型， 提高其交互性是值得研究的问题。

4、基于移动终端和互联网的 VR

基于移动终端和互联网的 VR 具有巨大发展潜力。 对于前者， 低计算、低存储 VR 技术， 云计算 VR 技术， 低延迟大数据传输与新型交互等是可创新技术方向。 后者需要全屏 3D 绘制、VR 设备接入与更合适的人机交互机制， 以及新型浏览器标准。 Web VR 将对现有浏览器和邮件系统等带来变革和颠覆性影响， 成为互联网的新入口。

5、物理特征的更多表现与新型物理模型

目前， 虚拟对象的物理表现及其物理模型研究主要集中在运动学和动力学方面。 物理模型也只有粒子系统、弹簧模型、SPH （smoothed particle hydrodynamics） 方法等少数几个。 物质的许多物理特征（如材料特征）， 爆炸、切割等物理现象， 柔、黏、塑、流、气、场等物质对象的物理特征与交互响应的实时逼真表现， 存在许多理论问题。 由于物理模型计算量巨大， 因此具体应用时实时性和逼真性之间的平衡也是需要考虑的问题。 提出表现某类物理特征和物理现象的新型物理模型， 构造其物理引擎及核心算法芯片 PPU （physics processing unit）， 可以带来原创性、平台工具性成果。

6、进化演化模型与虚拟孪生

基于化学、生物学和生命科学的人体器官的生理、化学、生物进化演化模型是有待深入研究的科学问题， 可能产生新的知识型、概率型等模型类型。 现实世界中的每一个（类） 对象， 均可以构建虚拟孪生， 使其与现实孪生在几何、物理、生理， 以及进化演化等方面高度相似。 人体、城市和复杂装备的虚拟孪生会成为未来发展的重点， 并对医疗健康、城市规划管理和装备设计维护领域产生颠覆性影响。 构造虚拟孪生， 特别是可交互几何类虚拟孪生的理论与方法， 既是 VR， 也是 AR， MR （mixed reality， 混合现实） 等的基础。

7、智能行为模型

随着 VR 应用领域的不断扩展， 虚拟人（或计算机生成的人） 操纵实体（如飞机、车辆等） 成为 VR 系统的重要组成部分， 这些智能体的行为使得 VR 系统所具有的 3I （immersion， interaction， imagina－tion） 特征向 4I 发展， 即 VR 系统将具有更多的智能（intelligence） 特征。 该类问题的解决有赖于人工智能技术和人脑科学的发展。

8、力交互的柔韧感与新型自然交互

人与虚拟对象之间的力／触觉逼真感知的方式、机制及其设备仍然存在大量的问题， 特别是柔韧感； 此外新的感知通道， 如温湿感、嗅／味觉等， 有的刚起步， 有的尚未涉足。 这是一个需要多学科交叉研究解决的问题领域。

9、VR 内容的智能化生产技术与通用软件开发工具

目前 VR 内容制作生产力低下， 原因一是 VR 建模、绘制、修补等生产环节的工具和开发平台自动化、智能化程度低， 二是 VR 硬件不兼容， 均采用各自的软件开发工具包（software development kit， SDK）。 提高 3D 建模（几何、图像、扫描等） 的效率和空洞修补的自动化水平等是需要进一步研究的内容， 研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径。

10、VR 的逼真性度量与 VR 心理学、VR 社会学

VR 的逼真性， 即虚拟与现实孪生的相似性测度是有待研究解决的一个理论问题。 在此基础上研究各类 VR 应用的效果评价， 特别是对人的心理影响， 以及对人类社会带来的影响， 并进行相关约束与法律研究也是必要的， 这会形成新的人文学科研究方向。

上述是本人认为 VR 领域当前迫切需要研究解决的 10 个科学技术问题。 实际上， VR 研究与应用领域中存在大量的科学技术问题。 VR 是一项可能的颠覆性技术， 主要体现在六个方面： 突破目前以 2D 为主的显示， 实现 3D， 以及未来的真三维显示； 突破目前屏幕物理尺寸的局限， 实现全景显示和交互体验； 突破键盘、鼠标人机交互方式， 实现手眼协调的人机自然交互； 突破时空界限， 把用户带入未来或过去的时空环境； 取代现有互联网邮件系统为主的通讯交互方式， 成为互联网的新入口和人际交互新环境。 有助于实现上述颠覆性的基础理论与关键技术都应该是 VR 技术研究者所追求的目标。