虚拟现实虚拟现实 虚拟现实技术又称“灵境技术”、“虚拟环境”、“赛伯空间”，英文名为Virtual Reality，简称VR技术。虚拟现实技术是一种综合应用计算机图形学，人机接口技术，传感器技术以及人工智能等技术，制造出逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。
目录编辑1 定义及特征编辑虚拟现实是以计算机技术为核心，生成与现实环境在视、听、触感等方面高度近似的数字化环境。用户借助相关设备与虚拟环境中的对象进行交互，从而产生真实环境的感受和体验[1]。 VR 具有三个特性，即沉浸性、交互性和构想性。 沉浸性：指即使用者在使用过程产生的身临其境的感觉； 交互性：指使用者可以利用传感设备与虚拟环境的中大部分对象进行交互。 构想性：指使用者不仅可以在虚拟环境中获得真实体验，而且可以充分发挥想象力，根据个人意愿，创造现实世界中某些不存在的物体。 2 发展历史编辑最早的 VR 技术可以追溯到 1956 年的 Sensorama。它集成了 3D 显示器、气味发生器、立体声音箱及振动座椅，内置了 6 部短片供人欣赏，然而巨大的体积使它无法成为商用娱乐设施。1961 年，飞歌公司研发了一款头戴式显示器 Headsight。它集成了头部追踪和监视功能，但主要用于查看隐秘信息。1966 年问世的GAFViewMaster 是如今简易 VR 眼镜的原型。它通过内置镜片来达到 3D 视觉效果，但并未搭载任何电子虚拟成像器件或音频设备。1968年问世的 Sword of Damocles （著名的达摩克利斯之剑）通常被认为是虚拟现实设备的真正开端。它由麻省理工学院研发，为后来 VR 甚至是 AR （增强现实）设备的发展，提供了原型与参考。 1984 年，第一款商用 VR 设备 RB2 诞生，配备了体感追踪手套等位置传感器，设计理念已与现代的主流产品相差无几。 1985 年， NASA 研发了一款 LCD 光学头戴显示器，能够在小型化轻量化的前提下提供沉浸式的体验，其设计与结构后来也被广泛推广与采用。在游戏、娱乐领域，一些著名的公司也曾尝试采用虚拟现实技术研发相关产品。 1993 年，游戏厂商世嘉曾计划为游戏机开发一款头戴式虚拟现实设备，却因在内测中反应平淡而夭折。 1995 年，任天堂发布了一款基于 VR技术的游戏机 Virtual Boy，但由于只能显示红黑两色且游戏内容分辨率和刷新率低，在不到一年时间内便宣告失败。 1995年，伊利诺伊大学研发了一款称作“ CAVE”的 VR 系统，通过三壁式投影空间和立体液晶快门眼镜来实现沉浸式体验。真正将商用虚拟现实技术带向复兴的产品是 2009 年问世的 OculusRift， 2013 年推出了一款面向开发者的早期设备，价格仅为300 美元，代表商用 VR 设备真正步入消费电子市场。随着 5G 高速传输、物联网、人工智能、柔性显示、移动式高性能图形计算卡等技术的出现，为 VR 技术进入商用奠定了基础。目前，基于虚拟现实技术的应用和设备已经开始出现在教育、传媒、娱乐、医疗、遗产保护等诸多领域。[2] 3 虚拟现实系统编辑
虚拟现实系统架构 虚拟现实系统主要由５个部分组成： 专业图形处理计算机、输入输出设备、 应用软件系统、数据库、虚拟现实开发平台。虚拟现实系统架构如图１所 示。虚拟现实引擎和输入输出设备是系统的硬件保障， 应用软件系统建立输入输出设备到仿真场景的映射， 数据库完成对场景中数据的管理与保存[3]。 3.1 专业图形处理计算机专业图形处理计算机是虚拟现实系统的关键部分，它从输入设备中读取数据，访问与任务相关的数据库，执行任务要求的实时计算，从而实时更新虚拟世界状态，并把结果反馈给输出显示设备。由于虚拟世界是一个复杂的场景，系统很难预测所有用户的动作，也很难在内存中存储所有状态，因此虚拟世界需要实时绘制和删除，这就大大地增加了计算量，对计算机的配置提出了极高的要求。 3.2 输入输出设备输入设备：虚拟现实系统要求用户采用自然的方式与计算机进行交互，传统的鼠标和键盘等交互设备无法实现，需要采用特殊的设备。这些特殊设备需要使用专门设计的接口把用户命令输入计算机，同时把模拟过程中的反馈信息提供给用户。基于不同的功能和目的，有很多种虚拟现实接口用于解决多个感觉通道的交互。主要的输入设备有三维跟踪定位设备、人体运动捕捉设备、手部姿态输入设备及其它手控输入设备。 输出设备：输出设备为用户提供输入信息的反馈，即将各种感知信号转变为人所能接收的多通道刺激信号。主要有针对视觉感知的立体显示设备、听觉感知的声音输出设备以及人体表面感知的触觉力觉反馈设备。 3.3 应用软件系统应用软件系统是实现虚拟现实技术应用的关键， 提供了工具包和场景图， 以降低编程任务的复杂性。虚拟现实系统使用的工具包分为３类： （1）三维动画类。这类工具包用于构建三维场景以及场景中的对象， 其效果逼 真、 制 作 简 单， 但不能精确控制。主要有3DSAax、Maya、AutoCAD等。 （2）网络场景类。这类工具包在服务器上实现，网络传输信息量少、控制灵活性不足，适用于开发在因特网上的应用。主要有World Toolkit(WTK)、VRML、Java3D等。 （3）直接控制类。这类工具包适用于场景建立时，对涉及的对象进行灵活、精确的控制，其编程要求较高。主要有OpenGL、Direct3D等。用户根据现场要求选取合适的工具包。应用软件系统应用这些工具包和场景图来完成几何建模、运动建模、物理建模、行为建模和声音建模。[4] 3.4 数据库在虚拟现实系统中，数据库用来存放虚拟世界中所有对象模型的相关信息和系统需要的各种数据，例如地形数据、场景模型、各种建筑模型等。在虚拟世界中，场景需要实时绘制，大量的虚拟对象需要保存、调用和更新，所以需要数据库对对象模型进行分类管理。 3.5 虚拟现实开发平台虚拟现实开发平台用于三维图形驱动的建立和应用功能的二次开发，同时是连接虚拟现实外设、建立数学模型和应用数据库的基础平台，是整个虚拟现实系统的核心，负责整个虚拟现实场景的开发、运算、生成，连接和协调各子系统的工作和运转。[5] 4 关键技术编辑VR 技术呈现以渲染能力提升和技术发展为基础， 屏显技术完善为展现依托， 丰富的智能定位技术为互动保证，虚化了虚拟世界和真实世界的界限， 使之达到某种程度上的融合。 4.1 VR 渲染技术当前主要的技术研究方向，都集中在降低 GPU 消耗的基础上， 确保更多的计算平台具有支持 VR 的能力。 Nvidia 推出了 MRS （multi-resolutionshading）， 即多重分辨率着色渲染技术， 采用分区域差别分辨率的方法， 降低消耗； 为了提升精确度， 国内外厂商分别提出相似的解决方案， 其中典型代表为国内某公司研发的焦点渲染（Foveated rendering） 技术。 （1） 多重分辨率着色渲染技术： 采用将将整体渲染画面分区域模式， 按照从中央到两边采用不同的分辨率方法， 降低 GPU 渲染压力。 ① 技术原理： MRS 技术不再将整个画面以相同的分辨率渲染， 而是分区域采用差异化处理， 人眼看到的主要中央区域，以完整的高分辨率，边缘则以更低质量进行渲染。 ② 硬件支持： 使用 Nvidia Maxwell 架构的显卡， 包括 GeForce Titan X 和 GTX 900 等系列 ③ 应用效果： 据称效率提高大概 50% 左右， 如原来渲染 90 帧 / 秒， 采用 MRS 技术可以做到 140 帧 / 秒左右。 （2） 焦点渲染技术： 主要针对多重分辨率着色渲染技术渲染区域划分较为粗糙， 采用眼球追踪技术使之精细化。 ① 技术原理： 在 MRS 基础之上， 使用眼球追踪技术开发出以人眼关注的焦点区域采用高分辨率， 其他区域逐步从焦点向外递减的渲染技术， 进一步缩小高清渲染的范围， 并且提升用户体验 ② 应用效果： 据称可以将渲染像素降低到 MRS 方案的 10% 左右， 将当前可以支撑 VR 的 PC 设备从当前仅有的 10% 提升至 30% ③ 其他相似技术： Tobii、 SMI、 FOVE 和 Eyefluence 等。[6] 4.2 VR 屏显技术VR 显示屏幕主要包括 OLED、 LCD 两种类型， 其中OLED 采用有源阵列有机发光能够做到低余晖， 不过在每个像素间存在分割网格的问题； LCD 采用背投光源显示，每个像素都被动发光， 相对较为容易产生严重余晖现象。从业界选择趋势来看， 似乎 OLED 是主流， 不过国内厂商可能受制于订货量和价格因素， 还有很多采用 LCD 屏。 （1） LCD ① 屏显原理： 普通的液晶显示屏（LCD） 是一种介于固态与液态之间的物质， 本身是不发光的， 需借助要背光灯才行。 因其无法控制到每个像素， 当每一帧像素都在发光时， 就会出现余晖， 所以， LCD也被称为 “ 全余晖” 显示 ② 优点： 整体显示无网格， 场景亮点较高 ③ 缺点： 余辉严重， 延迟长。 （2） OLED ① 屏显原理： 无需背光灯， 具有自发光的特性，所以 OLED 可以做到低余晖显示， 并且它的响应时间是LCD 的千分之一， 显示运动画面不会有拖影等现象 ② 优点： 低余辉， 显示延迟短 ③ 缺点： 每个像素间都会有网格， 需调低显示亮度。虽然 OLED 属于低余晖显示， 但为了达到更好地显示效果， 实现 VR 虚拟环境与真实人眼看到的实际环境在亮度、 参考物体无限接近， 还是需要进行低余晖处理。[6] 4.3 VR 定位技术VR 沉浸式体验主要来自于立体化显示和精准的定位技术， 使得用户产生的自身身体运动融入 VR 虚拟环境中，主要定位技术有： 红外定位、 激光定位、 可见光定位、 低功耗蓝牙定位等。 （1） 红外定位 ① 技术原理： 利用多个红外发射摄像头、 覆盖室内定位空间， 在被追踪物体上放置红外反光点， 通过捕捉反光点红外反射影像， 确定用户在空间中的位置 ② 优点： 定位精度高， 如果采用帧率很高的摄像头，延迟也很低， 具有较好的效果 ③ 缺点： 造价较为昂贵， 一个 120 帧的摄像头， 造价超过 1000 美元 ④ 应用情况： VR 影视制作、 动画录制等商用方向。 （2） 激光定位 ① 技术原理： 利用激光发射器（定位光塔）， 发射横竖两个方向的激光， 被定位物体上安置多个激光感应接收器， 通过计算两束光线到达定位物体的角度差， 计算出待测定位节点在定位空间中的坐标 ② 优点： 成本低， 定位精度高（mm 级） ③ 缺点： 需 要 一 定 封 闭 空 间， 例 如 HTC Vive 的Lighthouse 需要 5*5m 空间， 而且会有多人遮挡的问题 ④ 应用情况： HTC Vive的 Lighthouse和 G-Wearables的 Step VR 等。 （3） 可见光定位 ① 技术原理： 用摄像头拍摄室内场景， 追踪主动发光的标记点（类似小灯泡）， 通过实时获取针对不同位置不同颜色的标记点位置， 实现物体定位 ② 优点： 算法简单、 价格便宜、 容易扩展 ③ 缺点： 精度方面不如激光和红外方式 ④ 应用情况： The Void， Zero Latency 和很多国内的线下 VR 体验店等。 （4） 低功耗蓝牙定位 ① 技术原理： 通过接收低功耗蓝牙通信功能的设备发送特有 ID， 利用算法软件计算跟踪物体的位置 ② 优点： 移动性强， 高端手机支持 ③ 缺点： 精度低、 对终端有一定要求。[6] 5 国内外发展研究现状编辑5.1 国际发展现状目前 VR 技术已经逐渐走向成熟，并且向着视觉、听觉、触觉多感官沉浸式体验的方向发展。同时，相应硬件设备也在朝着微型化、移动化发展。美国纽约州立大学石溪分校联合 Nvidia 和 Adobe 公司已经开发出一种系统，可以利用人眼的扫视抑制现象和眼球追踪技术，为用户提供在大型虚拟场景中自然行走体验。据报道，一家名为 MojoVision的初创企业宣布有望将其 VR设备缩到隐形眼镜大小，并在 2020 年推出相关商用产品。在 GDC2018， Oculus 推出的 Oculus Go 为头戴式 VR 设备提供了立体声效果，其扬声器位于头显内侧，用户无须佩戴耳塞就能以接近自然德方式体验到虚拟场景中的声音。它所使用的定向扬声器设计，使该设备的声音不会影响周围。洛桑联邦理工学院（EPFL）和苏黎世联邦理工学院（ETH）组成的科研团队开发了名为“ DextrES”的轻量级触觉反馈手套[7]。该设备总重仅 40 g厚度仅 2 mm，而附着在用户手指上的传感器和反馈装置总重更是低至 8 g，能够为 VR 用户提供更接近自然的触觉反馈。 5.2 国内发展现状VR 产业发展近几年也处于上升趋势。根据IDC2019 年公布的《中国 VR/AR 市场季度跟踪报告》，2019 年第一季度我国 VR 头显设备出货量接近 27.5 万台，同比增长 15.1%，其中头显设备出货量同比增长 17.6%。在“ 2018 国际虚拟现实创新大会”上，专家学者们探讨了 VR 产业的发展现状和未来动向。会上公布的《中国虚拟现实应用状况白皮书（2018）》对我国 VR 应用状况展开了全面的探讨和分析，涉及相关企业、单位数量 500 余家，为我国 VR产业从萌芽向商业化、规模化转变标明了方向。《白皮书》中还提到，我国目前 VR 产业的重点企业主要分布位置在北京、上海、广州 3 个城市，同时在青岛、成都、福州等 12 个热点地区也有分布，主要涉及内容开发、终端设备、网络平台等细分行业。5G 技术带来的高带宽和低时延等优势，将为 VR、 AR及相关音视频业务的发展提供关键支撑，云 VR、 VR 实时直播开始兴起。 2018 年西班牙 MWC 上，华为 VR Open Lab 联合“视博云”发布了 Cloud VR，其依靠 5G 和云技术将 VR运行能力由终端向云端进行转移，以此推动 VR 和 AR 应用在智能手机端。 2019 年 1 月，中国电信在深圳完成了首次央视春晚特别节目的 5G 网络 VR 现场直播，这是央视第一次通过 5G 网络进行 VR 超高清春晚节目直播。[2] 参考文献
|
|
|
