编者按:科幻作家和未来主义者在几十年前就对VR梦寐以求,黑客们也不例外。有些人怀疑VR是否会进一步发展,而另有许多人对VR感到兴奋,因为它带来的不止是技术的进步更是对于社会交往的颠覆。来自YC的Vincent Chen在”How to Get into VR”一文中分享了他对于VR当下现状、以及跨学科如何推动VR发展的看法,同时还提供了入门学习的一些资源和建议。 为什么是现在?
VR技术已经存在多年,有从立体镜到飞行模拟器等多种形式。工程和物理等领域的学者和研究人员一直在努力使该技术变得可行。在过去的几十年中,HMD(头戴式显示器)已经成为体验VR的标配。 在二十世纪九十年代末至二十世纪初期,有大量将VR引入大众的尝试。世嘉公司曾宣布推出一款(但从未发布)耳机。任天堂推出了Virtual Boy,这是一款包含单色HMD的视频游戏机。然而,这些尝试由于缺乏视觉保真度和处理能力不足而受阻。 只有最近,VR的发展变得更为大众所见。 CPU 和GPU可以在价格合理的基础上提供高保真,沉浸式的体验。智能手机为移动VR提供了便宜且更易于使用的选择,而不需要将设备绑定到高端计算机上。随着越来越多的人有机会体验VR,该技术也越来越清楚应如何在更大范围内抵达消费者。 虚拟现实和增强现实(AR)是兄弟姐妹VR需要模拟世界,而AR则需要对现实世界中的信息进行叠加。以手术为例,我们可以更清楚地看到其中的差异。VR可用于模拟外科医生的操作训练,而AR则可在实时手术中将视图中的指令和诊断叠加。 有些人认为VR是AR的基石。虽然实现高保真的AR需要更大的技术飞跃,但是VR开发中所取得的进步可以帮助我们抵达彼处。 在这篇文章中,我们避免讨论VR或AR谁更好,更有希望或更适用。相反,正如其他人猜测的那样,我们将讨论他们的共同潜力和各自面临的技术挑战。对于两者而言,在当下都是其发展的良好时机。 VR是实实在在的技术问题没有像VR这种天然成型的东西……只有跟踪,渲染和显示。跟踪是在3D空间中记录用户的位置和方向。渲染是为用户构建适当的图像。而显示器则是指硬件可以显示所渲染图像的保真度。 我们需要用心解决这些问题直到用户不会感到不适或不舒服。视觉和前庭神经系统的自我运动的感受不契合(晕车症和晕船症是同一个道理)时,人们就会遇到模拟器眩晕症。 这是一个很难解决的问题。作为参考,传统电脑游戏以1920×1080的分辨率渲染,刷新频率为60Hz。Oculus Rift以2160×1200(90Hz)的标准运行(两个显示屏对应两只眼睛)。换句话说,目前VR解决双眼眩晕的方案必须能够有效渲染1080p,且刷新率高于电脑游戏。同时,处理器需要跟踪用户的位置,并将这些信息尽可能及时地提供给头戴设备。 即使这些要求成为现实,那也不太理想! VR显示器尚未覆盖人类的全部视野。此外,我们当然可以通过提高渲染质量,以达到如今视网膜显示器的保真度,但这所有的这一切表明我们需要8K分辨率去渲染VR! 现在,我们遇到一个有趣的技术问题,即如何利用人类视觉系统的局限性来优化带宽和计算能力。 (例如,我们的周边视觉比我们的中心视野更糟 - 那么为什么不尝试焦点式渲染?) VR不仅仅适用于游戏玩家是的,用VR拍摄机器人很有趣。 但VR也能提供身临其境的音乐会、博物馆、演唱会以及球场上的体育赛事。 使用VR,视频会议的质量将得到改善,因为它能更好地进行视觉接触,并提供微妙的非语言提示。同时,培训费用将下降,因为不再需要像建筑业或制造业这种行业的人力培训师。同时,可重复的动手训练的效果会增加。学者将以更多的重复性、多样化的样本量和日常性重现现实来进行社会心理学研究,因此人类联盟也将不复存在。此外,VR会以其灵活性将真正的体验式学习引入教育。 就个人而言,我对VR之于医疗和医药的影响感到非常兴奋。VR在人员培训和教育体验中的优势也适用于临床医生。在患者护理方面,VR可用于治疗疼痛、战斗成瘾(combat addiction)和精神健康方面的问题。 VR不存在成熟之说
没有标准,没有最佳范例。每个人都可以尝试不同的东西。 以下是一些和VR相关的技术领域,以及每个领域内所涉及的具体问题: ·人机交互:我们如何实现有情境的用户界面(non-diegetic UI)? ·光学:我们该如何适应一个小型投影仪,并让眼睛适应眼镜的形状? ·电子产品:如何优化脸部设备的电池、压力和尺寸? ·硬件:如何建立触觉以便更好地跟踪和反馈我们的行动? ·计算机视觉:如何通过3D重建技术和场景再现来弥合VR与现实世界的不同? ·人工智能/自然语言处理:我们如何在VR中创建与我们进行互动的虚拟现实? 即使在非技术领域,也存在许多仍未得到解答的问题: ·心理学:VR对成瘾有什么影响? 虚拟现实对真实人格的影响是什么? ·社会学:改变社会互动(TSI)的方式意味着什么(想想眼神接触)? 我们正在接近早期形态的AR,但离成熟期的AR还很远许多情况下,在AR中体验的场景原型比在VR中更易于接近。使用手机、GPS和相机提供的信息可以增强我们与世界各地的连接(想想Pokémon GO)。 然而,AR面临着许多对于VR来说并不存在的挑战。根据经验来看,AR技术受益于无阻碍,因此我们可以充分利用周围的空间。而一旦我们不能在后台运行高配游戏机,相应的资源计算会是一个很大的问题。 其他之于AR的挑战在于硬件和HCI(人机交互) - 我们如何创建具有大视野的透视显示? 我们如何设计出一款人们能够在公共场合穿戴的设备?(提示:记得Google Glass?) 现在,你可以开始涉入其中下载一个游戏引擎,如Unity或Unreal Engine,并开始黑客式攻击。如果你以前开发过游戏,就会注意到这个过程非常熟悉,除了你的耳机被安装到与游戏机相应的摄像机之处(in-game camera)。 更普遍地说,这些游戏引擎的设计非常直观且容易学习。它们只需要基本的脚本,并且可以使用浅层次学习曲线接口(例如:拖放可视化脚本)。 以下是一些有用的入门资源: ·FusedVR的教程和现场直播:包括从建模到游戏引擎所能实现的内容创作的的演练,非常棒。 ·Udacity的VR开发者Nanodegree:涵盖VR的应用程序开发、设计和优化的完整程序。 ·Unity和Unreal的教程。 ·工具包: ○VR:VRTK ○AR:Vuforia、Hololens ·有用的教程(threads): ○Reddit:如何开始制作VR游戏 ○Quora:我从哪里开始? 什么是VR学习的最好资料? 了解图形流水线(the Graphics Pipeline)将帮助你欣赏VR的限制性和可能性 从根本上说,VR是用头部跟踪在你眼前展现出的场景并进行渲染的酷炫应用。了解3D几何以及呈现方式,你将更好地了解VR的限制性和可能性。 这里有一些很好的在线资源: ·伯克利学院的CS184教程:计算机图形学 ·Scratchpixel:从图形数学和物理中学习先进的现代技术 ·Song Ho An 的OpenGL笔记:介绍OpenGL的教程和概念 视域和影像领域正在推动VR前沿发展 对于促进计算机视觉、光学、成像及相关主题的认识的投资可能会有巨大的回报。 ·计算机视觉:我们对于深度如何追踪和理解? ○斯坦福大学CS231N课程:Phenomenally clear resource with modern CV techniques,由Andrej Karpahty(现为OpenAI的研究科学家)所写 ○计算机视觉:模型、学习和推论:幻灯片、练习和代码示例 ·计算成像/摄影:光线如何进入相机并成像?类似地,我们如何能将虚拟图像的重点呈现在视网膜上? ○计算机摄影(Raskar、Tumblin):麻省理工学院和西北大学的教授的教科书 ○Udacity的计算机摄影课程 在学习过程中:“用菜鸟心态学习VR”。—Aashna Mago(RabbitHole VR) 当然,天花乱坠般地炒作是真实存在的,但这也为我们远离所有的干扰提供了更多的理由。尝试接纳初学者的观点:愿意学习和吸收。不要因为自己认为有必要就开始做某些事情。现在处于学习、实验、失败并取得惊人进展的好时机。如果你认为你迟到了,那说明我在这篇文章中讲的很鸡肋! 加分项:阅读科幻小说! 令人惊讶地是,虚拟现实的发展与科幻小说密切相关。该领域的作者设想了一幅工程师开始发展VR的未来式场景。 有趣的事实:Neal Stephenson(Snow Crash的作者)建议Magic Leap(AR Company)担任首席未来学家! 必读: ·Ernest Cline《准备好的一人》 ·Neal Stephenson《雪崩》 我的个人收藏夹: ·William Gibson的《神经漫游者》 ·Vernor Vinge的《彩虹结束》 TL; DR:投入其中并与人交谈 将你的手放在耳机上,并在你所拥有的技能与兴趣重叠处开始切入。VR是一种新媒体,因此利用一个周末既能创造出令人信服且能够公之于众的内容比iPhone应用程序受到黑客攻击更是一个不是很有可能的问题。你将遇到质疑,但在这些质疑中,你将会拥有难得的机会去解决许多内行人员都会遇到的问题。 除了开始投入研发之外,还要与各式各样的人交流。构建舒适的体验过程需要工程师、艺术家、设计师和会讲故事的人协同工作(游戏开发人员会理解这一点)。此外,你可以利用在线论坛寻找反馈意见。加入俱乐部并参与俱乐部的活动中去!在VR公司工作。VR的世界很小,对于那些想在这个领域留下深刻痕迹的人来说,这是非常难得的机会和可能。 这里有一些在线社区可能值得研究: ·Facebook 的VR团队 ··Women in VR ·Subreddits(/ r / virtualreality,/ r / vive,/ r / oculus) ·和VR有关的黑客新闻 “如果你相信VR来了...” “...它将是变革性的,它将是无处不在的,而且对于社会互动范式的变革非常重要,因而在超早期阶段,这是多么的令人兴奋。” — Jay Borenstein(Stanford CS)
|
|