分享

Meta显示部门主管:VR头显趋于完美所面临的十大挑战

 山蟹居 2022-08-19 发布于上海

编译/VR陀螺

虚拟现实领域正在快速发展,不过在其达到技术潜力之前,仍有许多障碍需要克服。今年6月,Meta在Inside the lab活动中展示了多款VR原型机,它们分别解决了不同方面的技术挑战,如分辨率、亮度、尺寸等。

道格拉斯·兰曼(Douglas Lanman)在Meta公司工作了8年,是开发显示系统的部门负责人。在今年的Siggraph会议上,兰曼发表了演讲,主题是开发一个趋于完美的VR头显所面临的十大挑战。

文章图片1

道格拉斯·兰曼(图源:网络)

1.更高的分辨率

目前的VR头显在分辨率方面还远没有达到人类的视觉。为了使虚拟世界看起来像实物一样真实和清晰,并且即使在中距离也能很好地阅读文本,VR显示器的分辨率必须大幅提高。

Meta公司表示,单眼8K、像素密度为60 PPD是初步目标。Meta Quest 2只达到了单眼2K和20 PPD。6月公开的原型机之一Butterscotch已经实现了接近视网膜级别的分辨率,达到55 PPD。

不过,高分辨率显示器的开发和生产并不是最大的问题,问题在于要有相应的计算能力来支持这种高分辨率显示器。注视点渲染和云串流技术可以提供帮助,但它们本身也是重大的技术挑战。

文章图片2

不同头显的分辨率比较(图源:Meta)

2.更广的视场

人类的水平视场角大约是200度宽。现阶段,商业上可用的VR头显一般能达到100度的水平视场角,在垂直视场角方面也仍有改进的余地。

更广的视场给透镜技术带来了巨大的挑战,这表现在视场边缘的图像失真上。同时,这也关系到计算能力的问题,视场越宽,VR头显所要显示的像素就越多,这将导致更高的功率要求和更多的废热。

3.人体工程学

消费端市场的VR头显仍然很笨重。Meta Quest 2的重量超过1磅,从面部突出近3英寸。理想情况下,VR头显需要足够舒适以支持长时间佩戴,因此在设计上要更窄、更轻。Pancake透镜和全息透镜可以提供帮助。

原型机Holocake 2被扎克伯格称为“我们制造的最薄、最轻的VR头戴设备”。为了实现纤薄的效果,Meta开发了两项新技术:平面全息透镜和偏振反射。但问题在于,两项技术都要使用定制的激光器作为光源,而这些激光器还没有发展到可以大规模生产的程度。

文章图片3

以太阳镜的形式显示的是Holocake 1原型,作为对比,透明显示的是2016年的Oculus Rift。(图源:Meta)

4.带视觉校准的显示器

完美的VR头显应该能够检测并补偿用户的视觉缺陷,这样无需佩戴传统的眼镜或隐形眼镜就能在虚拟现实中看得清楚。

这个问题可以通过特殊的附件来解决,但更好的方案是,显示器带有视觉校准功能,可以根据用户自己的视力来进行适配。这样今后就不用担心佩戴传统眼镜使用VR,会不会刮伤镜片的或挤压用户脸部的问题了。

5.可变的焦点

在VR环境中,人眼不能自然聚焦,时间长了就会导致眼睛疲劳和头痛。这种现象在技术术语中被称为“视差适应冲突”。

为了解决这个问题,Meta公司开发了一款支持“渐进式视觉”的原型机Half Dome。该显示器能模拟不同的焦平面以及模糊,帮助眼睛更自然地观察虚拟世界。不过,扎克伯格曾表示可变焦功能距离实装上市还有至少五六年的时间。

另外值得一提的是,Half Dome的FOV达到了140度。

6.面向所有人的眼球追踪

眼球追踪是虚拟现实的一项关键技术,它是许多其他重要的VR技术的基础,如渐进式视觉(见第5点)、注视点渲染和畸变校正(见第7点)。它还能在社交体验和新的互动形式中实现眼神交流。

眼球追踪的问题在于,它并不是对所有的人都有同样的效果。行业需要一个可靠的解决方案,能够覆盖更广泛的人口。否则,该技术只会让人感到沮丧,并被消费者所拒绝。

文章图片4

瞳孔的形状因人而异。这对眼球追踪系统来说是一个挑战。(图源:Meta)

7.畸变校正

透镜本身就会产生图像畸变,必须通过软件进行校正。瞳孔最轻微的移动都会导致细微但明显的畸变,它们损害了视觉的真实性,特别是在与其他技术(如渐进式视觉)结合时。

为了加速校正算法的发展,Meta的研究人员开发了一个畸变模拟器。它可以用来测试不同的透镜、分辨率和视场,而不需要制造测试头显和特殊透镜。

8.高动态范围(HDR)

实体物体和环境的亮度远高于VR显示器。针对这一问题,Meta公司开发了原型机Starburst,其最高亮度可达2万尼特。作为比较,一台好的HDR电视能达到几千尼特,而Meta Quest 2只有100尼特。

Starburst可以真实地模拟封闭房间和夜间环境中的照明条件。不过目前的原型机非常重,以至于得悬挂在天花板上,而且耗能极大。

据Meta公司称,HDR对视觉真实性的贡献比分辨率和可变焦距等更大,但距离实际应用却最远。

9.视觉逼真度

完美的VR头显必须在两个方向都是半透明的。VR用户应该能够看到环境,就像环境能够看到VR用户一样。这既是出于用户舒适度的考虑,也是出于社会接受度的考虑。

头显传感器记录环境,并将其显示为虚拟现实中的视频图像。这种被称为透视的技术目前已经存在于商业化的VR头显中,尽管质量相当差。例如,Meta Quest 2提供了一种颗粒状的黑白透视模式。Meta Quest Pro应该会以更高的分辨率和色彩来改善这种显示模式。

然而,这还不足以实现对物理环境的完美重建。其中一个有待解决的问题是,透视技术捕捉到的世界视角在空间上与眼睛存在偏差,这在长时间使用时可能会引起不适。为此,Meta公司正在研究人工智能辅助的凝视合成技术,该技术能实时生成视角正确的视点,并具有高视觉保真度。

在相反的情况下,Meta公司称之为“反向透视”,即外人能看到VR用户的眼睛和脸,凭此得以进行眼神交流或阅读面部表情。这可以通过朝内的传感器和外部(光场)显示器来实现。但正如Meta的研究表明,这项技术还远远没有准备好进入市场。

文章图片5

左边是Oculus Rift,它阻挡了VR用户的眼睛视线。右边是一个早期的反向透视原型机。(图源:Meta)

10.面部重建

共处和元宇宙是Meta公司的最终目标。该公司希望有一天人们能在虚拟空间中会面,并感觉他们就像在同一个房间里一样。为此,Meta公司正在研究逼真的Codec Avatars,但它们的制作和计算成本仍然很高。

这个方向的第一步是VR头显可以实时读取VR用户的面部表情,并将其转移到虚拟现实中。Quest Pro将是Meta公司首款提供面部追踪的头显。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多