【原】新iPhone的空间视频拍摄能力，或将助推XR行业

三易生活 2023-09-22 发布于湖北

展开全文

随着苹果iPhone 15系列的正式发布，该系列新机的各项细节也开始陆续被曝光，其中两款Pro版机型首次带来的空间视频拍摄能力就引发了外界的诸多关注。据悉，这一功能将与此前亮相的Vision Pro结合，为用户带来空间视频体验。目前苹果方面尚未深入介绍该功能的相关细节，仅声称通过iPhone 15 Pro和iPhone 15 Pro Max的主摄像头与超广角摄像头相结合，实现了空间视频拍摄能力，并且这一功能将于今年晚些时候开放。

虽然许多朋友认为，空间视频似乎与此前就已出现的3D视频差异并不大，但两者其实有着一定的区别。尤其是在目前苹果正不断完善Vision Pro生态的情况下，iPhone 15系列新机所提供的这一功能，也就尤为引入注目了。

此前曾一度走红的3D视频和照片通常是使用两台摄影机或两个镜头来模拟人眼，分别拍摄左眼和右眼的画面，并且摄影机或镜头之间的距离往往也与人眼的瞳距保持一致，而且要确保光圈、焦距和亮度一致，不仅实现方式相对复杂，后期的各种处理也极其繁琐。此外拍摄3D视频或照片还需要借助Object Capture(目标捕捉)技术来识别物体的XYZ三轴信息，这也是一个繁琐的过程。

在苹果公开的信息中显示，用户仅在固定角度就可以完成空间视频的拍摄

但根据现阶段苹果公开的相关信息显示，拍摄者只需在一个固定的视角就可以完成拍摄，因此大概率是在拍摄过程中通过摄像头和激光雷达来采集数据，然后通过算法来得出XYZ轴的数据，最终来生成3D模型。这种方式虽然简化了采集三轴位置信息的过程，但对于算力、算法的优化，以及测距的精度也提出了更高的要求。

苹果方面将空间视频定义为“Spatial Video”，在其开发者文档中将其称为“Stereo Video”(立体视频)。更有趣的是，根据这份文档的定义，空间视频的观赏原理与观赏3D电影类似，都是通过左右两幅不同的图像，再通过“脑补”来得到有立体感的画面。但需要注意的是，完整的空间视频概念应该还将空间音频包含在内，否则“空间”的概念自然也就无法自圆其说了。

虽然一直以来苹果的生态都以封闭性著称，但这次出乎意料的是，在空间视频视频方面他们非常罕见地持开放态度，采用了MV-HEVC(Multiview High Efficiency VideoCoding)视频编码，而这套编码早在2015年就被ISO/IECMPEG和ITU-T VCEG两大国际标准化组织确立为标准编码。

不过目前官方尚未透露空间视频每分钟所产生的数据量，以及iPhone 15系列的Pro版机型一次能够拍摄多长时间。但有观点认为，由于会具备更多空间的信息，因此这类视频的体积势必不会太小。

这一操作，事实上也说明了苹果对于吸引更多开发者和相关厂商的心理，毕竟只有XR这个生态越完善，才能确保即将上市的Vision Pro能够对更多的消费者产生吸引力，后续才有可能推出一系列的衍生产品。

此外需要注意的是，苹果方面对于空间视频领域的布局，或许远比现在所展示的要宏大得多。此次空间视频捕捉的3D模型采用了USDZ格式，而这一格式早在2018年WWDC上就已发布。

就在今年8月，皮克斯、Adobe、苹果、Autodesk和NVIDIA成立了OpenUSD联盟，宣布将共同推动USDZ开放标准的发展。从这五家厂商的身份就不难发现，从标准制定、工业设计、内容制作和生产、硬件设计和支持，以及人工智能等方面，都被覆盖在内。

iPhone 15 Pro和iPhone 15 Pro Max的主摄和超广角间距离显然无法达到人眼瞳距

根据目前已经揭晓的相关信息显示，iPhone 15系列两款Pro版机型拍摄空间视频的方式，或将是借助超广角和主摄来配合完成左眼及右眼画面的拍摄。此前采取这种方式，需要确保两枚摄像头的间距与人眼瞳距接近或相当，但这两款机型显然达不到这个要求，所以苹果方面必然是通过其他方式来实现，例如借助LiDAR来辅助调整。

不过使用LiDAR来对测量空间信息，势必将对算力提出更高的要求。因此有观点认为，这可能也是为何iPhone 15 Pro和iPhone 15 Pro Max此次跳过A17，配备了以往在iPhone上从未出现过的Pro版A系列芯片A17 Pro的原因。

但在一切尚未揭晓之际，也有业内人士指出，此次苹果发布的iPhone 15 Pro和Vision Pro的演示内容，看似是带景深的3D视频，但其实际上可能不需要3D重建技术、也不是3D模型，而是一种立体显示技术，其优势是可以让用户看到具有物理景深的三维图像。如果这一推测属实，自然也就对算力和算法优化的要求也就没那么高了。

此外空间视频可能还有另外一种观赏方式，那就是采用自由视角来观看，但这必然就需要将目标捕捉技术融入，不仅操作更为繁琐，而且要记录的数据量也更庞大。尽管这与苹果目前公开的信息不符，却极有可能会在未来成真。

但毫无疑问的是，iPhone 15系列Pro版机型此次带来的空间视频拍摄功能，势必将会把此前的3D视频拍摄相关技术推向更高的层次，同时也将成为丰满Vision Pro生态的重要举措。由于苹果采用了目前行业通用的编码、文件格式，以及3D模型，所以不仅为自身提供了更多的内容源，也或将会对整个XR行业起到重要的促进作用。