分享

VR幕后鲜为人知的关键技术:虚拟环绕声

 昵称2472300 2016-02-26


VR还做不到对现实世界感觉的全面模拟,但在现有的技术条件下的视听体验已经模拟的相当到位了。注意这个“视听”二字,与VR在视觉和内容的进步方面取得的关注来说,VR的听觉体验却少有人关注,事实上要实现像真实世界里那样逼真的听觉体验,同样不是一件容易的事。


双声道完全不够用了!


双声道是音频领域的一项革命性的进步,它的出现让用户从耳机/扬声器中听到的声音的“场”从一个单薄的“点”扩宽到了一个“面”,通过两个声道发出的音量和音色细节与播放出来的时间的细微差距,已经可以分辨出一束声音来自左边还是右边,我们现在听到的大多数音乐都是基于这种技术制作的。而在欣赏音乐和大多数电影的时候,双声道音频已经能给予我们需要的足够的空间感和立体感。

 

传统音乐只需要提供两个方向的声音来源即可营造足够的立体感

 

但是当运用在VR上的时候,情况发生了变化:VR需要360度全方位的模拟一个虚拟的世界,在这个世界里声音当然不可能是只来自于用户的左边和右边的。想象一下,如果你处在一个看起来一切都很像真实世界的地方,但你听到的声音只会从左边或右边传来,那会是一件多荒谬的事,视觉上营造的逼真观感会被听觉上的异样毁得荡然无存。VR迫切需要一项更加先进的技术来给听众提供更逼真的听觉体验。

 

彼时仍然庞大的环绕声设备

 

当然,这项技术是存在的。在VR技术被首次提出的20世纪80年代,已经有许多高级影院和一些家庭用上了这项被称为“环绕声”的技术,环绕声的原理其实同样比较简单粗暴:两个扬声器不够,那就多加几个啊。这样音频差异的发挥空间就更加灵活了。可以在音频上给观众以比双声道音响逼真得多的体验。

 

5.1声道是环绕声的一个代表性标准

 

但那时的环绕声虽然在实现原理上不算困难,录制音源却是非常麻烦且困难的。所以音源的稀少导致这项技术一直未能广泛普及,成本居高不下。并且在大空间内放置多个音响是很容易实现的。但VR的要求明显更高:至少要在一个能戴在头上的设备上实现这个效果。20世纪90年代后期是一个科技爆炸性发展的时代。那个年代的VR研究者们应该是相当乐观,认为符合他们要求的技术很快就会出现。事实上他们确实没有估计错。

 

虚拟环绕声的登场

 

或许在VR最初的设计者的设想中,最终声音的模拟立体化是靠头盔内的数组微型扬声器来实现的,他们或许没想到最终的技术竟然可以实现在任何一副只有两个音响的普通耳机上,都能实现真正的环绕声效果。这就是虚拟环绕声技术了。要说明它的实现方式,首先还需要简单讲述一下人耳的工作原理:

 

人耳只有两个,但却能在所有角度上大概分辨出声音到底来自于哪个方向。这是因为人对声音音源的定位方法非常复杂,其由以下效应组成:

 

1.简单的“左-右”信息可以通过相对电平的不同和每只耳朵接收到的不同而获得。

2.对于打击乐器的声音,皮肤可以感受到声波的冲击。

3.声波在进入鼓膜时,受人体的反射、折射和衍射而扭曲变形,大脑能根据经验判断出声源的方位和距离。此一研究领域为头部相关传输函数(Head-related transfer function,HRTF)。

 

大脑处理外界声源的方式可以概括为一个函数

 

人们根据这些原理开发出了数种录音方式,随着技术的进步,其录音效果也在逐渐改善中,方法主要有以下几种:

 

(1)听觉传输立体声系统。它是根据听觉传输技术的原理,通过人工假头进行捡拾,或者用信号处理的方法模拟出声源到双耳的传输函数HRTF,从而得到含有3D空间环绕声信息的双耳信号。所得到的两声道信号经放大、记录、传输后,在经耳机重放,或由扬声器重放。这种方法的优点是声像逼真自然,且只需两个独立的重放声道就可以再现三维空间的声像。但是其缺点也是存在的,由于这种方法对测量和处理的精度要求很高,而且由于HRTF与声源到双耳的相对位置有关,因此,严格来说理想的有效听音域是有限的,而且,倾听者头部的转动也会造成前后声像的倒置等等。

 

听觉传输立体声系统,也叫人头录音

 

(2)3D“准”虚拟环绕声系统。这类系统是在听觉传输立体声技术的基础上,从双声道信号提取出空间信息并予以增强,或者通过模拟空寂不同方向上的HRTF来模拟发射声与混响声,进而增加主观听觉上的空间感与包围感,达到模拟3D环绕声的目的,是普通双声道节目源的后期处理系统。这类系统所起到的是模拟环绕声信息的作用,也就是“准”环绕声系统。SRS、Spatializer3D、Qxpander等是这类系统的代表。

 


 

(3)多通道虚拟环绕声系统。这类系统多采用听觉传输技术的虚拟声源的方法,通过HRTF的模拟。利用一对前方扬声器虚拟出部分扬声器,从而实现环绕声的效果。值得一提的是,这类系统也存在听音域窄和声像前后倒置的缺陷。

 

通过几种特殊的处理方式,带有特殊信息的音频信号被汇总、处理,最终就能得出十分逼真的3D声音信号。

 

良好的音频技术不仅可以给使用者身临其境的感受,也对实际使用有帮助,比如游戏的听音辨位

 

音频技术在VR的讨论中甚少被提及,但其重要性其实丝毫不亚于画面的逼真。据行业内人士的估计,逼真的声音效果至少可以给VR增加50%的代入感和临场感。而虚拟环绕声技术最大的贡献不仅是提供了一种可以营造逼真音效的方法,更重要的是让几乎任何一台耳机都可以达到这种效果,这对VR的普及无疑是非常有利的。



推荐阅读:

  1. 《200000元求开发|3D打印笔、 NFC防伪技术方案、酒店客房控制系统(RCU)》

  2. 《180000元求高手 | 清分机外币识别算法开发,体脂成份测量仪设计》

  3. 《250000元求开发|智能手表,蓝牙音箱方案和平板原型机方案等》

  4. 《开工有红包,2016就要猴赛雷》






关于我爱方案网

我爱方案网,一个方案搜索引擎(淘方案) 设计众包平台(我爱快包)。我们的目标是让智能硬件设计变简单,虽然你不是大雄,但我们就是你的哆啦A梦。






    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多