现如今,AR在电视、直播领域已经找到一些应用,比如在今年初江苏卫视跨年演唱会上,薛之谦曾与用AR技术打造的二次元歌姬洛天依一同上台表演,洛天依的形象只有在电视和现场屏幕里看到,而观众用肉眼是看不到的。 此外,美国ABC电视台在去年曾用AR技术播报中期选举,将选举数据变成了酷炫的AR特效,CBS电视台在今年初也曾采用AR技术直播超级碗赛事,观众们在屏幕中可看到用于辅助现场解说的AR特效,为传统比赛直播带来更多趣味性。 近期,英国BBC研发部门和德国IRT(无线电技术研究所)的科研人员又找到了AR的另一项潜在应用,那就是为电视节目加上AR解说员,为听力障碍者提供手语解说。 与AR歌姬、赛事解说不同的是,这项应用是将AR解说员放到了电视屏幕之外,而用户可通过AR头显来观看。而这么做的好处是,几乎可以为任何电视节目加入AR真人手语解说,可定制性足够强。 另外,与传统CC字幕、在节目中通过分屏来展示手语解说的方式相比,AR解说员不会遮挡屏幕、影响观看体验,比如你想看的小细节如果被字幕遮挡,那你就需要关掉字幕,但如果是AR解说员,就不会出现这种问题。 而且对于多人观众来讲,有些人可能并不需要看字幕,通过AR就能解决这个问题,为不同的人定制不同的电视体验。 关于技术 技术方面,AR解说员与电视内容的同步是通过BBC的数字电视广播(DVB)同步技术实现的,该技术曾被用于DVB和HbbTV之间的信号传输与同步。 据悉,HbbTV技术来自于一个类似于电视神器Freeview Play那样的大电视平台,它是一种与DVB兼容的内容发布平台。 BBC和IRT的科研人员曾利用这些技术做过多次展示,包括将电视和平板电脑或玩具同步(孩子通过玩具做选择,可以在家里与电视里的队伍一同回答智力题,并对比答题结果)等。 据科研人员称,AR解说员的设计基础来源于传统分屏手语解说,尤其是在创作、人形捕捉和表现方面。 科研人员设计了半身和全身两种解说方式,然后根据需要解说的视频内容拍摄手语解说。接着,科研人员从拍摄的视频中抠出人像,做成960x1080分辨率、彩色视频,然后叠加到黑色背景,接着通过分析音频将手语解说与视频内容同步。 关于AR手语解说员的制作,这组科研人员总结出了一些经验:
左1列:传统手语解说;左2列:半身AR解说;右1:全身AR解说 实验调查 为了了解公众对于这种手语解说方式的反馈,这些科研人员邀请到23名实验参与者(11名英国人,12名德国人)来体验并对比三种同步手语解说:内嵌在视频中的传统手语解说、半身AR手语解说和全身AR手语解说。 参与者们观看的电视节目是自然历史纪录片,佩戴的AR头显是微软HoloLens。 在体验过后,参与者应科研人员要求填写了调查问卷,表达对这些不同解说体验的反馈。在11名英国参与者对3种手语解说方式的好感都差不多,而12名德国参与者中有一半喜欢传统手语解说方式,而喜欢全身AR解说员的只有1人。 在“HoloLens是否改变了你看电视习惯”问题上,8名参与者表示它带来了积极的改变,3名参与者表示带来了糟糕的体验。当然,也有人称没有带来任何改变。 在经过了解之后,原来参与者们认为戴AR头显看电视并不舒服,除了外形厚重外,一些参与者表示没办法同时佩戴眼镜,而且戴助听器也不方便。 3名英国参与者表示愿意接受每天愿意在家里戴HoloLens看电影,而还有两名参与者表示想象不到戴HoloLens看完整部电影。还有一名参与者表示:戴HoloLens时间超长了,脖子会难受。有些人表示希望能在HoloLens上添加缓冲垫,不过这一点已经在Hololens 2中得到了解决(加入了泡沫垫)。 而且HoloLens的视场角也不够大,没法同时装下电视和AR手语解说员。另外,参与者们还认为AR解说员的位置还可以继续优化,并且希望这项技术可以与他们正在使用的设备集成。 一名英国体验者称:我一直很期待能看到全息影像,但我不希望通过头戴的设备看,更希望它是通过外部设备投影的。 不过,不是所有的不舒适都是因为技术或者身体局限。 比如,一位英国参与者表示:戴上这种头显很显眼,看到的人就会知道你听力有障碍,我不希望将这一点展示出来。 AR头显的外形的确很重要,这也是未来AR的发展方向。目前支持空间计算和立体显示的两大主流AR头显为Magic Leap、HoloLens,它们的体积还比较大、比较沉重。不过随着光学方案、定位追踪技术的成熟,更轻薄的消费级AR眼镜也会逐渐普及。 当然,尽管有这些限制,参与者依然支持通过新型技术解决看电视问题的概念,等未来硬件技术继续发展后,他们会愿意接受同步的AR手语解说员体验。 考虑到23人实验的规模较小,而且每个人的反馈也不同,并没有一致的意见,但是参与者们纷纷表达了自己的想法。另一位英国参与者表示:AR解说员看起来足够清晰,看起来距离你更近,感觉就像是带了私人手语解说员一样,我差点都想请她喝茶了。 总结 总之,AR在电视解说上依然存在一定优势:支持内容订制,可满足不同观众的不同需求,而且与传统内嵌在视频中的视频解说相比,容积摄影技术拍摄的AR解说员的立体感更强。同时,参与者们还表示:用户对于AR解说员的控制也是非常关键的。 而从本次实验中,科研人员总结出了一些AR解说员需要注意的关键:清晰度、解说员与内容之间持续的联系、AR解说员与电视节目的相对位置、保持解说员与电视节目之间重叠的平衡性、避免挡住重要内容。 |
|