分享

BBC科研人员竟用AR将手语解说员搬出屏幕

 贾俊毅 2019-05-07

现如今,AR在电视、直播领域已经找到一些应用,比如在今年初江苏卫视跨年演唱会上,薛之谦曾与用AR技术打造的二次元歌姬洛天依一同上台表演,洛天依的形象只有在电视和现场屏幕里看到,而观众用肉眼是看不到的。

此外,美国ABC电视台在去年曾用AR技术播报中期选举,将选举数据变成了酷炫的AR特效,CBS电视台在今年初也曾采用AR技术直播超级碗赛事,观众们在屏幕中可看到用于辅助现场解说的AR特效,为传统比赛直播带来更多趣味性。

近期,英国BBC研发部门和德国IRT(无线电技术研究所)的科研人员又找到了AR的另一项潜在应用,那就是为电视节目加上AR解说员,为听力障碍者提供手语解说。

与AR歌姬、赛事解说不同的是,这项应用是将AR解说员放到了电视屏幕之外,而用户可通过AR头显来观看。而这么做的好处是,几乎可以为任何电视节目加入AR真人手语解说,可定制性足够强。

另外,与传统CC字幕、在节目中通过分屏来展示手语解说的方式相比,AR解说员不会遮挡屏幕、影响观看体验,比如你想看的小细节如果被字幕遮挡,那你就需要关掉字幕,但如果是AR解说员,就不会出现这种问题。

而且对于多人观众来讲,有些人可能并不需要看字幕,通过AR就能解决这个问题,为不同的人定制不同的电视体验。

关于技术

技术方面,AR解说员与电视内容的同步是通过BBC的数字电视广播(DVB)同步技术实现的,该技术曾被用于DVB和HbbTV之间的信号传输与同步。

据悉,HbbTV技术来自于一个类似于电视神器Freeview Play那样的大电视平台,它是一种与DVB兼容的内容发布平台。

BBC和IRT的科研人员曾利用这些技术做过多次展示,包括将电视和平板电脑或玩具同步(孩子通过玩具做选择,可以在家里与电视里的队伍一同回答智力题,并对比答题结果)等。

据科研人员称,AR解说员的设计基础来源于传统分屏手语解说,尤其是在创作、人形捕捉和表现方面。

科研人员设计了半身和全身两种解说方式,然后根据需要解说的视频内容拍摄手语解说。接着,科研人员从拍摄的视频中抠出人像,做成960x1080分辨率、彩色视频,然后叠加到黑色背景,接着通过分析音频将手语解说与视频内容同步。

关于AR手语解说员的制作,这组科研人员总结出了一些经验:

  • 1,AR手语解说员的头部应该与电视一样高;
  • 2,半身解说员的底边应该与电视屏幕底边对齐,就像是位于电视柜上一样;
  • 3,全身AR手语解说员的脚不能穿过房间地面;
  • 4,解说员休息的时候目光需要水平直视电视,而解说的时候应该直面观众;
  • 5,AR解说员应该与电视稍微重叠。

左1列:传统手语解说;左2列:半身AR解说;右1:全身AR解说

实验调查

为了了解公众对于这种手语解说方式的反馈,这些科研人员邀请到23名实验参与者(11名英国人,12名德国人)来体验并对比三种同步手语解说:内嵌在视频中的传统手语解说、半身AR手语解说和全身AR手语解说。

参与者们观看的电视节目是自然历史纪录片,佩戴的AR头显是微软HoloLens。

在体验过后,参与者应科研人员要求填写了调查问卷,表达对这些不同解说体验的反馈。在11名英国参与者对3种手语解说方式的好感都差不多,而12名德国参与者中有一半喜欢传统手语解说方式,而喜欢全身AR解说员的只有1人。

在“HoloLens是否改变了你看电视习惯”问题上,8名参与者表示它带来了积极的改变,3名参与者表示带来了糟糕的体验。当然,也有人称没有带来任何改变。

在经过了解之后,原来参与者们认为戴AR头显看电视并不舒服,除了外形厚重外,一些参与者表示没办法同时佩戴眼镜,而且戴助听器也不方便。

3名英国参与者表示愿意接受每天愿意在家里戴HoloLens看电影,而还有两名参与者表示想象不到戴HoloLens看完整部电影。还有一名参与者表示:戴HoloLens时间超长了,脖子会难受。有些人表示希望能在HoloLens上添加缓冲垫,不过这一点已经在Hololens 2中得到了解决(加入了泡沫垫)。

而且HoloLens的视场角也不够大,没法同时装下电视和AR手语解说员。另外,参与者们还认为AR解说员的位置还可以继续优化,并且希望这项技术可以与他们正在使用的设备集成。

一名英国体验者称:我一直很期待能看到全息影像,但我不希望通过头戴的设备看,更希望它是通过外部设备投影的。

不过,不是所有的不舒适都是因为技术或者身体局限。

比如,一位英国参与者表示:戴上这种头显很显眼,看到的人就会知道你听力有障碍,我不希望将这一点展示出来。

AR头显的外形的确很重要,这也是未来AR的发展方向。目前支持空间计算和立体显示的两大主流AR头显为Magic Leap、HoloLens,它们的体积还比较大、比较沉重。不过随着光学方案、定位追踪技术的成熟,更轻薄的消费级AR眼镜也会逐渐普及。

当然,尽管有这些限制,参与者依然支持通过新型技术解决看电视问题的概念,等未来硬件技术继续发展后,他们会愿意接受同步的AR手语解说员体验。

考虑到23人实验的规模较小,而且每个人的反馈也不同,并没有一致的意见,但是参与者们纷纷表达了自己的想法。另一位英国参与者表示:AR解说员看起来足够清晰,看起来距离你更近,感觉就像是带了私人手语解说员一样,我差点都想请她喝茶了。

总结

总之,AR在电视解说上依然存在一定优势:支持内容订制,可满足不同观众的不同需求,而且与传统内嵌在视频中的视频解说相比,容积摄影技术拍摄的AR解说员的立体感更强。同时,参与者们还表示:用户对于AR解说员的控制也是非常关键的。

而从本次实验中,科研人员总结出了一些AR解说员需要注意的关键:清晰度、解说员与内容之间持续的联系、AR解说员与电视节目的相对位置、保持解说员与电视节目之间重叠的平衡性、避免挡住重要内容。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多