分享

以“认知芯片”终结电视画质之争,索尼怎么做到的

 三易生活 2021-03-23
2019年底,我们三易生活曾与国内某头部电视品牌相关人士聊起当时的电视画质技术。那时候对方告诉我们,彼时的电视可以分为三种,即使用独立画质芯片进行画质处理、在主控中集成AI算法进行画质处理,以及完全没有画质处理功能的产品。


“独立画质芯片需要内容端的积淀和对显示底层技术的深刻理解,因此只有极少数老牌企业才具备。对于大量主流品牌来说,利用机器学习技术短期内培养出画质算法模型,然后直接在主控中使用AI代替独立画质芯片进行处理,既经济、效果也不差,会成为未来的一个大方向”。在当时的沟通中,这位业内大佬对我们这样说到。

不过无论是他还是我们,当时都没有想到这样一个问题,如果那些具备独立画质芯片的“老牌厂商”,有一天也开始用起了AI技术呢?


是的,这就是索尼与他们的“XR认知芯片”。2021年3月23日,随着索尼在国内的春季新品发布会正式召开,我们也得以近距离地接触到这套堪称变革现有电视音画技术基础的全新芯片,并对索尼的影音技术积淀有了新的认知。

  • 索尼自研XR认知芯片,击中了“AI画质算法”的软肋


在解释XR认知芯片的原理前,我们还是有必要先简单讲一下,传统的电视“独立画质芯片”以及现代的“AI画质算法”,分别是如何实现电视画面优化的。


首先,“独立画质芯片”本质上是一块专用集成电路处理器。比较差一些的芯片可以进行画面对比度增强、色彩增艳、信号降噪等简单的处理,而相对强大一些的独立画质芯片,基本都具备分辨率倍增功能,也就是将原本低分辨率的视频信号实时转换为高分辨率进行播放。但那些最强的独立画质芯片,在它们的内部则会有一个专门的“图像数据库”,数据库中的内容来自于厂商购买了版权的一些影视作品,包含人物、肤质、天空、建筑、花草等等典型的画面内容。在处理图像信号时,画质芯片会将图像与数据库中的内容进行比对,“认出”一部分与既有数据近似的图像内容(比如人物的皮肤),然后针对性地进行修复和细节增强。

当然,不是所有的电视企业都有技术自研独立画质芯片,更不是所有品牌都拥有足够大、有版权的影像数据库。正因如此,“AI画质算法”在2020年开始被许多电视厂商开始采用,其实是用集成在电视主控中的AI加速单元,替代了独立画质芯片的工作,用AI单元进行降噪、超分、对比度增强等算法,同时利用AI对电视画面的内容进行分析,识别,再套用既有的处理模型,让天空更蓝、草地更绿、肤色更红润、运动画面更清晰。

但因为没有数据库作为支撑,AI画质算法的一大特点就是它多少会缺乏针对性,处理后的画面虽然清晰明亮,但也会呈现出“千篇一律”的特征,且能辨识的种类更少,有时候也会有不恰当的处理(比如增加对比度,反而导致画面中暗处的细节丢失)等等。然而相比于完全不处理,AI算法的效果总体来说还是强了很多。


然而索尼这次推出的“XR认知芯片”,却可以说是结合了传统独立画质芯片与现代AI算法的双重优点,其能够将整个电视画面的处理分为了两个步骤。首先,是基于专用处理器对画面进行整体降噪、提亮、增强对比度等等处理,在这一步过程中“XR认知芯片”不仅仅会处理图像信号,同时也能够控制屏幕面板硬件,对阵列式背光或者OLED电视每一个像素点的亮度进行精细调控,以达到强化画面沉浸感,防止外部光线反光干扰观影等等效果。


在第一步处理完成后,“XR认知芯片”真正厉害的部分就开始了。它首先会利用神经网络单元,以更接近人脑视觉感知的算法,对画面进行分割处理,能识别出哪些是“主角”、哪些是“配角”,哪些是“前景”、哪些是“背景”,然后“XR认知芯片”会调用索尼的版权图像数据库,对每一个分割出来的画面元素进行修复、增强。但与一般的AI算法或老式画质芯片不同,“XR认知芯片”会根据画面里的距离关系和物体重要程度,对不同的元素施加不同程度的增强算法。


为什么要这么做?试想一下,如果一幅画面里位于中心的是一位美丽的贵妇,而在她的身后远处有一朵虚化了的花朵,对于传统AI算法来说,很有可能只能认出画面中是“女人”和“花”,从而对本就应该是模糊的花朵图像进行了不恰当的清晰度增强处理。其结果就是画面的层次感反而会因此丢失,并且观感不升反降。但有了“XR认知芯片”,通过对画面中元素之间的关系分析,索尼的新款电视产品就能够正确地处理最应该被强调的对象,从而避免由于对画面边缘、背景等元素的错误增强,反而导致焦点丢失、画面沉浸感下降的尴尬情况。

  • 为什么颠覆者是索尼?因为唯有他们具备产业链的巨大优势


不难看出,索尼的“XR认知芯片”纠正了当前许多“AI画质算法”最容易犯的错误。并将索尼的画质芯片自研自产能力,以及索尼对AI画面处理技术的独家理解完美地结合到了一起,可以说是给其他的电视厂商“上了一课”。

但问题就来了,要知道索尼此前从未使用过“AI”进行电视画面信号的处理。那为什么偏偏是索尼指出了旧式“AI算法”的错误,而不是其他以“AI技术”、“AI芯片”而闻名的品牌来做到这一点呢?


原因很简单,首先索尼早在1997年就研发出了他们首款独立画质芯片DRC,而且在此后的二十多年时间里,从来没有停止过对自研画质芯片的持续迭代和升级。这为他们能够将AI技术、将神经网络单元与传统的独立画质芯片架构相融合,打造出如今的“XR认知芯片”打下重要的技术基础。

其次大家都知道,索尼不只出品家用电视,他们还具备大型电影摄像机、专业影像监视器设备,甚至还有电视台使用的控制台、转播车等等产品线。同时,索尼也拥有全球最具影响力的电影公司、音乐公司、娱乐公司。


这就意味着,索尼实际上掌控着影像作品从拍摄到制作,再到广播放映的整个全流程的技术标准,所以他们非常清楚,该如何设计画质芯片,如何设定AI算法力的细节参数,才能让电视准确地还原那些被压缩的信号细节,重现索尼摄像机原本拍摄的色彩空间。不仅如此,我们前文中所讲到,索尼芯片里使用的“版权影像数据库”,当然也是来自于索尼自家电影、电视作品的大量积淀,而且这一切都还是独家、且几乎无法被复制的。

  • 新品迭出、口号有变,但索尼依然是那个技术的索尼


事实上就在今天的发布会上,索尼除了推出包括新款BRAVIA XR画谛8K电视Z9J,BRAVIA XR画谛OLED电视A90J、BRAVIA XR OLED电视A80J,BRAVIA XR全阵列背光液晶电视X95J、X91J、X90J,以及BRAVIA 4K HDR液晶电视X85J和X80J在内的全系电视新品之外,还分别为内容创作者和游戏玩家带来了令人激动的好消息。


首先是堪称黑科技的“SPATIAL REALITY DISPLAY”空间现实显示屏,它将裸眼3D显示技术与先进的人眼感应传感器和实时双眼渲染算法结合在了一起。通过实时感知使用者双眼的注视方向、相对距离,能够瞬间调节每一个像素的渲染内容,从而真正让裸眼3D看起来有了一种“浮在空间里”的感觉。借助这一设备,设计师不再需要佩戴笨重的VR头盔,就能轻松、直观地看到整个3D模型的立体影像,进一步简化设计工作,为高端的电影创作、游戏设计等领域带来新“神器”。


其次在此次索尼发布的新品电视中,支持4K 120Hz显示以及HDMI2.1可变刷新率接口的产品线进一步扩展。而这当然也是为了全新的PlayStation 5游戏主机所做的准备,根据索尼今天公布的官方信息,国PS5预计在今年四月到六月期间就会正式在国内市场上市。换而言之,游戏玩家也已经不用再等很久了。


有意思的是,如果大家此前有持续关注过索尼可能会发现,就在今天这场活动中,索尼实际上也时隔多年再次变更了他们的企业口号。2013年发布的“BE MOVED(令人感动)”不再使用,取而代之的是更以“人”为中心的“Getting Closer(贴近人)”。并将其进一步细化,分为了对应三大业务领域的“连接人(品牌硬件与CMOS产品)”、“感动人(内容和消费者业务)”与“支持人(汽车、医疗与金融业务)”。

很显然,这与“新常态”的时代背景密不可分,也反映出了索尼内部业务的重新整合。不过无论怎么说,索尼依然还是那个“技术的索尼”,而它厚积薄发的全新“认知芯片”以及相关的高端电视产品,想必又会值得竞争对手研究很久了。


推荐阅读:

充电不便、刹车有问题?我们对Model 3再次进行了测试

关于近期围绕特斯拉Model 3的这些争议,我们此次也进行了针对性测试。

国产手机折戟日本,是什么迷失了他们的方向

尽管日本手机厂商已经几乎没有了声音,但日本手机市场同样还很难切入。

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多