|
点击“子弥实验室” 关注我们   大家好，我是子弥。
在前两篇过于硬核的文章之后，我们稍微轻松一点，谈谈和云计算的发展相关的有趣事情。
在《硬件与元宇宙》中，子弥首先讨论了可能替代手机成为主宰下一代计算平台的独立硬件体系，即核心功能为视觉设备的虚拟混合眼镜与各种外设，以及相关的信息输入输出方式。
随后，子弥讨论了另一种独立硬件体系，即核心功能为听觉设备的AI耳机。虽然描述的相对简单，但也大致说明，随着交互的发展，手机可能会进化出与眼镜平行的两个独立硬件体系。
在《硬件与元宇宙》的结语中，我们还简单讨论了再下一代计算平台——脑机接口，并描述了建立大脑协处理器的可能性。
城市元宇宙是子弥实验室引入和发明的一个概念，用来特指元宇宙在城市场景的应用，也希望大家今后能够和我深入的讨论城市元宇宙相关的话题。
那么，让我们尽快进入计算与元宇宙的话题。   Rival Peak Rival Peak是Facebook上一个多人游戏的互动直播真人秀，准确的讲应该不是真人秀，而是人工智能AI秀，这场真人秀为期3个月，从2020年12月上线，观众可以全天观看12个AI驱动的虚拟角色一起探索一个神秘的岛屿探秘生存，并收集线索以解决难题，通过竞争完成一系列任务。 故事的互动元素被融入了一个宏大的世界观之中：险恶的集团公司、神秘的脑部扫描、苏联遗留的武器、美洲原住民神秘主义、间谍活动……  Rival Peak中的虚拟世界 Rival Peak与一般直播秀的差异是，观众可以投票和实时互动来影响、选择剧情的走向，角色人物进度。最终，积分低的AI角色将淘汰。  观众在视频互动中帮助真人秀角色完成任务 每周会有一个小时的总结回顾剧情的走向。而总结的主持人也是由曾经主持过《生活大爆炸》和《星际迷航》总结秀的著名主持人Will Wheaton担当。 在Rival Peak直播秀的推进过程中，开发者和支持团队不停的更新后台服务，满足观众的要求，调整互动体验，几乎每天都有新的特性、功能、小游戏加入到其中。在这些实时协作中，还隐藏这不少彩蛋等着玩家。 这款游戏的最迷人之处在于，它完全是由人工智能和云端用户的参与推进剧情。也就是说，未来是不确定的。相比以前已经设计好关卡的游戏，这像极了真实世界。 开发者Pipeworks的软件工程师Sol Sliwinski回忆说，在早期的迭代中，角色会在饥饿的时候诉诸同类相食，更极端时，他们甚至可以自杀，吃自己的肉。之后工程师们紧急修改了逻辑，阻止了该功能。 设计师Greg Reinmuth发现，如果把代表野性的狼脑放在一位角色身上，会发生一系列的热闹有趣的追逐。在随后的游戏中，用户们也可以通过积极的投票决定将动物或具有野性的大脑植入参赛AI头脑中，让这些无害的不确定性提升游戏的趣味性。 这种直播式的云端互动游戏，有数十万人同时参与，大家像真人秀节目的导师一般决定AI角色的命运，每一个玩家都将自己的情感倾注其中，这正是元宇宙式的互动模式。  Rival Peak的系统结构，来源于科技提供方Genvid 有意思的是，游戏中的虚拟摄像机也是AI的，能跟随不同的角色和场景，自动混剪成用户点播的成片。云游戏引擎支持大规模的玩家参与互动，并根据玩家反馈推动剧情，在云端渲染出每个AI角色不同的视频流。 而这一切，都是通过浏览器就能完成。是的，你不用下载客户端，不需要高配置的电脑帮助渲染，一切都在云端完成。 Rival Peak创造了一种新的互动的模式，全实时的参与与定时的直播相互结合，真人秀和剧情相互影响，十多个角色的分播。随着剧情展开，有更多个性化的剧情观看方式、投票互动以及等待结果时的小游戏等等。 Rival Peak还创造了一种新的直播方式，比任何一个真人秀和电竞赛事都要更加复杂，需要维护多个互动直播流，还要增加故事重播、视频点播，为错过之前剧情的用户快速跟上错过的内容。 Rival Peak在7月宣布了下一个作品计划，被称为Project Raven。  图片来自Project Raven预告片，一个发生在林中小屋的恐怖故事  图片来自Project Raven预告片，一个发生在林中小屋的恐怖故事  云渲染 我们看的电影、玩的游戏、使用的操作系统，其画面，无论是平面的还是三维的，都会经历一个环节——渲染。就是计算机根据模型数据（几何结构、点云、纹理、光照、阴影等）一笔一划的画出一个画面，呈现在你的面前。 一般渲染都在本地计算设备上完成。个人电脑利用自己的CPU完成。如果CPU不够，还会加上一个图形处理单元GPU。一般的办公电脑主要用于处理图文数据，它们的计算能力不足以渲染出游戏中的大型三维场景和复杂的角色模型。为了保证游戏的显示效果，游戏玩家都会配置具备更高算力的GPU的显卡。 同样，手机和平板的渲染也是在本地完成的，手机版本的王者荣耀，跟电脑游戏LOL相比，其复杂度和操控性自然不可同日而语。 三维图像越接近真实，渲染的面就越多，需要的浮点计算就越复杂。但本地电脑即便配置高端的显卡，其运算能力都是有限的。而手持设备或穿戴设备的发展方向又是小型化和可携带性。这决定了本地计算，无法适应元宇宙的庞大渲染要求。 与渲染复杂的场景、物品、人物等相比，对视频进行编解码，相对来说，就是一个稍微简单一些的任务。在云计算已经逐渐成熟的当下，利用云计算进行渲染无疑是最佳的选择。所以，在云端进行渲染，将渲染好的画面转为视频流传到本地设备，就成为未来元宇宙成规模和消费级应用所必需的技术。  堡垒之夜在2018年的iPad上，只能处理少数的细节 视频流是一个单向的流，怎么解决双向互动的问题呢？视频流的画面显示在本地之后，本地用户操作动作，通过另一个指令流传递到云端，云端响应本地用户输入之后，将反馈进行场景、物品、人物的更改，重新渲染，更新传递到本地的视频流。 云渲染对应对基于同一场景的弱交互操作已经相当成熟。在智慧城市、智慧工厂、建筑BIM、3D GIS已经广泛应用，比如工业互联网中数字孪生系统，都是在云端渲染之后，使用视频流的形式投放到轻量化的终端。 子弥MR能源与城市数字孪生系统 在消费端，较为广泛应用的还有云桌面。即在云端运行一个或者多个Windows操作系统的副本，所有轻量级的终端都可以同时访问。把计算和存储丢到“云上”，笨重的电脑和笔记本势必将逐渐退出历史舞台，眼镜和耳机作为个人元宇宙入口也变得顺理成章。 微软Windows 365系统cloud PC 云游戏 有人说，这有什么稀奇的，联网游戏不就是通过云端在一个场景中，大家一起玩嘛？ 为了说明区别，我们来做一个隐喻： 传统的渲染基本依靠本地电脑，这就像发电机发明之初，人们想让自己家有电，都需要自备发电机。 于是，有人认为，强互动的云游戏就像现在的电网，连接远方的核电站，我管他电是从哪个核发电站来的，大家共享云资源。 但事实并不是如此，当下的强互动游戏，每个人的副本不同，两个玩家面对的渲染环境也完全不同。如果以当下的强互动游戏方式“接入云端”，场景、人物、动作都不同，那么就必须给每一个用户单独渲染。就像给每个人在电网中制定了一个大型发电机，专机专用。这样就麻烦了，100万人同时在线，就要有100万台大型发电机。 也正因为如此，目前整个网络游戏的结构，都是在本地安装一个游戏引擎，这个游戏引擎负责生成用户看到的画面。当且仅当用户需要交换数据的时候，才进行交换，交换的数据尽可能是结构化的、精简的数据。 因多种技术原因的限制，云渲染，长期以来，在多人强交互场景中，真正被应用的很有限。只不过按需渲染（只渲染终端用得到的部分）以及端云分离渲染（共同的在云端渲染，个性化的在本地渲染）。 所以，Xbox的负责人Phil Spencer在被问到云游戏在什么时候可以称为主流，他说到，可能还有几年，不是一个几年，而是年复一年。 但真正推动新技术平台的是如何专门为它创建新内容和交互方式，而不是以现有的结构去适应它。因为新的技术模式也会带来新的交互体验。 2014年，游戏视频平台Twitch通过一项名为Twitch Plays Pokémon的社会实验，传播和展示了“云游戏”。一个匿名的游戏玩家，设置了一个本地处理的游戏副本，将他分享给Twitch，然后Twitch公开播放视频流。但在这种情况下，这个玩家并不控制游戏，所有决定都是由视频流的观众选择的，包含角色的移动方向、送入比赛的妖怪、部署物品等。比如向上还是向下、向左还是向右，取决于观众投票。 Twitch 的 Plays Pokémon的社会实验 2017年，Reddit发布了一个1000x1000像素的数字画布，允许Reddit每5分钟在一个像素点上着色，一共72小时结束。100万个像素点，如果一个人画，需要十年。 然而有趣的是，一共有100万用户参与，共9万名活跃贡献者，大家从刚开始的漫无目的，到尝试、分组、合作。延时录像展示了整个创作过程，从混乱到不断尝试，建设与毁灭，成功与失败，在活动快要结束的时候，大家的集体创作力爆棚，最终生成稳定的图形，其中竟然创建出了国旗和蒙娜丽莎，实在让人叹为观止。 Reddit数字画布的创作过程 另一个著名的事件是GTA之圣安地列斯游戏模组制作的，主播是Twitch的一个速跑者玩家（试图尽快完成游戏关卡的人）。但是过程中允许观众付费购买阻止玩家速跑的作弊码，花的钱越多，设置障碍的难度就越大。这样就把所有的观众带入了游戏中。 这一系列实验性的“云游戏”进化到现在的体验就是：文章开头讲的大规模互动现场活动MILE。比如，Rival Peak。 参与者通过“作弊码”阻止玩家 这是一种新的游戏结构。两个进入MILE游戏的玩家，不再通过家中的硬件处理自己的模拟，他们转向“云游戏”流。 但他们使用的是一个共同版本，这样就不再是连接两个不同的独立房间中的高质量“发电机”。而是，换成了如我们所想的，通过“电网”接入了远处的的“核电机组”。Rival Peak游戏中的十多个AI角色，经由大众参与决定他们在游戏中的命运。 这就是元宇宙的运作方式。 视频的新技术 通常，拍摄数字化视频的原始文件是很大的，手机几分钟的高清视频很容易几百兆，但这不算什么，更精细化制作电影、纪录片，通常原始素材会有几百T。需要经过压缩后，才能在网络上传播，接收视频文件后，通过一个播放器解压后播放。 随着设备和网络的进步，我们找出原始VCD或者DVD的电影，突然感觉画质惨不忍睹。 想象一下，未来的人看现在的精心制作的电影也一样，“土气”的二维高清电影就像一张纸，难以忍受。 并不清晰的罗马假日和奥黛丽赫本 视频压缩和解压的算法都是由一些数学家定义出来的，我们现在流行的是H264，是由ITU 2003年完成，2009年被吸收到AVC的MPEG-10中。大概在2012年左右普及。至今是最常使用的压缩方法。一个4K清晰度、H264格式、无损10分钟视频，大致在10G左右。而目前尚未完全普及的，是2013年引入的下一代编码H265，差不多相当于MPEG的下一个大版本MPEG-14，谷歌的VP9。 视频的新技术带来的变化是非常明显的。首先是支持更高的、超过4K分辨率的清晰度。 新的编码方式不再平均划分视频块，而是尽量确保中心效果的编码方式。在VR中表现为，视线中心部分的先传播清晰度较高的图像，而周围可以先传输较为模糊的图像，并不影响体验。同样，前景变化较快，背景变化较慢，也可以分别压缩，达到充分的减少传送流量的作用。 多个视频流可以分离编码。在大规模互动现场活动(MILE)这样的应用场景，就可以主视频流是统一的，而不同的来源的视频流，比如视频中的交互界面，单个用户的独立互动，都可以独立进行渲染和处理。 本文部分参考Rival Peak制作人Matthew Ball文章，错误的请归于我，正确的，请归于他。 （未完待续） 子弥实验室是广东粤港澳大湾区国家纳米科技创新研究院的下属一级单位。由中科院院长白春礼于2020年11月21日在黄埔揭牌成立，中科院院士赵宇亮任实验室主任。 “子弥”一词来源于传统佛教宇宙哲学——“芥子须弥”，意思是微小的芥子中能容纳巨大的须弥山。子弥实验室“小”中“生”大“，思考、设计、产生人类没有的技术和产品，成为改变人类思维模式、改变人类科技进程、改变人类工作模式、改变人类生活方式的发源地。 子弥实验室致力于研究面向未来的关键共性技术，希望寻找对科技充满痴迷，思想未被格式化的人、行为未被同步化的人、认知未被标准化的人、情怀未被世俗化的人，共同用思想创造人类没有的技术和产品。 email：tony@cannano.cn |
|
|
