|
编者按： 如何打通现实世界和虚拟世界？针对这一问题，谛听视界采用自己的方式来破题。谛听视界以元宇宙技术赋能不同场景为核心，聚焦四大领域，形成两大核心业务：全息+虚拟IP开发与运营、科技+文化创意全新体验，在打造苏东坡数字人的过程中，通过数字人赋能商业、娱乐、教育等场景的过程中，形成了一套自己的方法论。 口述｜李帆 整理｜Stephen
如何将元宇宙概念与线下应用场景相结合？如何将数字世界与现实世界进行连接？这是一个重要的研究方向。我们探索如何将现实世界的内容数字化，将其融入数字世界的场景，形成新的体验形式和解决方案。这是各行各业迫切需要的，也是创业公司的研究重点和未来增长点。 穿戴类设备使元宇宙与现实世界中有微妙的隔阂。如何实现裸眼3D的沉浸式体验元宇宙成为行业新的课题。全息+交互的技术可以解决虚拟身份、沉浸感、体验交互等需求。谛听视界利用全息空间成像专利技术，实现裸眼3D的沉浸感，打造娱乐化、趣味性体验空间。我们从线上到线下，从在线到在场，将全息MR、5G、AI、数字人直播等技术，应用于多样化的娱乐、旅游、消费等场景，打通现实与元宇宙之间的界限。 比如通过非穿戴类设备将人们带入虚实世界。除了个人体验外，我们也关注公共场景，例如文旅场所、教育场景、商业综合体等。对于这些场所，可能并不适合穿戴类设备体验虚拟世界，因此我们探索使用非穿戴类设备创造裸眼3D的体验，并通过感知交互技术让人、物、场所或艺术作品在虚实结合的世界进行互动。随着人工智能、AIGC以及大模型等技术的深入发展，未来脑机接口技术成熟后，我们可能通过C端的脑机接口产品进入虚拟世界，为大家带来更加沉浸式、真实的数字生活体验。综上所述，我们目前关注的重点是如何让现实世界与元宇宙融合，让元宇宙走入现实，实现真实体验与生产、生活方式的紧密结合。
谛听视界根据多年经验，总结多方位链接平台，线上以虚拟数字人为核心打造的数字资产和内容，与线下交互场景、解决方案相对接。目前，我们所触达的场景主要为：娱乐场景、商业场景、教育场景、文旅文博场景、以及粉丝互动场景。
将中华传统文化和优质内容转化成经典IP，这些IP能够为更多的场景带来丰富的体验形式。我们利用科技为中华传统文化赋能，让中华文化瑰宝焕发活力，实现中华传统文化的传承。国家领导人在报告二十大中提出了推动文化自信自强，传播中国形象的目标，为我们指明了方向。这些目标激发了更多创业者和科技文化赋能者的使命感。我们希望用数字技术推动中华文化走向世界，增强中国文化的影响力，展现可信、可爱、可敬的中国形象，让中华文化再创新辉煌。 预计2025年，将基本建成中华优秀传统文化传承发展体系，重点研究教育普及、保护传承创新发展、传播交流等方面的协同推进，并取得重要成果。在此指导下，我们将具有中国特色、中国风格、中国气派的文化产业持续优化，将文化自觉和文化自信显著增加，努力巩固国家文化软实力，使得中华文化的国际影响力明显提升。
为了实现这个目标，我们需要挖掘更多中华文化中优秀的内容和IP，努力呈现出一个可敬的、亲民的中华文化偶像。2022年，我们着手于挖掘苏东坡的数字人IP。首先，苏东坡的形象代表着中华文化的现代表达和传承，激发了国人的文化自觉和自信，满足中国人的精神情感需求，同时承担起中华文化传承的时代使命。其次，苏东坡是中华古代文化的代表之一，他的文化高度、人格魅力，都将在数字科技中赋予他新鲜感和知名度，使他成为一个天然亲民的形象。 为实现苏东坡数字人的开发，我们邀请了中华书局作为合作方，通过他们丰富的古籍大数据，挖掘整理苏东坡的角色小传、知识图谱和古人服饰特点，为我们制作苏东坡数字人提供了丰厚的文化背书。同时，各行业专家，如康震、祝勇、于若芬等，也纷纷参与项目前期的论证中。再加上我们在3D、数字建模、AI大模型开发、全息裸眼3D沉浸式交互场景和线下应用解决方案等方面积累了丰富的经验，为苏东坡数字人提供了更好的展现形式。 在这一过程中，谛听视界打造了中华古代名人元宇宙计划的工艺流程和标准。该计划与现有的西方数字人生成技术不同的是，我们专注于针对中国古代人的服饰、身体结构和面部特征，形成独特的解决方案和可复制性，努力实现低成本、高质量地大量生成古代名人。首先，我们定位为一个可爱亲民的传统文化偶像，另外，期望苏轼能够通过数字科技跨越时空而来，成为现实中真实存在的数字人，并陪伴我们一同讲述他的生活和创作经历。苏东坡的文化魅力，激发了大众对中华文化的自觉和文化自信，满足了中国人的精神情感共鸣。我们相信他以身作则，通过自己的人生和作品来鼓舞和抚慰大众，积极向上，热爱生活，拥抱每一个当下，满足大众对美好生活的追求。 在打造每一位中华古代名人时，我们将会为他们定义知识图谱。例如，苏东坡的文采是中国传统文化的天花板，他是新宋词的开创人、一位杰出的教育家，拥有无数传世作品，同时也是宋代的第一才子，培养了许多人才。在打造其数字人的过程中，我们考虑到不同年龄段人群对他的了解程度与喜爱程度，在未来将融入不同的交互场景。整个过程我们致力于让中华古代名人在数字世界中焕发新生，让他们的魅力和价值得到广泛传扬。
另一方面，苏东坡的形象展现了丰富的人间烟火气。他在美食、美酒、建筑、瑜伽、诗词歌赋等方面，都展现出独特的魅力和非凡的文化内涵。那么，如何通过数字技术手段赋予他丰富而鲜活的内核是我们重点研究的方向。自2022年至今，苏东坡数字人参与了几个重要事件。首先，在2022年9月，他在中华书局百年庆典上与大家首次相见。其次，在2023年1月，受央视邀约参加中国诗词大会，与百人团和嘉宾趣味互动。另外，我们还推出了苏东坡的宋运沉浸式数字艺术展，首展在长沙成功开展，接下来将在7月苏州展与大家见面。
在央视中国诗词大会上，我们将苏东坡数字人与其他选手、主持人和演员的进行实时互动。这是苏东坡数字人首次以这样形式在大型晚会现场现身。同时，这样的呈现形式是具有一定挑战的，在沉浸式交互场景中，能够实时互动是至关重要的。我们努力让现场观众与数字人进行真实互动，超越以往AR或其他数字化技术，使他们能够看到苏东坡的表演并进行情感交流。 在央视苏轼诗词大会的现场，我们解决了两个主要问题： 首先，确保观众在现场能够裸眼看到苏东坡数字人；其次，保证苏东坡与黄庭坚的扮演者进行实时互动。 为此，我们搭建了全新的裸眼3D数字人呈现场景，确保观众能真实地看到苏东坡莅临现场。为了保证演员与苏东坡实时互动，我们在现场设置了MR实时采集区，通过MR技术，实时采集演员影像，并在全息空间中展现，同时可以将数字人的光影关系和现场灯光效果相匹配。通过全景深度测试和环境检测，我们保障现场呈现效果的统一和完美。这些环节还可推广应用到文旅、博物馆、城市更新等其他文化场景中，并通过积累的经验形成行业相关标准，与大家共享。 在诗词大会过程中，导演组要求我们呈现两个年龄段的苏东坡。第一道题目是年轻版苏东坡与黄庭坚在黄州的别离情景。第二道题目是他在写《渡海帖》期间的情景，此时他已经60多岁了。为了保持形象的统一，我们生成了两个版本的苏东坡，展示了他生命中的两个重要阶段，一个是40岁的黄州阶段，另一个是60岁的儋州阶段。在制作过程中，我们积累了大量中华人特有的骨骼、面部表情和动作特征，将此形成我们的标准体系，并融入到AI的大数据和大模型训练中。
我们与百度的文心一言、清华聆心智能等单位合作，整合苏东坡的知识图谱和逻辑，通过训练模型完成交互体系。目前正处于测试阶段。未来，人们可以在其他场景中直接与苏东坡对话和交流。丰富数字人苏东坡的应用场景，使他可以在线上与观众交流，或者担任主持人、教育家等角色，并在数字空间中完成他的人生经历。更重要的是，他将成为中华传统文化的代言人，走出国门，在世界各地推广中华传统文化。这样的数字IP的开发可以带来更丰富多彩的体验。
一开始我谈到了新沉浸式和传统沉浸式之间的区别。传统沉浸式文化资产和非遗文物，如敦煌莫高窟、龙门石窟、大足石刻等，带给人们千年历史文化的冲击感。现在通过数字孪生技术，我们能够将这种过去的沉浸感转化为数字资产，创造出更新颖的感受。新沉浸式结合了数字感知交互技术，能够与我们产生共鸣，捕捉我们的需求、动作、语音、行为特征，并在数字空间中进行交互。数字人的打造是新沉浸式的核心，它与数字孪生和AI结合，将形成沉浸的、带有感知交互的新沉浸场景。 我们精心打造了光影餐厅、全息剧场、线上数字书院，并与其他媒体合作，共同为苏东坡数字人的展现形式助力。因此，在新沉浸场景中，我们可以跟随东坡去旅行，参观东坡的数字艺术展，并通过VR/AR等穿戴设备进入东坡所在的古代世界。 我们还将推出中华古代名人的先贤元宇宙计划，并实施古代名人的超写实数字人IP系列开发。在整个创作过程中，我们总结了经验，积累了知识，形成了快速制作古代名人数字人的能力。其中包括先行策划，快速调整三维模型以代替原始数据，建立古人表情和骨骼绑定的专属数据库，以便快速生成其他中华古代名人的数字形象，并进行动画输出，延展出更多优质内容。我们将陆续推出古代名人超写实数字IP系列，继续打造更多的古代名人形象。 在数字人生成和实施的过程中，我们采用了多种数字人技术。其中包括3D扫描、骨骼绑定、动作捕捉、AI语音生成、动画制作、交互技术等。通过这些辅助技术手段，我们能够快速生成不同类型的数字人，为数字人的元宇宙计划提供更丰富的经验和更优质的解决方案。 在动作捕捉方面，我们结合场景化，实现了实时动作捕捉来驱动数字人与观众进行交互，也可在VR世界中进行场景化交互。此外，我们还进行了预制动画的生成、单目摄像机镜头的驱动以及AI智播系统的开发，使其快速生成大量内容和不同应用场景。AI智播系统的定制开发支持数字人与观众更好地进行体验和交互。 在数字IP的发掘过程中，我们重点关注三大系列，即古代名人先贤系列、已故明星系列和名人数字分身系列。为不同的场景和IP赋能，提供更丰富的应用解决方案。我们将数字人技术融入到文旅项目，打造沉浸式的展示中心和主题文化餐厅，带来多姿多彩的文化体验。与此同时，我们还与三亚南山景区、北京王府井联合开发了其他数字人应用场景；如南山的素食文化和燕京八景的数字化展示。在场景端，我们通过VR、AR和MR设备，为用户提供不同的体验。在线下场景和商业应用零售端，我们研发了许多数字人交互解决方案和应用产品，如全息裸眼3D数字人交互矩阵，为用户带来更真实的感受。 综合以上技术，我们称之为沉浸式感知交互应用场景的综合解决方案，能够实现二次元、虚拟人、演员、观众在同一空间进行交互和体验，提供不同的感受和体验形式。通过这些技术叠加带来更丰富的体验，为数字IP的应用场景提供了全新的混合现实技术和虚拟人AI交互感知技术，使得数字人与观众之间的交互更加丰富和深入。 
|
|
|
