 熊嘻嘻 英伟达最近推出一种合成3D虚拟角色场景交互的新方法，该框架使物理模拟的角色能够以自然、逼真的方式执行场景交互任务。 在刚举行的SIGGRAPH 2023大会上,NVIDIA和马克斯普朗克研究所的研究团队提出了一种新方法,用于合成物理3D角色场景交互。
该团队分享的研究论文概述了该框架,它利用对抗式模仿学习和强化学习训练物理模拟角色,以自然生动的方式执行场景交互任务。 该方法通过学习广泛的非结构化运动数据集中的场景交互模式,所有这些都无需手动标注运动数据。这些场景交互是使用对抗判别器学习的,它评估运动在场景上下文中的真实性。该团队评论说:“关键的创新在于根据场景上下文对判别器和策略网络进行条件化。”
论文写道:“我们通过三个具有挑战性的场景交互任务来演示我们方法的有效性:搬运、坐下和躺下,这需要协调角色与环境中对象的移动。我们的策略学会了无缝地在不同行为(如闲置、行走和坐下)之间过渡。”
本周早些时候,NVIDIA还发布了Neuralangelo的源代码,这是一种AI模型,可以将2D视频转换为3D结构,“生成建筑、雕塑和其他实物的逼真虚拟复制品”。 Neuralangelo基于即时神经图形基元工作,这是NVIDIA Instant NeRF的基础技术,可将2D图像转换为3D模型。该AI模型从不同角度拍摄对象或场景的2D视频中选择几帧。一旦确定每个帧的相机位置,它就会创建场景的粗略3D表示,并优化渲染以锐化细节。最后生成的3D对象或大规模场景可以在其他软件中使用。 除此之外，社区今天分享的一个：虚拟人免费动画库，做AI游戏/XR/元宇宙项目的从业者应该可以用到的：  AIGC 创业者 总之,这项最新研究为合成逼真、具有场景意识的虚拟角色交互打开了新的大门。它很可能会应用到数字人和虚拟世界的自然交互中,为我们带来更深层次的沉浸体验。 运动是人们与环境交互和影响环境的方式。为了实现逼真的角色动画,必须合成虚拟角色与其环境之间的这种交互。 尽管最近使用机器学习的角色动画取得了进展,但大多数系统都专注于在相对简单和同质的环境中控制代理的运动,与其他对象的交互有限。此外,许多以前合成人场景交互的方法需要大量手动标注训练数据。 相比之下,作者提出了一种系统,该系统利用对抗模仿学习和强化学习来训练物理模拟的角色,以自然生动的方式执行场景交互任务。作者的方法从大量非结构化的运动数据集中学习场景交互行为,而无需手动标注运动数据。这些场景交互是使用对抗判别器学习的,该判别器评估场景背景下运动的逼真度。关键的创新涉及根据场景上下文对判别器和策略网络进行条件化。
作者通过三个具有挑战性的场景交互任务演示了方法的有效性:搬运、坐下和躺下,这需要协调角色与环境中对象的移动。策略无缝地在不同的行为(如闲置、行走和坐下)之间过渡。通过在训练期间随机化对象的属性及其放置位置,方法能够概括到超越训练数据集中所示的对象和场景,为各种形状和放置的对象产生自然的角色场景交互。该方法使基于物理的角色运动生成更接近广泛适用性。请观看补充视频以了解更多结果。  —— End ——  熊可爱 100 个最佳 ChatGPT NPC 视频案例：扫码查看合集： |
|
|
