|
先来一起看几段无实物表演。 一边看电影一边吃爆米花，吃了许久后突然发现爆米花不是自己的，而后扶额、摇头，张开嘴巴表示惊讶，尴尬到向后仰去无法面对现实、怀疑人生。  身躯左右摇摆扭动，双手模仿眼镜王蛇的预备攻击姿势，头部左右前后晃动模仿蛇预备攻击时吞吐信子的样子。 以下视频来源于 MLPOD 身体微倾、眼睛微眯，双手根据节奏晃动，找到切入点并“弹吉他”，脑袋跟着节奏前后左右摇晃，嘴巴张大并跟唱。 这几个吊打某些“流量明星”的无实物表演片段是来自东京大学的研究人员使用 GPT-4 引导Alter3机器人进行各种模拟得出的结果。 一般来说，传统的机器人控制依赖于硬件的性能，若要进行某些动作，需要通过为每个活动进行特定编码才能实现。 前不久，研究人员通过使用能够适配大型语言模型 (LLM)（特别是GPT-4）并生成自发运动的人形机器人Alter3进行实验发现，GPT-4与机器人Alter3的整合可有效促进人们和机器人之间的沟通与交流，利用大语言模型，人们能更好的“指挥”机器人，机器人也可更好的理解并执行相关指令，给到良好反馈。 Alter3能够进行复杂的上半身运动，包括详细的面部表情，有43个轴模拟人类肌肉骨骼运动。它位于底座上，虽然可以模仿行走，但却无法实现真正行走。 依照传统控制方法，对如此多的关节进行协调编码是一项艰巨的任务，要想操控机器人进行倒茶或下棋等动作，必须按照一定的顺序控制所有43个轴来模仿一个人的姿势或假装某种行为。而且这个过程通常需要人们手动进行许多改进。
使用口头指令控制 Alter3 人形机器人的程序。 GPT-4引入后，研究人员可直接使用口头指令控制 Alter3 人形机器人的程序。在不需要学习过程迭代的前提下，通过连续应用两个用自然语言编写的协议即思想链（CoT）\cite{wei2023chainofthought}，和使用以上协议研究人员实现了对Alter3的控制。 虽然由于GPT-4 的特性，即便使用相同的输入指令，Alter3也会在再现性方面出现问题，但毫无疑问的是，GPT-4具有生成机器人运动的能力。 Alter3无法观察到其举动对任何物理过程的影响，因此，Alter3 无法准确理解“手举多高”等细节，也无法相应地改进其动作。通过反馈经验开发和利用外部存储器，Alter3身体模型可以在无需更新其参数的前提下与GPT-4 集成。
Alter3 中的 Verval 反馈 集成GPT-4后的Alter3 可以根据人类的语言反馈重写其代码。例如，用户可能会建议“自拍时将手臂抬高一点”。然后，Alter3 可以将修改后的运动代码作为运动内存存储在其数据库中。这确保了下次生成该运动时，将利用改进的、经过训练的运动。通过这种反馈积累有关 Alter3 身体的信息，记忆可以有效地充当身体图式。 为了量化GPT-4生成动作的能力，研究人员评估了九种不同生成动作的视频。 视频主要分为两种类型： 第一种场景，即即时手势，包括“自拍”、“喝茶”等日常动作，以及“装鬼”、“装蛇”等模仿动作。 第二种场景，一段时间内的行动，包含更复杂的场景。 其中包括尴尬的情节，例如“我在电影院一边吃爆米花，一边欣赏电影，突然意识到我实际上正在吃旁边人的爆米花”，以及情感场景，例如“在公园里，当我慢跑时，世界似乎在讲述一个古老的生存故事，每一个脚步都回响着亿万年的存在。” 研究人员对于这些由 GPT-4 生成的动作进行了评分测试，参测者则使用Prolific平台招募，观看了这些视频并评估了GPT-4的表达能力。评估采用5分制，其中1为最差评级。 对于对照组，研究人员使用Alter3的随机运动，研究人员附加了由GPT-4生成的随机运动符号，作为这些运动的标签，这些标记的对照视频被混入测试中，其中三个分赛在向参测这展示的主要视频中。
每个动作的评估分数的平均值。GPT4 指定的动作如下。“假装蛇”、“喝点茶”、“假装鬼”、“低手投球”、“手机自拍”、“放金属音乐”、“在公园慢跑时” ，世界似乎在讲述一个古老的生存故事，每一个脚步都回响着亿万年的存在。”，“播放金属音乐（带反馈）”，“我正在电影院一边吃爆米花一边欣赏电影，这时我意识到我正在实际上是在吃我旁边那个人的爆米花。” 结果显示，与对照组相比，大模型涵盖了广泛的动作语言表达，GPT-4可以将这些表示准确的映射到Alter3的主体上。 通过Alter3，大模型可以表达尴尬、喜悦等情绪，即使是面对没有明确表达情绪的文本指令，大模型也可以推断出足够的情绪并将其反映在Alter3的身体反映中，这种言语和非言语的交流整合显现出其与人类进行更细致和更富有同理心互动的潜力。 |
|
|
来自： 公司总裁 > 《智能/机器人/无人机/编程》
