纽约州立大学团队用模仿学习方法将AR智能化，提高人与机器人的交互体验

 

电话 | 010-82030532    手机 | 18501361766

微信 | tech9999    邮箱 | [e-mail]

来源:  DeepTech

作者：王瑞平

现如今，机器人被越来越多地应用于制造业和仓储物流领域。但是，在这些工作环境中，工作人员与机器人的活动空间通常被隔离开。因此，如何使人类与机器人之间产生互动尤为重要。

人类与机器人的交流方式不同。具体来说，人类习惯使用语言和手势进行交流。而机器人则以数字形式交换信息，如，文本命令。这有可能导致人类与机器人之间的交流产生偏差。

增强现实（AR，Augmented Reality）技术能够将机器人的行为可视化，从而弥补机器人与人类之间的沟通障碍。不仅如此，AR 还提供了高带宽和模糊性低的可替代通信机制。

目前，基于 AR 的可视化系统都是由人工设计的，会出现可视化信息太多或太少的情况。当可视化信息太少时，用户会发现 AR 界面无法发挥作用；当可视化信息过多时，对用户来说，处理相应的信息便相对困难。

为了使人类与多机器人之间能够产生更好的交互体验，研究者用模仿学习方法实现了 AR 的智能化，开发出名为“模仿学习式 AR 可视化”（VARIL，Visualizations for Augmented Reality using Imitation Learning）技术框架。

美国纽约州立大学宾汉姆顿分校计算机科学系在读博士生基山·坚登（Kishan Chandan）、本科生杰克·艾伯森（Jack Albertson）、张世琦教授为论文作者。

VARIL 技术辅助人与机器人之间进行有效互动

     

VARIL 技术能够辅助人与机器人之间进行有效的互动。它通过分析机器人和人的状态决策哪些信息、什么时间、以什么形式被可视化。

图 | VARIL 框架（来源：CoRL）

具体来讲，VARIL 技术可以用 AR 接口同时跟踪多个机器人状态、动态选择 AR 可视化动作，包括 AR 帮助搬运工人感知机器人的位置和规划运动轨迹等。

在 VARIL 中有两个不同的人类实体，一个是人类工作者的角色，另一个是人类专家。假设一组机器人与一个人类在同一空间工作。这组机器人不断使用 AR 接口共享状态和计划。与此同时，人类能够使用该 AR 接口跟踪机器人团队的状态。

人类工人与机器人团队合作，同时完成任务。在进行 VARIL 技术演示的过程中，人类专家参与进来，负责指示在特定时间内可视化（或不可视化）哪些信息。

一旦生成新的策略，AR 智能设备就会更新可视化信息，模仿人类专家演示者建议的操作。值得注意的是，专家只在策略学习阶段参与进来，一旦智能设备学习到相关的策略，就不再需要人类专家。

在不同的 AR 可视化策略下完成任务

     

论文中提到，为探究虚拟人与机器人在不同的 AR 可视化策略下完成任务的情况，研究人员创建出用于模拟仓库环境的演示平台（具有内置实验室）。平台不仅便于人类与机器人相互协作，而且可以对 VARIL 框架进行经验评估。

图 | 虚拟人与机器人在不同的 AR 可视化策略下完成任务（来源：CoRL）

在虚拟的仓库环境中，研究人员设定 12 个机器人与 1 个虚拟人类合作完成系统交付的任务。机器人的任务是将物体运送到不同的地点（卸货站），人类帮助等待在卸货站的机器人卸货。

图 | 两种不同规模的仓库环境（来源：CoRL）