K-VIL：基于关键点的视觉模仿学习
摘要：视觉模仿学习为机器人系统获取新的操作技能提供了高效和直观的解决方案。然而，仅从视觉输入中同时学习几何任务约束和控制策略仍然是一个具有挑战性的问题。在本文中，我们提出了一种基于关键点的视觉模仿（K-VIL）方法，该方法可以从少量的人类演示视频中自动提取稀疏的、以物体为中心的、与机器人无关的任务表示。任务表示由基于关键点的几何约束、其相关的局部坐标系以及需要完成任务的运动基元组成。我们的方法能够从单个演示视频中提取这些任务表示，并在新的演示可用时进行增量更新。为了在新场景中使用所学习的优先级几何约束集来重现操作技能，我们引入了一种新的基于关键点的阻抗控制器。我们在几个现实世界的应用中评估了我们的方法，展示了它在处理杂乱场景、视角不匹配、分类对象的新实例以及大型物体姿态和形状变化方面的能力，以及在一次性和少次模仿学习设置中的效率和鲁棒性。视频和源代码可在https://sites.google.com/view/k-vil找到。
作者：Jianfeng Gao, Zhi Tao, No''emie Jaquier, and Tamim Asfour
论文ID：2209.03277
分类：Robotics
分类简称：cs.RO
提交时间：2023-07-26