多目标操作的潜在空间规划与环境感知关系分类器
摘要：从部分视角点云中预测之前未见的物体和新环境之间的物体之间和物体-环境之间的关系的问题 抽象:在日常人类环境中，物体很少孤立存在。如果我们希望机器人能够在我们的人类环境中操作和执行任务，除了最简单的任务外，它们必须理解它们操纵的物体与环境的结构元素如何相互作用。因此，我们希望我们的机器人能够推理多个物体和环境元素之间的关系，以及机器人与世界交互时这些关系可能如何改变。我们研究了如何纯粹从部分视角点云中预测之前未见的物体和新环境之间的物体之间和物体-环境之间的关系的问题。我们的方法使机器人能够规划和执行序列，完成基于逻辑关系定义的多物体操作任务。这样就不需要提供显式连续的物体状态作为机器人的目标。我们尝试了几种不同的神经网络架构来解决这个问题。我们发现性能最佳的模型是一种新颖的基于Transformer的神经网络，它既可以预测物体-环境关系，又可以学习潜在空间动力学函数。我们在不进行任何微调的情况下实现了可靠的模拟到实际的转换。我们的实验证明了我们的模型理解观察到的环境几何变化与物体之间的语义关系之间的关系。在我们的网站上展示了更多视频: https://sites.google.com/view/erelationaldynamics。
作者：Yixuan Huang, Nichols Crawford Taylor, Adam Conkey, Weiyu Liu, Tucker Hermans
论文ID：2305.10857
分类：Robotics
分类简称：cs.RO
提交时间：2023-08-04