任务驱动的层次关系对象导航的图注意力
摘要：在大场景中，具身人工智能代理通常需要导航以找到物体。在这项工作中，我们研究了一个自然出现的对象导航任务的变体，层次化关系对象导航（HRON），其目标是找到以层次结构组织的逻辑谓词指定的对象 - 与家具相关的对象，然后与房间相关 - 例如，在厨房里找到桌子上的苹果。解决这样的任务需要一个高效的表示方式来推理物体关系并将环境和任务目标中的关系相联系。由于其部分可观测性和长期展望，HRON在大场景（如家庭）中尤其具有挑战性，这需要具备能够紧凑存储过去信息并有效探索场景的解决方案。我们通过实验证明，场景图是与传统表示（如图像或2D地图）相比最合适的表示方式。我们提出了一种解决方案，该解决方案使用场景图作为其输入的一部分，并集成了图神经网络作为其主干，还具有集成式任务驱动的注意机制，并证明其在可扩展性和学习效率上优于现有的基准算法。
作者：Michael Lingelbach, Chengshu Li, Minjune Hwang, Andrey Kurenkov, Alan Lou, Roberto Mart''in-Mart''in, Ruohan Zhang, Li Fei-Fei, Jiajun Wu
论文ID：2306.13760
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-06-27