FoX：多智能体强化学习中的形成感知探索
摘要：深度多智能体强化学习在合作多智能体任务中取得了显著的成功，因此近年来变得越来越受欢迎。然而，由于智能体的局部可观察性以及随着智能体数量增加而呈指数增长的探索空间，探索仍然是一个具有挑战性的问题。首先，为了解决探索空间的扩展性问题，我们在探索空间上定义了一种基于编队的等价关系，并旨在通过仅探索不同编队中的有意义的状态来减少搜索空间。然后，我们提出了一种新的基于编队的探索（FoX）框架，通过仅基于自身观察引导部分可观察的智能体在不同编队中访问各种状态，从而使它们对自己当前的编队有良好的认识。数值结果表明，所提出的FoX框架在谷歌研究足球（GRF）和稀疏的星际争霸II多智能体挑战（SMAC）任务上明显优于最先进的多智能体强化学习算法。
作者：Yonghyeon Jo, Sunwoo Lee, Junghyuk Yum, Seungyul Han
论文ID：2308.11272
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-23