多智能体强化学习中的协调问题：解开继承特征之间的联系
摘要：在多智能体强化学习（MARL）中，定义确保训练分散智能体协调的私有效用函数是一个关键挑战。在稀疏奖励和众多智能体的非结构化任务中，这一挑战尤为突出。我们证明接班人特征可以通过将个体智能体对全局值函数的影响与所有其他智能体的影响区分开来，从而帮助应对这一挑战。我们使用这种解缠来简洁地表示支持在非结构化任务中训练分散智能体的私有效用。我们使用了集中训练、分散执行的架构来实现我们的方法，并在各种多智能体环境中进行测试。我们的结果显示相对于现有方法，我们的方法在性能和训练时间上有所改善，并表明接班人特征的解缠提供了一种有望实现MARL中协调的方法。
作者：Seung Hyun Kim, Neale Van Stralen, Girish Chowdhary, Huy T. Tran
论文ID：2202.07741
分类：Multiagent Systems
分类简称：cs.MA
提交时间：2022-02-17