多智能体通信中通过标准化张量核范数正则化实现消息聚合的多样化
摘要：通用通信对于多智能体强化学习（Comm-MARL）的沟通是一个关键组成部分。最近，在Comm-MARL中，图注意网络（GAT）的普及表明，智能体可以被表示为节点，消息可以通过加权传递来进行聚合。然而，GAT可能导致消息聚合策略的同质性，并且“核心”智能体可能过度影响其他智能体的行为，从而严重限制多智能体的协调性。为了解决这一挑战，我们首先研究了通信图的邻接张量，并证明消息聚合的同质性可以通过规范化张量秩来衡量。由于秩优化问题被认为是NP难的，我们定义了一种新的核范数，它是规范化张量秩的凸代理，以取代秩。利用这种范数，我们进一步提出了一种插入式正则化器，称为规范化张量核范数正则化（NTNNR），在训练阶段积极丰富消息聚合的多样性。我们在合作和混合合作竞争场景中广泛评估了使用NTNNR增强的GAT。结果表明，使用NTNNR增强的GAT进行消息聚合可以提高训练效率，并实现比现有消息聚合方法更高的渐近性能。当将NTNNR应用于现有的图注意Comm-MARL方法时，我们还观察到在StarCraft II微观管理基准测试中显著提高了性能。
作者：Yuanzhao Zhai, Kele Xu, Bo Ding, Dawei Feng, Zijian Gao, Huaimin Wang
论文ID：2208.05414
分类：Multiagent Systems
分类简称：cs.MA
提交时间：2022-08-22