朝着高效的多智能体学习系统
摘要：多智能体强化学习（MARL）是一个日益重要的研究领域，可以对多个大规模自治系统进行建模和控制。尽管取得了一些成就，但现有的多智能体学习方法通常涉及到计算成本较高的培训时间和功耗，这是由于大的观测-动作空间和大量的训练步骤导致的。因此，一个关键的挑战是在几种流行的MARL算法的培训阶段中理解和表征计算密集型函数。我们的初步实验揭示了MARL算法的关键模块的新见解，这限制了MARL在现实世界系统中的采用。我们探索邻居采样策略以改善缓存局部性，并观察到在计算密集型的小批量采样阶段性能提高了26.66\%（3个智能体）至27.39\%（12个智能体）。此外，我们证明了改善局部性可以将训练时间的端到端减少10.2\%（对于12个智能体），而平均奖励没有重大下降。
作者：Kailash Gogineni, Peng Wei, Tian Lan and Guru Venkataramani
论文ID：2305.13411
分类：Multiagent Systems
分类简称：cs.MA
提交时间：2023-05-25