DPMAC：用于合作多智能体强化学习的差分隐私通信
摘要：多智能体强化学习中的通信为人类社会合作奠定了基础。人类在与他人交流时也希望保护自己的隐私，然而现有的多智能体强化学习研究中并未考虑隐私问题。为此，我们提出了一种名为“差分隐私多智能体通信”（DPMAC）的算法，通过为每个智能体配备具有严格的$(\epsilon,\delta)$-差分隐私保证的本地消息发送器，来保护个体智能体的敏感信息。与在隐私保护场景中常见的直接对消息进行预定义的差分隐私噪声干扰不同，我们为每个智能体采用了一个随机消息发送器，并将差分隐私要求结合到发送器中，从而自动调整学习到的消息分布，以减轻由差分隐私噪声引起的不稳定性。此外，我们证明了在具有隐私保护通信的合作性多智能体强化学习中存在纳什均衡，这表明这个问题在博弈理论上是可以学习的。大量实验证明，在隐私保护场景中，DPMAC相比基线方法具有明显优势。
作者：Canzhe Zhao, Yanjie Ze, Jing Dong, Baoxiang Wang and Shuai Li
论文ID：2308.09902
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-22