通信加强型深度强化学习优化无人机辅助网络的能效
摘要：无人机（UAVs）越来越多地被部署用于在现有地面蜂窝基础设施存在网络需求增加或故障点时，为静态和移动地面用户提供无线连接。然而，无人机的能量有限，并且经常遇到相邻的共享相同频谱的无人机小区所造成的干扰挑战，从而影响系统的能量效率（EE）。最近的方法主要集中于优化系统的EE，通过优化无人机的轨迹来服务静态地面用户，而忽视了移动用户。其他一些方法忽略了相邻无人机小区的干扰影响，假设网络环境不存在干扰。尽管在分散无人机控制方面的研究越来越受关注，但是对于无人机之间直接协作以提高协调性并同时优化系统的EE的研究尚未得到充分探索。为了解决这个问题，我们提出了一种直接协作通信的多智能体分散式双深度Q网络（CMAD-DDQN）方法。CMAD-DDQN是一种协作算法，允许无人机通过与最近邻节点通信，显式地共享遥测数据，遵循现有的3GPP准则。这使得受控的智能体无人机能够通过填补知识空白和收敛到最优策略来优化它们的三维飞行轨迹。仿真结果表明，该方法在最大化网络的EE而不降低覆盖性能方面优于现有基线方法。与忽略无人机之间直接协作的MAD-DDQN、多智能体深度确定性策略梯度（MADDPG）和随机策略方法相比，考虑到2D无人机部署设计且忽略相邻无人机小区干扰，其性能分别提高了15％、65％和85％。
作者：Babatunji Omoniwa, Boris Galkin, Ivana Dusparic
论文ID：2210.00041
分类：Multiagent Systems
分类简称：cs.MA
提交时间：2023-06-28