深度强化学习用于协调成本感知的vRAN重构
摘要：虚拟无线接入网络（vRAN）是完全可配置的，可以以低成本在普通平台上实现，以实现网络管理的灵活性。本文提出了一个新颖的vRAN重新配置问题，包括重新配置基站（BS）的功能分割、虚拟集中单元（vCU）和分布单元（vDU）的位置、它们的资源以及每个BS数据流的路由。其目标是在适应不断变化的流量需求和资源可用性的情况下，将长期总网络操作成本最小化。进行了测试，以研究流量需求和计算资源之间的关系，结果显示了高方差，并且取决于平台及其负载。因此，找到底层系统的完美模型是困难的。因此，为了解决提出的问题，提出并开发了一个基于深度强化学习（RL）的框架，使用无模型的RL方法。此外，该问题包含多个共享相同资源的BS，导致一个多维离散动作空间，并导致可能动作的组合数量。为了克服这个维度的问题，将动作分支结构，即具有共享决策模块后面的神经网络的动作分解方法，与Dueling Double Deep Q-network（D3QN）算法相结合。使用符合O-RAN标准的模型和测试平台的真实跟踪进行了模拟。我们的数值结果表明，所提出的框架成功学习了自适应选择vRAN配置的最优策略，其学习收敛性可以通过迁移学习在不同的vRAN系统中进一步加快。它可以节省高达静态基准的59％、已离散化的DDPG的35％和非分支D3QN的76％的成本。
作者：Fahri Wisnu Murti, Samad Ali, George Iosifidis, Matti Latva-aho
论文ID：2208.05282
分类：Networking and Internet Architecture
分类简称：cs.NI
提交时间：2023-07-07