数据中心工作负载的最终一致性联邦调度
摘要：数据中心调度器目前在规模上运作，以满足对计算和存储能力日益增长的需求。调度器面临的挑战是在规模上满足调度速度的要求。为了做到这一点，大多数调度器架构使用并行性。然而，这些架构由多个并行调度实体组成，这些实体只能利用数据中心状态的局部知识，因为要维护一致的全局知识或状态将涉及相当大的通信开销。调度没有全局知识的缺点是次优的位置规划 - 即使调度实体状态作用域之外的区域可用资源，任务可能仍然需要在队列中等待。这导致不必要的排队开销和数据中心资源利用率降低。在这篇论文中，我们扩展了我们之前关于Megha的工作，这是一种使用最终一致性的联合分散式数据中心调度架构。该架构在每个调度实体中同时利用并行性和最终一致的全局状态，以便以可扩展的方式快速做出决策。在我们的工作中，我们使用模拟与Sparrow、Eagle和Pigeon这三种调度架构进行了Megha的比较。我们还使用集群跟踪评估了Megha的原型，并将其与Pigeon的原型性能进行了比较。我们实验的结果显示，与其他架构相比，Megha在作业完成时间上始终减少延迟。
作者：Meghana Thiyyakat, Subramaniam Kalambur, Rishit Chaudhary, Saurav G Nayak, Adarsh Shetty, Dinkar Sitaram
论文ID：2308.10178
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-08-22