GB-PANDAS：亲和调度的吞吐量和高流量优化分析
摘要：动态亲和调度问题近三十年来一直是一个开放问题。该问题是动态地将多种类型的任务调度给多种技能的服务器，使得得到的排队系统在能力区域内是稳定的（吞吐量最优），并且在接近能力区域边界的高负载下任务的平均延迟最小化（重负载最优）。对于应用来说，数据密集型分析如MapReduce、Hadoop和Dryad适用于这种情况，其中不同任务类型的服务器是异构的，因此任务类型和服务器的配对决定了任务的处理速率。在这样的框架中使用的负载平衡算法是亲和调度的一个例子，希望在高负载时出现热点时同时具备稳健性和延迟优化性能。流体模型规划、最大权重算法和广义的cmu规则是最早提出的有理论保证的亲和调度算法，将在相关工作部分讨论。由于其不切实际的假设，所有这些算法在数据中心应用中都不实用。最短队列最大权重（JSQ-MaxWeight）、最短队列优先级（JSQ-Priority）和加权工作负载算法是具有两个和三个数据局部性级别的系统的负载均衡策略的示例，具有机架结构。在这项工作中，我们提出了广义平衡的熊猫算法（GB-PANDAS）用于具有多个数据局部性级别的系统，并证明了其吞吐量最优性。我们证明了该结果在服务时间的任意分布下成立，而大多数先前的理论研究假设服务时间为几何分布。广泛的仿真结果表明，GB-PANDAS算法减少了平均延迟，并且比JSQ-MaxWeight算法性能提高了一倍。
作者：Ali Yekkehkhany, Avesta Hojjati, Mohammad H Hajiesmaili
论文ID：1709.08115
分类：Performance
分类简称：cs.PF
提交时间：2019-01-15