使用不同的公平分配算法,在Mesos上在线调度Spark工作负载

摘要:多服务器分配资源给分布式应用框架的公平调度器之间的示例说明和实验结果对比。资源分配是这样的,每个服务器至少有一个资源被耗尽。考虑的调度器包括DRF(DRFH)和最佳适合DRF(BF-DRF),TSF和PS-DSF。我们还考虑基于随机循环(RRR)和基于剩余(未预留)资源的服务器选择。在下面,我们考虑具有相等优先级且没有服务器偏好约束的情况。首先给出典型的说明性数字研究结果,然后给出涉及我们已经修改和开源为不同调度器制作原型的Mesos上的Spark工作负载的典型结果。

作者:Yuquan Shan, Aman Jain, George Kesidis, Bhuvan Urgaonkar, Jalal Khamse-Ashari and Ioannis Lambadaris

论文ID:1803.00922

分类:Performance

分类简称:cs.PF

提交时间:2018-04-24

PDF 下载: 英文版 中文版pdf翻译中