公共云中异构宏任务（HeMT）的并行处理
摘要：均匀微任务调度在并行计算系统中被认为是一种有效的负载平衡方法。当与节点在空闲时获取任务相结合时，均匀微任务调度能够自动适应参与节点的处理能力，即性能更强的节点能够更快完成工作并更快地获取额外任务。因此，在具有异构（可能具有动态变化）处理能力的环境中，均匀微任务调度尤其有吸引力。然而，均匀微任务调度会带来额外的调度和I/O开销，这可能使得负载平衡方案在某些场景下变得昂贵。本文首先分析了均匀微任务调度的优势和劣势。然后，我们提出了一种替代的负载平衡方案 - 异构宏任务调度（HeMT），其中工作负载根据节点的处理能力进行有意的分割。我们的目标是研究何时HeMT能够克服均匀微任务调度的性能劣势。我们在Apache Spark应用程序框架中实现了HeMT的原型，并通过对Apache Mesos集群管理器进行补充改进。适当参数化的Spark内置调度器实现了均匀微任务调度。我们的实验结果表明，当准确估计节点处理能力的工作负载特性时，HeMT的性能优于均匀微任务调度。作为代表性结果，HeMT的Spark相较于默认系统，为实际数据处理工作负载提供了约10％更好的平均完成时间。
作者：Yuquan Shan, George Kesidis, Bhuvan Urgaonkar, Jorg Schad, Jalal Khamse-Ashari, Ioannis Lambadaris
论文ID：1810.00988
分类：Performance
分类简称：cs.PF
提交时间：2018-10-03