通过在线学习，在具有次线性遗憾的情况下调度多服务器作业
摘要：并行计算压缩算子是现代计算集群中常见的多服务器任务。在线环境中，为多个位于同一位置的多服务器作业同时分配多种资源在并行计算增益和内部通信开销之间进行权衡是困难的。为了研究计算-通信权衡，我们将计算增益建模为作业在多个计算实例上并行执行时完成时间的加速比，并将其与具有不同凹性的效用函数拟合。同时，我们将主导的通信开销视为需要减去的惩罚。为了实现更好的增益-开销权衡，我们制定了一个累积奖励最大化方案，并设计了一个在线算法OGASched来调度多服务器作业。OGASched按照奖励梯度的递增方向为每个到达的作业分配多种资源。它有几个并行子过程来加速计算，大大降低了复杂性。我们证明了它在一般凹性奖励下具有亚线性的遗憾。我们还进行了广泛的基于轨迹的模拟来验证OGASched的性能。结果表明，OGASched分别优于广泛使用的启发式算法 $11.33\%$, $7.75\%$, $13.89\%$, 和 $13.44\%$。
作者：Hailiang Zhao, Shuiguang Deng, Zhengzhe Xiang, Xueqiang Yan, Jianwei Yin, Schahram Dustdar, Albert Y. Zomaya
论文ID：2305.06572
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-08-08