在相同并行网络中调度Coflows以最小化完成时间
摘要：并行计算应用正在迅速发展，广泛应用于大型数据中心。这些应用包含两个阶段：计算和通信，需要重复执行才能完成工作。然而，由于对计算能力的需求不断增加，大型数据中心难以满足巨大的通信需求。为了解决这个问题，提出了coflow作为一种网络抽象，用于捕捉数据并行计算框架中的通信模式。本文侧重于在相同并行网络中的coflow调度问题，其主要目标是最小化makespan，即coflows的最大完成时间。它被认为是大型数据中心中最重要的NP难题之一。本文考虑了两个问题：流级调度和coflow级调度。在流级调度问题中，不同的流可以通过不同的网络核心进行传输，而在coflow级调度问题中，所有流必须通过同一个网络核心进行传输。为了解决流级调度问题，本文提出了两种算法：一种是(3-2/m)-近似算法，另一种是(8/3-2/3m)-近似算法，其中m表示网络核心的数量。对于coflow级调度问题，本文提出了一种2m-近似算法。最后，我们在我们提出的算法和Weaver的算法上进行了模拟实验，如Huang等人在2020年IEEE国际并行与分布处理研讨会(IPDPS)中所述。我们还验证了所提算法在异构并行网络上的有效性。
作者：Chi-Yeh Chen and Jun Chen
论文ID：2302.06846
分类：Data Structures and Algorithms
分类简称：cs.DS
提交时间：2023-06-16