提升分布式任务驱动工作流的迭代性能
摘要：通过一个新的机制——SplIter提案，我们提出了在基于任务的编程模型中补充的一种方法。SplIter提供了一种透明的方式将一个集合分割成分区（逻辑上的块组，没有任何传输或数据重新排列），然后可以进行迭代。任务与这些分区相关联，这意味着SplIter打破了块大小与任务粒度之间的依赖关系。评估结果显示，与基准相比，SplIter能够实现一个数量级以上的性能提升，并且在竞争对手的替代方案中要么具有竞争力，要么严格更好（取决于应用程序特性）。我们选择了不同的应用程序，涵盖了各种情况；这些应用程序代表了更广泛的应用和领域。对于所有应用程序，都进行了两个不同的最新任务驱动框架的评估：COMPSs和Dask，结果表明SplIter可以在不同的框架中有效使用，对任务驱动应用程序的源代码所需的更改是最小的，从而保持了编程模型的高可编程性。
作者：Alex Barcelo, Anna Queralt and Toni Cortes
论文ID：2308.03480
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-08-08