用多项式对数时间构建MPI中广播和不规则Allgather的轮次最优$n$-块广播调度
摘要：快速构建广播通信计划，以实现从根处理器到所有其他处理器的1端口、p处理器网络的n个不同数据块的广播，无需通信。对于任意的p和n，此模型中的广播需要n-1+lceillog_2 pceil个通信轮次。与其他构造不同的是，所有处理器都遵循相同的循环图通信模式，这使得可以将计划用于allgather（全部到全部广播）操作。新的构造每个处理器每个时间步需要O(log^3 p)时间，每个处理器可以独立计算其计划的部分，占用O(log p)空间。这个结果与Tr"aff和Ripke（2009）的顺序O(p log^2 p)时间和O(plog p)空间构造相比有很大的改进，并具有相当重要的实际意义。然后，使用轮优化的计划构造来实现广播和（不规则的）allgather集合操作，这些操作可以在MPI（Message-Passing Interface）中找到，并在某些问题范围内显著和实际地改进了标准MPI库（mpich，OpenMPI，Intel MPI）的实现。该应用于不规则的allgather操作是全新的。
作者：Jesper Larsson Tr"aff
论文ID：2205.10072
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-06-27