C-Coll：将误差有界的无损压缩引入MPI集合操作
摘要：使用超级计算机的计算能力不断增强和科学应用规模的扩大，MPI集体通信的效率成为大规模分布式和并行处理的一个关键瓶颈。MPI集体通信中的大型消息大小是一个特别大的问题，因为它可能会显著延迟整体并行性能。为了解决这个问题，以往的研究只是在MPI集体通信中应用现成的固定速率有损压缩器，导致性能不佳、通用性有限和错误无限制。在本文中，我们提出了一种新的解决方案，称为C-Coll，它利用错误有界的有损压缩来显著减小消息大小，从而大幅减少通信成本。主要贡献有三个。我们为两种类型的MPI集体（集体数据移动和集体计算）开发了两个通用的优化有损压缩框架，基于它们的特定特征。我们的框架不仅降低了通信成本，而且保持了数据的准确性。我们基于SZx定制了一个优化版本，它是一种超快速的错误有界有损压缩器，可以满足集体通信的特定需求。我们将C-Coll集成到多个集合中，如MPI_Allreduce，MPI_Scatter和MPI_Bcast，并基于真实世界的科学数据集进行了全面评估。实验证明，我们的解决方案在性能上优于原始的MPI集体通信以及多个基准和相关工作，提高了3.5-9.7倍。
作者：Jiajun Huang, Sheng Di, Xiaodong Yu, Yujia Zhai, Jinyang Liu, Ken Raffenetti, Hui Zhou, Kai Zhao, Zizhong Chen, Franck Cappello, Yanfei Guo, Rajeev Thakur
论文ID：2304.03890
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-05-26