SAGE：一种基于存储的可扩展高效稀疏广义矩阵乘法方法
摘要：稀疏广义矩阵乘法（SpGEMM）是实际网络分析的基本操作。随着现实世界网络规模的增加，基于单台机器的SpGEMM方法无法在大规模网络上执行SpGEMM，超过主存的大小（即不可扩展）。虽然基于分布式系统的方法可以处理基于多台机器的大规模SpGEMM，但它会遇到严重的机器间通信开销问题，以聚合多台机器的结果（即不高效）。为了解决这个问题，在本文中，我们提出了一种新的基于存储的SpGEMM方法（SAGE），将给定的网络存储在存储器（例如SSD）中，并且仅在需要时将网络的必要部分加载到主存储器中进行处理，通过一个3层架构。此外，我们指出了三个可能降低SAGE整体性能的挑战，并提出了三个有效的策略来解决它们：（1）基于块的工作负载分配，以平衡线程间的工作负载，（2）内存中部分聚合，以减少不必要生成的存储器读写操作的数量，（3）分配感知的内存分配，以防止主存储器中意外的缓冲区溢出。通过广泛的评估，我们验证了SAGE在可扩展性和效率方面优于现有的SpGEMM方法。
作者：Myung-Hwan Jang, Yunyong Ko, Hyuck-Moo Gwon, Ikhyeon Jo, Yongjun Park, Sang-Wook Kim
论文ID：2308.13626
分类：Data Structures and Algorithms
分类简称：cs.DS
提交时间：2023-08-29