高效基础模型训练的自动张量模型并行化与重叠通信

摘要:加速基础模型训练的自动化张量模型并行性方法

作者:Shengwei Li, Zhiquan Lai, Yanqi Hao, Weijie Liu, Keshi Ge, Xiaoge Deng, Dongsheng Li, Kai Lu

论文ID:2305.16121

分类:Distributed, Parallel, and Cluster Computing

分类简称:cs.DC

提交时间:2023-05-26

PDF 下载: 英文版 中文版pdf翻译中