Hanayo:利用类波动的管道并行性提升大型模型训练效率

摘要:Hanayo: 一种高效的波动式管道并行策略的实现方法

作者:Ziming Liu, Shenggan Cheng, Haotian Zhou, Yang You

论文ID:2308.15762

分类:Distributed, Parallel, and Cluster Computing

分类简称:cs.DC

提交时间:2023-08-31

PDF 下载: 英文版 中文版pdf翻译中