ML/DL模型中数据流图的自动任务并行化
摘要：利用基于关键路径的线性聚类方法在机器学习数据流图中利用并行路径，优化任务并行结构，通过复制、常数传播和死代码消除剪辑图表。与其他工作不同的是，我们利用一个名为Ramiel的新工具，从ONNX格式的输入机器学习模型生成可读和可执行的并行Pytorch+Python代码。这使我们能够从其他下游加速技术（如内部操作并行性和潜在的管道并行性）中受益。我们在几个机器学习图上的初步结果表明，与串行执行相比，加速比高达1.9倍，并在编译和运行时性能上胜过一些当前的机制。最后，我们的方法轻量且快速，足以有效地用于功耗和资源受限的设备，同时仍然实现下游优化。
作者：Srinjoy Das, Lawrence Rauchwerger
论文ID：2308.11192
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-23