DNN推理的吞吐量最大化:批处理还是多租户?

摘要:DNNScaler:通过批处理和多租户优化深度神经网络推理应用的吞吐量

作者:Seyed Morteza Nabavinejad, Masoumeh Ebrahimi, Sherief Reda

论文ID:2308.13803

分类:Distributed, Parallel, and Cluster Computing

分类简称:cs.DC

提交时间:2023-08-29

PDF 下载: 英文版 中文版pdf翻译中