GACER：面向多租户深度学习的粒度感知并发调控
摘要：深度学习不断进步，应用于越来越复杂的场景，对于多个神经网络模型的并发部署的需求也随之产生。这种需求通常被称为多租户计算，变得越来越重要。然而，即使是最成熟的基于GPU的计算系统在资源分配和运行时调度方面也难以解决并发模型之间的显著异质性和复杂性。而这通常会导致显著的资源利用和吞吐量问题。为了解决这些问题，本文提出了一系列优化技术，从空间和时间两个方面提升了计算管理的粒度，专门针对深度学习推理和训练中的异构模型组合。这些技术进一步集成为GACER - 一种自动优化框架，提供高利用率、高吞吐量和低延迟的多租户计算支持。我们的实验表明，与原生GPU计算框架和现有的最先进的优化工作相比，GACER显著改善了整体资源利用，并始终取得了出色的加速效果。
作者：Yongbo Yu, Fuxun Yu, Mingjia Zhang, Di Wang, Tolga Soyata, Chenchen Liu and Xiang Chen
论文ID：2304.11745
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-04-25