PICO：用于多样化移动设备上灵活卷积神经网络的流水线推理框架
摘要：实时推理卷积神经网络(CNN)而不丧失准确性的方法是将其分布到多个移动设备上，这在最近几年已经进行了研究。然而，如何将CNN映射到设备上仍然是一个挑战。一方面，使用多台设备调度最先进的CNN的工作负载是NP-Hard问题，因为CNN的结构是有向无环图(DAG)，而不是简单的链。另一方面，由于无线环境和设备异质性，分发推理工作负载会导致通信代价高和计算不平衡的问题。本文提出了一种名为PICO的管道合作框架，用于加速不同移动设备上多种CNN的推理。PICO的核心特点包括：(1)一种通用的图分割算法，考虑到给定CNN的特性，并将其协调成适当粒度的模型片段列表；(2)一种多对多映射算法，为异构设备生成最佳管道配置。在我们使用2~8个Raspberry-Pi设备进行的实验中，在不同的CPU频率下，吞吐量可以提高1.8~6.8倍。
作者：Xiang Yang, Zikang Xu, Qi Qi, Jingyu Wang, Haifeng Sun, Jianxin Liao, Song Guo
论文ID：2206.08662
分类：Distributed, Parallel, and Cluster Computing
分类简称：cs.DC
提交时间：2023-06-16