稀疏脉冲神经网络的工作负载平衡剪枝
摘要：基于稀疏神经网络（SNNs）的剪枝已经成为在资源受限的边缘设备上部署深度SNNs的基本方法学。尽管现有的剪枝方法对于深度SNNs可以提供极高的权重稀疏性，但高权重稀疏性会带来工作负载不平衡问题。具体而言，当不同数量的非零权重分配给并行运行的硬件单元时，会发生工作负载不平衡，这导致硬件利用率降低，从而导致更长的延迟和更高的能量成本。在初步实验证明，稀疏SNNs（约98％的权重稀疏性）的利用率可能仅为约59％。为了缓解工作负载不平衡问题，我们提出了u-Ticket，即在Lottery Ticket Hypothesis（LTH）基于剪枝过程中监控和调整SNN的权重连接，从而在部署到硬件上时保证最终显存的最优利用率。实验表明，与非利用率感知的LTH方法相比，我们的u-Ticket可以保证高达100％的硬件利用率，从而降低高达76.9％的延迟和63.8％的能量消耗。
作者：Ruokai Yin, Youngeun Kim, Yuhang Li, Abhishek Moitra, Nitin Satpute, Anna Hambitzer, Priyadarshini Panda
论文ID：2302.06746
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-02-15