用随机并行可并行化的脉冲神经元加速SNN训练。
摘要：用于深度学习的脉冲神经网络 (SNN) 能够在使用更少能量的情况下学习时空特征，尤其适用于神经形态计算硬件。在深度学习中最常用的脉冲神经元是泄漏积分与火 (LIF) 神经元。LIF 神经元是按顺序工作的，然而，由于在时间 t 上状态的计算依赖于时间 t-1 上状态的计算，这限制了其训练在图形处理器 (GPU) 上的速度。本文提出了随机并行可化脉冲神经元 (SPSN)，以克服 LIF 神经元的顺序训练限制。通过将线性积分组件与非线性脉冲函数分开，SPSN 能够在时间上并行执行。所提出的方法在 Spiking Heidelberg Digits (SHD) 数据集上的前馈神经网络的性能与最先进的方法相当，并在训练速度上超过 LIF 神经网络 10 倍，并且在具有相同网络结构的非脉冲网络上表现更佳。对于长度为10000个时间步的输入序列，我们展示了所提出的方法能够实现4000倍的加速训练，从而展示了该方法在加速用于大型数据集的 SNN 训练方面的潜力。
作者：Sidi Yaya Arnaud Yarga, Sean U. N. Wood
论文ID：2306.12666
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-08-08