脉冲神经网络中低精度量化感知训练与可微分量化函数
摘要：深度神经网络在各个领域都被证明是非常有效的工具，但它们的计算和内存成本限制了它们在便携设备上的广泛应用。最近边缘计算设备的快速增长导致人们积极寻求解决机器学习框架的上述限制的技术。人工神经网络（ANNs）的量化，将全精度的突触权重转换为低位版本，成为其中一个解决方案。与此同时，脉冲神经网络（SNNs）由于其时间信息处理能力、能量效率和高生物合理性而成为传统ANNs的有吸引力的替代方法。尽管受到相同的动机驱使，但同时利用这两个概念的研究尚未深入开展。因此，本研究旨在弥合量化神经网络和SNNs在最新进展之间的差距。它展示了一个广泛的研究，研究了在SNNs中利用一组sigmoid函数表示的量化函数的性能。所提出的量化函数在四个流行的基准测试中（CIFAR10-DVS、DVS128 Gesture、N-Caltech101和N-MNIST）上显示出最先进的性能，对于二进制网络，准确度只有轻微的下降，同时节省了高达31倍的内存，超过了现有方法。
作者：Ayan Shymyrbay, Mohammed E. Fouda, and Ahmed Eltawil
论文ID：2305.19295
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-06-01