用于训练高性能和高效的脉冲神经网络的门控注意编码
摘要：混合式神经元网络(SNNs)作为一种节能的替代传统人工神经网络(ANNs)的方法而出现，因为它们具有独特的基于脉冲的事件驱动性质。编码在SNNs中至关重要，因为它将外部输入刺激转化为时空特征序列。然而，大多数现有的深度SNNs依赖于直接编码，生成无效的脉冲表示，并缺乏与人类视觉固有的时间动态。因此，我们引入了Gated Attention Coding (GAC)，这是一个即插即用的模块，利用多维门控注意力单元将输入高效地编码为强大的表示，然后将其输入SNN架构。GAC作为一个预处理层，不会破坏SNN的脉冲驱动特性，因此能够在最小的修改下进行高效的神经形态硬件实现。通过一个观察者模型理论分析，我们证明了GAC的注意机制改善了时间动态和编码效率。在CIFAR10/100和ImageNet数据集上的实验表明，GAC以显著的效率达到了最先进的准确性。值得注意的是，我们在CIFAR100上将top-1准确率提高了3.10%，仅使用了6个时间步长，在ImageNet上提高了1.07%，同时将能量使用降低到了先前工作的66.9%。据我们所知，这是首次在深度SNNs中探索基于注意力的动态编码方案，在大规模数据集上以杰出的效果和效率。
作者：Xuerui Qiu, Rui-Jie Zhu, Yuhong Chou, Zhaorui Wang, Liang-jian Deng, Guoqi Li
论文ID：2308.06582
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-08-15