蒙面尖峰变压器
摘要：Spiking Neural Networks（SNNs）与Transformer的结合引起了广泛关注，因为它们具有高能效和高性能的潜力。然而，目前关于该主题的现有研究通常依赖于直接训练，这可能导致性能不理想。为了解决这个问题，我们提出利用ANN-to-SNN转换方法的优势结合SNNs和Transformer，从而在现有最先进的SNN模型上显著提高性能。此外，受到观察到的神经系统中量子突触故障的启发，该现象减少了通过突触传递的脉冲数，我们引入了一种新的Masked Spiking Transformer（MST）框架，该框架结合了Random Spike Masking（RSM）方法，以剪枝冗余脉冲并减少能耗而不降低性能。我们的实验结果表明，当掩码比率为75％时，所提出的MST模型的功耗减少了26.8％，同时保持与未掩码模型相同的性能水平。
作者：Ziqing Wang, Yuetong Fang, Jiahang Cao, Qiang Zhang, Zhongrui Wang, Renjing Xu
论文ID：2210.01208
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-07-18