自动Spikformer：Spikformer架构搜索
摘要：将自注意机制集成到脉冲神经网络（SNNs）中的研究激发了人们对于先进深度学习的浓厚兴趣，主要原因是其生物学特性。最近在SNN架构方面取得的一些进展，如Spikformer，通过利用脉冲自注意（SSA）和脉冲分块（SPS）模块，展现出了令人期待的结果。然而，我们观察到Spikformer可能存在过多的能源消耗问题，这可能归因于冗余的通道和块。为了缓解这个问题，我们提出了Auto-Spikformer，这是一种一次性Transformer架构搜索（TAS）方法，它自动寻找优化的Spikformer架构。为了促进搜索过程，我们提出了进化型SNN神经元（ESNN）的方法，优化SNN参数，并应用了权重纠缠超网络训练的方法，优化了Vision Transformer（ViT）参数。此外，我们提出了一个同时考虑能源消耗和准确性的平衡适应度函数$mathcal{F}\_{AEB}$，旨在找到平衡这两个目标的帕累托最优组合。我们的实验结果证明了Auto-Spikformer的有效性，它在显著降低能源消耗的同时，优于手动或自动设计的CNN或ViT模型的最新方法。
作者：Kaiwei Che, Zhaokun Zhou, Zhengyu Ma, Wei Fang, Yanqi Chen, Shuaijie Shen, Li Yuan, Yonghong Tian
论文ID：2306.00807
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-06-02