递归脉冲神经网络的连接性演化
摘要：发展性脉冲神经网络（RSNN）具有推动人工通用智能的巨大潜力，因为它们从生物神经系统中汲取灵感，并在建模复杂动力学方面显示出前景。然而，RSNN的广泛使用的基于替代梯度的训练方法本质上是不准确且对神经形态硬件不友好的。为了解决这些限制，我们提出了增长连通性（EC）框架，这是一种仅用于训练RSNN的推断方法。EC框架将权重调整重新构造为对参数化连接概率分布的搜索，并采用自然进化策略（NES）来优化这些分布。我们的EC框架避免了对梯度的需求，并具有硬件友好的特性，包括稀疏布尔连接和高可伸缩性。我们在一系列标准机器人运动任务上评估了EC，其中它实现了与深度神经网络相当的性能，并且优于梯度训练的RSNN，甚至解决了复杂的17-DoF人形任务。此外，与直接演化参数相比，EC框架在效率方面表现出两到三倍的加速。通过提供一个高性能且对硬件友好的替代方案，EC框架为RSNN的进一步高能效应用奠定了基础，推动了神经形态设备的发展。
作者：Guan Wang, Yuhao Sun, Sijie Cheng, Sen Song
论文ID：2305.17650
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-05-30