生物启发的振荡激活函数可弥合生物和人工神经元之间的性能差距
摘要：人类新皮层金字塔形神经元的发现揭示了生物神经元与人工神经元之间显著的性能差距。这些金字塔形神经元的输出先随输入增加到一个最大值，然后再逐渐减小。具有类似特性的人工神经元可以设计成具有振荡激活函数。振荡激活函数具有多个零点，使单个神经元能够在决策边界上拥有多个超平面。这使得即使是单个神经元也能够学习XOR函数。本文提出了四种新的受人类金字塔形神经元灵感启发的振荡激活函数，它们也能够单独学习XOR函数。与流行的激活函数相比，振荡激活函数对于所有输入都是非饱和的，导致了改善的梯度流动和更快的收敛速度。使用振荡激活函数而不是流行的单调或非单调单零点激活函数能够使神经网络训练更快，并且用更少的层解决分类问题。本文在CIFAR 10、CIFAR 100和Imagentte基准测试上对23种激活函数进行了广泛比较，结果显示本文提出的振荡激活函数胜过所有已知的流行激活函数。
作者：Matthew Mithra Noel, Shubham Bharadwaj, Venkataraman Muthiah-Nakarajan, Praneet Dutta, Geraldine Bessie Amali
论文ID：2111.04020
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-05-11