生物启发学习是否比反向传播更好？对生物学习与反向传播进行基准测试
摘要：生物启发式学习最近变得越来越流行，因为反向传播（BP）不被认为是生物上可行的。文献中提出了许多算法，它们都比BP更具生物适应性。然而，除了克服BP的生物不可行性之外，使用生物启发算法的强烈动机仍然缺乏。在这项研究中，我们对比了BP与多种生物启发式算法，以回答是否生物学习相比BP提供了额外的好处。我们对生物算法进行了不同设计选择的测试，例如只访问部分训练数据，训练轮数受资源限制，神经网络参数稀疏化以及添加输入样本的噪声。通过这些实验，我们发现生物算法相对于BP有两个关键优势。首先，当没有提供完整的训练数据集时，生物算法的性能比BP要好得多。在只有20％的训练数据集可用时，五个生物算法中有四个的准确率比BP高达5％。其次，即使提供了完整的数据集，生物算法也比BP学习得更快，在远远较少的训练轮数内收敛到稳定的准确率。特别是，赫布学习仅需5轮就能学习，而BP需要约100轮。这些见解提供了使用生物学习的实际原因，超越了它们的生物合理性，并指出了生物学习未来研究的有趣新方向。
作者：Manas Gupta, Sarthak Ketanbhai Modi, Hang Zhang, Joon Hei Lee, Joo Hwee Lim
论文ID：2212.04614
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-31