基于误差驱动的输入调节：在没有反向传播的情况下解决信用分配问题
摘要：通过反向传播来更新权重，在许多方面上缺乏生物上的可信度，包括权重对称问题、学习依赖于非局部信号、在误差传播过程中神经活动的冻结以及更新锁定问题。已经提出了一些替代的训练方案，包括符号对称、反馈对齐和直接反馈对齐，但它们都依赖于一个阻碍同时解决所有问题的反向传递。在这里，我们建议用第二次前向传递来取代反向传递，其中输入信号根据网络的误差进行调制。我们展示了这种新颖的学习规则全面解决了上述所有问题，并且可以应用于完全连接和卷积模型。我们在MNIST、CIFAR-10和CIFAR-100上测试了这种学习规则。这些结果有助于将生物学原理纳入机器学习中。 《通过前向传递实现全面解决的替代训练方案》
作者：Giorgia Dellaferrera, Gabriel Kreiman
论文ID：2201.11665
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-06-06