有限训练集下的学习动态 II：测试与应用
摘要：应用于分层神经网络中监督学习动力学的通用理论，在训练集大小p与输入数量N成正比的情况下，采用之前一篇论文中开发的理论，针对几种学习规则进行了研究。在Hebbian学习（在线和批处理）的情况下，我们展示了我们的理论在许多不同可验证的情况下，在任何时间点提供精确的结果。对于非Hebbian学习规则，例如Perceptron和AdaTron，我们发现我们的理论预测与数值模拟非常吻合。最后，我们推导了三种近似方案，旨在消除每个时间步骤需要求解泛函鞍点方程的需求，并评估它们的性能。其中最简单的方案导致了一个完全明确且相对简单的非线性扩散方程，用于描述联合场分布的学习动力学在广泛参数范围内已经出奇地好。
作者：A.C.C. Coolen and D. Saad
论文ID：cond-mat/9909428
分类：Disordered Systems and Neural Networks
分类简称：cond-mat.dis-nn
提交时间：2007-05-23