水库的复杂拓扑特征塑造了生物启发式循环神经网络中的学习表现
摘要：非线性动力学系统与深度神经网络的物理背后机制有广泛的联系，二者都涉及多个单元之间的相互作用。这项工作提出了一种新的方法来研究这种联系，将深度学习中经典的长短期记忆网络与物理动力学系统中的非线性动力学系统相结合。具体来说，我们将深度网络的LSTM单元与一种常见的非线性动力学系统，即Lorentz系统进行了耦合。我们发现，这种耦合能够有效地改善深度网络的学习性能，进一步揭示了两者之间的联系。通过对不同任务的性能进行广泛的测试，我们提出了一种LSTM-Lorentz耦合模型，以更好地理解这种联系，并证明其在实践中的可行性。我们的研究结果表明，将物理动力学系统与深度网络结合起来可以产生更强大的学习能力，为未来的神经网络设计提供了新的思路。
作者：Valeria d'Andrea (1), Michele Puppin (2), Manlio De Domenico (2) ((1) Fondazione Bruno Kessler, Via Sommarive 18, 38123 Povo (TN), Italy, (2) Dipartimento di Fisica e Astronomia "Galileo Galilei", Universit`a di Padova, Via Marzolo 8, 35131 Padova, Italy)
论文ID：2211.00161
分类：Disordered Systems and Neural Networks
分类简称：cond-mat.dis-nn
提交时间：2022-11-02