递归神经网络中的对齐和倾斜动态
摘要：网络动态和网络的输出如何从几何角度相关的问题。我们发现RNN可以以两种方式运行：动态要么与生成输出变量的方向对齐，要么与其垂直。我们发现读出权重的大小可以作为两种方式之间的控制旋钮。重要的是，这些方式在功能上是不同的。垂直网络更加异质，并且可以抑制输出方向上的噪声。它们对输出方向上的扰动也更加稳健。最后，我们证明了这两种方式可以在神经记录中解离出来。总的来说，我们的结果为通过关联网络动态和网络输出来解释神经活动提供了新的视角。
作者：Friedrich Schuessler, Francesca Mastrogiuseppe, Srdjan Ostojic, Omri Barak
论文ID：2307.07654
分类：Neurons and Cognition
分类简称：q-bio.NC
提交时间：2023-07-18