能量为基础的一般顺序情节记忆网络在绝热极限下
摘要：广义关联记忆模型（GAMM）具有常数状态相关能量面，将输出动力学导向固定点，从可以异步预加载的记忆集合中检索单个记忆。我们引入了一个新的广义顺序情景记忆模型（GSEMM），在绝热极限下，展现出时间变化的能量面，导致一系列亚稳态，即顺序情景记忆。动态能量面是通过引入具有信号传播延迟的不对称突触在网络的隐藏层中实现的。我们研究了GSEMM类中的两个记忆模型的理论和实证性质，这两个模型在其激活函数上不同。LISEM在特征层中具有非线性，而DSEM在隐藏层中具有非线性。原则上，DSEM的存储容量随着网络中的神经元数量的增加而呈指数增长。我们引入了一种基于能量最小化原则的突触学习规则，并展示了它可以在线学习单个记忆及其顺序关系。这个规则类似于Hebbian学习算法和时钟相关可塑性（STDP），描述了神经元之间突触变化强度的条件。因此，GSEMM在一个理论框架下结合了情景记忆的静态和动态特性，并架起了神经科学、机器学习和人工智能之间的桥梁。
作者：Arjun Karuvally, Terry J. Sejnowski, Hava T. Siegelmann
论文ID：2212.05563
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-12-13