识别循环神经网络（rRNN）：用于循环神经网络的贝叶斯推断
摘要：递归神经网络(RNN)被广泛应用于计算神经科学和机器学习应用中。在RNN中，每个神经元计算其输出作为其综合输入的非线性函数。虽然RNN的重要性，尤其是作为大脑处理模型的重要性是无可争议的，但也广为认可标准RNN模型中的计算可能是对真实神经网络计算的过度简化。在这里，我们提出通过将贝叶斯推理技术与非线性动力系统融合，可以使RNN方法在神经生物学上更可信，并且在计算上更强大。在这个方案中，我们将RNN用作环境引起的动态输入（例如语音或运动学）的生成模型。给定这个生成RNN模型，我们得出贝叶斯更新方程，可以解码其输出。至关重要的是，这些更新定义了一个‘辨别性RNN’(rRNN)，其中神经元计算和交换预测和预测误差消息。rRNN具有一些常规RNN没有的可取特征，例如对动态刺激的快速解码，对初始条件和噪声的鲁棒性。此外，它实现了一种预测编码方案用于动态输入。我们认为递归神经网络的贝叶斯反演可能既有助于作为大脑功能模型，又有助于作为机器学习工具。我们通过一个应用示例来说明rRNN的使用，该应用是对人体运动学的在线解码(即识别)。
作者：Sebastian Bitzer and Stefan J. Kiebel
论文ID：1201.4339
分类：Neurons and Cognition
分类简称：q-bio.NC
提交时间：2012-07-10