一个脉冲神经网络学习马尔可夫链
摘要：在本文中，我们探讨了脉冲神经网络（SNN）如何学习和修复其内部结构的外部世界动态模型的问题。对于基于模型的强化学习（RL）的实现来说，这个问题非常重要，这是一种现实的强化学习模式，其中SNN做出的决策和根据奖励/惩罚信号对其评估的时间间隔和中间评估-中性世界状态的序列可能相隔相当长的时间。在本研究中，我将世界动态形式化为具有未知先验状态转移概率的马尔可夫链，这些概率应该由网络学习。为了使问题表述更加现实，我在连续时间上解决它，这样马尔可夫链中每个状态的持续时间可能不同且未知。我们演示了如何通过具有特殊设计的结构和局部突触可塑性规则的SNN来完成这个任务。作为例子，我们展示了这个网络模型在一个简单但非平凡的世界中的工作情况，即一个球在一个正方形箱子内移动，并以随机的新方向和速度反弹。
作者：Mikhail Kiselev
论文ID：2209.09572
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-09-21