基于电阻性存储器的零样本液态机器用于多模态事件数据学习
摘要：人脑是一个复杂的脉冲神经网络(SNN)，通过推广现有知识以无忽略学习多模态信号。值得注意的是，大脑通过使用在其结构内传播的事件信号，以最小的能量消耗实现这一目标。然而，在类似人脑的神经形态硬件中模仿人脑存在硬件和软件挑战。硬件限制，例如摩尔定律的放缓和冯·诺依曼瓶颈，阻碍了数字计算机的效率。在软件方面，SNN因其难以训练而闻名，尤其是当学习多模态信号时。为了克服这些挑战，我们提出了一种硬件-软件协同设计，将固定和随机液体状态机(LSM) SNN编码器与可训练的人工神经网络(ANN)投影相结合。LSM是通过模拟电阻性记忆器物理实施的，利用电阻性转换的随机性生成随机权重。这种高效和纳米级存储计算方法有效地解决了冯·诺依曼瓶颈和摩尔定律放缓的问题。ANN投影以数字方式实现，可以使用对比损失进行简单优化，有助于克服SNN训练的困难。我们在40纳米的256Kb存储计算宏单元上实验实现了这种协同设计。首先，我们通过对N-MNIST和N-TIDIGITS数据集进行监督分类和线性探测来展示基于LSM的事件编码。
作者：Ning Lin, Shaocong Wang, Yi Li, Bo Wang, Shuhui Shi, Yangu He, Woyu Zhang, Yifei Yu, Yue Zhang, Xiaojuan Qi, Xiaoming Chen, Hao Jiang, Xumeng Zhang, Peng Lin, Xiaoxin Xu, Qi Liu, Zhongrui Wang, Dashan Shang and Ming Liu
论文ID：2307.00771
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2023-07-04