基于相变存储器的64核混合信号内存计算芯片用于深度神经网络推理
摘要：具有片上空间实例化突触权重的模拟内存计算（AIMC）具有克服硬件实现人工神经网络的能耗低效性的潜力，通过在芯片上存储的网络权重上直接执行矩阵-向量乘法（MVM）来执行推理工作负载。然而，为了实现端到端的延迟和能耗改进，AIMC必须与芯片上的数字操作和通信相结合，以实现完全在芯片上实现整个推理工作负载的配置。此外，高度希望在不对芯片进行应用层重新调谐的情况下实现高MVM和推理准确性。这里，我们提出了一个在14纳米互补金属氧化物半导体（CMOS）技术上设计和制造的多核AIMC芯片，带有后端集成的相变存储器（PCM）。完全集成的芯片具有64个256x256个AIMC核心，通过芯片上的通信网络相互连接。它还实现了与ResNet卷积神经网络和长短期记忆（LSTM）网络相关的数字激活函数和处理。我们在实现片上所有与权重层和激活函数相关的计算的同时，使用ResNet和LSTM网络展示了接近软件等效的推理准确性。该芯片在8位输入/输出矩阵-向量乘法下可实现63.1 TOPS的最大吞吐量，能效为9.76 TOPS/W。
作者：Manuel Le Gallo, Riduan Khaddam-Aljameh, Milos Stanisavljevic, Athanasios Vasilopoulos, Benedikt Kersting, Martino Dazzi, Geethan Karunaratne, Matthias Braendli, Abhairaj Singh, Silvia M. Mueller, Julian Buechel, Xavier Timoneda, Vinay Joshi, Urs Egger, Angelo Garofalo, Anastasios Petropoulos, Theodore Antonakopoulos, Kevin Brew, Samuel Choi, Injo Ok, Timothy Philip, Victor Chan, Claire Silvestre, Ishtiaq Ahsan, Nicole Saulnier, Vijay Narayanan, Pier Andrea Francese, Evangelos Eleftheriou, Abu Sebastian
论文ID：2212.02872
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2022-12-07