BCIM：基于内存计算的二进制神经网络的高效实现
摘要：二进制神经网络（BNNs）的应用对于具有计算能力严格限制的嵌入式系统具有很大潜力。与浮点数数据类型的传统神经网络不同，BNNs使用二进制化的权重和激活值，从而进一步减少了存储需求。开发中的非易失性存储器器件——电阻器，显示出作为BNNs目标实现平台的巨大潜力，因为它可以集成存储和计算单元。能源和性能的改进主要归因于以下几个方面：1）加速BNNs的主要内核——矩阵-矩阵乘法；2）减少冯·诺依曼架构中的内存瓶颈；3）引入大规模并行化。然而，该硬件的效率高度依赖于网络在这些设备上的映射和执行方式。在本文中，我们提出了一种高效实现基于XNOR的BNN的方法，以最大程度地实现并行化，并使用简单的感知方案生成激活值。此外，引入了一种新的映射方法，以最小化映射到不同电阻器交叉栅中的卷积层之间的数据通信开销。该方法经过了大量的分析和基于模拟的分析，评估了不同设计选择对网络精度的影响。结果显示，与最先进的内存硬件设计相比，我们的方法在节能方面最多可达到10倍的节能，并且延迟性能提高了100倍。
作者：Mahdi Zahedi, Taha Shahroodi, Stephan Wong, Said Hamdioui
论文ID：2211.06261
分类：Emerging Technologies
分类简称：cs.ET
提交时间：2022-11-14