神经算术逻辑模块初探
摘要：神经算术逻辑模块作为一种新兴领域，越来越受到关注，尽管仍然是一个小众领域。这些模块是神经网络，旨在实现在学习算术和/或逻辑运算（如${+}, {−}, {\times}, {\div}, {\leq}, {\operatorname{AND}}$等）中进行系统化的泛化，并保持可解释性。本文首次讨论了该领域目前的进展情况，并解释了关键的工作，从神经算术逻辑单元（NALU）开始。重点关注NALU的不足之处，我们提供了深入的分析，以推理最新模块的设计选择。我们在实验设置和结果上进行了模块之间的交叉比较，其中我们强调了一项基础实验中的不一致性，导致无法直接在论文之间进行比较。为了减少现有的不一致性，我们创建了一个基准测试，比较了所有现有的算术NALM。最后，我们提供了关于NALU的现有应用和需要进一步探索的研究方向的新颖讨论。
作者：Bhumika Mistry, Katayoun Farrahi and Jonathon Hare
论文ID：2101.09530
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2022-08-09