理解二进制权重感知器的计算难度及输入稀疏性的优势
摘要：有限的突触权重精度是神经网络的生物学和硬件实现的关键方面。在学习过程中分配低精度的权重是一个非平凡的任务，但可以通过使用稀疏编码来表示待学习的项目来获益。然而，由于低权重精度而产生的计算困难和稀疏编码的优势尚未完全理解。在本文中，我们研究了一个感知器模型，它使用二进制（0或1）权重将二进制（0或1）输入模式与输出相关联，模拟单个神经元接收兴奋性输入。我们考虑了一种减少过程，在每个时间步，评估未固定权重的边际概率，然后将最极化的权重固定为其优选值。我们证明了减少是一种逼近权重配置空间中密集解区域的过程。在解决二进制权重感知器的两种高效算法（SBPI和rBP）中，大部分时间步骤用于确定减少中固定的权重的值。这种算法困难点可能来自于解决子空间中后期减少固定权重之间的强交叉相关性，在这个子空间中，早期减少固定权重采用其固定值，并且与减少过程中该子空间中的解决浓缩相关。输入稀疏性通过减少减少中固定权重之间的交叉相关性，从而减少了SBPI和rBP需要找到解决方案的时间步骤，用于为后期减少固定权重分配值。我们的工作表明，约束满足问题的计算困难源于后期减少固定变量的子空间。我们的工作强调了权重学习动态的异质性，这可以帮助理解大脑发育中的轴突修剪，并启发更高效的算法来训练人工神经网络。
作者：Zedong Bi and Changsong Zhou
论文ID：1901.10856
分类：Disordered Systems and Neural Networks
分类简称：cond-mat.dis-nn
提交时间：2020-07-13