扩展与聚类：神经网络的精确参数恢复
摘要：通过探测人工神经网络（ANN）的输入-输出映射，我们可以恢复隐藏的参数吗？我们提出了一种系统方法，称为“扩展和聚类”，只需要隐藏层数和被探测ANN的激活函数，就可以识别出所有网络参数。在扩展阶段，我们使用被探测的ANN的数据作为教师，训练一系列逐渐增大规模的网络。当给定规模的网络达到一致的最小损失时，扩展停止。在聚类阶段，扩展后的学生网络的权重向量进行聚类，以结构化方式剪枝多余的神经元。我们发现，超参数化的四倍足以可靠地识别出最小的神经元数量，并在难度不同的150个玩具问题的家族中以80％的准确率检索到原始的网络参数。此外，用MNIST数据训练的浅层和深层教师网络的神经元数量可以以小于5％的开销进行识别。因此，尽管由于高度非凸的损失函数，直接以与教师网络相同大小的学生网络进行训练实际上是不可能的，但是使用轻微的超参数化进行训练，然后进行聚类和结构化剪枝可以正确识别目标网络。
作者：Flavio Martinelli, Berfin Simsek, Johanni Brea and Wulfram Gerstner
论文ID：2304.12794
分类：Neural and Evolutionary Computing
分类简称：cs.NE
提交时间：2023-05-31