限制玻尔兹曼机在固有低维数据上的精确训练
摘要：限制玻尔兹曼机是一种基本的机器学习工具，原则上能够模拟任意数据集的分布。然而，其标准训练过程在许多方面都显得棘手和晦涩。通过考虑数据具有低内在维度的情况，我们为此带来了一些新的见解，为其提供了精确处理的可能性，并揭示了标准训练过程的根本失败。通过考虑模型的库仑相互作用重整化，我们澄清了这种失败的原因，比如训练过程中出现一阶相变。此外，通过对原始优化问题的凸松弛，得到了一个唯一的解，通过对$d=1,2$的研究案例进行了精确的数值形式，而基于信息理论的论证可以推断出对应的约束线性回归解。
作者：Aur''elien Decelle, Cyril Furtlehner
论文ID：2103.10755
分类：Disordered Systems and Neural Networks
分类简称：cond-mat.dis-nn
提交时间：2021-11-18