深度信念网络和受限玻尔兹曼机的通用近似结果改进
摘要：对于Restricted Boltzmann Machines （RBM）和 Deep Belief Networks（DBN）所需的资源，我们改进了最近发表的结果，使它们能够成为通用逼近器。我们展示了对于长度为n的二进制向量集合上的任何分布p，都可以通过具有k-1个隐藏单元的RBM来任意好地逼近，其中k是只有一个条目不同的二进制向量对的最小数量，它们的并集包含p的支持集。在重要情况下，这个数量是p的支持集的基数的一半。我们构造了一个具有宽度为n的隐藏层的DBN，可以任意好地逼近{0,1}^n上的任何分布，其中2^n/2(n-b), b ~ log(n)。这证实了2010年Le Roux 和 Bengio提出的一个猜想。
作者：Guido Montufar and Nihat Ay
论文ID：1005.1593
分类：Machine Learning
分类简称：stat.ML
提交时间：2010-07-27