MAD-Bayes：基于MAP的来自Bayes的渐近推导
摘要：高斯混合模型通过小方差渐近理论与K-means相关联：随着高斯分布的方差趋近于零，高斯混合模型的负对数似然逼近K-means的目标函数，EM算法逼近K-means算法。Kulis和Jordan（2012）利用该观察结果从狄利克雷过程（DP）混合的吉布斯采样器中得到了一种新的类似K-means的算法。相反，我们考虑直接将小方差渐近理论应用于贝叶斯非参数模型的后验概率中。该框架不依赖于任何具体的贝叶斯推断算法，其主要优点是能够立即推广到超越DP混合模型的一系列模型。为了说明这一点，我们将该框架应用于特征学习设置中，其中beta过程和印度自助餐过程提供了适当的贝叶斯非参数先验。我们得到了一个超越聚类的新的目标函数，用于学习（和惩罚新的）分组，放松了互斥性和穷尽性的假设。我们展示了几种其他的算法，所有这些算法都可扩展且易于实现。实证结果证明了新框架的优势。
作者：Tamara Broderick, Brian Kulis, Michael I. Jordan
论文ID：1212.2126
分类：Machine Learning
分类简称：stat.ML
提交时间：2013-02-19