通过蒙特卡罗边缘化学习分布
摘要：使用参数分布模型，例如高斯混合模型（GMM），来近似难以处理的分布，通过最小化KL散度来学习难以处理的分布。基于这一思想，需要解决两个挑战。首先，当分布的维数增加时，KL散度的计算复杂度是无法接受的。我们提出了蒙特卡洛边际化（MCMarg）来应对这个问题。第二个挑战是优化过程的可微性，因为目标分布是无法处理的。我们通过使用核密度估计（KDE）来解决这个问题。所提出的方法是学习复杂分布的强大工具，整个过程是可微的。因此，它可以更好地替代变分自动编码器（VAE）中的变分推断。我们方法的一个强有力的证据是，通过所提出的方法学习到的分布可以生成比基于预训练VAE的解码器更好的图像。基于这一点，我们设计了一个分布学习自动编码器，在相同的网络架构下比VAE表现更好。在标准数据集和合成数据上的实验证明了所提出方法的效率。
作者：Chenqiu Zhao, Guanfang Dong, Anup Basu
论文ID：2308.06352
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-15