大规模基于梯度的混合因子分析器训练
摘要：高斯混合模型（GMM）是数据分析中的标准工具。然而，当应用于高维数据（如图像）时，由于所需的完整协方差矩阵（CM）的大小，它们面临问题，而使用对角或球形CM常常会施加过于严重的限制。混合因子分析器（MFA）模型是GMM的一个重要扩展，它允许根据因子载荷的数量$l$在对角线和完整CM之间平滑插值。MFA已成功应用于建模高维图像数据。本文既提供了理论分析，又提供了一种新的高维MFA训练方法，通过随机梯度下降从随机中心初始化开始。这极大地简化了训练和初始化过程，并避免了批处理算法（如期望最大化算法（EM））在大量数据训练时的问题。此外，通过利用矩阵行列式引理的属性，我们证明了MFA的训练和推断/采样可以基于精度矩阵进行，训练完成后不需要矩阵求逆。在训练时，该方法只需要求解大小为$l \times l$的矩阵的逆。除了理论分析和证明，我们还将MFA应用于典型的图像数据集，如SVHN和MNIST，并展示了进行样本生成和异常检测的能力。
作者：Alexander Gepperth
论文ID：2308.13778
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-29