背景感知学习用于生成模型
摘要：通过将生成模型与嵌入上下文相关变量的算法扩展相结合，本研究研究了学习伴随信息的算法类别。以有限混合模型（FMM）作为典型的贝叶斯网络，我们表明通过期望最大化（EM）的最大似然估计（MLE）参数在无监督情况下改进，并且可以接近监督学习的性能，尽管没有明确的地面实况数据标记。通过直接应用缺失信息原理（MIP），证明算法的性能在根据上下文辅助提供的信息内容比例上在传统监督和无监督MLE极端之间变化。获得的好处包括更高的估计精度，更小的标准误差，更快的收敛速度以及在各种情况下显示出的改进的分类准确性或回归适应性，同时还突出了所述情景之间的重要属性和差异。通过使用三个应用高斯混合模型的真实世界无监督分类场景来展示适用性。重要的是，我们通过推导等效的上下文感知变分自动编码器（VAs）算法，展示了这种方法的自然扩展到任何类型的生成模型，从而扩大了在无监督深度学习和人工神经网络领域的适用范围。后者与利用伴随信息的神经符号算法进行对比。
作者：Serafeim Perdikis and Robert Leeb and Ricardo Chavarriaga and Jos''e del R. Mill''an
论文ID：1507.08272
分类：Machine Learning
分类简称：stat.ML
提交时间：2020-08-17