变分贝叶斯神经网络中的剪枝过度
摘要：可变推理在神经网络中的动机与潜变量模型中的动机存在显著差异，这产生了一个令人难以理解的后果；更加表达丰富的变分近似可能导致预测显著更差，相比之下，表达更少的近似则不然。在这项工作中，我们做出了两个贡献。首先，我们确定了这种性能差异的原因，即变分过度剪枝。其次，我们提出了一个有理论基础的解释来解释这一现象。我们的观点揭示了几个相关的发表结果，并为有效设计神经网络的变分近似提供了直观理解。
作者：Brian Trippe and Richard Turner
论文ID：1801.06230
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-01-22