基于鲁棒散度的变分推断
摘要： 稳健性是现实世界中机器学习应用的核心问题。虽然将模型替换为重尾模型（例如，从高斯到学生t分布）是一种常用的鲁棒化方法，但只能应用于简单模型。本文基于Zellner的最优化和贝叶斯推断的变分表达，在数据拟合中用鲁棒的beta-和gamma-差异替代了用于数据拟合的Kullback-Leibler差异，提出了一种鲁棒的拟Bayesian变分方法。我们方法的优点是即使是复杂的模型，如深度网络，也可以处理。我们在理论上证明，对于带有ReLU激活函数的深度网络，我们所提出的方法中的“影响函数”是有界的，而在普通的变分推断中它是无界的。这意味着我们所提出的方法对于输入和输出的异常值都是稳健的，而普通的变分方法则不是。我们通过实验证明，我们的稳健的变分方法在深度网络的回归和分类问题中优于普通的变分推断。
作者：Futoshi Futami, Issei Sato and Masashi Sugiyama
论文ID：1710.06595
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-03-01