基于Wasserstein度量的分布鲁棒优化用于回归模型的强健学习算法
摘要：分布鲁棒优化(Distributionally Robust Optimization, DRO)方法用于在线性回归设置中估计具有鲁棒性的回归平面，当观测样本可能受到对手性的污染异常值的影响时。我们的方法通过对观测数据的一族分布进行对冲来减轻异常值的影响，其中一些分布给异常值分配了非常低的概率。所考虑的分布集合与Wasserstein度量意义下的经验分布接近。我们表明，这种DRO公式可以松弛为一个包含一类模型的凸优化问题。通过为Wasserstein度量选择适当的范数空间，我们能够恢复出几种常用的正则化回归模型。我们对正则化项提供了新的认识，并从置信区间的角度提供了正则化系数的选择指导。在温和的条件下，我们建立了解决我们公式的两种性能保证。一种与其样外行为(预测偏差)相关，另一种与估计和真实回归平面之间的差异(估计偏差)相关。广泛的数值结果表明，我们的方法在预测和估计准确性方面优于许多回归模型。我们还考虑了我们的鲁棒学习过程在异常检测中的应用，并表明我们的方法在AUC（ROC曲线下的面积）方面比M-估计获得了更高的值。
作者：Ruidi Chen and Ioannis Ch. Paschalidis
论文ID：1706.02412
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-05-14