分离数据上Bregman近端点算法和镜像下降的隐式正则化
摘要：Bregman推近点算法的计算属性与学习具有可分离数据的线性分类器相结合，通过证明算法保证算法的正则化。对于使用固定的Bregman散度实例化的任何BPPA，我们提供了与任意选择的范数相关的BPPA获得的边际的下界。所得到的边际下界与最大边际之间相差一个乘性因子，该因子反比于以对偶范数测量的距离生成函数的条件数。我们表明，对条件数的依赖是紧密的，从而证明了散度对所学分类器质量的影响的重要性。然后，我们将我们的发现扩展到了镜像下降，建立了边际与Bregman散度之间的类似联系，并进行了非渐近分析。我们提供了对合成数据集和真实世界数据集的数值实验以支持我们的理论发现。据我们所知，上述发现在算法正则化领域似乎是新的。
作者：Yan Li, Caleb Ju, Ethan X. Fang, Tuo Zhao
论文ID：2108.06808
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-28