最小二乘支持向量机的大维度分析
摘要:大维度下核最小二乘支持向量机(LS-SVM)的性能分析(基于假设输入数据为二类高斯混合模型);通过在随机矩阵理论上的最新进展上构建,我们展示当数据维度$p$和数据样本数量$n$均较大时,LS-SVM决策函数可以很好地近似为一个服从正态分布的随机变量,其均值和方差明确地依赖于核函数的局部行为;然后将这一理论结果应用于MNIST和Fashion-MNIST数据集,尽管它们不符合高斯性,但表现出了令人信服的相似行为;最重要的是,我们的分析深入理解了SVM类型方法中的机制,特别是对核函数选择的影响以及在分离高维高斯向量方面的一些理论限制。
作者:Zhenyu Liao, Romain Couillet
论文ID:1701.02967
分类:Machine Learning
分类简称:stat.ML
提交时间:2021-03-18