正则化最小二乘线性时间特征选择
摘要：一种新颖的贪婪前向特征选择算法的提出，用于正则化最小二乘（RLS）回归和分类，也被称为最小二乘支持向量机或岭回归。该算法被称为贪婪RLS，从空的特征集开始，在每次迭代中添加提供最佳留一出交叉验证性能的特征。我们的方法比先前提出的方法要快得多，因为它的时间复杂度与训练样本的数量、原始数据集中的特征数量以及所选特征集的期望大小成线性关系。因此，作为副作用，我们获得了一种新的用于大规模学习的学习稀疏线性RLS预测器的训练算法。这种速度是通过基于矩阵微积分的留一法和特征添加的快捷方式实现的。我们通过实验证明了我们算法的可伸缩性和找到高质量特征集的能力。
作者：Tapio Pahikkala and Antti Airola and Tapio Salakoski
论文ID：1003.3570
分类：Machine Learning
分类简称：stat.ML
提交时间：2010-03-19