Celer:具有双重外推的Lasso快速求解器
摘要:凸稀疏诱导正则化在高维机器学习中广泛存在,但解决相关的优化问题可能很慢。为了加速求解器,最先进的方法是减小所面临的优化问题的规模。在回归的背景下,可以通过丢弃无关的特征(筛选技术)或优先考虑可能包含在解的支持中的特征(工作集技术)来实现。在这些技术中,对偶性在几个步骤中起到了作用。在这里,我们提出了一种从对偶中的一系列迭代开始的外推技术,可以导致改进的对偶点的构建。这使得在停止准则中使用优化性的控制更加紧密,以及Gap Safe规则更好的筛选性能。最后,我们提出了一种基于大规模安全筛选规则的工作集策略。凭借我们新的对偶点构建方法,我们在多个实际问题上展示了显著的计算加速。
作者:Mathurin Massias and Alexandre Gramfort and Joseph Salmon
论文ID:1802.07481
分类:Machine Learning
分类简称:stat.ML
提交时间:2018-06-07