线性回归中组套索和稀疏组套索的精确分块优化
摘要：组 Lasso 是一种受罚回归方法，用于回归问题，其中协变量被分为组，以促进群组层面的稀疏性。现有的找到组 Lasso 估计器的方法要么使用梯度投影方法，在每个步骤中同时更新整个系数向量，要么使用不精确的线搜索，一次只更新一个组的系数，以近似其他所有组的系数固定时该组系数的最优值。我们提出了一种新的计算方法，用于线性回归情况下的组 Lasso，即单行搜索算法（SLS），该算法通过进行一次一元线搜索来计算每个组的精确最优值（当固定所有其他系数时）。我们进行了模拟实验，证明 SLS 算法通常比现有的计算方法更有效。我们还通过签署单行搜索（SSLS）算法将 SLS 算法扩展到稀疏组 Lasso 问题，并给出了支持这两种算法的理论结果。
作者：Rina Foygel and Mathias Drton
论文ID：1010.3320
分类：Machine Learning
分类简称：stat.ML
提交时间：2010-11-12