稀疏最优评分和判别分析的近端方法
摘要：稀疏线性判别分析 (LDA) 是一种经典的降维方法，它寻求判别向量以将数据投影到一个更低维的空间中，以实现类别的最佳可分性。最近的几篇论文已经概述了在高维数据中利用稀疏性进行LDA的策略。然而，许多缺乏可扩展的方法来解决潜在的优化问题。我们提出了三种新的数值优化方案，用于解决基于块坐标下降、近端梯度法和交替方向乘子方法的稀疏最优得分LDA公式。我们证明，这些方法的每次迭代成本与数据维度成线性比例，前提是使用了限制正则化项，而在最坏情况下，成本与数据维度成立方比例。此外，我们证明，如果我们的块坐标下降框架产生收敛的迭代子列，则这些子列将收敛于稀疏最优得分问题的稳定点。我们通过对高斯数据和来自基准库的数据集进行分类的实证结果，展示了我们新方法的有效性，并且提供了我们优化方案的Matlab和R实现。
作者：Summer Atkins, Gudmundur Einarsson, Brendan Ames, Line Clemmensen
论文ID：1705.07194
分类：Computation
分类简称：stat.CO
提交时间：2022-03-04