稀疏广义特征值问题：通过截断瑞利流实现最优统计速率
摘要：稀疏广义特征值问题在大量高维统计模型中起着重要作用，包括稀疏Fisher判别分析、规范相关分析和足够维度降低。稀疏广义特征值问题涉及求解一个非凸优化问题。现有的大多数方法和理论在特定统计模型的上下文中，需要对输入矩阵进行严格的结构性假设。在本文中，我们提出了一个两阶段的计算框架来解决稀疏广义特征值问题。在第一阶段，我们解决了稀疏广义特征值问题的一个凸松弛问题。将该解作为初始值，我们利用一个非凸优化视角，提出了截断中兴流法（Rifle）来估计主要广义特征向量。我们证明了Rifle在许多统计模型中以最优统计收敛率线性收敛到解。在理论上，我们的方法通过消除两个阶段输入矩阵的结构性假设，从而显著改进了现有文献。为了实现这一目标，我们的分析涉及两个关键要素：(i)对非凸目标函数的梯度方法的新分析，以及(ii)沿解路径的稀疏模式演化的精细刻画。通过彻底的数值研究验证了理论结果。
作者：Kean Ming Tan, Zhaoran Wang, Han Liu, Tong Zhang
论文ID：1604.08697
分类：Machine Learning
分类简称：stat.ML
提交时间：2018-09-05