高维数据秩的可扩展估计方法
摘要：通过寻找一个信号丰富且低维的表示形式，是有效分析高维数据的一个重要挑战。对于线性子空间，通常通过将设计矩阵（通过特征值或奇异值分解）分解为正交分量，并保留那些具有足够变化的分量来实现这一目标。这相当于估计矩阵的秩，并且通常使用启发式或凭经验的方法来决定保留哪些分量，例如绘制特征值的递减序列，并寻找图上的“拐点”。尽管这些方法已被证明是有效的，但若拐点位置校准不良或估计错误，可能导致低维表示中的噪声过多或信号不足，从而使得后续建模变得困难。在本文中，我们提出了一种潜空间构建过程，通过保留其变化显著大于随机矩阵（其特征值遵循马尔钦科-帕斯图尔分布）的分量，来估计一个矩阵可检测信号空间的秩。
作者：Wenlan Zang, Jen-hwa Chu and Michael J. Kane
论文ID：2107.14426
分类：Computation
分类简称：stat.CO
提交时间：2021-08-02