随机梯度下降中模型参数的统计推断
摘要：随机梯度下降（SGD）算法由于其计算和内存效率而被广泛应用于大规模数据的统计估计中。尽管大多数现有研究关注的是目标函数的收敛性或所得解的误差，但我们研究了在种群损失函数是强凸且满足一定平滑性条件的情况下，基于SGD的真实模型参数的统计推断问题。我们的主要贡献有两个。首先，在固定维度设置下，我们提出了两个一致估计器来估计SGD的平均迭代的渐近协方差：（1）插件估计器和（2）批量均值估计器，后者计算效率更高且仅使用了SGD的迭代。这两个估计器都可以构造渐近精确的置信区间和假设检验。其次，对于高维线性回归，利用SGD算法的变体，我们构造了每个回归系数的去偏估计量，该估计量渐近正态。这为计算稀疏回归系数和置信区间提供了一个一次通过的算法，具有计算优势且适用于在线数据。
作者：Xi Chen and Jason D. Lee and Xin T. Tong and Yichen Zhang
论文ID：1610.08637
分类：Machine Learning
分类简称：stat.ML
提交时间：2021-06-24