分布式估计与推断的大规模网络空间自回归模型
摘要：在线网络平台的快速增长产生了大规模的网络数据，并对使用空间自回归（SAR）模型进行统计分析提出了巨大挑战。在这项工作中，我们开发了一个新颖的分布式估计和统计推断框架，用于在分布式系统中的SAR模型。首先，我们提出了一种分布式网络最小二乘逼近（DNLSA）方法。这使我们能够通过对每个工作节点上的局部估计器进行加权平均来获得一步估计器。然后，设计了一个精细的两步估计方法来进一步减小估计偏差。对于统计推断，我们利用随机投影方法来减少昂贵的通信成本。从理论上讲，我们证明了一步和两步估计器的一致性和渐进正态性。此外，我们提供了分布式统计推断程序的理论保证。通过在Spark系统上进行的几个数值模拟验证了理论发现和计算优势。最后，对Yelp数据集进行的实验证明了所提出的方法的实用性。
作者：Yimeng Ren, Zhe Li, Xuening Zhu, Yuan Gao, Hansheng Wang
论文ID：2210.16634
分类：Computation
分类简称：stat.CO
提交时间：2023-08-29