探索统计和深度学习方法在大规模空间数据集中的有效性:案例研究

摘要:大规模和复杂的空间数据集由于高计算和存储成本,提出了巨大的推理挑战。我们的研究受到了KAUST大型空间数据集2023竞赛的启发,该竞赛要求参与者估计空间协方差相关参数,并在测试站点预测值,同时估计不确定性。我们通过交叉验证比较了各种统计和深度学习方法,并最终选择了Vecchia近似技术进行模型拟合。为了克服R软件包GpGp中的限制,该软件包不支持拟合零均值高斯过程和直接估计不确定性—这是竞赛所必需的,我们开发了附加的R函数。此外,我们还实现了基于子采样的近似和参数平滑,用于偏斜采样分布的估计器。我们的DesiBoys团队在四个子竞赛中赢得了两个,验证了我们提出的策略的有效性。此外,我们还将评估扩展到了一个大型真实空间卫星导出数据集上,该数据集涉及总可降水量,在多个诊断下比较了不同模型的预测性能。

作者:Arnab Hazra, Pratik Nag, Rishikesh Yadav, Ying Sun

论文ID:2308.05812

分类:Computation

分类简称:stat.CO

提交时间:2023-08-14

PDF 下载: 英文版 中文版pdf翻译中