RLEKF：具有从头计算精度的深度势能优化器
摘要：加速神经网络力场（如Deep Potential）的训练是至关重要的，通常需要基于第一原理计算的数千张图片，并花费几天时间生成准确的势能曲面。为此，我们提出了一种名为重新组织层扩展卡尔曼滤波（RLEKF）的新型优化器，它是全局扩展卡尔曼滤波（GEKF）的优化版本，采用了将大的层分割和小层重组的策略，以克服GEKF的计算成本为O(N^2)的问题。该策略通过稀疏对角块矩阵近似密集权重误差协方差矩阵来实现。我们在我们的alphaDynamics软件包中实现了RLEKF和基准Adam，并在13个无偏数据集上进行了数值实验。总体而言，RLEKF收敛更快，准确性稍高。例如，对于typical system（bulk copper）的测试结果显示，RLEKF的收敛速度通过训练批次数（缩短了11.67倍）和墙钟时间（缩短了1.19倍）得到提升。此外，我们在理论上证明了权重更新的收敛性，并且能够防止梯度爆炸的问题。实验结果验证了RLEKF对权重的初始化不敏感。RLEKF为其他AI-for-science应用提供了启示，其中训练大型神经网络（具有成千上万个参数）是瓶颈。
作者：Siyu Hu, Wentao Zhang, Qiuchen Sha, Feng Pan, Lin-Wang Wang, Weile Jia, Guangmng Tan, Tong Zhao
论文ID：2212.06989
分类：Computational Physics
分类简称：physics.comp-ph
提交时间：2022-12-15