资源自适应的分布式学习中的牛顿法
摘要：分布式基于Newton方法的随机优化方法通过利用曲率信息来提高性能，相对于一阶方法具有显著优势。然而，在大规模和异构学习环境中，Newton方法的实际适用性受到了挑战，如与Hessian矩阵相关的高计算和通信成本、子模型多样性、训练过程中的陈旧性和数据异质性等。为了应对这些挑战，本文提出了一种名为RANL的新颖高效算法，通过简单Hessian初始化和自适应的训练区域分配克服了Newton方法的局限性。该算法表现出令人印象深刻的收敛性质，在随机优化的标准假设下进行了严格分析。理论分析证明RANL实现了线性收敛速度，同时有效地适应现有资源并保持高效性。与传统的一阶方法不同，RANL对于问题的条件数具有显著的独立性，并且消除了复杂的参数调整的需求。这些优势使RANL成为分布式随机优化在实际场景中的一种有前景的方法。
作者：Shuzhen Chen, Yuan Yuan, Youming Tao, Zhipeng Cai and Dongxiao Yu
论文ID：2308.10154
分类：Machine Learning
分类简称：cs.LG
提交时间：2023-08-28