加速递归和方差减少的随机梯度方法：自适应 Barzilai-Borwein 步长
摘要：StochAstic Recursive grAdient algoritHm and Stochastic Variance Reduced Gradient methods的Mini-Batch版本，采用随机Barzilai-Borwein步长（MB-SARAH-RBB和mS2GD-RBB）通过及时的步长序列而获得了显著的结果。在现代适应器和方差减少技术的启发下，我们提出了两个新的变体规则，称为RHBB和RHBB+，从而分别导致了MB-SARAH-RHBB/RHBB+和mS2GD-RHBB/RHBB+。它们在更新中具有积极性，在性能方面表现出鲁棒性，并且在迭代过程中具有自适应性。增强版RHBB+还包括重要性抽样。我们分析了在强凸情况下的灵活收敛结构和复杂性。随后为实际实现提供了全面的调整指导。提供了有关其设计的技术洞察。实验证明，所提出的方法在经常测试的数据集上始终优于原始方法和各种最新方法。对RHBB+的测试验证了在步长水平应用重要性抽样的有效性。众多探索显示了我们迭代适配器的可伸缩性的潜力。
作者：Jiangshan Wang, Yiming Yang, Zheng Peng
论文ID：2307.13930
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-27