随机优化在非凸且非光滑问题中的稳定性和泛化性
摘要：随机优化在机器学习中的应用非常广泛，这促使很多理论研究来理解其实际的成功。大部分现有的研究都集中在优化误差的收敛上，而随机优化的泛化分析则远远滞后。特别是对于在实践中经常遇到的非凸和非光滑问题来说更是如此。在本文中，我们开始对非凸和非光滑问题的随机优化进行系统的稳定性和泛化分析。我们引入了新颖的算法稳定性度量，并建立了它们与群体梯度和经验梯度之间的定量联系，进一步研究了经验风险和总体风险的Moreau包络之间的差距。据我们所知，这些稳定性和泛化之间的定量联系在梯度或Moreau包络方面在文献中尚未研究。我们引入了一类由采样确定的算法，并为三个稳定性度量开发了界限。最后，我们将这些讨论应用于导出随机梯度下降及其自适应变种的误差界，展示了如何通过调整步长和迭代次数来实现隐式正则化。
作者：Yunwen Lei
论文ID：2206.07082
分类：Artificial Intelligence
分类简称：cs.AI
提交时间：2023-07-19