提升基于数据驱动的镜像下降算法的随机化、等变性和加速度
摘要：学习优化（Learning-to-optimize，L2O）是数据科学应用中大规模优化的一个新兴研究领域。最近，研究人员提出了一种基于传统镜像下降（mirror descent，MD）算法的可学习镜像下降（learned mirror descent，LMD）框架，通过输入凸神经网络参数化学习镜像映射。 LMD方法已经被证明可以显著加速凸求解器，并继承传统MD算法的收敛性质。尽管在小/中规模优化问题上取得了初步的成功，展示了该框架的潜力，但使该方案可扩展和实用于高维问题仍有很长的路要走。在这项工作中，我们提供了LMD算法的几个实际扩展。首先，我们提出了加速和随机变体的LMD，利用经典的基于动量的加速和随机优化技术来改善收敛速度和每次迭代的复杂度。此外，针对神经网络训练的特定应用，我们推导并提出了一种新颖有效的镜像势参数化方法，利用训练问题的等变结构来显著减少底层问题的维度。我们在标准假设下提供了我们方案的理论收敛保证，并在各种计算成像和机器学习应用中展示了它们的有效性，如图像修复和SVM训练。
作者：Hong Ye Tan, Subhadip Mukherjee, Junqi Tang, Carola-Bibiane Sch"onlieb
论文ID：2308.05045
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-10