鞍点问题的高效对称原始-对偶算法框架
摘要：面向图像处理和机器学习中经常出现的一类凸凹鞍点问题，本文提出了一个新的原双对偶算法框架。我们的算法框架在计算对偶变量的两次计算之间更新原变量，从而呈现出对称的迭代方案，因此被称为{f s}ymmetric {f p}r{f i}mal-{f d}ual {f a}lgorithm (SPIDA)。值得注意的是，我们的SPIDA的子问题中具备了Bregman近端正则化项，这使得SPIDA具有多功能性，其算法框架涵盖了一些现有算法，如经典的增广拉格朗日法(ALM)、线性化的ALM和雅可比分解算法等线性约束优化问题的算法。此外，我们的算法框架还允许我们得到一些定制版本，使得SPIDA能够在结构化优化问题中发挥尽可能高效的作用。理论上，在一些温和的条件下，我们证明了SPIDA的全局收敛性，并在由Bregman距离定义的广义误差界条件下估计了线性收敛速度。最后，对矩阵博弈、基追踪、鲁棒主成分分析和图像恢复等一系列数值实验证明了我们的SPIDA在合成和真实数据集上的良好表现。
作者：Hongjin He and Kai Wang and Jintao Yu
论文ID：2212.07587
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-07-26