接近最优的张量方法用于最小化凸函数的梯度范数和加速的原始-对偶张量方法
摘要：基于熵正则化最优输运问题的动机，我们考虑具有线性等式约束的凸优化问题，其中对偶目标具有Lipschitz p阶导数，并开发了两种解决此类问题的方法。第一种方法基于对偶问题中梯度范数的最小化，然后重构近似的原始解。最近，Grapiglia和Nesterov在他们的工作中证明了具有Lipschitz p阶导数的函数梯度范数最小化问题的较低复杂度界限。然而，最佳或接近最佳方法的问题仍然存在，因为本文中提出的算法只能达到次优限界。我们通过提出两种复杂度界限分别为$ilde{O}(varepsilon^{-2(p+1)/(3p+1)})$和$ilde{O}(varepsilon^{-2/(3p+1)})$的接近最优(对数因子)方法来弥合此差距，分别与初始目标残差和起点与解之间的距离有关。然后，我们将这些结果（具有独立的利益）应用于我们的原始对偶设置。作为第二种方法，我们提出了一种直接加速的凸问题原始对偶张量方法，其中对偶目标具有Lipschitz p阶导数。对于这个算法，我们证明了$ilde O (varepsilon^{-1/(p+1)})$的复杂度，根据对偶间隙和约束条件中的残差。我们通过在logistic回归，熵正则化最优输运问题和最小互信息问题中的实验来说明所提算法的实际性能。
作者：Pavel Dvurechensky and Petr Ostroukhov and Alexander Gasnikov and C''esar A. Uribe and Anastasiya Ivanova
论文ID：1912.03381
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-11