广义矩阵分裂算法
摘要：复合函数最小化涵盖了计算机视觉和机器学习中广泛的应用。它包括有约束优化、$ell\_1$范数正则化优化和$ell\_0$范数正则化优化作为特殊情况。本文提出并分析了一种新的广义矩阵分裂算法（GMSA）用于最小化复合函数。它可以看作是文献中用于解线性系统的经典高斯-塞德尔方法和超松弛法的推广。我们的算法是基于一种新颖的三角算子映射导出的，可以使用一种新的广义高斯消元过程来精确计算。我们建立了GMSA在凸问题中的全局收敛性、收敛速度和迭代复杂度。此外，我们还讨论了GMSA的几个重要扩展。最后，我们验证了我们提出的方法在三个具体应用中的性能：非负矩阵分解、$ell\_0$范数正则化稀疏编码和$ell\_1$范数正则化Dantzig选择器问题。大量实验证明我们的方法在效率和效果方面达到了最先进的水平。
作者：Ganzhao Yuan, Wei-Shi Zheng, Li Shen, Bernard Ghanem
论文ID：1806.03165
分类：Numerical Analysis
分类简称：cs.NA
提交时间：2018-06-11