无约束二次惩罚凸优化的算法
摘要：一种名为“带内存的拟二次最小化”（QQMM）的下降算法被提出，用于非约束最小化一个非负凸函数V和一个二次形式的和F。这类问题在机器学习和统计学中的正则化估计中经常出现。除了F的值，QQMM需要V的（次）梯度。QQMM具有两个特点，可帮助减少对目标函数的评估次数。首先，QQMM提供了对迭代搜索停止的良好控制。这一特点使得QQMM非常适合统计问题，因为在这类问题中，目标函数是基于随机数据，因此提前停止是合理的。其次，QQMM使用一种复杂的方法来确定F的试探最小值。在描述问题和算法之后，描述了一个模拟研究，将QQMM与流行的BFGS优化算法进行了比较。模拟研究和其他实验表明，在其设计的问题域中，QQMM通常比BFGS快得多。QQMM-BFGS混合算法一般比BFGS快得多，但在QQMM非常慢时，比QQMM更好。
作者：Steven P. Ellis
论文ID：0811.2843
分类：Computation
分类简称：stat.CO
提交时间：2008-11-19