线性共轭梯度法的性质
摘要：线性共轭梯度法是解凸二次最小化问题$ \underset{x \in \mathbb{R}^n}{\min} f(x) = \frac{1}{2}x^TAx+b^Tx $的高效迭代方法，其中$ A \in \mathbb{R}^{n \times n} $是对称且正定矩阵， $ b \in \mathbb{R}^n $。人们普遍认为线性共轭梯度法中的梯度$ g_k $与$ A $不共轭（参见Nocedal和Wright的《数值优化》（第2版，Springer，2006）第111页）。在本文中，我们证明了线性共轭梯度法生成的梯度$ g_k $之间的共轭性，即$$ g_k^TA g_i=0; \quad i=0,1,\cdots,k-2.$$ 此外，我们利用搜索方向的共轭性和梯度的正交性来导出线性共轭梯度法，而不是利用搜索方向和精确步长的共轭性。
作者：Zexian Liu, Qiao Li
论文ID：2308.00598
分类：Optimization and Control
分类简称：math.OC
提交时间：2023-08-02