共轭梯度法

一: 共轭方向法 共轭方向法是介于最速下降法与牛顿法之间的一个方法, 它仅需利用一阶导数信息, 但克服了最速下降法收敛慢的缺点, 又避免了存储和计算牛顿法所需要的二阶导数信息. 共轭方向法是从研究二次函数的极小化产生的, 但是它可以推广到处理非二次函数的极小化问题. 最典型的共轭方向法是共轭梯度法. 而拟牛顿法也是共轭方向法的一种. 共轭方向的概念是这么定义的: 设\(G\)是\(n \times n\)对称矩阵, \({d_1},{d_2}\)是\(n\)维非零向量, 如果\(d_1^TG{d_2} = 0\), 则称向量\({d_1},{d_2}\)是\(G – \)共轭的. 类似地, 设\({d_1},{d_2},…,{d_m}\)是\({R^n}\)中的任意一组非零向量. 若有\(d_i^TG{d_j} = 0,(i \ne j)\), 则称\({d_1},{d_2},…,{d_m}\)是\(G – \)共轭的. 显然地, 当\(G\)是\(n\)阶单位矩阵时, \(d_i^T{d_j} = 0,(i \ne j)\), 即是正交向量组. 因而共轭概念是正交概念的推广. … 继续阅读