1. 牛顿法 牛顿法又称为二次函数法或二阶梯度法. 梯度法的缺点是有可能使搜索过程收敛很慢. 因此, 在某些情况下, 它并非是有效的迭代方法. 牛顿法在搜索方向上比梯度法有所改进, 这一方法不仅利用了准则函数在搜索点的梯度, 而且还利用了它的二次导数, 就是说利用了搜索点所能提供的更多信息, 使搜索方向能更好地指向最优点. 牛顿的基本思想是企图一步达到最优点, 即一步达到\(J({\bf{w}})\)的最小值. 仍然考虑\(J({\bf{w}})\)的二阶泰勒展开式 \[J({\bf{w}}){\rm{\dot = }}J({{\bf{w}}_k}) + \nabla {J^{\rm{T}}}({\bf{w}} - {{\bf{w}}_k}) + \frac{1}{2}{({\bf{w}} - {{\bf{w}}_k})^{\rm{T}}}D({\bf{w}} - {{\bf{w}}_k})\] 若令\({\bf{w}} = {{\bf{w}}_{k + 1}}\)得 \[J({{\bf{w}}_{k{\rm{ + }}1}}){\rm{\dot = }}J({{\bf{w}}_k}) + … 继续阅读 →