牛顿法在SVM原问题参数优化中的应用

1. 牛顿法 牛顿法又称为二次函数法或二阶梯度法. 梯度法的缺点是有可能使搜索过程收敛很慢. 因此, 在某些情况下, 它并非是有效的迭代方法. 牛顿法在搜索方向上比梯度法有所改进, 这一方法不仅利用了准则函数在搜索点的梯度, 而且还利用了它的二次导数, 就是说利用了搜索点所能提供的更多信息, 使搜索方向能更好地指向最优点. 牛顿的基本思想是企图一步达到最优点, 即一步达到\(J({\bf{w}})\)的最小值. 仍然考虑\(J({\bf{w}})\)的二阶泰勒展开式 \[J({\bf{w}}){\rm{\dot = }}J({{\bf{w}}_k}) + \nabla {J^{\rm{T}}}({\bf{w}} - {{\bf{w}}_k}) + \frac{1}{2}{({\bf{w}} - {{\bf{w}}_k})^{\rm{T}}}D({\bf{w}} - {{\bf{w}}_k})\] 若令\({\bf{w}} = {{\bf{w}}_{k + 1}}\)得 \[J({{\bf{w}}_{k{\rm{ + }}1}}){\rm{\dot = }}J({{\bf{w}}_k}) + … 继续阅读

Jacobian矩阵和Hessian矩阵

1. Jacobian 在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日-1851年2月18日)命名;英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ən]. 雅可比矩阵 雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数. 假设\(F\): \({R_n} \to {R_m}\)是一个从欧式n维空间转换到欧式m维空间的函数. 这个函数由m个实函数组成: y1(x1,…,xn), …, ym(x1,…,xn). 这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵: \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial … 继续阅读