準ニュートン法のソースを表示

'''【じゅんにゅーとんほう (quasi-Newton method)】'''

制約なし最適化問題 <math>\mathbf{min}f(x)\,</math>(ただし <math>\ f:\mathbf{R}^n\to \mathbf{R}\,</math>)を解くための勾配法の1つ.  勾配 <math>\nabla f(x)\,</math> を用いてヘッセ行列の近似行列を生成して, ニュートン法と同様の効率を得るように工夫されている. <math>k\,</math> 回目の反復でヘッセ行列の近似行列を <math>B_k\,</math> としたとき, 連立1次方程式 <math>B_kd_k=-\nabla f(x_k)\,</math> の解 <math>d_k\,</math> を探索方向に選び, <math>x_{k+1} :=x_k+\alpha_kd_k\,</math> (<math>\alpha_k\,</math>はステップ幅) によって近似解の点列 <math>\{ x_k\}\,</math> を生成する. 行列 <math>B_k\,</math> は更新公式を用いて逐次生成され, 特にBFGS公式が有効である.