準ニュートン法

【じゅんにゅーとんほう (quasi-Newton method)】

制約なし最適化問題 min $f(x)$(ただし $\ f:{\bf R}^n\to {\bf R}$)を解くための勾配法の1つ. 勾配 $\nabla f(x)$ を用いてヘッセ行列の近似行列を生成して, ニュートン法と同様の効率を得るように工夫されている. $k$ 回目の反復でヘッセ行列の近似行列を $B_k$ としたとき, 連立1次方程式 $B_kd_k=-\nabla f(x_k)$ の解 $d_k$ を探索方向に選び, $x_{k+1} :=x_k+\alpha_kd_k$ ($\alpha_k$はステップ幅) によって近似解の点列 $\{ x_k\}$ を生成する. 行列 $B_k$ は更新公式を用いて逐次生成され, 特にBFGS公式が有効である.