最急降下法

【さいきゅうこうかほう (steepest descent method)】

制約なし最適化問題 min $f(x)$ (ただし $\ f:{\bf R}^n\to {\bf R}$)を解くための勾配法の1つで, 反復式 $x_{k+1} := x_k - \alpha_k\nabla f(x_k)$ ($\alpha_k >0$ はステップ幅)によって近似解の点列 $\{x_k\}$ を生成する. 探索方向 $-\nabla f(x_k)$ は, 局所的に目的関数値を最も下げる方向である. 適当な直線探索を行えば, 大域的収束することが示されている. しかしながら局所的な収束率は高々1次収束する程度であり, しかも問題によっては足踏み状態になることがあるので, 必ずしも実用的ではない.