最急降下法

【さいきゅうこうかほう (steepest descent method)】

制約なし最適化問題 min $f(x)\,$ (ただし $\ f:\mathbf {R} ^{n}\to \mathbf {R} \,$)を解くための勾配法の1つで, 反復式 $x_{k+1}:=x_{k}-\alpha _{k}\nabla f(x_{k})\,$ ($\alpha _{k}>0\,$ はステップ幅)によって近似解の点列 $\{x_{k}\}\,$ を生成する. 探索方向 $-\nabla f(x_{k})\,$ は, 局所的に目的関数値を最も下げる方向である. 適当な直線探索を行えば, 大域的収束することが示されている. しかしながら局所的な収束率は高々1次収束する程度であり, しかも問題によっては足踏み状態になることがあるので, 必ずしも実用的ではない.