最急降下法のソースを表示

'''【さいきゅうこうかほう (steepest descent method)】'''

制約なし最適化問題 min <math>f(x) \,</math> (ただし <math>\ f:\mathbf{R}^n\to \mathbf{R} \,</math>)を解くための勾配法の1つで, 反復式 <math>x_{k+1} := x_k - \alpha_k\nabla f(x_k) \,</math> (<math>\alpha_k >0 \,</math> はステップ幅)によって近似解の点列 <math>\{x_k\} \,</math> を生成する. 探索方向 <math>-\nabla f(x_k) \,</math> は, 局所的に目的関数値を最も下げる方向である. 適当な直線探索を行えば, 大域的収束することが示されている. しかしながら局所的な収束率は高々1次収束する程度であり, しかも問題によっては足踏み状態になることがあるので, 必ずしも実用的ではない.