確率動的計画

【かくりつどうてきけいかく (stochastic dynamic programming)】

システムの状態推移が確率的なとき, 多段階にわたる評価の期待値を最適化する方法で, マルコフ決定過程と同じ意味で使われる. いわゆる総利得の期待値をマルコフクラスで最大にする問題は動的計画法の再帰式を後ろ向きに解くことによって解ける.総利得は加法型評価系の一例であるが, 一般の結合型評価系に対しては(非負値乗法型を除けば)後向きの再帰式を解いてマルコフ政策クラスの中で最適政策を求めることはできない.