マルコフ連鎖

【まるこふれんさ (Markov chain)】

マルコフ性をもつ離散状態空間上の確率過程. すなわち, 確率過程$\{ X(t) \}$ が, 任意の$s, t$と$i,j$に対して

\[ \begin{array}{l}

 \mbox{P}(X(s+t)=j|X(u), \; 0 \leq u < s, X(s)=i)  \\
 \hspace*{20mm} = \mbox{P}(X(s+t)=j|X(s)=i)

\end{array} \]

を満たす場合, マルコフ連鎖と呼ぶ.