《確率論》

【かくりつろん (probability theory) 】

　不確実な現象を表現する手段としての確率論は, コルモゴロフ (A. N. Kolmogorov) が測度論的確率論を打ち立ててから数学的基礎ができたと言えよう.その後の確率論の理論的深化と応用は目を見張るものがあり, オペレーションズ・リサーチへの応用に限っても, 待ち行列理論, 在庫理論, ファイナンス理論, 動的計画, 確率計画, 信頼性理論, シミュレーション等多岐にわたっている. 特に, 数理統計学や待ち行列理論は理論的基礎の多くを確率論に置いており, 数学的な観点からも興味ある問題を提起し続けている.

確率空間と確率変数　確率論を考える上で基礎となるのは, 確率空間構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle (\Omega, {\mathcal F}, \mathrm{P})\, } である. ここで, 標本空間 $\Omega \,$ は起こり得る結果 (根元事象) 構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \omega\, } の集合, ${\mathcal {F}}\,$ は $\Omega \,$ 上の $\sigma \,$ --集合体, $\mathrm {P} \,$ は確率を表す. しかし, 確率モデルに対して確率空間を明示するのは煩雑なため, 通常は $(\Omega ,{\mathcal {F}},\mathrm {P} )\,$ を抽象的な基礎空間と捉え, $\Omega \,$ から観察される現象の空間 ${\mathcal {S}}\,$ への写像である確率変数を中心に考える.

　以下では, ${\mathcal {S}}\,$ として実数や整数, あるいはこれらの多次元空間を考え, 確率変数を $X(\omega )\,$ あるいは単に $X\,$ で表す. 例えば, サイコロを投げる試行では $X\,$ は1から6のどれかの値をとり, $X\,$ が測定誤差を表すならば実数全体をとる. また, $K\,$ 個の離散的時系列ならば $X=\{X_{1},\ldots ,X_{K}\}\,$ となり, 連続時間上の変動ならば $X=\{X_{t}\;:\;t\in {\mbox{R}}\}\,$ と表現される. 一般に, 時間パラメーターを伴う確率変数の集まりは確率過程と呼ばれる.

確率分布　確率変数を特徴付ける主な要素は確率分布である. $X\,$ が実数値確率変数のとき, ${\mbox{R}}\,$ の部分集合 $A\,$ (正確には ${\mbox{R}}\,$ 上のボレル集合体 ${\mathcal {B}}_{1}\,$ の要素 $A\,$ ) に対し, $X\in A\,$ となる確率は $\mathrm {P} (\{\omega :X(\omega )\in A\})\,$ で与えられる. このように, 集合 $A\,$ に対して $X\in A\,$ となる確率を対応させたものを $X\,$ の確率分布, あるいは単に分布と呼ぶ. 特に, $A=(-\infty ,x]\,$ としたときの確率 $F(x)=\mathrm {P} (X\leq x)\;(=\mathrm {P} (\{\omega :X(\omega )\leq x\}))\,$ を $x\,$ の関数と考えて $X\,$ の累積分布関数または分布関数と呼ぶ. $F(x)\,$ は単調非減少な右連続関数で, $F(-\infty )=0\,$ , $F(+\infty )=1\,$ を満たす.

　分布の中で, とり得る値が高々可算個である確率分布を離散型分布と呼ぶ. $X\,$ が $\{\ldots ,x_{-1},x_{0},x_{1},\ldots \}\,$ の値をとる離散型分布であれば, 確率関数 $p(k)=\mathrm {P} (X=x_{k})\,$ によって分布を表すことができる. 離散型分布に対し, $F(x)\,$ が連続な分布を連続型分布という. 実際に用いられるほとんどの連続型分布は $F(x)\,$ が微分可能であり, 確率密度関数 $f(x)=\mathrm {d} F(x)/\mathrm {d} x\,$ によって分布を表現できる. $f(x)\,$ は単に密度関数とも呼ばれる. 密度関数を持つ分布は絶対連続型分布, あるいは単に連続型分布と呼ばれることもある.

　離散型分布の例としては, 2項分布, ポアソン分布, 幾何分布などがあり, 密度関数をもつ連続型分布の例としては正規分布, 指数分布, 一様分布などがある.

期待値と分散　確率関数や密度関数では, 一目で分布の性質を捉えたり分布を比較することが難しい場合もあるため, 確率分布の特徴を少数の数値で表現できると都合がよい. その代表は分布の中心を表す期待値 (あるいは平均) $\textstyle \mathrm {E} (X)=\int x\mathrm {d} F(x)\,$ と分布の散らばり具合を表す分散 $\textstyle \mathrm {V} (X)=\int (x-\mathrm {E} (X))^{2}\mathrm {d} F(x)\,$ , もしくは分散の平方根の標準偏差である. なお, $\textstyle \int g(x)\mathrm {d} F(x)\,$ の形の積分は, $F(x)\,$ が離散型分布の場合は $\textstyle \sum g(x_{i})\mathrm {P} (X=x_{i})\,$ , 密度関数 $f(x)\,$ を持つ場合は $\textstyle \int g(x)f(x)\mathrm {d} x\,$ と理解してよい. 平均や分散のように $\textstyle \mu _{j}=\int (x-a)^{j}\mathrm {d} F(x)\,$ の形で表される数値を一般に $j\,$ 次の積率 (moment) と呼ぶ. 特に, $a=0\,$ のときは原点周りの積率, $a=\mathrm {E} (X)\,$ のときは平均周り積率となる. $j\,$ が高次になるにつれて $\mu _{j}\,$ の表現が複雑になる傾向があるため, 特性関数 $\textstyle \phi (t)=\int \mathrm {e} ^{\mathrm {i} tx}\mathrm {d} F(x)\,$ ( $t\,$ は実数パラメータ, $\mathrm {i} \,$ は虚数単位), あるいは積率母関数 $\textstyle M(\theta )=\int \mathrm {e} ^{\theta x}\mathrm {d} F(x)\,$ を利用して $\mu _{j}\,$ を求める方法が考えられている. 例えば, 積率母関数 $M(\theta )\,$ が陽に求まれば, 原点周りのモーメントは $\textstyle \mu _{j}=\mathrm {d} ^{j}M(\theta )/\mathrm {d} \theta ^{j}|_{\theta =0}\,$ で計算される. また, 非負の値をとる確率変数に対しては, ラプラス変換を利用してもよい. これらの変換は, 元の分布関数と1対1に対応しており, 原理的には逆変換によって元の分布を求めることができる. また, 変換を利用することで, たたみこみなど分布に関する演算が簡単になることも多い.

多次元分布　1次元の場合の自然な拡張として, $n\,$ 個の実数値確率変数 $X_{1},\ldots ,X_{n}\,$ に対しても, 多次元分布関数 $\mathrm {P} (X_{1}\leq x_{1},\ldots ,X_{n}\leq x_{n})\,$ によって分布を定めることができる. 代表的な多次元分布としては, 多変量解析などの基礎となる多次元正規分布がある. 多次元分布では, 複数の確率変数の関係に興味がある場合が多い. そのような関係を表す指標として, 2つの確率変数 $X\,$ と $Y\,$ の共分散 $\mathrm {Cov} (X,Y)=\mathrm {E} (\{X-\mathrm {E} (X)\}\{Y-\mathrm {E} (Y)\})\,$ や, 相関係数 $r(X,Y)=\mathrm {Cov} (X,Y)/{\sqrt {\mathrm {V} (X)\mathrm {V} (Y)}}\,$ がある. 相関係数は $-1\leq r(X,Y)\leq 1\,$ の範囲の値をとり, $r(X,Y)\,$ が1に近い場合は, 一方の値が大きいと他方も大きな値を, 一方の値が小さいと他方も小さな値をとる傾向が強い. $r(X,Y)\,$ が $-1\,$ に近いときは, 反対の傾向となる. また, $r(X,Y)=0\,$ のとき $X\,$ と $Y\,$ は無相関と呼ばれる.

確率変数の独立性　 $n\,$ 個の確率変数 $X_{1},\ldots ,X_{n}\,$ が, 任意の $x_{1},\ldots ,x_{n}\,$ に対して

$\mathrm {P} (X_{1}\leq x_{1},\ldots ,X_{n}\leq x_{n})=\prod _{i=1}^{n}\mathrm {P} (X_{i}\leq x_{i})\,$

を満たすとき, $X_{1},\ldots ,X_{n}\,$ は独立であるという. 直観的には, 各確率変数の値が他の確率変数の値と無関係に決まることを意味する. なお, $X\,$ と $Y\,$ が独立であれば無相関となるが, その逆は一般に成立しない. 独立な確率変数 $X\,$ と $Y\,$ の累積分布関数を $F_{X}(x),F_{Y}(x)\,$ とするとき, その和 $S=X+Y\,$ の累積分布関数は, $\textstyle F_{S}(x)=\int F_{X}(x-y)\mathrm {d} F_{Y}(y)\,$ によって計算できる. 同様に, 整数値をとる離散型分布に対しては $\textstyle \mathrm {P} (S=k)=\sum _{i}\mathrm {P} (X=k-i)\mathrm {P} (Y=i)\,$ によって $S\,$ の確率関数を, また, $X\,$ , $Y\,$ が密度関数をもつ場合は, $\textstyle f_{S}(x)=\int f_{X}(x-y)f_{Y}(y)\mathrm {d} y\,$ によって $S\,$ の密度関数を求めることができる. たたみ込みと呼ばれるこれらの方法から, 2つの指数分布の和はガンマ分布になり, 2つの正規分布の和はやはり正規分布になる, といったことがわかる.

$n\,$ 個の確率変数の和　 $n\,$ 個の確率変数の和 $S_{n}=X_{1}+\ldots +X_{n}\,$ は理論と応用のいずれにおいても重要な問題を提起してきた. $S_{n}/n\,$ は算術平均であるから統計処理上頻繁に使われる. $X_{1},\ldots ,X_{n}\,$ が互いに独立で同一の分布に従い, 平均 $\mu \,$ , 分散 $\sigma ^{2}\,$ をもてば, $S_{n}/n\,$ の平均は $\mu \,$ , 分散は $\sigma ^{2}/n\,$ であるから, $n\rightarrow \infty \,$ のとき $S_{n}/n\,$ は $\mu \,$ に収束する. このように $S_{n}/n\,$ が平均に収束することを大数の法則といい, 収束が概収束か確率収束かに応じて, それぞれ大数の強法則, 大数の弱法則と呼ばれる. 大数の強法則はエルゴード理論と密接に関係しており, ある種の条件を満たせば $X_{1},\ldots ,X_{n}\,$ が独立でなくとも $S_{n}/n\,$ は構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mu\, } に収束することが知られている. 独立確率変数列 $X_{1},X_{2},\ldots \,$ がそれぞれ平均構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \mu\, } , 分散構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \sigma^2\, } の同じ分布に従う場合, 元の分布が何であっても構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle \textstyle \sum_{i=1}^n (X_i-\mu) / \sigma \sqrt{n}\, } は構文解析に失敗 (MathML、ただし動作しない場合はSVGかPNGで代替（最新ブラウザーや補助ツールに推奨）: サーバー「https://en.wikipedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle n\rightarrow \infty\, } のとき平均0, 分散1の正規分布に近づく. これを中心極限定理といい, 確率論における正規分布の重要性の根拠となっている.