《確率論》

2008-09-25T07:58:08Z

Nmakimoto:

'''【かくりつろん (probability theory) 】'''

　不確実な現象を表現する手段としての確率論は, コルモゴロフ (A. N. Kolmogorov) が測度論的確率論を打ち立ててから数学的基礎ができたと言えよう.その後の確率論の理論的深化と応用は目を見張るものがあり, オペレーションズ・リサーチへの応用に限っても, [[待ち行列モデル|待ち行列理論]], [[在庫モデル|在庫理論]], [[ファイナンシャルエンジニアリング|ファイナンス理論]], [[動的計画]], [[確率計画]], [[信頼度|信頼性理論]], [[シミュレーション]]等多岐にわたっている. 特に, 数理統計学や待ち行列理論は理論的基礎の多くを確率論に置いており, 数学的な観点からも興味ある問題を提起し続けている.

'''確率空間と確率変数'''　確率論を考える上で基礎となるのは, 確率空間 <math>(\Omega, {\mathcal F}, \mathrm{P})\, </math> である. ここで, 標本空間 <math>\Omega\, </math> は起こり得る結果 (根元事象) <math>\omega\, </math> の集合, <math>{\mathcal F}\, </math> は <math>\Omega\, </math> 上の <math>\sigma\, </math>--集合体, <math>\mathrm{P}\, </math> は確率を表す. しかし, 確率モデルに対して確率空間を明示するのは煩雑なため, 通常は <math>(\Omega, {\mathcal F}, \mathrm{P})\, </math> を抽象的な基礎空間と捉え, <math>\Omega\, </math> から観察される現象の空間 <math>{\mathcal S}\, </math> への写像である確率変数を中心に考える.

　以下では, <math>{\mathcal S}\, </math> として実数や整数, あるいはこれらの多次元空間を考え, 確率変数を <math>X(\omega)\, </math> あるいは単に <math>X\, </math> で表す. 例えば, サイコロを投げる試行では <math>X\, </math> は1から6のどれかの値をとり, <math>X\, </math> が測定誤差を表すならば実数全体をとる. また, <math>K\, </math> 個の離散的時系列ならば <math>X=\{ X_1, \ldots, X_K \}\, </math> となり, 連続時間上の変動ならば <math>X=\{ X_t \; : \; t \in \mbox{R} \}\, </math> と表現される. 一般に, 時間パラメーターを伴う確率変数の集まりは[[確率過程]]と呼ばれる.

'''確率分布'''　確率変数を特徴付ける主な要素は確率分布である. <math>X\, </math> が実数値確率変数のとき, <math>\mbox{R}\, </math> の部分集合 <math>A\, </math> (正確には <math>\mbox{R}\, </math> 上のボレル集合体 <math>{\mathcal B}_1\, </math> の要素 <math>A\, </math>) に対し, <math>X \in A\, </math> となる確率は <math>\mathrm{P}(\{\omega : X(\omega) \in A \})\, </math> で与えられる. このように, 集合 <math>A\, </math> に対して <math>X \in A\, </math> となる確率を対応させたものを <math>X\, </math> の[[確率分布]], あるいは単に分布と呼ぶ. 特に, <math>A=(-\infty, x]\, </math> としたときの確率<math>F(x)=\mathrm{P}(X \leq x)\; (=\mathrm{P}(\{\omega : X(\omega) \leq x\}))\, </math> を <math>x\, </math> の関数と考えて <math>X\, </math> の[[累積分布関数]]または分布関数と呼ぶ. <math>F(x)\, </math> は単調非減少な右連続関数で, <math>F(-\infty)=0\, </math>, <math>F(+\infty)=1\, </math> を満たす.

　分布の中で, とり得る値が高々可算個である確率分布を[[離散型分布]]と呼ぶ. <math>X\, </math> が <math>\{ \ldots, x_{-1}, x_0, x_1, \ldots \}\, </math> の値をとる離散型分布であれば, [[確率関数]] <math>p(x_k) = \mathrm{P}(X=x_k)\, </math> によって分布を表すことができる. 離散型分布に対し, <math>F(x)\, </math> が連続な分布を[[連続型分布]]という. 実際に用いられるほとんどの連続型分布は <math>F(x)\, </math> が微分可能であり, [[確率密度関数]] <math>f(x)=\mathrm{d}F(x)/\mathrm{d}x\, </math>によって分布を表現できる. <math>f(x)\, </math> は単に密度関数とも呼ばれる. 密度関数を持つ分布は絶対連続型分布, あるいは単に連続型分布と呼ばれることもある.

　離散型分布の例としては, [[2項分布]], [[ポアソン分布]], [[幾何分布]]などがあり, 密度関数をもつ連続型分布の例としては[[正規分布]], [[指数分布]], [[一様分布]]などがある.

'''期待値と分散'''　確率関数や密度関数では, 一目で分布の性質を捉えたり分布を比較することが難しい場合もあるため, 確率分布の特徴を少数の数値で表現できると都合がよい. その代表は分布の中心を表す[[期待値]] (あるいは[[平均]]) <math>\textstyle \mathrm{E}(X)=\int x \mathrm{d} F(x)\, </math> と分布の散らばり具合を表す[[分散]] <math>\textstyle \mathrm{V}(X) =\int (x-\mathrm{E}(X))^2 \mathrm{d}F(x)\, </math>, もしくは分散の平方根の標準偏差である. なお, <math>\textstyle \int g(x) \mathrm{d} F(x)\, </math> の形の積分は, <math>F(x)\, </math> が離散型分布の場合は <math>\textstyle \sum g(x_i) \mathrm{P}(X=x_i)\, </math>, 密度関数 <math>f(x)\, </math> を持つ場合は <math>\textstyle \int g(x) f(x) \mathrm{d} x\, </math> と理解してよい. 平均や分散のように <math>\textstyle \mu_j=\int (x-a)^j \mathrm{d} F(x)\, </math> の形で表される数値を一般に <math>j\, </math> 次の積率 (moment) と呼ぶ. 特に, <math>a=0\, </math> のときは原点周りの積率, <math>a=\mathrm{E}(X)\, </math> のときは平均周り積率となる. <math>j\, </math> が高次になるにつれて <math>\mu_j\, </math> の表現が複雑になる傾向があるため, [[特性関数 (確率変数の)|特性関数]] <math>\textstyle \phi(t)=\int \mathrm{e}^{\mathrm{i}tx} \mathrm{d} F(x)\, </math> (<math>t\, </math> は実数パラメータ, <math>\mathrm{i}\, </math> は虚数単位), あるいは[[積率母関数]] <math>\textstyle M(\theta)=\int \mathrm{e}^{\theta x} \mathrm{d}F(x)\, </math> を利用して<math>\mu_j\, </math> を求める方法が考えられている. 例えば, 積率母関数 <math>M(\theta)\, </math> が陽に求まれば, 原点周りのモーメントは <math>\textstyle \mu_j = \mathrm{d}^j M(\theta) / \mathrm{d} \theta^j |_{\theta=0}\, </math> で計算される. また, 非負の値をとる確率変数に対しては, [[ラプラス変換]]を利用してもよい. これらの変換は, 元の分布関数と1対1に対応しており, 原理的には逆変換によって元の分布を求めることができる. また, 変換を利用することで, たたみこみなど分布に関する演算が簡単になることも多い.

'''多次元分布'''　1次元の場合の自然な拡張として, <math>n\, </math> 個の実数値確率変数 <math>X_1, \ldots, X_n\, </math> に対しても, [[多次元分布|多次元分布関数]] <math>\mathrm{P}(X_1 \leq x_1, \ldots, X_n \leq x_n)\, </math> によって分布を定めることができる. 代表的な多次元分布としては, 多変量解析などの基礎となる[[多次元正規分布]]がある. 多次元分布では, 複数の確率変数の関係に興味がある場合が多い. そのような関係を表す指標として, 2つの確率変数 <math>X\, </math> と <math>Y\, </math> の[[共分散]] <math>\mathrm{Cov}(X,Y)=\mathrm{E}(\{X-\mathrm{E}(X)\}\{Y-\mathrm{E}(Y)\})\, </math> や, [[相関係数]] <math>r(X,Y)=\mathrm{Cov}(X,Y)/\sqrt{\mathrm{V}(X)\mathrm{V}(Y)}\, </math> がある. 相関係数は <math>-1 \leq r(X,Y) \leq 1\, </math> の範囲の値をとり, <math>r(X,Y)\, </math> が1に近い場合は, 一方の値が大きいと他方も大きな値を, 一方の値が小さいと他方も小さな値をとる傾向が強い. <math>r(X,Y)\, </math> が <math>-1\, </math> に近いときは, 反対の傾向となる. また, <math>r(X,Y)=0\, </math> のとき <math>X\, </math> と <math>Y\, </math> は無相関と呼ばれる.

'''確率変数の独立性'''　<math>n\, </math> 個の確率変数 <math>X_1, \ldots, X_n\, </math> が, 任意の <math>x_1,\ldots,x_n\, </math> に対して

<center>
<math>\mathrm{P}(X_1 \leq x_1, \ldots, X_n \leq x_n)
= \prod_{i=1}^n \mathrm{P}(X_i \leq x_i)\, </math>
</center>

を満たすとき, <math>X_1, \ldots, X_n\, </math> は[[独立性 (確率変数の)|独立]]であるという. 直観的には, 各確率変数の値が他の確率変数の値と無関係に決まることを意味する. なお, <math>X\, </math> と <math>Y\, </math> が独立であれば無相関となるが, その逆は一般に成立しない. 独立な確率変数 <math>X\, </math> と <math>Y\, </math> の累積分布関数を <math>F_X(x), F_Y(x)\, </math> とするとき, その和 <math>S = X+Y\, </math> の累積分布関数は, <math>\textstyle F_S(x)= \int F_X(x-y) \mathrm{d} F_Y(y)\, </math> によって計算できる. 同様に, 整数値をとる離散型分布に対しては <math>\textstyle \mathrm{P}(S=k)=\sum_i \mathrm{P}(X=k-i)\mathrm{P}(Y=i)\, </math> によって <math>S\, </math> の確率関数を, また, <math>X\, </math>, <math>Y\, </math> が密度関数をもつ場合は, <math>\textstyle f_S(x)=\int f_X(x-y)f_Y(y) \mathrm{d}y\, </math> によって <math>S\, </math> の密度関数を求めることができる. [[たたみ込み]]と呼ばれるこれらの方法から, 2つの指数分布の和はガンマ分布になり, 2つの正規分布の和はやはり正規分布になる, といったことがわかる.

'''<math>n\, </math>個の確率変数の和'''　<math>n\, </math>個の確率変数の和 <math>S_n=X_1+\ldots+X_n\, </math> は理論と応用のいずれにおいても重要な問題を提起してきた. <math>S_n/n\, </math> は算術平均であるから統計処理上頻繁に使われる. <math>X_1, \ldots, X_n\, </math> が互いに独立で同一の分布に従い, 平均 <math>\mu\, </math>, 分散 <math>\sigma^2\, </math> をもてば, <math>S_n/n\, </math> の平均は <math>\mu\, </math>, 分散は <math>\sigma^2/n\, </math> であるから, <math>n\rightarrow\infty\, </math> のとき <math>S_n/n\, </math> は <math>\mu\, </math> に収束する. このように <math>S_n/n\, </math> が平均に収束することを[[大数の法則]]といい, 収束が概収束か確率収束かに応じて, それぞれ大数の強法則, 大数の弱法則と呼ばれる. 大数の強法則は[[エルゴード定理|エルゴード理論]]と密接に関係しており, ある種の条件を満たせば <math>X_1, \ldots, X_n\, </math> が独立でなくとも <math>S_n/n\, </math> は <math>\mu\, </math> に収束することが知られている. 独立確率変数列 <math>X_1, X_2, \ldots\, </math> がそれぞれ平均 <math>\mu\, </math>, 分散 <math>\sigma^2\, </math> の同じ分布に従う場合, 元の分布が何であっても <math>\textstyle \sum_{i=1}^n (X_i-\mu) / \sigma \sqrt{n}\, </math> は <math>n\rightarrow \infty\, </math> のとき平均0, 分散1の正規分布に近づく. これを[[中心極限定理]]といい, 確率論における正規分布の重要性の根拠となっている.

----
'''参考文献'''

[1] L. Breiman, ''Probability,'' Classics in Applied Mathematics, SIAM, 1992.

[2] 高橋幸雄，『確率論』，朝倉書店，2008.

[3] 伊藤清, 『確率論』, 岩波書店, 1991.

[4] 伏見正則, 『確率と確率過程』, 朝倉書店, 2004.

[[category:確率と確率過程|かくりつろん]]

ORWiki - 利用者の投稿記録 [ja]

《確率論》