確率の公理と基本性質-あるノマドの知の旅路～数学・統計学への道

本稿では、確率論の基本事項である確率の公理と基本性質についてまとめています。数学的確率、統計的確率、主観的確率などの確率の定義、確率空間と確率の公理、確率の基本性質、全確率の公式、確率の加法定理などの定義や意味の紹介が含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

1.確率の定義
2.確率空間と確率の公理
3.確率に関する基本的な定理
4.参考文献
5.関連記事

確率の定義

確率 probability とは、事象の起こりやすさを定量的に示すものであり、事象Aの起こる確率を $\begin{matrix} P (A) \end{matrix}$ と表す。確率には、さまざまな定義と計算方法がある。

数学的確率

初期の確率論はさいころ、カードなどを使った賭けのゲームや保険といったものと関連して発生し、ブレーズ・パスカル、クリスティアーン・ホイヘンス、ヤコプ・ベルヌーイ、ド・モアブル、トーマス・ベイズ、ダニエル・ベルヌーイなどの多くの学者の手によって発展したが、これらは、ピエール＝シモン・ラプラス（1749-1827）によって初めて体系的にまとめられた。ラプラスによる確率の定義（1814年）は簡単明瞭であり、次のようなものである。

【定義】
数学的確率
Mathematical Probability

試行の根元事象が全部で $N$ 個あって、それらは同程度に確からしい（equal likely）とする。このとき、1つの事象 $A$ にとって都合のよいような根元事象（すなわち、それが出ればその事象 $A$ の起るような根元事象）の数が $R$ 個あれば、事象 $A$ の確率を、 $N$ に対する $R$ の割合 $\begin{matrix} P (A) = \frac{R}{N} \end{matrix}$ によって定義する。

この定義は歴史上最初の明確な定義である。この定義の最大の利点は、確率が標本点の個数、つまり、起り方の場合の数の数え上げに帰することであり、順列や組み合わせの諸定理が使えることである。

「サイコロの1の目が出る」、「コインで表が出る」、「くじに当たる」などの確率は、この方法で求めることができるが、実際にサイコロを投げて経験してみることを必要とはしないのであって、先験的（経験するより前の）判断にもとづいてなされているのである。そこでこのようにして定められる確率はしばしば先験的確率 apriori probability、あるいは数学的確率 mathematical probability と呼ばれる。

ただし、この確率の考え方には1つ問題がある。今、確率を定義するにあたって、すべての事象の起こり方が「同程度に確からしい」という仮定があった。たしかに、反対するための十分な理由がないかぎりは、「1から6までの目が同程度の確かさで出現する」と信じるのは妥当である。これを一般に、理由不充分の原則 principle of insufficient reason という。

しかし厳密には、この確からしさは証明されたわけではないので、理念上は成り立つかもしれないが、実際にそうなるかどうかは分からない。たとえば、サイコロが正確な正面体でなく、歪んだものである場合、この考え方に依拠すると、結果が現実とかけ離れたものになってしまうことになる。また、実際には、自然現象や社会現象では、このように考えることが困難な場合が多い。女子の出生率を求めるときに、このラプラスによる確率の定義が利用できないことは容易にわかる。

統計的確率

ラプラスの定義は、さいころやカードを使ったゲームやくじ引きといったものに対しては有益であるが、各標本点が「同程度に確からしく」起りやすいと考えられない場合には用いることができない。これより実際的な定義が、ルートヴィヒ・フォン・ミーゼス（1928年）による「確率の頻度説（frequency theory）」である。この考え方では、確率を次のように定義する。

【定義】
統計的確率
Statistical Probability

$n$ 回の試行中、事象 $A$ が起こった回数を $r$ 回とする。試行の回数 $n$ を大きくしていったとき、試行回数に対する事象 $A$ が観測された回数の比 $\frac{r}{n}$ （相対頻度）がある値 $p$ の近くに安定するなら、その比（相対頻度）によって、事象 $A$ の起こる確率を $\begin{matrix} P (A) = lim_{n \to \infty} \frac{r (n)}{n} = p \end{matrix}$ と定義する。

この定義は、観測データにもとづいている点に特色がある。たとえば、ある生産工程から不良製品の発生する確率、あるメーカーの電球の寿命がある一定時間以上である確率、ある新薬がある病気の治療に効果的である確率、ある種のがんにかかった患者が5年以上生き延びられる確率など、このような経験的アプローチによって確率の値が定められる場合は多い。このような確率を、経験的確率 empirical probability、あるいは統計的確率 statistical probability という。

しかし、この経験的確率は、相対頻度の極限として定義していることからくる問題がある。つまり、試行回数を∞にしたときに、はじめて真の値を知ることができるわけだが、∞はあくまでも理念上の概念であり、実際にはどれだけ試行を繰り返しても、有限の数の試行結果しか知ることはできない。そのため、仮に100兆回試行を行ったとしても、真の値を確認することはできない。

また、より基本的なこととして、経験的確率を求めるためには、「同じ条件下での何回も繰り返し観察できること」が前提として必要だが、実際にはそれが不可能であり、したがって経験的アプローチがとれないような場合も多い。たとえば、企業が開発したある新製品が市場で成功する確率のような場合である。

主観的確率

「同様の確からしさ」が仮定できない「1回限り」の事象、あるいは「同じ条件下で何回も数多く反復して観察することができない」事象について確率が問題になる場合、確率を、その人がもっている情報、知識、経験などにもとづく個人的な確信の度合いによって決める方法がある。このように、個人的主観によって決められる確率を主観的確率 subjective probability という。

この方法はもちろん、そこでそのような確率の評価は、同じ事象に対しても人によって異なり、客観的な結果を出すことはできない。しかし、この主観的確率にもとづく統計分析は、まだ起っていないかほとんど起っていない事象、実験ごとに統計的規則が変わってしまうような事象の分析も可能になるなどの利点も多く、近年、ベイズ統計学 Bayesian statistics と呼ばれ、最近は広くその有効性が認められてきている。

公理的確率

数学的確率は、事象の確率を容易に計算できるという長所があるいっぽうで、「同様に確からしい」という仮定にもとづくものであるから、この仮定が成り立たない場合には使用できない。これに対し、統計的確率は数学的確率の欠点を多数回の試行にもとづく実験や調査によって克服しようとするもので、同様に確からしいという仮定が成り立たないような種々の事象に対して、その確率を求めようとする試みである。しかし、統計的確率では試行を無限にくり返すことは困難であるので、理論的に完全でない。

これらの困難を解決することに成功したのが、アンドレイ・コルモゴロフ（1933年）によって提案された公理的確率論 axiomatic probability である。この公理的確率論では、事象の集まりである集合族を数学的に厳密に定義し、それらの事象に対して確率を定義しようとする。具体的には、次で述べる確率空間と確率の公理の概念を用いる。

確率空間と確率の公理

結論を先取りすると、確率空間 probability space $\begin{matrix} (Ω, F, P) \end{matrix}$ とは、標本空間・事象の集合・確率測度の3つをまとめて作り上げられる概念である。サイコロを投げるときのことを例にとってみる。

標本空間

さいころを1回投げた場合、可能な結果 possible outcomesは、 $\begin{matrix} 1, 2, 3, 4, 5, 6 \end{matrix}$ であり、これ以外の7や8の目が出ることはない。

このように可能な結果を標本点 sample point と呼び、 $\begin{matrix} ω \end{matrix}$ で表す。

標本点 $ω_{1}, ω_{2}, \dots, ω_{n}$ の $n$ 個からなる事象Aは ${}$ を使って $\begin{matrix} A = {ω_{1}, ω_{2}, \dots, ω_{n}} \end{matrix}$ といった形で表される。普通のサイコロを投げるとき、標本空間 sample spaceは、 $\begin{matrix} Ω = {1, 2, 3, 4, 5, 6} \end{matrix}$ となる。

事象の集合

事象の集合 set of events $\begin{matrix} F \end{matrix}$ は、標本空間 $Ω$ の部分集合の中で確率が測れる集合を集めたものという意味を持つ。これを定義するために、完全加法族 completely additive class of sets という概念が定義される。

事象の集合 $F$ が標本空間 $Ω$ の完全加法族であるとは、次の条件（1）～（3）を満たすことをいう。

【定義】
完全加法族
Completely Additive Class of Sets

（1）空集合と全事象の確率は測れるべき $\begin{matrix} Ω \in F \leftrightarrow \emptyset \in F \end{matrix}$ （2）事象Aの確率が測れるならAでない確率も測れるべき $\begin{matrix} A \in F \Rightarrow A^{C} \in F \end{matrix}$ （3）任意の $i$ に対して $A_{i}$ の確率が測れるなら、 $A_{i}$ の少なくとも1つが起きる確率も測れるべき $\begin{matrix} A_{1}, A_{2}, \dots, \in F \Rightarrow A_{1} \cup A_{2} \cup \dots (= ⋃_{i = 1}^{\infty} A_{i}) \in F \end{matrix}$

これらを満たす集合族を、完全加法族、または、 $σ$ -加法族 $σ$ -algebra of subsets over a set、 $σ$ -集合体 $σ$ -field of setsといい、 $Ω$ と $F$ の組（集合と完全加法族の組）を可測空間という。

完全加法族の考え方は問題設定を明らかにするのに重要な役割を果たす。例として、サイコロ投げの例では、標本空間が同じ $\begin{matrix} Ω = {1, 2, 3, 4, 5, 6} \end{matrix}$ であっても、偶数・奇数の目が出る事象を解析対象とするのか、それとも出る目そのものを解析対象とするのかによって、構成される $Ω$ 上の完全加法族は異なる。実際、前者の場合の $Ω$ の完全加法族は $\begin{matrix} F = {\emptyset, Ω, {1, 3, 5}, {2, 4, 6}} \end{matrix}$ であり、後者の場合の $Ω$ 上の完全加法族はべき集合 $\begin{matrix} F = {\emptyset, {1}, {2}, {3}, {4}, {5}, {6}, {1, 2}, {1, 3} \dots {1, 2, 3} \dots {1, 2, 3, 4} \dots {1, 2, 3, 4, 5} \dots {1, 2, 3, 4, 5, 6}} \end{matrix}$ である。

確率測度

確率を考える対象（可測空間）が定まったのでいよいよ確率が定義できる。確率測度 probability measure $\begin{matrix} P \end{matrix}$ とは、 $F$ から実数への非負関数、つまり、 $F$ の元（測れる集合・事象）を入れたら 0 以上 1 以下の値を返してくれる関数のことである（要するに、確率を計算するルールのようなもの）。

本来なら、このような実験を何回も繰り返し経験的に各目の出る確率を決めるべきであろうが、公理的確率論では、まず確率を仮定し、その仮定が正しいかどうかは、経験的に確認できるはずであるという立場に立つ（大数の法則はこの立場に立っているうえで有用性がある）。サイコロ投げの例では、数学的確率と同じく、1の目が出る確率は、 $\begin{matrix} P (X = 1) = \frac{R = 1}{N = 6} \end{matrix}$ で求める。

このようなアプローチにもとづいて確率の値を定めるとき、およそ確からしさの尺度としての確率は以下で述べる3つの公理（性質）を満足させるものでなければならないとし、このような公理から出発して抽象的な数学的概念として確率を定義し、それについて数理の体系を展開していこうとするものが公理的アプローチである。確率測度の3つの公理は次のごとくである。

確率の公理

【公理】
確率の公理
Axiom of Probability

（1）どのような事象に対しても、その確率 $P (A)$ は0以上である。 $\begin{matrix} 0 \leq P (A) \end{matrix}$ （2）あらゆる可能な事象全体の集合を $Ω$ とすれば、確率 $P (Ω)$ は1である。 $\begin{matrix} P (Ω) = 1 \end{matrix}$ （3）互いに排反な有限個あるいは可付番無限個（無限個であるが、1、2、3、…と番号がつけられること）の事象を $\begin{matrix} A_{1}, A_{2}, A_{3}, \dots \end{matrix}$ とするとき、これらのいずれかが起こる確率は、それぞれの事象が起こる確率の和に等しい、すなわち、 $\begin{matrix} P (A_{1} \cup A_{2} \cup A_{3} \cup \dots) = P (A_{1}) + P (A_{2}) + P (A_{3}) + \dots \\ P (⋃_{i = 1}^{\infty} A_{i}) = \sum_{i = 1}^{\infty} P (A_{i}) \end{matrix}$

この公理は、あくまでも数学的なモデルのためのものであり、 $P (A)$ が事象Aの起りやすさであるといった従来の内容とは直接には関係しないが、この公理とそれにもとづく確率論はラプラスの定義や頻度的確率の性質などがその背景になっており、これらを体系的に表すことを目的としている。

確率に関する基本的な定理

確率には次のようなことが成り立つ。

確率の基本性質

【定理】
確率の基本性質
Basic Properties of Probability

（i）空集合の確率は0 $\begin{array}{r} P (\emptyset) = 0 \end{array}$

（ii） $A_{1}, A_{2}, A_{3}, \dots, A_{n}$ が有限個の互いに排反する事象 $A_{i} \cap A_{j} = \emptyset, i \neq j$ のとき、 $\begin{array}{r} P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} P (A_{i}) \end{array}$

（iii） $A$ が事象ならば、 $\begin{array}{r} P (A^{C}) = 1 - P (A) \end{array}$

（iv）事象 $A, B$ が $A \subset B$ ならば、 $\begin{array}{r} P (A) \leq P (B) \end{array}$

（v） $A$ が事象ならば、 $\begin{array}{r} 0 \leq P (A) \leq 1 \end{array}$

全確率の公式

【定理】
全確率の公式
Law of Total Probability

標本空間 $Ω$ を完全に分割する、互いに排反な事象を $\begin{matrix} B_{1}, B_{2}, B_{3}, \dots, B_{n} \\ Ω = B_{1} \cup B_{2} \cup B_{3} \cup \dots \cup B_{n} \\ B_{i} \cap B_{j} = \emptyset i \neq j \end{matrix}$ とするとき、 $\begin{matrix} P (A) = \sum_{i = 1}^{n} P (A \cap B_{i}) \end{matrix}$

この式において、積事象 $A \cap B_{i}$ の確率が与えられたとき、すべての $B_{i}$ について確率を足し合わせることによって得られる確率 $P (A)$ を事象 $A$ の周辺確率 marginal probability といい、確率 $P (A \cap B_{i})$ を事象 $A$ と事象 $B_{i}$ の同時確率 joint probability という。

確率の加法定理

【定理】
確率の加法定理
Addition Theorem on Probability

2つの事象 $A, B$ に対し、 $\begin{array}{r} P (A \cup B) = P (A) + P (B) - P (A \cap B) \end{array}$

確率の一般加法定理

【定理】
一般確率の加法定理
General Addition Theorem on Probability

有限個の事象 $\begin{matrix} A_{1}, A_{2}, A_{3}, \dots, A_{n} \end{matrix}$ に対し、 $\begin{matrix} i \neq j \neq k \neq \dots \end{matrix}$ として、 $\begin{matrix} P (A_{1} \cup A_{2} \cup A_{3} \cup \dots \cup A_{n}) = \sum_{i = 1}^{n} P (A_{i}) - \sum_{i < j} P (A_{i} \cap A_{j}) + \dots + + {(- 1)}^{n + 1} P (A_{1} \cap A_{2} \cap A_{3} \cap \dots \cap A_{n}) \end{matrix}$ 記号を用いると、 $\begin{array}{r} P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} \sum_{1 \leq l_{1} < \dots < l_{i} < \dots \leq n} {(- 1)}^{i + 1} P [⋂_{j = 1}^{i} A_{l_{j}}] \end{array}$

少なくともひとつの事象が起きる確率

【定理】
少なくともひとつの事象が起きる確率
Probability of "At Least One" Success

有限個の事象 $\begin{matrix} A_{1}, A_{2}, A_{3}, \dots, A_{n} \end{matrix}$ に対し、 $\begin{matrix} i \neq j \neq k \neq \dots \end{matrix}$ として、 $\begin{array}{r} P (A_{1} \cup A_{2} \cup A_{3} \cup \dots \cup A_{n}) = 1 - P (A_{1}^{C} \cap A_{2}^{C} \cup \dots \cup A_{n}^{C}) \end{array}$

これはすなわち、 $\begin{matrix} A_{1}, A_{2}, A_{3}, \dots, A_{n} \end{matrix}$ のうち、少なくともどれかひとつの事象が起きる確率は、 1からこれらの事象がひとつも起こらない確率を引いたものという意味である。

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.4-11
東京大学教養学部統計学教室編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.75-81
黒木学著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.24-28

確率の公理と基本性質