条件付き確率とベイズの定理-あるノマドの知の旅路～数学・統計学への道

本稿では、確率論の基本事項である条件付き確率とベイズの定理についてまとめています。条件付き確率の基本性質、確率の乗法定理、全確率の定理、ベイズの定理などの定義や意味の紹介が含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

1.条件付き確率
- 1.1.条件付き確率の基本性質
2.確率の乗法定理
3.全確率の定理
- 3.1.標本空間の分割
- 3.2.全確率の定理
4.ベイズの定理
- 4.1.例題
5.参考文献
6.関連記事

条件付き確率

ある試行に関して確率の計算を行なうには、その試行についての知識、あるいは情報から、標本空間、事象となるその部分集合、そしてその確率が分からなければならない。もちろんその知識、あるいは情報が変われば確率もまた変わるわけである。ここでは、事象Aの確率が、事象Bが起こったという新たな情報が加わったときどのように変わるかを考えてみる。

たとえば、サイコロを投げたとき、6が出る確率は $\begin{matrix} \frac{1}{6} \end{matrix}$ である。しかし、出た目は奇数であると知らされた場合、出た目が6である確率は0である。つまり奇数が出たという新しい情報を知ることにより、出た目が6であるという事象の確率が変わったのである。このように、ある事象Bが起こったと分かっている場合に、事象Aが起こる確率を、事象Bを与えたときの事象Aの条件付き確率 conditional probability of A given B と呼び、 $\begin{matrix} P (A | B) = \frac{P (A \cap B)}{P (B)} 0 < P (B) \end{matrix}$ で表す。ただし、 $0 < P (B)$ のときのみに定義され、 $P (B) = 0$ のときは、条件付き確率は定義されない。

「事象Bを与えた」とは、事象Bが起こることが確実である、あるいは事象Bが起こったという確かな情報を有していることを意味している。条件付き確率は、この情報を利用して、標本空間 $Ω$ のなかに制約を加えた「新たな標本空間」 $\begin{matrix} Ω = {1, 2, 3, 4, 5, 6} \Rightarrow Ω | B = {1, 3, 5} \end{matrix}$ を構成し、それに基づいて新たな確率空間を構成したものといえる。

条件付き確率の基本性質

条件付き確率には、次のような基本性質がある。これらは、一般的な確率の場合と同様の性質である。

【定理】
条件付き確率の基本性質
Basic Properties of Conditional Probability

事象 $A, B_{1}, B_{2}, \dots$ について、標本空間を $Ω$ とし、 $\begin{matrix} 0 < P (A) \end{matrix}$ のとき、（i） $\begin{array}{r} P (Ω | A) = 1 \end{array}$

（ii）条件付き確率は0以上、1以下 $\begin{array}{r} 0 \leq P (B | A) \leq 1 \end{array}$

（iii） $B_{1} \cap B_{2} = \emptyset$ ならば、 $\begin{array}{r} P (B_{1} \cup B_{2} | A) = P (B_{1} | A) + P (B_{2} | A) \end{array}$

（iv）すべての $i \neq j$ で $B_{i} \cap B_{j} = \emptyset$ ならば、 $\begin{array}{r} P (⋃_{i = 1}^{\infty} B_{i} | A) = \sum_{i = 1}^{\infty} P (B_{i} | A) \end{array}$

（v） $\begin{array}{r} P (B^{C} | A) = 1 - P (B | A) \end{array}$

（vi） $\begin{array}{r} P (B_{1} \cup B_{2} | A) = P (B_{1} | A) + P (B_{2} | A) - P (B_{1} \cap B_{2} | A) \end{array}$

（vii） $\begin{array}{r} P (B | Ω) = P (B) \end{array}$

（viii） $A \cap B = \emptyset$ ならば、 $\begin{array}{r} P (B | A) = 0 \end{array}$

（ix） $A \subset B$ ならば、 $\begin{array}{r} P (B | A) = 1 \end{array}$

（x） $B \subset A$ ならば、 $\begin{array}{r} P (B) \leq P (B | A) \end{array}$

確率の乗法定理

条件付き確率の定義式より、条件付き確率 $P (B | A)$ と周辺確率 $P (A)$ が与えられれば、積事象 $A \cap B$ の確率 $P (A \cap B)$ は $\begin{matrix} P (A \cap B) = P (B | A) \cdot P (A) \end{matrix}$ と書けることがわかる。この式を確率の乗法定理 multiplication theorem on probability という。なお、確率 $P (A \cap B)$ に対して、乗法定理の表現方法として、 $\begin{matrix} P (A \cap B) = P (B | A) \cdot P (A) P (A \cap B) = P (A | B) \cdot P (B) \end{matrix}$ の2つの形式が得られる。このことからわかるように、一般に、確率 $P (A \cap B)$ に対する乗法公式にはその表現に一意性がない。

一般に、 $n$ 個の事象 $\begin{matrix} A_{1}, A_{2}, \dots, A_{n} \end{matrix}$ があるとき、積事象 $\begin{matrix} A_{1} \cap A_{2} \cap \dots \cap A_{n} \end{matrix}$ の確率 $\begin{matrix} P (A_{1} \cap A_{2} \cap \dots \cap A_{n}) \end{matrix}$ は条件付き確率の積として $\begin{matrix} P (A_{1} \cap A_{2} \cap \dots \cap A_{n}) = P (A_{n} | A_{1} \cap A_{2} \cap \dots \cap A_{n - 1}) \dots P (A_{2} | A_{1}) \cdot P (A_{1}) \end{matrix}$ のように表すことができる。これを一般乗法定理 general multiplication theorem、あるいは連鎖公式 cliain rule という。

全確率の定理

まず次のような実験を考えてみる。まったく同じ形をした箱 $A_{1}$ と箱 $A_{2}$ があり、箱 $A_{1}$ の中には黒ボール1個、赤ボール2個が入っていて、箱 $A_{2}$ には黒ボール1個、赤ボール3個入っている。ボールはどれも同じ形である。最初にどちらかの箱を無作為に選び、次にその選んだ箱からボールを1つ取り出す。このときの選ばれたボールが黒である確率を求める。

事象 $B$ を選ばれたボールが黒である事象とし、事象 $A_{1}$ を箱 $A_{1}$ が選ばれた事象、 $A_{2}$ を箱 $A_{2}$ が選ばれた事象とする。事象 $B$ が起こるということは、箱 $A_{1}$ を選びそこから黒ボールを取り出したか、または箱 $A_{2}$ を選びそこから黒ボールを取リ出したかのどちらかが起こったということである。つまり $A_{1} \cap B$ か $A_{2} \cap B$ のどちらかが起こったということである。ここで $A_{1} \cap B$ と $A_{2} \cap B$ は同時に起こり得ないので互いに排反な事象である。

確率の基本性質により、 $\begin{matrix} P (B) = P (A_{1} \cap B) + P (A_{2} \cap B) \end{matrix}$ $P (A_{1} \cap B), P (A_{2} \cap B)$ は乗法定理を使って、 $\begin{matrix} P (A_{1} \cap B) = P (A_{1}) \cdot P (B | A_{1}) = \frac{1}{2} \times \frac{1}{3} = \frac{1}{6} \\ P (A_{2} \cap B) = P (A_{2}) \cdot P (B | A_{2}) = \frac{1}{2} \times \frac{1}{4} = \frac{1}{8} \end{matrix}$ よって、 $\begin{matrix} P (B) = \frac{1}{6} + \frac{1}{8} = \frac{7}{24} \end{matrix}$

標本空間の分割

上の事象 $A_{1}, A_{2}$ のように互いに排反であり、その和が標本空間であるような事象を標本空間の分割という。一般には次のようになる。

【定義】
標本空間の分割
Partition

事象 $A_{1}, A_{2}, A_{3}, \dots$ について、すべての事象が互いに排反であり、かつ、すべての事象の和集合が標本空間に等しい、すなわち、すべての $i \neq j$ に対し、 $\begin{array}{r} A_{i} \cap A_{j} = \emptyset and ⋃_{i = 1}^{\infty} A_{i} = Ω \end{array}$ が成り立つとき、事象 $A_{1}, A_{2}, A_{3}, \dots$ は標本空間 $Ω$ の分割であるという。

全確率の定理

このとき、次の定理が成り立つ。

【定理】
全確率の定理
Total Probability Rule

事象 $A_{1}, A_{2}, A_{3}, \dots$ が標本空間 $Ω$ の分割であり、 $0 < P (A_{i})$ のとき、事象 $B$ に対して、 $\begin{array}{r} P (B) = \sum_{i = 1}^{\infty} P (A_{i}) \cdot P (B | A_{i}) \end{array}$ が成り立つ。

【例題】
ある工場では、3つの機械 $A, B, C$ で製品を作っている。機械 $A$ で作った製品の中には10%、機械 $B$ には20%、機械 $C$ には5％の不良晶ができるという。いま、この工場では50％の製品を機械 $A$ で、30％を機械 $B$ で、そして20%を機械 $C$ で作っているとするとき、できあがった製品を1つ取リ出したとき、それが不良品である確率を求める。

事象 $A$ ＝機械 $A$ で作られる、 $B$ ＝機械 $B$ で作られる、 $C$ ＝機械 $C$ で作られる、 $D$ ＝不良品とすると、 $\begin{matrix} P (A) = 0.5 P (B) = 0.3 P (C) = 0.2 \\ P (D | A) = 0.1 P (D | B) = 0.2 P (D | C) = 0.05 \end{matrix}$ $\begin{aligned} P (D) & = P (A) \cdot P (D | A) + P (B) \cdot P (D | B) + P (C) \cdot P (D | C) \\ = 0.5 \cdot 0.1 + 0.3 \cdot 0.2 + 0.2 \cdot 0.05 \\ = 0.12 \end{aligned}$

ベイズの定理

ここで全確率の定理の例に戻って、今度は取り出されたボールが黒であると知らされたとき、選ばれた箱が $A_{1}$ である確率を考えてみる。条件付き確率の定義により求める確率は、 $\begin{aligned} P (A_{1} | B) & = \frac{P (A_{1} \cap B)}{P (B)} \\ = \frac{P (A_{1} \cap B)}{P (B | A_{1}) + P (B | A_{2})} \\ = \frac{\frac{1}{6}}{\frac{7}{24}} \\ = \frac{4}{7} \end{aligned}$ つまり、箱 $A_{1}$ が選ばれる確率が、黒ボールが取り出されたという情報を得たことによって $\frac{1}{2}$ から $\frac{4}{7}$ に変わったのである。

一般に、全確率の定理と確率の乗法定理を用いると、次のベイズの定理が成り立つ。

【定理】
ベイズの定理
Bayes’ Theorem

事象 $A_{1}, A_{2}, A_{3}, \dots$ が標本空間 $Ω$ の分割であり、 $0 < P (A_{i})$ のとき、事象 $B$ に対して、 $0 < P (B)$ ならば $\begin{array}{r} P (A_{i} | B) = \frac{P (A_{i}) \cdot P (B | A_{i})}{\sum_{j = 1}^{\infty} P (A_{j}) \cdot P (B | A_{j})} \end{array}$ が成り立つ。

この式において、確率 $P (A_{i})$ を（事象 $B$ が起きる前の）事象 $A_{i}$ の事前確率 prior probability、または先験確率といい、条件付き確率 $P (A_{i} | B)$ を（事象 $B$ が起きた後での）事象 $A_{i}$ の事後確率 posterior probability という。

また、条件付き確率 $\begin{matrix} P (A_{i} | B) \end{matrix}$ を尤度 likelihood、 $\begin{matrix} \sum_{j = 1}^{\infty} P (A_{j}) \cdot P (B | A_{j}) \end{matrix}$ を周辺尤度 marginal likelihood ということがある。

例題

証人が車の色を証言するとき、実際に赤い色の車を見た場合、赤と正しく答える確率が0.8、実際には他の色の車を見たのに赤と答える確率が0.4だとする。いま、車の3割が赤であるとすると、証人が赤であると答えたとき、実際は他の色である確率を求める。

事象 $R$ ＝実際に赤の車である、事象 $S$ ＝証人が赤であると答える、とすると、 $\begin{aligned} P (R^{C} | S) & = \frac{P (R^{C} \cap S)}{P (S)} \\ = \frac{P (S | R^{C}) \cdot P (R^{C})}{P (S | R) \cdot P (R) + P (S | R^{C}) \cdot P (R^{C})} \\ = \frac{0.4 \cdot 0.7}{0.8 \cdot 0.3 + 0.4 \cdot 0.7} \\ = 0.5385 \end{aligned}$

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.13-15, p22-27
東京大学教養学部統計学教室編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.81-85
黒木学著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.29-32

条件付き確率とベイズの定理