事象の独立性-あるノマドの知の旅路～数学・統計学への道

本稿では、確率論の基本事項である事象の独立性についてまとめています。余事象の独立性、事象の独立性と排反性の関係、条件付き独立、シンプソンのパラドックスなどの定義や意味の紹介が含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

1.事象の独立性
2.条件付き独立
- 2.1.シンプソンのパラドックス
3.参考文献
4.引用文献
5.関連記事

事象の独立性

ここでは、新しく得た情報が確率に影響を与えない場合を考える。たとえば、サイコロとコインを同時に投げたとき、サイコロの出た目が6である確率は $\frac{1}{6}$ 。いま、コインが表であると知らされていても、サイコロの出た目が6である確率はやはり $\frac{1}{6}$ 。コイン投げの結果がサイコロの出る目の確率に影響していない。このように、ある事象Bが起こったかどうかということが、事象Aの確率に影響しない場合、AとBは独立であるという。

例題

サイコロ投げで、出た目を観察する。 $\begin{matrix} Ω = {1, 2, 3, 4, 5, 6} A = {1, 2} B = {1, 3, 5} \\ P (A) = \frac{2}{6} = \frac{1}{3} P (B) = \frac{3}{6} = \frac{1}{2} P (A \cap B) = \frac{1}{6} \\ P (B | A) = \frac{P (A \cap B)}{P (A)} = \frac{\frac{1}{6}}{\frac{1}{3}} = \frac{1}{2} \end{matrix}$ すなわち、 $\begin{matrix} P (B) = P (B | A) \end{matrix}$ 出た目が1か2であるということがわかっても、出た目が奇数である確率には何の変化もおよぼさないのである。

同様に、 $\begin{matrix} P (A | B) = \frac{P (A \cap B)}{P (B)} = \frac{\frac{1}{6}}{\frac{1}{2}} = \frac{1}{3} = P (A) \end{matrix}$ つまり、この場合、事象Aが起きたという情報は事象Bの確率には影響せず、またBが起きたという情報は事象Aの確率に影響しないのである。

事象の独立性の定義

事象AとBが独立であるということは、条件付き確率をもとにすると、次のようにいえる。 $\begin{matrix} P (A | B) = P (A) P (B | A) = P (B) \end{matrix}$ このことを、乗法定理を使って書くと、 $\begin{matrix} P (A \cap B) = P (A | B) \cdot P (B) = P (A) \cdot P (B) \end{matrix}$ ただ、条件付き確率が定義されないこと、すなわち、 $\begin{matrix} P (A) = 0 P (B) = 0 \end{matrix}$ のときもあるので、一般に独立は次のように定義される。

事象 $A, B$ が $\begin{matrix} (1) & P (A \cap B) = P (A) \cdot P (B) \end{matrix}$ を満たすとき、事象 $A, B$ は（周辺）独立 (marginal) independent であるといい、 $\begin{matrix} A ⫫ B \end{matrix}$ と表すことがある。いっぽう、この式が成り立たないとき、事象 $A, B$ は、従属する dependence ということがある。

3つの事象 $A, B, C$ が独立であるとは、 $\begin{matrix} P (A \cap B) = P (A) \cdot P (B) \\ P (B \cap C) = P (B) \cdot P (C) \\ P (C \cap A) = P (C) \cdot P (A) \\ P (A \cap B \cap C) = P (A) \cdot P (B) \cdot P (C) \end{matrix}$ のすべての式が成り立つ場合である。

【定義】
事象の独立性
Independence of Events

一般に、事象 $A_{i}$ が独立であるとは、すべての任意の有限個の事象 $\begin{matrix} A_{i 1}, A_{i 2}, \dots, A_{i n} \end{matrix}$ に対して、 $\begin{matrix} (2) & P (A_{i 1} \cap A_{i 2} \cap \dots \cap A_{i n}) = P (A_{i 1}) \cdot P (A_{i 2}) \dots P (A_{i n}) \\ {i_{1}, i_{2}, \dots, i_{n}} \subset {1, 2, \dots} \end{matrix}$ が成り立つことである。

例題

2つのサイコロを投げてそれぞれの出た目をみる。事象A＝最初のサイコロの出た目が偶数
事象B=2番目のサイコロの出た目が奇数
事象C＝出た目の合計が偶数
事象D＝最初のサイコロの出た目が6 とする。このとき、 $\begin{matrix} P (A) = P (B) = P (C) = \frac{1}{2} P (D) = \frac{1}{6} \end{matrix}$

$\begin{matrix} P (A \cap D) = \frac{1}{6} \\ P (A \cap D) \neq P (A) \cdot P (D) \end{matrix}$ よって、AとDは独立ではない。

$\begin{matrix} P (A \cap B) = P (A \cap C) = P (B \cap C) = \frac{1}{4} \\ P (A \cap B) = P (A) \cdot P (B) \\ P (A \cap C) = P (A) \cdot P (C) \\ P (B \cap C) = P (B) \cdot P (C) \end{matrix}$ しかし、 $\begin{matrix} P (A \cap B \cap C) = 0 \neq P (A) \cdot P (B) \cdot P (C) \end{matrix}$ つまリ、AとBは互いに独立、AとCも互いに独立、BとCも互いに独立であるが、AとBとCは独立でない。このような場合、A、B、Cは組ごとに独立 pairwise independent であるが、互いに独立でないということもある。

このほか、事象の独立性について、次のようなことが成り立つ。

余事象の独立性

【定理】
余事象の独立性
Independence and Complementary Event

事象 $A$ と事象 $B$ が互いに独立 $P (A \cap B) = P (A) \cdot P (B)$ であるとき、
（i）事象 $A$ と事象 $B$ の余事象 $\begin{array}{r} P (A \cap B^{c}) = P (A) \cdot P (B^{c}) \end{array}$ （ii）事象 $A$ の余事象と事象 $B$ $\begin{array}{r} P (A^{c} \cap B) = P (A^{c}) \cdot P (B) \end{array}$ （iii）事象 $A$ の余事象と事象 $B$ の余事象 $\begin{array}{r} P (A^{c} \cap B^{c}) = P (A^{c}) \cdot P (B^{c}) \end{array}$ も互いに独立である。

事象の独立性と排反性

【命題】
事象の独立性と排反性
Independence and Exclusion of Events

事象 $A, B$ に対し、 $0 < P (A), 0 < P (B)$ のとき、
（i）事象 $A$ と事象 $B$ が互いに独立ならば、 $A$ と $B$ は互いに排反ではない $\begin{array}{r} P (A \cap B) = P (A) \cdot P (B) \Rightarrow P (A \cap B) \neq 0 \end{array}$ （ii）事象 $A$ と事象 $B$ が互いに排反ならば、 $A$ と $B$ は互いに独立ではない $\begin{array}{r} P (A \cap B) = 0 \Rightarrow P (A \cap B) \neq P (A) \cdot P (B) \end{array}$

条件付き独立

一般的な独立性と同様、3つの事象 $A, B, C$ に対して、 $\begin{matrix} (3) & P (A \cap B | C) = P (A | C) \cdot P (B | C) \end{matrix}$ が成り立つとき、事象Cを与えたときに事象Aと事象Bは条件付き独立 conditional independence であるといい、 $\begin{matrix} A ⊥ B | C \end{matrix}$ で表す。いっぽう、この式が成り立たないとき、事象Cを与えたときに事象Aと事象Bは条件付き従属 conditional dependence であるということがある。

$0 < P (A \cap B | C)$ の仮定の下で、式 $(3)$ が成り立つとき、 $\begin{matrix} P (A | B \cap C) = P (A | C) P (B | A \cap C) = P (B | C) \end{matrix}$ を導くことができる。

ただ、一般に $A ⊥ B | C$ だからといって $A ⊥ B | C^{C}$ や $A ⊥ B$ が成り立つとは限らず、また、 $A ⊥ B$ や $A ⊥ B | C^{C}$ だからといって $A ⊥ B | C$ が成り立つとは限らない。

シンプソンのパラドックス

1973年の秋に実施されたカルフォルニア大学バークレー校における大学院入学試験において、女性志願者よりも男性志願者の合格率が高いため、女性に対して不利な入学試験が実施されたのではないかとの疑惑が持ち上がったという $^{(1, 2)}$ 。

表1 全体
	志願者	合格率
男性	$933$	$40 %$
女性	$366$	$11 %$

表2-1 A専攻
	志願者	合格率
男性	$560$	$63 %$
女性	$25$	$68 %$

表2-2 B専攻
	志願者	合格率
男性	$373$	$6 %$
女性	$341$	$7 %$

表1を見ると、明らかに女性志願者よりも男性志願者の合格率のほうが高くなっており、志願者の性別と合格率は従属していることがわかる。しかし、専攻ごとに合格率を見てみると。表2-1や表2-2より、性別による差異はほとんど見られず、志願者の性別と合格率はほぼ独立であることが確認できる。

このように、1つの集団をいくつかのグループにわけたとき、それらのグループに共通に成り立つ統計的独立関係が、もとの集団のそれと異なる現象をシンプソンのパラドックス Simpson's paradox という。

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.17-20
東京大学教養学部統計学教室編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.82-83
黒木学著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.32-35

引用文献

Bickel, P.J., Hammel, E.A. & O'connell, J.W.. Sex bias in graduate admissions: data from berkeley. Science. 1975, 187(4175), p.398-404, doi: 10.1126/science.187.4175.398
Freedman, D. & Pisani, R.. Statistics. 4th Edition, W.W.Norton & Company, 2007, 701p.

事象の独立性

事象の独立性