多次元の確率分布

本稿では、多次元の確率分布についてまとめています。同時分布関数、離散型確率変数ベクトルと同時確率関数、連続型確率変数ベクトルと同時確率密度関数、周辺分布関数、周周辺確率密度関数、条件付き確率関数、条件付き分布と同時確率分布の関係、確率変数の独立性などの定義や性質の紹介が含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

• スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

 

同時分布関数

ここでは、まず2次元確率変数についてみていく。たとえば、ある日の降雨量とその日の気温を観測する実験を考え、確率変数 $X$ を降雨量、$Y$ を最高気温とすると、標本空間の点 $\omega$ に2次元平面上の点 \begin{gather} \left\{X \left(\omega\right),Y \left(\omega\right)\right\} \end{gather} を対応させている 2次元確率変数を考えているのであり、その $ \left(X,Y\right)$ の分布というものに関心があるわけである。

確率変数ベクトル $ \left(X,Y\right)$ に対し、 \begin{gather} F \left(x,y\right)=P \left(X \le x,Y \le y\right)\\ -\infty \lt x \lt \infty \quad -\infty \lt y \lt \infty \end{gather} を満たすものを 確率変数ベクトル $ \left(X,Y\right)$ の同時分布関数 joint distribution function、または結合分布関数という。これは、確率変数 $X$ が $x$ 以下の値を取り、かつ、確率変数 $Y$ が $y$ 以下の値を取る確率である。

 

同時分布関数の基本性質

同時分布関数には、単変量の場合と同様に、以下の性質がある。

 

同時分布関数を用いた確率の計算

確率を計算する際の方法も、単変量の場合と同様に、以下のことが成り立つ。

 

証明

 

離散型確率変数ベクトルと同時確率関数

次に2 次元確率変数の場合の離散型と連統型についてみる。

離散型確率変数ベクトル

確率変数ベクトル $(X,Y)$ がともに有限個 \begin{align} \left\{x_1,x_2, \cdots ,x_n\right\} \quad \left\{y_1,y_2, \cdots ,y_n\right\} \end{align} または可算無限個 \begin{align} \left\{x_1,x_2, \cdots \right\} \quad \left\{y_1,y_2, \cdots \right\} \end{align} の値をとるとき、 その確率変数ベクトルは離散型 discrete random vector であるという。つまり、$X$ も $Y$ も離散型確率変数である場合である。

同時確率関数

離散型確率変数に関して、 \begin{align} X=x \quad かつ \quad Y=y \end{align} となる確率を 確率変数ベクトル $ \left(X,Y\right)$ の同時確率関数 joint probability function、または結合確率関数といい、$x,y$ に関する関数 $f \left(x,y\right)$ として、 \begin{align} f \left(x,y\right)=P \left(X=x,Y=y\right) \quad \left(x,y\right)\in\boldsymbol{R}^2 \end{align} と表す。 単変数の場合と同様、$x,y$ が取り得る値でないときは、 \begin{align} f \left(x,y\right)=0 \end{align} と定義される。 すなわち、$X$ の定義域を $\boldsymbol{\Omega}= \left\{\begin{matrix}x:x_1,x_2, \cdots \\y:y_1,y_2, \cdots \\\end{matrix}\right\}$ とすると、 \begin{align} f \left(x,y\right)= \left\{\begin{matrix}P \left(X=x,Y=y\right)& \left(x,y\right)\in\boldsymbol{\Omega}\\0& \left(x,y\right)\notin\boldsymbol{\Omega}\\\end{matrix}\right. \end{align}

同時確率関数の性質

確率関数は、確率の公理を満たすため、すべての $ \left(x,y\right)\in\boldsymbol{R}^2$ に関して、
（i）0以上の値である \begin{align} 0 \le f \left(x,y\right) \end{align} （ii）$ \left(X,Y\right)$ の取りうる値に対応する確率の総和は1 \begin{align} \sum_{x=-\infty}^{\infty}\sum_{y=-\infty}^{\infty}f \left(x,y\right)=1 \end{align}

任意の事象の確率

また、任意の集合 $A\in\boldsymbol{R}^2$ について、その確率は、 \begin{align} P \left\{ \left(X,Y\right)\in A\right\}=\sum_{ \left(x,y\right)\in A}\sum f \left(x,y\right) \end{align} で与えられる。 例えば、$X$ が $a$ 以上、$b$ 以下、かつ、$Y$ が $c$ 以上、$d$ 以下の値を取る確率は、 \begin{align} P \left(a \le X \le b,c \le Y \le d\right)=\sum_{x=a}^{b}\sum_{y=c}^{d}f \left(x,y\right) \end{align} である。

同時確率関数と同時分布関数の関係

同時確率関数を用いると、同時分布関数は、 \begin{align} F \left(x,y\right)=\sum_{s=-\infty}^{x}\sum_{t=-\infty}^{y}f \left(s,t\right) \end{align} と表すことができる。

 

連続型確率変数ベクトルと同時確率密度関数

確率変数ベクトル $ \left(X,Y\right)$ について、次式のように、すべての $ \left(x,y\right)$ で、 \begin{align} F \left(x,y\right)=\int_{-\infty}^{x}\int_{-\infty}^{y}f \left(s,t\right)dsdt \end{align} を満たす非負の関数 $f \left(x,y\right)$ が存在するとき、 \begin{gather} \left(X,Y\right) \end{gather} を連続型確率変数ベクトル continuous random vector といい、 \begin{gather} f \left(x,y\right) \end{gather} を $X,Y$ の同時確率密度関数 joint probability density function という。

同時確率密度関数の性質

確率密度関数は、確率の公理を満たすため、すべての $ \left(x,y\right)\in\boldsymbol{R}^2$ に関して、
（i）0以上の値である \begin{align} 0 \le f \left(x,y\right) \end{align} （ii）$ \left(X,Y\right)$ の取りうる値に対応する確率の総和は1 \begin{align} \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f \left(x,y\right)dxdy=1 \end{align}

任意の事象の確率

任意の集合 $A\in\boldsymbol{R}^2$ について、その確率は、 \begin{align} P \left\{ \left(X,Y\right)\in A\right\}=\iint_{A} f \left(x,y\right)dxdy \end{align} で与えられる。 また、すべての実数 $a,c$ に対し、 \begin{align} P \left(X=a,Y=c\right)=\int_{a}^{a}\int_{c}^{c}f \left(x,y\right)dxdy=0 \end{align} しかし、$dx,dy$ が十分小さいときとは、$f \left(x,y\right)dxdy$ は、 \begin{align} P \left(x \le X \le x+dx,y \le Y \le y+dy\right) \end{align} の近似としてみることができる。

同時確率密度関数と同時分布関数の関係

同時分布関数が変数 $x,y$ で2階微分可能であるとき、同時確率密度関数と同時分布関数の間には、 \begin{align} f \left(x,y\right)=\frac{\partial^2}{\partial x\partial y}F \left(x,y\right) \end{align} という関係が成り立つ。

 

周辺分布関数

確率変数ベクトル $ \left(X,Y\right)$ の同時分布関数 $F \left(x,y\right)$ が与えられたとき、$X$ のみに関する分布関数 \begin{align} G \left(x\right)=P \left(X \le x\right)=\lim_{y\rightarrow\infty}{P \left(X \le x,Y \le y\right)}=\lim_{y\rightarrow\infty}{F \left(x,y\right)} \end{align} を $X$ の周辺確率分布 marginal distribution function という。 同様に、$Y$ のみに関する分布関数 \begin{align} H \left(y\right)=P \left(Y \le y\right)=\lim_{x\rightarrow\infty}{P \left(X \le x,Y \le y\right)}=\lim_{x\rightarrow\infty}{F \left(x,y\right)} \end{align} を $Y$ の周辺確率分布という。 これらは、同時確率関数、または同時確率密度関数 $f \left(x,y\right)$ が与えられたとき、 \begin{gather} G \left(x\right)= \left\{\begin{matrix}\sum_{s=-\infty}^{x}\sum_{y=-\infty}^{\infty}f \left(s,y\right)&\mathrm{Discrete}\\\int_{-\infty}^{x}\int_{-\infty}^{\infty}f \left(s,y\right)dsdy&\mathrm{Continuous}\\\end{matrix}\right.\\ H \left(y\right)= \left\{\begin{matrix}\sum_{x=-\infty}^{\infty}\sum_{t=-\infty}^{y}f \left(x,t\right)&\mathrm{Discrete}\\\int_{-\infty}^{\infty}\int_{-\infty}^{y}f \left(x,t\right)dxdt&\mathrm{Continuous}\\\end{matrix}\right. \end{gather} として求めることができる。

周辺確率関数

離散型2次元確率変数に対し、同時確率関数 $f \left(x,y\right)$ が与えられたとき、$X$ または、$Y$ のみに関する確率関数 \begin{gather} g \left(x\right)=\sum_{y=-\infty}^{\infty}f \left(x,y\right)\\ h \left(y\right)=\sum_{x=-\infty}^{\infty}f \left(x,y\right) \end{gather} を周辺確率関数 marginal probability function という。

つまり、$g \left(x\right)$ は、$f \left(x,y\right)$ を $x$ で固定して、$Y$ の取りうるすべての値で足したものである。

周辺確率密度関数

同様に、連続型2次元確率変数に対し、同時確率関数 $f \left(x,y\right)$ が与えられたとき、$X$ または、$Y$ のみに関する確率密度関数 \begin{gather} g \left(x\right)=\int_{-\infty}^{\infty}f \left(x,y\right)dy\\ h \left(y\right)=\int_{-\infty}^{\infty}f \left(x,y\right)dx \end{gather} を周辺確率密度関数 marginal probability density function という。

つまり、$g \left(x\right)$ は、$f \left(x,y\right)$ を実数 $x$ で固定して、$Y$ の取りうるすべての値で積分したものである。

 

条件付き確率関数

ここでは2次元確率変数 $ \left(X,Y\right)$ で、$X,Y$ のどちらかの確率変数の値が与えられているときのもういっぽうの確率変数の分布というものを考えてみる。たとえば、$X$ を学生の体重、$Y$ をその身長としたとき、身長170 cm の学生の体重の分布、つまり $Y=170$ が与えられているときの $X$ の分布を考える。

離散型2次元確率変数 $ \left(X,Y\right)$ について、$Y=y$ が与えられたときに $X=x$ となる確率は、条件付き確率の定義より、$0 \lt f \left(y\right)$ として、 \begin{align} P \left(X=x\middle| Y=y\right)=\frac{P \left(X=x,Y=y\right)}{P \left(Y=y\right)}=\frac{f \left(x,y\right)}{h \left(y\right)} \end{align} で求められる。 このようにして得られた $X$ の分布を $Y=y$ が与えられたときの $X$ の条件付き確率分布 conditional probability distribution といい、 \begin{align} g \left(x\middle| y\right)=\frac{f \left(x,y\right)}{h \left(y\right)} \end{align} を $X$ の条件付き確率関数 conditional probability function という。 同様に、$Y$ の条件付き確率関数は、 \begin{align} h \left(y\middle| x\right)=\frac{f \left(x,y\right)}{g \left(x\right)} \end{align} で与えられる。

同時確率密度関数の性質

条件付き確率関数は、確率の公理を満たすため、すべての $ \left(x,y\right)\in\boldsymbol{R}^2$ に関して、
（i）0以上の値である \begin{align} 0 \le g \left(x\middle| y\right) \quad 0 \le h \left(y\middle| x\right) \end{align} （ii）$X$ または、$Y$ の取りうる値に対応する確率の総和は1 \begin{align} \sum_{x=-\infty}^{\infty}{g \left(x\middle| y\right)}=1 \quad \sum_{y=-\infty}^{\infty}{h \left(y\middle| x\right)}=1 \end{align}

証明

条件付き確率関数の定義式より、 \begin{align} \sum_{x=-\infty}^{\infty}{g \left(x\middle| y\right)}&=\sum_{x=-\infty}^{\infty}\frac{f \left(x,y\right)}{h \left(y\right)}\\ &=\frac{1}{h \left(y\right)}\sum_{x=-\infty}^{\infty}f \left(x,y\right) \end{align} 周辺確率関数の定義式 $\sum_{x=-\infty}^{\infty}f \left(x,y\right)=h \left(y\right)$ より、 \begin{align} \sum_{x=-\infty}^{\infty}{g \left(x\middle| y\right)}=\frac{h \left(y\right)}{h \left(y\right)}=1 \end{align} $\blacksquare$

任意の事象の確率

任意の集合 $A\in\boldsymbol{R}$ について、その確率は、 \begin{align} P \left(X\in A\middle| Y=y\right)=\sum_{x\in A}{g \left(x\middle| y\right)} \end{align} で与えられる。

 

条件付き確率密度関数

離散型のときと同様に、連続型の場合においても、$Y=y$ が与えられたとき、$0 \lt f \left(y\right)$ として、 \begin{align} g \left(x\middle| y\right)=\frac{f \left(x,y\right)}{h \left(y\right)} \end{align} を $X$ の条件付き確率密度関数 conditional probability density functionといい、 \begin{align} h \left(y\middle| x\right)=\frac{f \left(x,y\right)}{g \left(x\right)} \end{align} を $Y$ の条件付き確率密度関数という。

同時確率密度関数の性質

離散型のときと同様に、すべての $ \left(x,y\right)\in\boldsymbol{R}^2$ に関して、
（i）0以上の値である \begin{align} 0 \le g \left(x\middle| y\right) \quad 0 \le h \left(y\middle| x\right) \end{align} （ii）$X$ または、$Y$ の取りうる値に対応する確率の総和は1 \begin{align} \int_{-\infty}^{\infty}{g \left(x\middle| y\right)dx}=1 \quad \int_{-\infty}^{\infty}{h \left(y\middle| x\right)dy}=1 \end{align}

証明

条件付き確率密度関数の定義式より、 \begin{align} \int_{-\infty}^{\infty}{g \left(x\middle| y\right)dx}&=\int_{-\infty}^{\infty}{\frac{f \left(x,y\right)}{h \left(y\right)}dx}\\ &=\frac{1}{h \left(y\right)}\int_{-\infty}^{\infty}f \left(x,y\right)dx \end{align} 周辺確率関数の定義式 $\int_{-\infty}^{\infty}f \left(x,y\right)dx=h \left(y\right)$ より、 \begin{align} \int_{-\infty}^{\infty}{g \left(x\middle| y\right)dx}=\frac{h \left(y\right)}{h \left(y\right)}=1 \end{align} $\blacksquare$

任意の事象の確率

任意の集合 $A\in\boldsymbol{R}$ について、その確率は、 \begin{align} P \left(X\in A\middle| Y=y\right)=\int_{A}{g \left(x\middle| y\right)dx} \end{align} で与えられる。

 

条件付き分布と同時確率分布の関係

条件付き確率（密度）関数の定義式を変形すると、条件付き分布と同時確率分布の間には、 \begin{gather} f \left(x,y\right)=g \left(x\middle| y\right) \cdot h \left(y\right)\\ f \left(x,y\right)=h \left(y\middle| x\right) \cdot g \left(x\right) \end{gather} という関係があることが分かる。

この関係を用いて周辺分布を \begin{gather} g \left(x\right)= \left\{\begin{matrix}\sum_{y=-\infty}^{\infty}f \left(x,y\right)=\sum_{y=-\infty}^{\infty}{g \left(x\middle| y\right) \cdot h \left(y\right)}&\mathrm{Discrete}\\\int_{-\infty}^{\infty}f \left(x,y\right)dy=\int_{-\infty}^{\infty}{g \left(x\middle| y\right) \cdot h \left(y\right)dy}&\mathrm{Continuous}\\\end{matrix}\right.\\ h \left(y\right)= \left\{\begin{matrix}\sum_{x=-\infty}^{\infty}f \left(x,y\right)=\sum_{x=-\infty}^{\infty}{h \left(y\middle| x\right) \cdot g \left(x\right)}&\mathrm{Discrete}\\\int_{-\infty}^{\infty}f \left(x,y\right)dx=\int_{-\infty}^{\infty}{h \left(y\middle| x\right) \cdot g \left(x\right)dx}&\mathrm{Continuous}\\\end{matrix}\right. \end{gather} のように導くことができる。 これは、全確率の定理の拡張とみることができる。

また、$0 \lt g \left(x\right),0 \lt h \left(y\right)$ として、 \begin{gather} g \left(x\middle| y\right)= \left\{\begin{matrix}\frac{h \left(y\middle| x\right) \cdot g \left(x\right)}{\sum_{x=-\infty}^{\infty}{h \left(y\middle| x\right) \cdot g \left(x\right)}}&\mathrm{Discrete}\\\frac{h \left(y\middle| x\right) \cdot g \left(x\right)}{\int_{-\infty}^{\infty}{h \left(y\middle| x\right) \cdot g \left(x\right)dx}}&\mathrm{Continuous}\\\end{matrix}\right.\\ h \left(y\middle| x\right)= \left\{\begin{matrix}\frac{g \left(x\middle| y\right) \cdot h \left(y\right)}{\sum_{y=-\infty}^{\infty}{g \left(x\middle| y\right) \cdot h \left(y\right)}}&\mathrm{Discrete}\\\frac{g \left(x\middle| y\right) \cdot h \left(y\right)}{\int_{-\infty}^{\infty}{g \left(x\middle| y\right) \cdot h \left(y\right)dy}}&\mathrm{Continuous}\\\end{matrix}\right. \end{gather} これは、ベイズの定理の拡張とみることができる。

 

確率変数の独立性

2次元変数の独立性

確率変数 $ \left(X,Y\right)$ がどのような事象 $A,B$ に対しても、 \begin{align} P \left(X\in A,Y\in B\right)=P \left(X\in A\right) \cdot P \left(Y\in B\right) \end{align} を満たすとき、$X,Y$ は互いに独立であるという。 ここで、 \begin{align} A= \left(-\infty, \left.x\right]\right.,B= \left(-\infty, \left.y\right]\right. \end{align} とすると、 $X,Y$ が独立であるとき、 \begin{align} F \left(x,y\right)=P \left(X \le x,Y \le y\right)=P \left(X \le x\right) \cdot P \left(Y \le y\right)=G \left(x\right) \cdot H \left(y\right) \end{align} が成り立つ。 また、$ \left(X,Y\right)$ が離散型、または連続型の場合には、同時確率（密度）関数と周辺確率（密度）関数との間に、 \begin{align} f \left(x,y\right)=g \left(x\right) \cdot h \left(y\right) \end{align} が成り立つ。 条件付き確率（密度）関数の定義から、$X,Y$ が独立かつ、$0 \lt f \left(x\right),0 \lt f \left(y\right)$ であるとき \begin{gather} f \left(\ x\ \middle|\ y\ \right)=\frac{f \left(x,y\right)}{f \left(y\right)}=\frac{f \left(x\right) \cdot f \left(y\right)}{f \left(y\right)}=f \left(x\right)\\ f \left(\ y\ \middle|\ x\ \right)=\frac{f \left(x,y\right)}{f \left(x\right)}=\frac{f \left(x\right) \cdot f \left(y\right)}{f \left(x\right)}=f \left(y\right) \end{gather} が成り立つ。

多次元変数の独立性

一般に、確率変数 $X_1,X_2, \cdots ,X_n$ がどのような事象 $A_1,A_2, \cdots ,A_n$ に対しても、 \begin{align} P \left(X_1\in A_1, \cdots ,X_n\in A_n\right)=P \left(X_1\in A_1\right) \cdots P \left(X_n\in A_n\right) \end{align} を満たすとき、$X_1,X_2, \cdots ,X_n$ は互いに独立であるという。 このとき、 \begin{gather} F \left(x_1,x_2, \cdots ,x_n\right)=F \left(x_1\right) \cdot F \left(x_2\right) \cdots F \left(x_n\right)\\ f \left(x_1,x_2, \cdots ,x_n\right)=f \left(x_1\right) \cdot f \left(x_2\right) \cdots f \left(x_n\right) \end{gather} が成り立つ。 特に \begin{align} \boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\} \end{align} が独立で、 各確率変数 $X_i,i=1,2, \cdots ,n$ が同じ分布に従うとき、$X_1,X_2, \cdots ,X_n$ は、
独立で同一な分布に従う確率変数
independent and identically distributed random variables と呼ばれる。 また、独立で同一の確率分布にしたがう $n$ 個の確率変数 \begin{align} \boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\} \end{align} を同時に考えるとき、 その確率分布を持つ母集団からのサンプルサイズ $n$ の無作為標本 random sampleという。無作為標本の実現値の集まりがデータ・セットである。母集団を特徴づける確率分布を母集団分布 population distribution ということがある。

離散型または連続型の場合、$f \left(x_i\right)$ を各 $X_i,i=1,2, \cdots ,n$ の周辺確率関数または周辺確率密度関数とすると、$X_1,X_2, \cdots ,X_n$\ が独立で同一な分布に従う確率変数のときの同時確率密度関数は、 \begin{align} f \left(x_1,x_2, \cdots ,x_n\right)=f \left(x_1\right) \cdot f \left(x_2\right) \cdots f \left(x_n\right) \end{align} で与えられる。

また、一般に $n$ 個の独立な確率変数の部分の関数は互いに独立、すなわち、 $X_1,X_2, \cdots ,X_n$ が独立 $\Rightarrow$ $f \left(X_1,X_2, \cdots ,X_r\right),g \left(X_{r+1},X_{r+2}, \cdots ,X_{r+s}\right), \cdots $ は互いに独立 が成り立つ。

 

参考文献

• 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.46-58
• 竹村 彰通 著. 現代数理統計学. 創文社, 1991, p.37-41
• 東京大学教養学部統計学教室 編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.133-136, p.141-143
• 黒木 学 著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.45-54

関連記事

• 確率変数と分布関数
• 確率変数変換
• 確率分布の特性値
• モーメントと母関数
• 共分散と相関係数
• 条件付き確率分布の特性値
• 指数分布モデルと二重同次ポアソンモデルの関係