本稿では、多変量正規分布と二変量正規分布の定義と概要についてまとめています。同時確率密度関数であることの証明、二変量が無相関ならば独立であることの証明、期待値ベクトルと分散・共分散行列、モーメント母関数の紹介が含まれます。
なお、閲覧にあたっては、以下の点にご注意ください。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
多変量正規分布
同時確率密度関数
$k$ 次元ベクトル \begin{align} \boldsymbol{\mu}= \left\{\begin{matrix}\mu_1\\\mu_2\\\vdots\\\mu_k\\\end{matrix}\right\} \end{align} $k$ 次正値対称行列 \begin{gather} \boldsymbol{\Sigma}= \left\{\begin{matrix}\sigma_1^2&\sigma_{12}& \cdots &\sigma_{1k}\\\sigma_{21}&\sigma_2^2& \cdots &\sigma_{2k}\\\vdots&\vdots&\ddots&\vdots\\\sigma_{k1}&\sigma_{k2}& \cdots &\sigma_k^2\\\end{matrix}\right\}\\ \sigma_{ij}=\sigma_{ji} \quad i,j= \left\{1,2, \cdots ,k\right\} \quad i \neq j \end{gather} を用いて、 $k$ 次元確率変数ベクトル \begin{align} \boldsymbol{X}= \left\{X_1,X_2,X_3, \cdots ,X_k\right\} \end{align} の同時確率密度関数が \begin{gather} f \left(\boldsymbol{x}\right)=\frac{1}{ \left(2\pi\right)^\frac{k}{2} \cdot \left|\boldsymbol{\Sigma}\right|^\frac{1}{2}}\mathrm{exp} \left\{-\frac{1}{2} \left(\boldsymbol{x}-\boldsymbol{u}\right)^\boldsymbol{T}\boldsymbol{\Sigma}^{-\boldsymbol{1}} \left(\boldsymbol{x}-\boldsymbol{u}\right)\right\} \end{gather} $\boldsymbol{A}^T$ は転置行列、$\boldsymbol{A}^{-1}$ は逆行列、$ \left|\boldsymbol{\Sigma}\right|$ は行列式を表す。 で与えられるとき、 $\boldsymbol{X}$ は、 期待値ベクトル $\boldsymbol{\mu}$、分散・共分散行列 $\boldsymbol{\Sigma}$ の $k$ 次元正規分布 または、単に多変量正規分布 multivariate normal distribution に従うという。
略記法
また、$k$ 次元正規分布は、 \begin{align} \mathrm{N} \left(\boldsymbol{\mu},\boldsymbol{\Sigma}\right) \end{align} または、次元を明示して、 \begin{align} {\mathrm{N}}_k \left(\boldsymbol{\mu},\boldsymbol{\Sigma}\right) \end{align} と略記されることがある。
二変量正規分布
同時確率密度関数
多変量正規分布において、$k=2$ の場合を二変量正規分布 bivariate normal distribution と呼び、確率変数ベクトル $X,Y$ に対し、期待値ベクトルと分散・共分散行列を \begin{align} \boldsymbol{\mu}= \left(\begin{matrix}\mu_X\\\mu_Y\\\end{matrix}\right) \quad \boldsymbol{\Sigma}= \left(\begin{matrix}\sigma_X^2&\sigma_{XY}\\\sigma_{YX}&\sigma_Y^2\\\end{matrix}\right) \end{align} $X,Y$ の共分散と相関係数を \begin{align} \mathrm{Cov} \left(X,Y\right)=\sigma_{XY}=\sigma_{YX} \quad \rho \end{align} とすると、 同時確率密度関数は、 \begin{gather} \begin{matrix}f \left(x,y\right)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}\mathrm{exp} \left\{-\frac{1}{2 \left(1-\rho^2\right)}Q \left(x,y\right)\right\}&\begin{matrix}-\infty \lt x \lt \infty\\-\infty \lt y \lt \infty\\\end{matrix}\\\end{matrix}\\ Q \left(x,y\right)= \left(\frac{x-\mu_X}{\sigma_x}\right)^2-2\rho \cdot \frac{ \left(x-\mu_X\right) \left(y-\mu_Y\right)}{\sigma_X\sigma_Y}+ \left(\frac{y-\mu_Y}{\sigma_Y}\right)^2 \end{gather} で与えられる。
同時確率密度関数であることの証明
（i）すべての $x$ に関して、$f \left(x\right) \geq 0$ \begin{gather} 0 \lt \sigma_X,0 \lt \sigma_Y\Rightarrow\frac{1}{\sigma_X\sigma_Y}\\ 0 \lt \rho^2 \lt 1\Rightarrow0 \lt \frac{1}{\sqrt{1-\rho^2}}\\ 0 \lt e^a\Rightarrow0 \le \mathrm{exp} \left\{-\frac{1}{2 \left(1-\rho^2\right)}Q \left(x,y\right)\right\} \end{gather} したがって、 \begin{align} f \left(x,y\right)=\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}\mathrm{exp} \left\{-\frac{1}{2 \left(1-\rho^2\right)}Q \left(x,y\right)\right\} \geq 0 \end{align}
（ii）すべての確率の和が $1$
以下のように変数変換すると、
\begin{gather}
\left\{\begin{matrix}u=\frac{x-\mu_X}{\sigma_X}\\v=\frac{y-\mu_Y}{\sigma_Y}\\\end{matrix}\right.\Rightarrow \left\{\begin{matrix}x=u\sigma_X+\mu_X\\y=v\sigma_Y+\mu_Y\\\end{matrix}\right.\\
\begin{matrix}x:-\infty\rightarrow\infty\\y:-\infty\rightarrow\infty\\\end{matrix} \quad \Rightarrow \quad \begin{matrix}u:-\infty\rightarrow\infty\\v:-\infty\rightarrow\infty\\\end{matrix}\\
\end{gather}
変数変換のヤコビアンは、
\begin{align}
\left|J\right|&= \left|\begin{matrix}\frac{\partial x}{\partial u}&\frac{\partial y}{\partial u}\\\frac{\partial x}{\partial v}&\frac{\partial y}{\partial v}\\\end{matrix}\right|\\
&= \left|\begin{matrix}\sigma_X&0\\0&\sigma_Y\\\end{matrix}\right|\\
&=\sigma_X\sigma_Y
\end{align}
また、
\begin{align}
Q \left(x,y\right)=u^2-2\rho uv+v^2= \left(u-\rho v\right)^2+ \left(1-\rho^2\right)v^2
\end{align}
したがって、置換積分法により、
\begin{align}
\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f \left(x,y\right)dxdy&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{\frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}}\mathrm{exp} \left\{-\frac{ \left(u-\rho v\right)^2}{2 \left(1-\rho^2\right)}-\frac{v^2}{2}\right\} \cdot \sigma_X\sigma_Ydudv}\\
&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{\frac{1}{2\pi\sqrt{1-\rho^2}}\mathrm{exp} \left\{-\frac{ \left(u-\rho v\right)^2}{2 \left(1-\rho^2\right)}-\frac{v^2}{2}\right\}dudv}\\
\end{align}
ここで、以下のように変数変換すると、
\begin{gather}
w=\frac{u-\rho v}{\sqrt{1-\rho^2}}\Rightarrow u=w\sqrt{1-\rho^2}+\rho v\\
u:-\infty\rightarrow\infty \quad \Rightarrow \quad w:-\infty\rightarrow\infty\\
\frac{du}{dw}=\sqrt{1-\rho^2}\Rightarrow du=\sqrt{1-\rho^2}dw
\end{gather}
となるので、
置換積分法により、
\begin{align}
\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f \left(x,y\right)dxdy&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{\frac{1}{2\pi\sqrt{1-\rho^2}}\mathrm{exp} \left\{-\frac{w^2}{2}-\frac{v^2}{2}\right\} \cdot \sqrt{1-\rho^2}dwdv}\\
&=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}{\frac{1}{\sqrt{2\pi}}\mathrm{exp} \left\{-\frac{w^2}{2}\right\} \cdot \frac{1}{\sqrt{2\pi}}\mathrm{exp} \left\{-\frac{v^2}{2}\right\}dwdv}
&=\int_{-\infty}^{\infty}{\frac{1}{\sqrt{2\pi}}\mathrm{exp} \left\{-\frac{w^2}{2}\right\}dw} \cdot \int_{-\infty}^{\infty}{\frac{1}{\sqrt{2\pi}}\mathrm{exp} \left\{-\frac{v^2}{2}\right\}dv}\\
&=1
\end{align}
よって、確率密度関数の定義を満たしているため、確率密度関数である。
$\blacksquare$
【定理】二変量正規分布の性質
【定理】
二変量正規分布の性質
A Propaty of Bivariate Normal Distribution
確率変数 $\boldsymbol{X}= \left\{X,Y\right\}$ が二変量正規分布 \begin{align} \mathrm{N} \left(\boldsymbol{\mu},\boldsymbol{\Sigma}\right) \end{align} に従うとき、 2変数が無相関であれば、2変数は互いに独立である。
証明：無相関ならば独立であることの証明
無相関の定義 $\rho=0$ より、同時確率密度関数の定義式に $\rho=0$ を代入すると、 \begin{align} f \left(x,y\right)&=\frac{1}{2\pi\sigma_X\sigma_Y}\mathrm{exp} \left\{-\frac{1}{2} \left(\frac{x-\mu_X}{\sigma_x}\right)^2-\frac{1}{2} \left(\frac{y-\mu_Y}{\sigma_Y}\right)^2\right\}\\ &=\frac{1}{\sqrt{2\pi\sigma_X^2}}\mathrm{exp} \left\{-\frac{ \left(x-\mu_X\right)^2}{2\sigma_X^2}\right\} \cdot \frac{1}{\sqrt{2\pi\sigma_Y^2}}\mathrm{exp} \left\{-\frac{ \left(y-\mu_Y\right)^2}{2\sigma_Y^2}\right\} \end{align} 右辺第1項と右辺第2項の式は、それぞれ、正規分布 \begin{align} \mathrm{N} \left(\mu_X,\sigma_X^2\right) \quad \mathrm{N} \left(\mu_Y,\sigma_Y^2\right) \end{align} の確率密度関数であるとみなすことができる。 これは、確率変数の独立性の定義式 \begin{align} f \left(x,y\right)=g \left(x\right) \cdot h \left(y\right) \end{align} を満たすので、$X,Y$ は互いに独立である。 $\blacksquare$
重要事項のまとめ
略記法
\begin{align} \mathrm{N} \left(\boldsymbol{\mu},\boldsymbol{\Sigma}\right) \end{align}
パラメータ
\begin{gather} -\infty \lt \mu_i \lt \infty\\ 0 \lt \sigma_i^2 \end{gather}
同時密度確率関数
\begin{gather} f \left(\boldsymbol{x}\right)=\frac{1}{ \left(2\pi\right)^\frac{k}{2} \cdot \left|\boldsymbol{\Sigma}\right|^\frac{1}{2}}\mathrm{exp} \left\{-\frac{1}{2} \left(\boldsymbol{x}-\boldsymbol{u}\right)^\boldsymbol{T}\boldsymbol{\Sigma}^{-\boldsymbol{1}} \left(\boldsymbol{x}-\boldsymbol{u}\right)\right\} \end{gather}
期待値ベクトルと分散・共分散行列
\begin{gather} E \left(\boldsymbol{X}\right)=\boldsymbol{\mu}= \left\{\begin{matrix}\mu_1\\\mu_2\\\vdots\\\mu_k\\\end{matrix}\right\}\\ \boldsymbol{\Sigma}= \left\{\begin{matrix}\sigma_1^2&\sigma_{12}& \cdots &\sigma_{1k}\\\sigma_{21}&\sigma_2^2& \cdots &\sigma_{2k}\\\vdots&\vdots&\ddots&\vdots\\\sigma_{k1}&\sigma_{k2}& \cdots &\sigma_k^2\\\end{matrix}\right\} \end{gather}
モーメント母関数
\begin{align} M_\boldsymbol{X} \left(\boldsymbol{\theta}\right)=\mathrm{exp} \left(\boldsymbol{\mu}^\boldsymbol{T}\boldsymbol{\theta}+\frac{1}{2}\boldsymbol{\theta}^\boldsymbol{T}\boldsymbol{\Sigma}\boldsymbol{\theta}\right) \end{align}
参考文献
- 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.156-157
- 黒木 学 著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.103-107
0 件のコメント:
コメントを投稿