本稿では、共分散の定義と基本性質を証明しています。共分散の公式、線形変換後の共分散、共分散の分配法則などの性質です。
なお、閲覧にあたっては、以下の点にご注意ください。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
共分散
2次元確率変数 $ \left(X,Y\right)$ があるとき、それぞれの偏差積の期待値 \begin{align} \mathrm{Cov}(X,Y)=E[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}] \end{align} を確率変数 $X,Y$ の共分散 covariance と呼ぶ。 なお、共分散は、 \begin{align} \sigma_{XY} \end{align} と表されることもある。 それぞれの分散が存在する $V \left(X\right) \lt \infty,V \left(Y\right) \lt \infty$ とき、共分散は必ず存在する。
証明
恒等式 \begin{align} \left[ \left\{X-E \left(X\right)\right\}- \left\{Y-E \left(Y\right)\right\}\right]^2 \geq 0 \end{align} を変形すると、 \begin{gather} \left\{X-E \left(X\right)\right\}^2-2 \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}+ \left\{Y-E \left(Y\right)\right\}^2 \geq 0\\ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\} \le \frac{1}{2} \left[ \left\{X-E \left(X\right)\right\}^2+ \left\{Y-E \left(Y\right)\right\}^2\right] \end{gather} 両辺の期待値を取ると、 \begin{align} E \left[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}\right] \le \frac{1}{2}E \left[ \left\{X-E \left(X\right)\right\}^2+ \left\{Y-E \left(Y\right)\right\}^2\right] \end{align} 分散と共分散の定義式より、 \begin{align} \mathrm{Cov} \left(X,Y\right) \le \frac{1}{2}E \left[V \left(X\right)+V \left(Y\right)\right] \lt \infty \end{align} $\blacksquare$
【公式】共分散の公式
【公式】
共分散の公式
Covariance
確率変数 $X,Y$ の共分散は、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right) \end{align} で与えられる。
証明
共分散の定義式 $\mathrm{Cov} \left(X,Y\right)=E \left[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}\right]$ の右辺の中身を展開すると、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left\{XY-XE \left(Y\right)-YE \left(X\right)+E \left(X\right)E \left(Y\right)\right\} \end{align} $E \left(X\right)$ と $E \left(Y\right)$ は定数なので、期待値の性質 $E \left(a\right)=a,E \left(aX+b\right)=aE \left(X\right)+b$ より、 \begin{align} \mathrm{Cov} \left(X,Y\right)&=E \left(XY\right)-E \left(X\right)E \left(Y\right)-E \left(X\right)E \left(Y\right)+E \left(X\right)E \left(Y\right)\\ &=E \left(XY\right)-E \left(X\right)E \left(Y\right) \end{align} $\blacksquare$
【定理】共分散の基本性質
【定理】
共分散の基本性質
Basic Property of Covariance
$a,b,c,d$ を実数、かつ $a \neq 0,c \neq 0$ として、確率変数 $X,Y$ を \begin{gather} W=aX+b\\ Z=cY+d \end{gather} と線形変換するとき、 変換後の確率変数どうしの共分散は、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)=ac \cdot \mathrm{Cov} \left(X,Y\right) \end{align} となる。
証明
共分散の公式 $\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ より、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)=E \left\{ \left(aX+b\right) \left(cY+d\right)\right\}-E \left(aX+b\right)E \left(cY+d\right) \end{align} 期待値の性質 $E \left(a\right)=a,E \left(aX+b\right)=aE \left(X\right)+b$ より、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)&=E \left(acXY+adX+bcY+bd\right)- \left\{aE \left(X\right)+b\right\} \left\{cE \left(Y\right)+d\right\}\\ &=acE \left(XY\right)+adE \left(X\right)+bcE \left(Y\right)+bd- \left\{acE \left(X\right)E \left(Y\right)+adE \left(X\right)+bcE \left(Y\right)+bd\right\}\\ &=ac \left\{E \left(XY\right)-E \left(X\right)E \left(Y\right)\right\} \end{align} 共分散の公式から、$\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ なので、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)=ac \cdot \mathrm{Cov} \left(X,Y\right) \end{align} $\blacksquare$
【定理】共分散の分配法則
【定理】
共分散の分配法則
Distributive Property for Covariance
3つの確率変数 $X,Y,Z$ の共分散について、$X,Z$ の共分散と $Y,Z$ の共分散をそれぞれ \begin{align} \mathrm{Cov} \left(X,Z\right) \quad \mathrm{Cov} \left(Y,Z\right) \end{align} とすると、 $X+Y$ と $Z$ の共分散について、分配法則 \begin{align} \mathrm{Cov} \left(X+Y,Z\right)=\mathrm{Cov} \left(X,Z\right)+\mathrm{Cov} \left(Y,Z\right) \end{align} が成り立つ。
証明
共分散の定義式に従って $X+Y$ と $Z$ の共分散を求めると、 \begin{align} \mathrm{Cov} \left(X+Y,Z\right)&=E \left[ \left\{ \left(X+Y\right)-E \left(X+Y\right)\right\} \left\{Z-E \left(Z\right)\right\}\right]\\ &=E \left[Z \left(X+Y\right)-E \left(Z\right) \left(X+Y\right)-E \left(X+Y\right)Z+E \left(X+Y\right)E \left(Z\right)\right]\\ &=E \left[XZ+YZ-E \left(Z\right)X-E \left(Z\right)Y- \left\{E \left(X\right)+E \left(Y\right)\right\}Z+ \left\{E \left(X\right)+E \left(Y\right)\right\}E \left(Z\right)\right]\\ &=E \left(XZ\right)+E \left(YZ\right)-E \left(X\right)E \left(Z\right)-E \left(Y\right)E \left(Z\right)-E \left(X\right)E \left(Z\right)-E \left(Y\right)E \left(Z\right)+E \left(X\right)E \left(Z\right)+E \left(Y\right)E \left(Z\right)\\ &=E \left(XZ\right)-E \left(X\right)E \left(Z\right)+E \left(YZ\right)-E \left(Y\right)E \left(Z\right) \end{align} 共分散の公式 $\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ より、 \begin{align} \mathrm{Cov} \left(X+Y,Z\right)=\mathrm{Cov} \left(X,Z\right)+\mathrm{Cov} \left(Y,Z\right) \end{align} $\blacksquare$
参考文献
- 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.89-90
- 竹村 彰通 著. 現代数理統計学. 創文社, 1991, p.48
- 稲垣 宣生 著. 数理統計学. 裳華房, 2003, p.56
0 件のコメント:
コメントを投稿