共分散の定義と基本性質の証明

公開日: 更新日:

【2023年3月3週】 【B000】数理統計学 【B020】確率変数と確率分布

この記事をシェアする
  • B!
サムネイル画像

本稿では、共分散の定義と基本性質を証明しています。共分散の公式、線形変換後の共分散、共分散の分配法則などの性質です。

なお、閲覧にあたっては、以下の点にご注意ください。

  • スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

共分散

2次元確率変数 $ \left(X,Y\right)$ があるとき、それぞれの偏差積の期待値 \begin{align} \mathrm{Cov}(X,Y)=E[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}] \end{align} を確率変数 $X,Y$ の共分散 covariance と呼ぶ。 なお、共分散は、 \begin{align} \sigma_{XY} \end{align} と表されることもある。 それぞれの分散が存在する $V \left(X\right) \lt \infty,V \left(Y\right) \lt \infty$ とき、共分散は必ず存在する。

証明

証明

恒等式 \begin{align} \left[ \left\{X-E \left(X\right)\right\}- \left\{Y-E \left(Y\right)\right\}\right]^2 \geq 0 \end{align} を変形すると、 \begin{gather} \left\{X-E \left(X\right)\right\}^2-2 \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}+ \left\{Y-E \left(Y\right)\right\}^2 \geq 0\\ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\} \le \frac{1}{2} \left[ \left\{X-E \left(X\right)\right\}^2+ \left\{Y-E \left(Y\right)\right\}^2\right] \end{gather} 両辺の期待値を取ると、 \begin{align} E \left[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}\right] \le \frac{1}{2}E \left[ \left\{X-E \left(X\right)\right\}^2+ \left\{Y-E \left(Y\right)\right\}^2\right] \end{align} 分散と共分散の定義式より、 \begin{align} \mathrm{Cov} \left(X,Y\right) \le \frac{1}{2}E \left[V \left(X\right)+V \left(Y\right)\right] \lt \infty \end{align} $\blacksquare$

【公式】共分散の公式

【公式】
共分散の公式
Covariance

確率変数 $X,Y$ の共分散は、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right) \end{align} で与えられる。

証明

証明

共分散の定義式 $\mathrm{Cov} \left(X,Y\right)=E \left[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}\right]$ の右辺の中身を展開すると、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left\{XY-XE \left(Y\right)-YE \left(X\right)+E \left(X\right)E \left(Y\right)\right\} \end{align} $E \left(X\right)$ と $E \left(Y\right)$ は定数なので、期待値の性質 $E \left(a\right)=a,E \left(aX+b\right)=aE \left(X\right)+b$ より、 \begin{align} \mathrm{Cov} \left(X,Y\right)&=E \left(XY\right)-E \left(X\right)E \left(Y\right)-E \left(X\right)E \left(Y\right)+E \left(X\right)E \left(Y\right)\\ &=E \left(XY\right)-E \left(X\right)E \left(Y\right) \end{align} $\blacksquare$

【定理】共分散の基本性質

【定理】
共分散の基本性質
Basic Property of Covariance

$a,b,c,d$ を実数、かつ $a \neq 0,c \neq 0$ として、確率変数 $X,Y$ を \begin{gather} W=aX+b\\ Z=cY+d \end{gather} と線形変換するとき、 変換後の確率変数どうしの共分散は、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)=ac \cdot \mathrm{Cov} \left(X,Y\right) \end{align} となる。

証明

証明

共分散の公式 $\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ より、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)=E \left\{ \left(aX+b\right) \left(cY+d\right)\right\}-E \left(aX+b\right)E \left(cY+d\right) \end{align} 期待値の性質 $E \left(a\right)=a,E \left(aX+b\right)=aE \left(X\right)+b$ より、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)&=E \left(acXY+adX+bcY+bd\right)- \left\{aE \left(X\right)+b\right\} \left\{cE \left(Y\right)+d\right\}\\ &=acE \left(XY\right)+adE \left(X\right)+bcE \left(Y\right)+bd- \left\{acE \left(X\right)E \left(Y\right)+adE \left(X\right)+bcE \left(Y\right)+bd\right\}\\ &=ac \left\{E \left(XY\right)-E \left(X\right)E \left(Y\right)\right\} \end{align} 共分散の公式から、$\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ なので、 \begin{align} \mathrm{Cov} \left(aX+b,cY+d\right)=ac \cdot \mathrm{Cov} \left(X,Y\right) \end{align} $\blacksquare$

【定理】共分散の分配法則

【定理】
共分散の分配法則
Distributive Property for Covariance

3つの確率変数 $X,Y,Z$ の共分散について、$X,Z$ の共分散と $Y,Z$ の共分散をそれぞれ \begin{align} \mathrm{Cov} \left(X,Z\right) \quad \mathrm{Cov} \left(Y,Z\right) \end{align} とすると、 $X+Y$ と $Z$ の共分散について、分配法則 \begin{align} \mathrm{Cov} \left(X+Y,Z\right)=\mathrm{Cov} \left(X,Z\right)+\mathrm{Cov} \left(Y,Z\right) \end{align} が成り立つ。

証明

証明

共分散の定義式に従って $X+Y$ と $Z$ の共分散を求めると、 \begin{align} \mathrm{Cov} \left(X+Y,Z\right)&=E \left[ \left\{ \left(X+Y\right)-E \left(X+Y\right)\right\} \left\{Z-E \left(Z\right)\right\}\right]\\ &=E \left[Z \left(X+Y\right)-E \left(Z\right) \left(X+Y\right)-E \left(X+Y\right)Z+E \left(X+Y\right)E \left(Z\right)\right]\\ &=E \left[XZ+YZ-E \left(Z\right)X-E \left(Z\right)Y- \left\{E \left(X\right)+E \left(Y\right)\right\}Z+ \left\{E \left(X\right)+E \left(Y\right)\right\}E \left(Z\right)\right]\\ &=E \left(XZ\right)+E \left(YZ\right)-E \left(X\right)E \left(Z\right)-E \left(Y\right)E \left(Z\right)-E \left(X\right)E \left(Z\right)-E \left(Y\right)E \left(Z\right)+E \left(X\right)E \left(Z\right)+E \left(Y\right)E \left(Z\right)\\ &=E \left(XZ\right)-E \left(X\right)E \left(Z\right)+E \left(YZ\right)-E \left(Y\right)E \left(Z\right) \end{align} 共分散の公式 $\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ より、 \begin{align} \mathrm{Cov} \left(X+Y,Z\right)=\mathrm{Cov} \left(X,Z\right)+\mathrm{Cov} \left(Y,Z\right) \end{align} $\blacksquare$

参考文献

  • 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.89-90
  • 竹村 彰通 著. 現代数理統計学. 創文社, 1991, p.48
  • 稲垣 宣生 著. 数理統計学. 裳華房, 2003, p.56

関連記事

自己紹介

自分の写真

yama

大学時代に読書の面白さに気づいて以来、読書や勉強を通じて、興味をもったことや新しいことを学ぶことが生きる原動力。そんな人間が、その時々に学んだことを備忘録兼人生の軌跡として記録しているブログです。

このブログを検索

ブログ アーカイブ

QooQ