本稿では、条件付き共分散の定義を紹介し、その基本性質を証明しています。共分散の公式を条件付きに拡張したものといわゆる「全共分散の法則」の証明です。
なお、閲覧にあたっては、以下の点にご注意ください。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
条件付き共分散
確率変数 $X,Y,Z$ に対し、$Z=z$ を与えたときの $X,Y$ の共分散 \begin{align} \mathrm{Cov} \left(X,Y\middle| z\right)=E \left[ \left\{X-E \left(X\middle| z\right)\middle| z\right\} \left\{Y-E \left(Y\middle| z\right)\middle| z\right\}\right] \end{align} を $Z=z$ を与えたときの $X,Y$ の条件付き共分散 conditional covariance という。
【公式】条件付き共分散の公式
【公式】
条件付き共分散の公式
Conditional Covariance Formula
$Z=z$ を与えたときの $X,Y$ の条件付き共分散は、 \begin{align} \mathrm{Cov} \left(X,Y\middle| z\right)=E \left(XY\middle| z\right)-E \left(X\middle| z\right)E \left(Y\middle| z\right) \end{align} で与えられる。
導出
条件付き共分散の定義式 $\mathrm{Cov} \left(X,Y\middle| Z\right)=E \left[ \left\{X-E \left(X\middle| z\right)\middle| z\right\} \left\{Y-E \left(Y\middle| z\right)\middle| z\right\}\right]$ の右辺の中身を展開すると、 \begin{align} \mathrm{Cov} \left(X,Y\middle| z\right)=E \left\{XY-XE \left(Y\middle| z\right)-YE \left(X\middle| z\right)+E \left(X\middle| z\right)E \left(Y\middle| z\right)\middle| z\right\} \end{align} $E \left(X\middle| z\right)$ と $E \left(Y\middle| z\right)$ は定数なので、期待値の性質 $E \left(a\right)=a,E \left(aX+b\right)=aE \left(X\right)+b$ より、 \begin{align} \mathrm{Cov} \left(X,Y\right)&=E \left(XY\middle| z\right)-E \left(X\middle| z\right)E \left(Y\middle| z\right)-E \left(X\middle| z\right)E \left(Y\middle| z\right)+E \left(X\middle| z\right)E \left(Y\middle| z\right)\\ &=E \left(XY\middle| z\right)-E \left(X\middle| z\right)E \left(Y\middle| z\right) \end{align} $\blacksquare$
【定理】条件付き共分散の基本性質（全共分散の法則）
【定理】
条件付き共分散の基本性質（全共分散の法則）
Basic Property of Conditional Covariance (Law of Total Covariance)
確率変数 $X,Y,Z$ について、$X$ と $Y$ の共分散は、 「$Z=z$ を与えたときの $X,Y$ の条件付き共分散の期待値」 と 「$Z=x$ を与えたときの $X,Y$ の条件付き期待値の共分散」 の和に等しい、 すなわち、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left[\mathrm{Cov} \left(X,Y\middle| z\right)\right]+\mathrm{Cov} \left[E \left(X\middle| z\right),E \left(Y\middle| z\right)\right] \end{align} が成り立つ。
証明法①
共分散の公式より、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right) \end{align} 期待値の繰り返し公式 $E \left[m \left(X,Y\right)\right]=E \left[E \left\{m \left(X,Y\right)\middle| z\right\}\right]$ より、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left[E \left(XY\middle| z\right)\right]-E \left[E \left(X\middle| z\right)\right] \cdot E \left[E \left(Y\middle| z\right)\right] \end{align} 条件付き共分散の公式の変形 $E \left(XY\middle| z\right)=\mathrm{Cov} \left(X,Y\middle| z\right)+E \left(X\middle| z\right)E \left(Y\middle| z\right)$ より、 \begin{align} \mathrm{Cov} \left(X,Y\right)&=E \left[\mathrm{Cov} \left(X,Y\middle| z\right)+E \left(X\middle| z\right)E \left(Y\middle| z\right)\right]-E \left[E \left(X\middle| z\right)\right] \cdot E \left[E \left(Y\middle| z\right)\right]\\ &=E \left[\mathrm{Cov} \left(X,Y\middle| z\right)\right]+E \left[E \left(X\middle| z\right)E \left(Y\middle| z\right)\right]-E \left[E \left(X\middle| z\right)\right] \cdot E \left[E \left(Y\middle| z\right)\right] \end{align} 共分散の公式 \begin{align} \mathrm{Cov} \left\{g_1 \left(Z\right),g_2 \left(Z\right)\right\}=E \left\{g_1 \left(Z\right),g_2 \left(Z\right)\right\}-E \left\{g_1 \left(Z\right)\right\}E \left\{g_2 \left(Z\right)\right\} \end{align} において、 \begin{align} g_1 \left(Z\right)=E \left(X\middle| z\right) \quad g_2 \left(Z\right)=E \left(Y\middle| z\right) \end{align} とすると、 \begin{align} \mathrm{Cov} \left(X,Y\right)=E \left[\mathrm{Cov} \left(X,Y\middle| z\right)\right]+\mathrm{Cov} \left[E \left(X\middle| z\right),E \left(Y\middle| z\right)\right] \end{align} $\blacksquare$
証明法②
共分散の定義式 $\mathrm{Cov} \left(X,Y\right)=E \left[ \left\{X-E \left(X\right)\right\} \left\{Y-E \left(Y\right)\right\}\right]$ を変形して書くと、
\begin{gather}
\mathrm{Cov} \left(X,Y\right)=E \left[ \left\{X+E \left(X\middle| Z\right)-E \left(X\middle| Z\right)-E \left(X\right)\right\} \left\{Y+E \left(Y\middle| Z\right)-E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]
\end{gather}
これを展開すると、
\begin{gather}
A=E \left[ \left\{X-E \left(X\middle| Z\right)\right\} \left\{Y-E \left(Y\middle| Z\right)\right\}\right]\\
B=E \left[ \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\} \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\\
C=E \left[ \left\{X-E \left(X\middle| Z\right)\right\} \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\\
D=E \left[ \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\} \left\{Y-E \left(Y\middle| Z\right)\right\}\right]\\
\end{gather}
として、
\begin{gather}
\mathrm{Cov} \left(X,Y\right)=A+B+C+D
\end{gather}
各項について、変形を進めていくと、
（a）
\begin{align}
A&=E \left[ \left\{X-E \left(X\middle| Z\right)\right\} \left\{Y-E \left(Y\middle| Z\right)\right\}\right]\\
&=E \left[E \left[ \left\{ \left.X\right|Z-E \left(X\middle| Z\right)\right\} \left\{ \left.Y\right|Z-E \left(Y\middle| Z\right)\right\}\right]\right]\\
&=E \left[\mathrm{Cov} \left(X,Y\middle| Z\right)\right]
\end{align}
（b）
\begin{align}
B&=E \left[ \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\} \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\\
&=E \left[ \left\{E \left(X\middle| Z\right)-E \left\{E \left(X\middle| Z\right)\right\}\right\} \left\{E \left(Y\middle| Z\right)-E \left\{E \left(Y\middle| Z\right)\right\}\right\}\right]\\
&=\mathrm{Cov} \left[E \left(X\middle| Z\right),E \left(Y\middle| Z\right)\right]
\end{align}
（c）
\begin{align}
C&=E \left[ \left\{X-E \left(X\middle| Z\right)\right\} \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\\
&=E \left[E \left[ \left\{ \left.X\right|Z-E \left(X\middle| Z\right)\right\} \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\right]\\
&=E \left[E \left[ \left.X\right|Z \cdot \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]-E \left[E \left(X\middle| Z\right) \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\right]\\
&=E \left[E \left(X\middle| Z\right) \cdot \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}-E \left(X\middle| Z\right) \cdot \left\{E \left(Y\middle| Z\right)-E \left(Y\right)\right\}\right]\\
&=0
\end{align}
（d）
\begin{align}
D&=E \left[ \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\} \left\{Y-E \left(Y\middle| Z\right)\right\}\right]\\
&=E \left[E \left[ \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\} \left\{ \left.Y\right|Z-E \left(Y\middle| Z\right)\right\}\right]\right]\\
&=E \left[E \left[ \left.Y\right|Z \cdot \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\}\right]-E \left[E \left(Y\middle| Z\right) \cdot \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\}\right]\right]\\
&=E \left[E \left(Y\middle| Z\right) \cdot \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\}-E \left(Y\middle| Z\right) \cdot \left\{E \left(X\middle| Z\right)-E \left(X\right)\right\}\right]\\
&=0
\end{align}
したがって、
\begin{gather}
\mathrm{Cov} \left(X,Y\right)=E \left[\mathrm{Cov} \left(X,Y\middle| Z\right)\right]+\mathrm{Cov} \left[E \left(X\middle| Z\right),E \left(Y\middle| Z\right)\right]
\end{gather}
$\blacksquare$
参考文献
- Law of total covariance. Wikipedia. 2021-12-09. https://en.wikipedia.org/wiki/Law_of_total_covariance, (accessed 2022-09-28).
- 久保川 達也 著, 新井 仁之, 小林 俊行, 斎藤 毅, 吉田 朋広 編. 現代数理統計学の基礎. 共立出版, 2017, p.81-82 演習問題 問16
- ジョン・ラチン 著, 宮岡 悦良 監訳, 遠藤 輝, 黒沢 健, 下川 朝有, 寒水 孝司 訳. 医薬データのための統計解析. 共立出版, 2020, p.224
- ジョン・ラチン 著, 宮岡 悦良 監訳, 遠藤 輝, 黒沢 健, 下川 朝有, 寒水 孝司 訳. 医薬データのための統計解析. 共立出版, 2020, p.258 問題5.3
0 件のコメント:
コメントを投稿