条件付き共分散の定義と基本性質の証明-あるノマドの知の旅路～数学・統計学への道

条件付き共分散の定義と基本性質の証明

公開日： 2023/03/14

本稿では、条件付き共分散の定義を紹介し、その基本性質を証明しています。共分散の公式を条件付きに拡張したものといわゆる「全共分散の法則」の証明です。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

1.条件付き共分散
2.【公式】条件付き共分散の公式
- 2.1.導出
3.【定理】条件付き共分散の基本性質（全共分散の法則）
- 3.1.証明法①
- 3.2.証明法②
4.参考文献
5.関連記事

条件付き共分散

確率変数 $X, Y, Z$ に対し、 $Z = z$ を与えたときの $X, Y$ の共分散 $\begin{array}{r} Cov (X, Y | z) = E [{X - E (X | z) | z} {Y - E (Y | z) | z}] \end{array}$ を $Z = z$ を与えたときの $X, Y$ の条件付き共分散 conditional covariance という。

【公式】条件付き共分散の公式

【公式】
条件付き共分散の公式
Conditional Covariance Formula

$Z = z$ を与えたときの $X, Y$ の条件付き共分散は、 $\begin{array}{r} Cov (X, Y | z) = E (X Y | z) - E (X | z) E (Y | z) \end{array}$ で与えられる。

導出

条件付き共分散の定義式 $Cov (X, Y | Z) = E [{X - E (X | z) | z} {Y - E (Y | z) | z}]$ の右辺の中身を展開すると、 $\begin{array}{r} Cov (X, Y | z) = E {X Y - X E (Y | z) - Y E (X | z) + E (X | z) E (Y | z) | z} \end{array}$ $E (X | z)$ と $E (Y | z)$ は定数なので、期待値の性質 $E (a) = a, E (a X + b) = a E (X) + b$ より、 $\begin{aligned} Cov (X, Y) & = E (X Y | z) - E (X | z) E (Y | z) - E (X | z) E (Y | z) + E (X | z) E (Y | z) \\ = E (X Y | z) - E (X | z) E (Y | z) \end{aligned}$ $◼$

【定理】条件付き共分散の基本性質（全共分散の法則）

【定理】
条件付き共分散の基本性質（全共分散の法則）
Basic Property of Conditional Covariance (Law of Total Covariance)

確率変数 $X, Y, Z$ について、 $X$ と $Y$ の共分散は、「 $Z = z$ を与えたときの $X, Y$ の条件付き共分散の期待値」と「 $Z = x$ を与えたときの $X, Y$ の条件付き期待値の共分散」の和に等しい、すなわち、 $\begin{array}{r} Cov (X, Y) = E [Cov (X, Y | z)] + Cov [E (X | z), E (Y | z)] \end{array}$ が成り立つ。

証明法①

証明

共分散の公式より、 $\begin{array}{r} Cov (X, Y) = E (X Y) - E (X) E (Y) \end{array}$ 期待値の繰り返し公式 $E [m (X, Y)] = E [E {m (X, Y) | z}]$ より、 $\begin{array}{r} Cov (X, Y) = E [E (X Y | z)] - E [E (X | z)] \cdot E [E (Y | z)] \end{array}$ 条件付き共分散の公式の変形 $E (X Y | z) = Cov (X, Y | z) + E (X | z) E (Y | z)$ より、 $\begin{aligned} Cov (X, Y) & = E [Cov (X, Y | z) + E (X | z) E (Y | z)] - E [E (X | z)] \cdot E [E (Y | z)] \\ = E [Cov (X, Y | z)] + E [E (X | z) E (Y | z)] - E [E (X | z)] \cdot E [E (Y | z)] \end{aligned}$ 共分散の公式 $\begin{array}{r} Cov {g_{1} (Z), g_{2} (Z)} = E {g_{1} (Z), g_{2} (Z)} - E {g_{1} (Z)} E {g_{2} (Z)} \end{array}$ において、 $\begin{array}{r} g_{1} (Z) = E (X | z) g_{2} (Z) = E (Y | z) \end{array}$ とすると、 $\begin{array}{r} Cov (X, Y) = E [Cov (X, Y | z)] + Cov [E (X | z), E (Y | z)] \end{array}$ $◼$

証明法②

証明

共分散の定義式 $Cov (X, Y) = E [{X - E (X)} {Y - E (Y)}]$ を変形して書くと、 $\begin{matrix} Cov (X, Y) = E [{X + E (X | Z) - E (X | Z) - E (X)} {Y + E (Y | Z) - E (Y | Z) - E (Y)}] \end{matrix}$ これを展開すると、 $\begin{matrix} A = E [{X - E (X | Z)} {Y - E (Y | Z)}] \\ B = E [{E (X | Z) - E (X)} {E (Y | Z) - E (Y)}] \\ C = E [{X - E (X | Z)} {E (Y | Z) - E (Y)}] \\ D = E [{E (X | Z) - E (X)} {Y - E (Y | Z)}] \end{matrix}$ として、 $\begin{matrix} Cov (X, Y) = A + B + C + D \end{matrix}$ 各項について、変形を進めていくと、
（a） $\begin{aligned} A & = E [{X - E (X | Z)} {Y - E (Y | Z)}] \\ = E [E [{X | Z - E (X | Z)} {Y | Z - E (Y | Z)}]] \\ = E [Cov (X, Y | Z)] \end{aligned}$ （b） $\begin{aligned} B & = E [{E (X | Z) - E (X)} {E (Y | Z) - E (Y)}] \\ = E [{E (X | Z) - E {E (X | Z)}} {E (Y | Z) - E {E (Y | Z)}}] \\ = Cov [E (X | Z), E (Y | Z)] \end{aligned}$ （c） $\begin{aligned} C & = E [{X - E (X | Z)} {E (Y | Z) - E (Y)}] \\ = E [E [{X | Z - E (X | Z)} {E (Y | Z) - E (Y)}]] \\ = E [E [X | Z \cdot {E (Y | Z) - E (Y)}] - E [E (X | Z) {E (Y | Z) - E (Y)}]] \\ = E [E (X | Z) \cdot {E (Y | Z) - E (Y)} - E (X | Z) \cdot {E (Y | Z) - E (Y)}] \\ = 0 \end{aligned}$ （d） $\begin{aligned} D & = E [{E (X | Z) - E (X)} {Y - E (Y | Z)}] \\ = E [E [{E (X | Z) - E (X)} {Y | Z - E (Y | Z)}]] \\ = E [E [Y | Z \cdot {E (X | Z) - E (X)}] - E [E (Y | Z) \cdot {E (X | Z) - E (X)}]] \\ = E [E (Y | Z) \cdot {E (X | Z) - E (X)} - E (Y | Z) \cdot {E (X | Z) - E (X)}] \\ = 0 \end{aligned}$ したがって、 $\begin{matrix} Cov (X, Y) = E [Cov (X, Y | Z)] + Cov [E (X | Z), E (Y | Z)] \end{matrix}$ $◼$

参考文献

Law of total covariance. Wikipedia. 2021-12-09. https://en.wikipedia.org/wiki/Law_of_total_covariance, (accessed 2022-09-28).
久保川達也著, 新井仁之, 小林俊行, 斎藤毅, 吉田朋広編. 現代数理統計学の基礎. 共立出版, 2017, p.81-82 演習問題問16
ジョン・ラチン著, 宮岡悦良監訳, 遠藤輝, 黒沢健, 下川朝有, 寒水孝司訳. 医薬データのための統計解析. 共立出版, 2020, p.224
ジョン・ラチン著, 宮岡悦良監訳, 遠藤輝, 黒沢健, 下川朝有, 寒水孝司訳. 医薬データのための統計解析. 共立出版, 2020, p.258 問題5.3

条件付き共分散の定義と基本性質の証明

条件付き共分散

【公式】条件付き共分散の公式

導出

【定理】条件付き共分散の基本性質（全共分散の法則）

証明法①

証明法②

参考文献

関連記事

0 件のコメント:

コメントを投稿

自己紹介

このブログを検索

ブログアーカイブ

ラベル

不正行為を報告

よく読まれている記事

条件付き共分散の定義と基本性質の証明

条件付き共分散

【公式】条件付き共分散の公式

導出

【定理】条件付き共分散の基本性質（全共分散の法則）

証明法①

証明法②

参考文献

関連記事

0 件のコメント:

コメントを投稿

自己紹介

このブログを検索

ブログ アーカイブ

ラベル

不正行為を報告

よく読まれている記事

ブログアーカイブ