本稿では、ラオ・ブラックウェルの定理を証明しています。
なお、閲覧にあたっては、以下の点にご注意ください。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
【定理】ラオ・ブラックウェルの定理
【定理】
ラオ・ブラックウェルの定理
Rao-Blackwell Theorem
$S \left(\boldsymbol{X}\right)$ をパラメータ $\theta$ の十分統計量のうちのひとつとし、$T=T \left(\boldsymbol{X}\right)$ を $\theta$ のある統計量とする。
$S \left(\boldsymbol{X}\right)$ で条件付けた $T$ の期待値 \begin{align} T^\ast=E \left\{\ T \left(\boldsymbol{X}\right)\ \middle|\ S \left(\boldsymbol{X}\right)\ \right\} \end{align} によって定義される推定量 $T^\ast$ について、 $T^\ast$ の平均2乗誤差は他の任意の $T$ の平均2乗誤差以下になる、すなわち、 \begin{align} E \left[ \left\{T^\ast-\theta\right\}^2\right] \le E \left[ \left\{T-\theta\right\}^2\right] \end{align} が成り立つ。
証明
十分統計量の定義により、$T^\ast$ はパラメータ $\theta$ に依存しないので、推定量である。
平均2乗誤差の定義式より、 \begin{align} MSE \left(T,\theta\right)=E \left[ \left\{T-\theta\right\}^2\right]&=V \left(T\right)+ \left[E \left(T\right)-\theta\right]^2\\ &=V \left(T^\ast\right)+ \left[E \left(T^\ast\right)-\theta\right]^2 \end{align} 条件付き期待値の性質 $E \left(X\right)=E \left[E \left(X\middle| Y\right)\right]$ より、 \begin{align} E \left[T^\ast\right]=E \left[E \left(T\middle| S\right)\right]=E \left(T\right) \end{align} したがって、偏りはいずれの推定量も同じ値となる。
条件付き分散の性質 $V \left(X\right)=E \left[V \left(X\middle| Y\right)\right]+V \left[E \left(X\middle| Y\right)\right]$ より、 \begin{align} V \left(T\right)=E \left[V \left(T\middle| S\right)\right]+V \left[E \left(T\middle| S\right)\right]=E \left[V \left(T\middle| S\right)\right]+V \left[T^\ast\right] \geq V \left[T^\ast\right] \end{align} したがって、他の任意の $T$ の平均2乗誤差は、$T^\ast$ の平均2乗誤差よりも $E \left[V \left(T\middle| S\right)\right]$ だけ大きいので、 \begin{align} E \left[ \left\{T^\ast-\theta\right\}^2\right] \le E \left[ \left\{T-\theta\right\}^2\right] \end{align} また、$T$ が不偏推定量 $E \left(T\right)=\theta$ であれば、 \begin{align} E \left(T\right)=E \left[E \left(T\middle| S\right)\right]=E \left[T^\ast\right]=\theta \end{align} なので、$T^\ast$ もまた不偏推定量である。 $\blacksquare$
参考文献
- 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.214-215
- Rao, C.R.. Information and the Accuracy Attainable in the Estimation of Statistical Parameters. Bulletin of the Calcutta Mathematical Society. 1945, 37, p.81-91, https://doi.org/10.1007/978-1-4612-0919-5_16
- Blackwell, D. Conditional Expectation and Unbiased Sequential Estimation. The Annals of Mathematical Statistics. 1947, 18(1), p.105-110, https://www.jstor.org/stable/2236107
0 件のコメント:
コメントを投稿