推定量の評価-あるノマドの知の旅路～数学・統計学への道

本稿では、数理統計学における推定量の評価についてまとめています。平均二乗誤差、不偏性、一致性、損失関数・危険関数、ミニマックス推定量、有効推定量、不偏推定量の漸近効率などの定義の紹介、ラオ・ブラックウェルの定理、レーマン・シェフェの定理、クラメール・ラオの不等式の内容の紹介が含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

目次[非表示]

1.平均二乗誤差
2.点推定量の評価
3.ラオ・ブラックウェルの定理
4.一様最小分散不偏推定量
5.レーマン・シェフェの定理
6.クラメール・ラオの不等式
7.不偏推定量の効率
- 7.1.有効推定量
- 7.2.漸近効率
8.参考文献
9.関連記事

平均二乗誤差

$\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{n}} \end{matrix}$ を統計モデル $\begin{matrix} F = {P_{θ} : θ \in Θ \subset R} \end{matrix}$ からの無作為標本とする。

推定量 $T (X)$ を使ってパラメータ $θ$ の値を推定するとき、推定量の値と実際のパラメータの値が近ければよいわけだが、 $T (X)$ は確率変数なので、どの値をとるかは前もって知ることはできないので、近さを計るのに $\begin{matrix} | T (X) - θ | \end{matrix}$ のような距離を直接使うことはできない。

推定量とパラメータの距離を計るものに平均二乗誤差 mean squared error: M.S.E. がある。パラメータ $θ$ の推定量 $T (X)$ の平均二乗誤差は $\begin{matrix} MSE {T (X), θ} = E [{T (X) - θ}^{2}] \end{matrix}$ で定義される。

$T = T (X)$ とすると、 $\begin{aligned} MSE {T (X), θ} & = E [{T - E (T) + E (T) - θ}^{2}] \\ = E [{T - E (T)}^{2}] + {E (T) - θ}^{2} \\ = V (T) + {E (T) - θ}^{2} \end{aligned}$ すなわち、平均二乗誤差は推定量の分散と期待値により決まる。

特に、 $\begin{matrix} E (T) - θ \end{matrix}$ を偏り bias と呼ぶ。

偏りは、推定量の分布の中心（平均）が、推定されているパラメータとどのくらい、どの方向へ離れているのかを示している。そして、分散 $V (T)$ は、推定量の分布がその中心のまわりにどのくらいの散らばり方をしているかを示している。このとき、推定量の分散を特に精度 precision と呼ぶことがある。

平均二乗誤差を使っていくつかの推定量を比べるとき、ある推定量 $T$ が、ほかのどの推定量 $T^{'}$ よりも“良い推定量”であるということは、すべての $θ \in Θ$ について、 $\begin{matrix} MSE (T, θ) \leq MSE (T^{'}, θ) \end{matrix}$ が成り立ち、ある $θ$ でこの不等号が成り立つということである。

一般には、このような一様最良推定量は存在しない。なぜならば、あるパラメータ $θ_{0}$ に対し、推定量 $S (X)$ を $\begin{matrix} S (X) = θ_{0} \end{matrix}$ すなわち、常に推定値が $θ_{0}$ であるような推定量とすると、 $\begin{matrix} MSE (S, θ_{0}) = 0 \end{matrix}$ であるので、推定量 $T$ がこれよりもよい推定量であるためには、 $\begin{matrix} MSE (T, θ_{0}) = 0 \end{matrix}$ とならなくてはならない。他の $θ$ の値でも同様の推定量を考えていくと、一様に最良な推定量 $T$ は、すべての $θ$ で、 $\begin{matrix} MSE (T, θ) = 0 \end{matrix}$ とならなければならない。つまり、パラメータを常に完全に正しく推定しなければならない。これは、一般には不可能である。そこで、すべての推定量の中で最良のものを探すかわりに、推定量の中である適当な性質をもったものの中で最良なものを探すのである。次に推定量の性質をいくつか述べる。

点推定量の評価

不偏性

推定量 $\hat{θ}$ の期待値 $E (\hat{θ})$ が真の母数の値 $θ$ となる、すなわち、すべての $θ$ に対して、 $\begin{array}{r} E (\hat{θ}) = θ \end{array}$ となるとき、 $\hat{θ}$ は $θ$ の推定量として不偏、または、不偏推定量 unbiased estimator であるという。

不偏推定量では、その名のとおり偏りは $\begin{matrix} E (T) - θ = 0 \end{matrix}$ であり、その平均二乗誤差は推定量の分散に等しい。

一致性

次に標本の大きさが増加していくときについての性質を考えてみる。 $\begin{matrix} T_{n} = T_{n} (X_{1}, X_{2}, \dots, X_{n}) \end{matrix}$ を大きさが $n$ の標本からの推定量とする。つまり、 $\begin{matrix} T_{1} = T_{1} (X_{1}) T_{2} = T_{2} (X_{1}, X_{2}) T_{3} = T_{3} (X_{1}, X_{2}, X_{3}) \\ ⋮ \\ T_{n} = T_{n} (X_{1}, X_{2}, \dots, X_{n}) \end{matrix}$ というような推定量の列を考えていくのである。

標本の大きさ $n$ が大きくなるに従い、 ${\hat{θ}}_{n}$ が、真の母数の値 $θ$ に確率収束する、すなわち、任意の正の数 $0 < ε$ に対して、 $\begin{array}{r} lim_{n \to \infty} P (| {\hat{θ}}_{n} - θ | \geq ε) = 0 \end{array}$ となるとき、 ${\hat{θ}}_{n}$ は、 $θ$ の一致推定量 consistent estimator という。

【定理】
一致推定量であるための条件
Necessary and Sufficient Conditions for Consistency

${T_{n}}$ を母数 $θ$ の推定量の列とし、すべての $θ \in Θ$ で、以下のいずれかを満たせば、 $T_{n}$ は $θ$ の一致推定量である。

（i）平均二乗誤差が0に収束する $\begin{array}{r} lim_{n \to \infty} MSE (T_{n}, θ) = lim_{n \to \infty} E [{(T_{n} - θ)}^{2}] \to 0 \end{array}$ （ii）偏りと分散が0に収束する $\begin{array}{r} \begin{array}{c} lim_{n \to \infty} [E (T_{n}) - θ] \to 0 & lim_{n \to \infty} V (T_{n}) \to 0 \end{array} \end{array}$ （iii） ${T_{n}}$ が不偏推定量の列であり、分散が0に収束する $\begin{array}{r} \begin{array}{c} E (T_{n}) = θ & lim_{n \to \infty} V (T_{n}) \to 0 \end{array} \end{array}$

証明

（i）チェビシェフの不等式より、 $\begin{array}{r} lim_{n \to \infty} P (| T_{n} - θ | \geq ε) \leq lim_{n \to \infty} \frac{E [{(T_{n} - θ)}^{2}]}{ε^{2}} = 0 \end{array}$ これは、確率収束の定義を満たすので、一致推定量の定義より、 $T_{n}$ は $θ$ の一致推定量である。 $◼$

（ii）平均二乗誤差の定義式 $MSE (T_{n}, θ) = V (T_{n}) + {[E (T_{n}) - θ]}^{2}$ より、 $\begin{array}{r} lim_{n \to \infty} MSE (T_{n}, θ) = lim_{n \to \infty} V (T_{n}) + {lim_{n \to \infty} [E (T_{n}) - θ]}^{2} = 0 \end{array}$ したがって、平均二乗誤差が0に収束するので（i）の結果より、 $T_{n}$ は $θ$ の一致推定量である。 $◼$

（iii） ${T_{n}}$ が不偏推定量の列であれば、 $\begin{array}{r} E (T_{n}) - θ = 0 \Rightarrow lim_{n \to \infty} [E (T_{n}) - θ] \to 0 \end{array}$ したがって、（ii）の結果より、 $T_{n}$ は $θ$ の一致推定量である。 $◼$

損失関数・危険関数

（i）すべての $θ, t$ \ で $\begin{matrix} 0 \leq l (θ, t) \end{matrix}$ （ii）すべての $θ$ で、 $t = θ$ のとき、 $\begin{matrix} l (θ, t) = 0 \end{matrix}$ を満たす関数を損失関数 loss function という。推定値 $t$ とパラメータ $θ$ の距離を損失と見なしているのである。推定値がパラメータに一致するとき、損失（つまり、距離）は、0 である。

推定量とパラメータの距離を計るものとして、 $\begin{matrix} R {θ, T (X)} = E [l {θ, T (X)}] \end{matrix}$ で定義された関数を危険関数risk function という。例えば、 $\begin{matrix} l (θ, t) = {(θ - t)}^{2} \end{matrix}$ とすると、危険関数は平均二乗誤差であるつまり、危険関数は $T (X)$ を推定量として使ったときの平均損失である。そして、パラメータの推定には、危険関数を小さくするような推定量を使うべきである。

ミニマックス推定量

2つの推定量 $T_{1}, T_{2}$ について、すべての $θ \in Θ$ で、 $\begin{matrix} R {θ, T_{1} (X)} \leq R {θ, T_{2} (X)} \end{matrix}$ が成り立ち、少なくとも1つの $θ \in Θ$ で $\begin{matrix} R {θ, T_{1} (X)} < R {θ, T_{2} (X)} \end{matrix}$ が成り立つとき、 $T_{1}$ は $T_{2}$ に優越する dominate という。

$T$ をパラメータ $θ$ の推定量とし、 $T$ に優越する $θ$ の推定量が他に存在しないとき、 $T$ は許容的である admissible という。

また、危険関数の最大値に着目して、その値を最小にするもの、すなわち他のどの推定量 $T^{'}$ に対しても、 $\begin{matrix} sup_{θ \in Θ} R (θ, T^{*}) \leq sup_{θ \in Θ} R (θ, T^{'}) \end{matrix}$ となる推定量 $\begin{matrix} T^{*} \end{matrix}$ をミニマックス推定量 minimax estimator という。

ラオ・ブラックウェルの定理

次の定理は、十分統計量を利用して平均二乗誤差の小さい推定量を見つけることができるという定理である。

【定理】
ラオ・ブラックウェルの定理
Rao-Blackwell Theorem

$S (X)$ をパラメータ $θ$ の十分統計量のうちのひとつとし、 $T = T (X)$ を $θ$ のある統計量とする。

$S (X)$ で条件付けた $T$ の期待値 $\begin{array}{r} T^{*} = E {T (X) | S (X)} \end{array}$ によって定義される推定量 $T^{*}$ について、 $T^{*}$ の平均2乗誤差は他の任意の $T$ の平均2乗誤差以下になる、すなわち、 $\begin{array}{r} E [{T^{*} - θ}^{2}] \leq E [{T - θ}^{2}] \end{array}$ が成り立つ。

一様最小分散不偏推定量

パラメータ $θ$ の不偏推定量の中で、その分散が最小のもの、すなわちすべての $θ \in Θ$ で、
（i） $\begin{matrix} E (T) = θ \end{matrix}$ （ii） $θ$ の他のどの不偏推定量 $T^{'}$ に対しても $\begin{matrix} V (T) \leq V (T^{'}) \end{matrix}$ となる不偏推定量 $T$ を $θ$ の一様最小分散不偏推定量 uniformly minimum variance unbiased estimator: UMVUE と呼ぶ。

$T$ が $θ$ の一様最小分散不偏推定量であるということは、 $T$ の期待値が $θ$ であり、同様に期待値が $θ$ である他の推定量の分布よりもそのばらつきが小さいということである。そのような推定量は、その推定値が推定しているパラメータの値の近くにくる確率が高いわけである。

レーマン・シェフェの定理

次の定理は、最小分散不偏推定量を見つけるのに役立つものである。

【定理】
レーマン・シェフェの定理
Lehmann-Scheffe Theorem

$S (X)$ をパラメータ $θ$ の完備十分統計量、 $T = T (X)$ を $θ$ の不偏推定量とするとき、完備十分統計量 $S (X)$ によって条件づけた不偏推定量 $T (X)$ の期待値 $\begin{array}{r} T^{*} (S) = E {T (X) | S (X)} \end{array}$ はただ1つに定まり、一様最小分散不偏推定量となる。

クラメール・ラオの不等式

次に不偏推定量の分散の下限を与える不等式を示す。

【定理】
クラメール・ラオの不等式
Cramer-Rao’s Inequality

この分布の同時確率（密度）関数 $\begin{array}{r} f (x; θ) \end{array}$ が正則条件①～③を満たすなら、パラメータ $θ$ の関数 $g (θ)$ の不偏推定量 $\begin{array}{r} T (X) = \hat{θ} \end{array}$ の分散の下限は、 $\begin{array}{r} \frac{{[\frac{\partial}{\partial θ} g (θ)]}^{2}}{I_{n} (θ)} \leq V [T (X)] \end{array}$ となる。特に、 $g (θ) = θ$ のとき、「フィッシャー情報量の $n$ 倍の逆数以下の値」しか取り得ない、すなわち、 $\begin{array}{r} \frac{1}{n I_{1} (θ)} = \frac{1}{I_{n} (θ)} \leq V [T (X)] \end{array}$ が成り立つ。これをクラメール・ラオの不等式といい、左辺をクラメール・ラオの下限という。

1パラメータの指数型分布族で、 $c (θ)$ が0でない連続な導関数をもつとき、正則条件の仮定が成り立つ。

もしも、不偏推定量の分散がクラメール・ラオの不等式の下限に等しいとき、その推定量はUMVUEである。ただし、UMVUEが存在しても、その分散がクラメール・ラオの不等式の下限よりも大きい場合もある。

不偏推定量の効率

任意の確率分布 $P_{θ} (θ \in Θ)$ からの大きさ $n$ の無作為標本を $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ その標本値を $\begin{array}{r} x = {x_{1}, x_{2}, \dots, x_{n}} \end{array}$ とする。この分布の同時確率質量関数、もしくは同時確率密度関数 $f (x; θ)$ が正則条件を満たし、 $T = T (X)$ を $θ$ の不偏推定量 $E [T (X)] = g (θ)$ とすると、 $\begin{array}{r} Eff (T) = \frac{\frac{1}{I_{n} (θ)}}{V (T)} = \frac{1}{I_{n} (θ) \cdot V (T)} \end{array}$ を不偏推定量 $T (X)$ の効率 efficiency と呼ぶ。

有効推定量

特に、 $\begin{matrix} Eff (T) = 1 \end{matrix}$ となる、すなわち、クラメール・ラオの不等式の下限と等しい分散をもつ不偏推定量 $T$ を有効推定量 efficient estimator と呼ぶ。

漸近効率

${T_{n} (X)}$ を $θ$ の推定量の列としたとき、 $\begin{array}{r} AEff (T) = lim_{n \to \infty} Eff (T_{n}) = lim_{n \to \infty} \frac{1}{I_{n} (θ) \cdot V (T_{n})} \end{array}$ を $T_{n}$ の漸近効率 asymptotic efficiency という。

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.208-222
竹村彰通著. 現代数理統計学. 創文社, 1991, p.121-137
黒木学著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.144-156

推定量の評価

平均二乗誤差

点推定量の評価

不偏性