統計検定 1級 2016年 統計数理 問1 正規分布の最尤推定

本稿には、2016年に実施された統計検定1級『統計数理』 問1の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

〔1〕最尤推定量の導出

尤度関数 $L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}L\left(\mu \right)& =\prod _{i=1}^n\frac{1}{\sqrt{2\pi }}{e}^{-\frac{{(x_i-\mu )}^2}{2}}\\ & ={\left(\frac{1}{\sqrt{2\pi }}\right)}^n\cdot \exp \{-\frac{1}{2}\sum _{i=1}^n{(x_i-\mu )}^2\}\end{array}$$ 対数尤度関数 $l\left(\mathit{\theta }\right)=\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}l(\mu ,{\sigma }^2)& =\log [{\left(\frac{1}{\sqrt{2\pi }}\right)}^n\cdot \exp \{-\frac{1}{2}\sum _{i=1}^n{(x_i-\mu )}^2\}]\\ & =-\frac{n}{2}\log 2\pi -\frac{1}{2}\sum _{i=1}^n{(x_i-\mu )}^2\end{array}$$ パラメータ $\mu$ に関するスコア関数 $S\left(\theta \right)=\frac{\partial }{\partial \mu }\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}S\left(\mu \right)& =-\frac{1}{2}\left\{\sum _{i=1}^{n}2(x_i-\mu )\cdot \frac{d}{d\mu }(-\mu )\right\}\\ & =\sum _{i=1}^n(x_i-\mu )\\ & =\sum _{i=1}^n{x}_i-n\mu \end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=\sum _{i=1}^n{x}_i-n\hat{\mu }\\ n\hat{\mu }=\sum _{i=1}^n{x}_i\\ \hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i\\ \hat{\mu }=\overline{X}\end{array}$$ 最尤推定量の不偏性により、 $$\begin{array}{r}\hat{\theta }=e^{\hat{\mu }}\\ =e^{\overline{X}}\end{array}$$ $◼$

〔2〕最尤推定量バイアス

正規分布 $\mathrm{N}(\mu ,1)$ のモーメント母関数は、 $$\begin{array}{r}{M}_X\left(t\right)=\exp (\mu t+\frac{t^2}{2})\end{array}$$ 正規分布の標本平均 $\overline{X}$ の従う分布とモーメント母関数は、 $$\begin{array}{c}\overline{X}\sim \mathrm{N}(\mu ,\frac{1}{n})\\ M_{\overline{X}}\left(t\right)=E\left(e^{t\overline{X}}\right)=\exp (\mu t+\frac{t^2}{2n})\end{array}$$ 最尤推定量 $\hat{\theta }$ の期待値は、 $$\begin{array}{r}E\left(\hat{\theta }\right)=E\left(e^{\overline{X}}\right)\end{array}$$ 標本平均のモーメント母関数に $t=1$ を代入すると、 $$\begin{array}{r}E\left(\hat{\theta }\right)=\exp (\mu +\frac{1}{2n})\end{array}$$ したがって、バイアス $B=E\left(\hat{\theta }\right)-\theta$ は、 $$\begin{array}{rl}B& =e^{\mu +\frac{1}{2n}}-e^{\mu }\\ & =e^{\mu }(e^{\frac{1}{2n}}-1)\end{array}$$ ここで、$0<\frac{1}{2n}$ であり、単調増加関数である指数関数は、 $$\begin{array}{r}0<x\Rightarrow 1<e^x\end{array}$$ したがって、 $$\begin{array}{r}B=e^{\mu }(e^{\frac{1}{2n}}-1)>0\end{array}$$ つまり、バイアスの符号は正となる。

また、$\tilde{\theta }$ の期待値を求めると、 $$\begin{array}{rl}E\left(\tilde{\theta }\right)& =E\left(e^{\overline{X}-\frac{1}{2n}}\right)\\ & =e^{-\frac{1}{2n}}\cdot E\left(e^{\overline{X}}\right)\\ & =e^{-\frac{1}{2n}}\cdot e^{\mu +\frac{1}{2n}}\\ & =e^{\mu }\\ & =\theta \end{array}$$ したがって、$\tilde{\theta }$ は $\theta$ の不偏推定量である。 $◼$

〔3〕最尤推定量の平均二乗誤差

定義に沿って、平均二乗誤差を求めると、 $$\begin{array}{rl}MSE\left(\hat{\theta }\right)& =E\left[{(\hat{\theta }-\theta )}^2\right]\\ & =E({\hat{\theta }}^2-2\theta \hat{\theta }+{\theta }^2)\\ & =E\left({\hat{\theta }}^2\right)-2E\left(\theta \hat{\theta }\right)+E\left({\theta }^2\right)\\ & =E\left(e^{2\overline{X}}\right)-2E(e^{\overline{X}}\cdot e^{\mu })+E\left(e^{2\mu }\right)\\ & =E\left(e^{2\overline{X}}\right)-2e^{\mu }E\left(e^{\overline{X}}\right)+e^{2\mu }\end{array}$$ 〔2〕の結果から、 $$\begin{array}{r}MSE\left(\hat{\theta }\right)=E\left(e^{2\overline{X}}\right)-2e^{2\mu +\frac{1}{2n}}+e^{2\mu }\end{array}$$ ここで、標本平均のモーメント母関数に $t=2$ を代入すると、 $$\begin{array}{r}E\left(e^{2\overline{x}}\right)=\exp (2\mu +\frac{2}{n})\end{array}$$ よって、最尤推定量 $\hat{\theta }$ の平均二乗誤差は、 $$\begin{array}{rl}MSE\left(\hat{\theta }\right)& =e^{2\mu +\frac{2}{n}}-2e^{2\mu +\frac{1}{2n}}+e^{2\mu }\\ & =e^{2\mu }(e^{\frac{2}{n}}-2e^{\frac{1}{2n}}+1)\end{array}$$ したがって、$n\to \mathrm{\infty }$ のときの極限を取ると、 $$\begin{array}{rl}\underset{n\to \mathrm{\infty }}{lim}MSE\left(\hat{\theta }\right)& =e^{2\mu }(e^0-2e^0+1)\\ & =e^{2\mu }(1-2+1)\\ & =0\end{array}$$ $◼$

〔4〕フィッシャー情報量

〔1〕の結果から、フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_n\left(\theta \right)& =E\left[{\left\{\frac{n}{\theta }(\overline{X}-\log \theta )\right\}}^2\right]\\ & =E\left[\frac{n^2}{{\theta }^2}\{{\overline{X}}^2-2\overline{X}\log \theta +{(\log \theta )}^2\}\right]\\ & =\frac{n^2}{{\theta }^2}\{E\left({\overline{X}}^2\right)-2\log \theta E\left(\overline{X}\right)+{(\log \theta )}^2\}\end{array}$$ ここで、分散の公式の変形 $E\left({\overline{X}}^2\right)=V\left(\overline{X}\right)+{\left\{E\left(\overline{X}\right)\right\}}^2$ より、 $$\begin{array}{r}E\left({\overline{X}}^2\right)={\mu }^2+\frac{1}{n}\end{array}$$ したがって、 $$\begin{array}{rl}{I}_n\left(\theta \right)& =\frac{n^2}{{\theta }^2}({\mu }^2+\frac{1}{n}-2{\mu }^2+{\mu }^2)\\ & =\frac{n^2}{{\theta }^2}\cdot \frac{1}{n}\\ & =\frac{n}{{\theta }^2}\end{array}$$ 次に、$\tilde{\theta }$ の分散について、分散の公式より、 $$\begin{array}{r}V\left(\tilde{\theta }\right)=E\left({\tilde{\theta }}^2\right)-{\left\{E\left(\tilde{\theta }\right)\right\}}^2\end{array}$$ ここで、 $$\begin{array}{rl}{\tilde{\theta }}^2& =\exp \left[2(\overline{X}-\frac{1}{2n})\right]\\ & =\exp (2\overline{X}-\frac{1}{n})\end{array}$$ 両辺の期待値を取ると、 $$\begin{array}{r}E\left({\tilde{\theta }}^2\right)=e^{-\frac{1}{n}}\cdot E\left(e^{2\overline{X}}\right)\end{array}$$ ここで、標本平均のモーメント母関数に $t=2$ を代入すると、 $$\begin{array}{r}E\left(e^{2\overline{X}}\right)=e^{2\mu +\frac{2}{n}}\end{array}$$ よって、 $$\begin{array}{rl}E\left({\tilde{\theta }}^2\right)& =e^{2\mu +\frac{2}{n}}\cdot e^{-\frac{1}{n}}\\ & =e^{2\mu +\frac{1}{n}}\end{array}$$ 〔2〕の結果 $E\left(\tilde{\theta }\right)=e^{\mu }$ より、 $$\begin{array}{rl}V\left(\tilde{\theta }\right)& =e^{2\mu +\frac{1}{n}}-e^{2\mu }\\ & =e^{2\mu }(e^{\frac{1}{n}}-1)\\ & ={\theta }^2(e^{\frac{1}{n}}-1)\end{array}$$ ここで、$0<x$ において、次の関数を考えると、 $$\begin{array}{c}f\left(x\right)=e^x-1-x\\ f\left(0\right)=e^0-1-0=0\\ f^{\prime }\left(x\right)=e^x-1>0\end{array}$$ よって、$f\left(x\right)$ は、$0<x$ において、単調増加関数なので、 $$\begin{array}{r}{e}^x-1>x\end{array}$$ したがって、$x=\frac{1}{n}$ と考えると、 $$\begin{array}{r}V\left(\tilde{\theta }\right)={\theta }^2(e^{\frac{1}{n}}-1)>\frac{{\theta }^2}{n}=\frac{1}{I_n\left(\theta \right)}\end{array}$$ すなわち、$\tilde{\theta }$ の分散はクラメール・ラオの下限と一致しない（クラメール・ラオの下限よりも大きい）。 $◼$

関連記事

• 推定量の評価
• 最尤推定法とモーメント法
• スコア関数とフィッシャー情報量
• クラメール・ラオの不等式
• 代表的な確率分布の最尤推定量とフィッシャー情報量