統計検定 1級 2012年 統計数理 問3 指数分布の最尤推定

本稿には、2012年に実施された統計検定1級『統計数理』 問3の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

〔1〕標本平均の期待値と分散

指数分布の期待値と分散の公式より、 $$\begin{array}{r}E(X)=\frac{1}{\lambda }V\left(X\right)=\frac{1}{{\lambda }^2}\end{array}$$ 期待値の性質 $E\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}E\left(X_i\right),E\left(aX\right)=aE\left(X\right)$ より、 $$\begin{array}{rl}E\left(\overline{X}\right)& =E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)\\ & =\frac{1}{n}\sum _{i=1}^{n}E\left(X_i\right)\\ & =\frac{1}{n}\cdot \frac{1}{\lambda }\cdot n\\ & =\frac{1}{\lambda }\end{array}$$ 確率変数が互いに独立なとき、分散の性質 $V\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}V\left(X_i\right),V\left(aX\right)=a^{2}V\left(X\right)$ より、 $$\begin{array}{rl}V\left(\overline{X}\right)& =V\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)\\ & =\frac{1}{n^2}\sum _{i=1}^{n}V\left(X_i\right)\\ & =\frac{1}{n^2}\cdot \frac{1}{{\lambda }^2}\cdot n\\ & =\frac{1}{n{\lambda }^2}\end{array}$$ $◼$

〔2〕最尤推定量の導出

尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}L\left(\lambda \right)& =\prod _{i=1}^n\lambda e^{-\lambda x_i}\\ & =e^{-\lambda (x_1+x_2+\cdots +x_n)}\cdot {\lambda }^n\\ & =e^{-\lambda \sum _{i=1}^n{x}_i}\cdot {\lambda }^n\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l\left(\lambda \right)& =\log (e^{-\lambda \sum _{i=1}^n{x}_i}\cdot {\lambda }^n)\\ & =-\lambda \sum _{i=1}^n{x}_i+n\log \lambda \end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(\lambda \right)=-\sum _{i=1}^n{x}_i+\frac{n}{\lambda }\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=-\sum _{i=1}^n{x}_i+\frac{n}{\hat{\lambda }}\\ \hat{\lambda }\sum _{i=1}^n{x}_i=n\\ \hat{\lambda }=\frac{n}{\sum _{i=1}^n{x}_i}=\frac{1}{\overline{X}}\end{array}$$ $◼$

〔3〕フィッシャー情報量の導出

フィッシャー情報量の定義式 $I_1\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =E\left[{(-x+\frac{1}{\lambda })}^2\right]\\ & =E\left(\frac{{\lambda }^2{x}^2-2\lambda x+1}{{\lambda }^2}\right)\\ & =\frac{1}{{\lambda }^2}\{{\lambda }^{2}E\left(X^2\right)-2\lambda E\left(X\right)+1\}\end{array}$$ 分散の公式の変形 $E\left(X^2\right)=V\left(X\right)+{\left\{E\left(X\right)\right\}}^2$ より、2次モーメントは、 $$\begin{array}{rl}E\left(X^2\right)& =\frac{1}{{\lambda }^2}+\frac{1}{{\lambda }^2}\\ & =\frac{2}{{\lambda }^2}\end{array}$$ したがって、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =\frac{1}{{\lambda }^2}({\lambda }^2\cdot \frac{2}{{\lambda }^2}-2\lambda \cdot \frac{1}{\lambda }+1)\\ & =\frac{1}{{\lambda }^2}\cdot 1\\ & =\frac{1}{{\lambda }^2}\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left(\lambda \right)=\frac{n}{{\lambda }^2}\end{array}$$ $◼$

〔4〕デルタ法による漸近分散の導出

〔2〕の結果より、 $$\begin{array}{r}V\left(\hat{\lambda }\right)=V\left(\frac{1}{\overline{X}}\right)\end{array}$$ ここで、 $$\begin{array}{r}g\left(\overline{x}\right)=\frac{1}{\overline{x}}\end{array}$$ とおき、 1階微分を求めると、商の微分公式より、 $$\begin{array}{r}{g}^{\prime }\left(\overline{x}\right)=-\frac{1}{{\overline{x}}^2}\end{array}$$ $g\left(\overline{x}\right)$ を期待値 $E\left(\overline{X}\right)=\frac{1}{\lambda }$ の周りで1次の項までテイラー展開すると、 $$\begin{array}{rl}\hat{\lambda }=g\left(\overline{x}\right)& \cong g\left(\frac{1}{\lambda }\right)+g^{\prime }\left(\frac{1}{\lambda }\right)(\overline{x}-\frac{1}{\lambda })\\ & \cong \lambda -{\lambda }^2(\overline{x}-\frac{1}{\lambda })\end{array}$$ 両辺の分散を取ると、 $$\begin{array}{rl}V\left(\hat{\lambda }\right)& =V\{\lambda -{\lambda }^2(\overline{x}-\frac{1}{\lambda })\}\\ & =V(-{\lambda }^2\overline{x}+2\lambda )\end{array}$$ 分散の性質 $V(aX+b)=a^{2}V\left(X\right)$ より、 $$\begin{array}{rl}V\left(\hat{\lambda }\right)& ={\lambda }^{4}V\left(\overline{X}\right)\\ & ={\lambda }^4\cdot \frac{1}{n{\lambda }^2}\\ & =\frac{{\lambda }^2}{n}\end{array}$$ $◼$

補足

〔3〕の結果より、クラメール・ラオの下限 $V\left(\hat{\theta }\right)\ge \frac{1}{I_n\left(\theta \right)}$ を求めると、 $$\begin{array}{r}V\left(\hat{\lambda }\right)\ge \frac{{\lambda }^2}{n}\end{array}$$ これと〔4〕の結果より、指数分布の最尤推定量の漸近分散は、クラメール・ラオの下限に等しいことが分かり、最尤推定量が有効推定量であることが分かります。

関連記事

• 指数分布の期待値・分散
• 最尤推定法とモーメント法
• 期待値の基本性質
• 分散の基本性質
• デルタ法
• 代表的な確率分布の最尤推定量とフィッシャー情報量