本稿には、2016年に実施された統計検定1級『統計数理』 問1の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。
- 著作権の関係上、問題文は、掲載することができません。申し訳ありませんが、閲覧者のみなさまでご用意いただければ幸いです。
- この答案は、あくまでも筆者が自作したものであり、公式なものではありません。正式な答案については、公式問題集をご参照ください。
- 計算ミスや誤字・脱字などがありましたら、コメントなどでご指摘いただければ大変助かります。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
〔1〕最尤推定量の導出
尤度関数 $L \left(\boldsymbol{\theta}\right)$ を求めると、 \begin{align} L \left(\mu\right)&=\prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}}e^{-\frac{ \left(x_i-\mu\right)^2}{2}}}\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^n \cdot \exp \left\{-\frac{1}{2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\right\}\\ \end{align} 対数尤度関数 $l \left(\boldsymbol{\theta}\right)=\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} l \left(\mu,\sigma^2\right)&=\log{ \left[ \left(\frac{1}{\sqrt{2\pi}}\right)^n \cdot \exp \left\{-\frac{1}{2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\right\}\right]}\\ &=-\frac{n}{2}\log{2\pi}-\frac{1}{2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\\ \end{align} パラメータ $\mu$ に関するスコア関数 $S \left(\theta\right)=\frac{\partial}{\partial\mu}\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} S \left(\mu\right)&=-\frac{1}{2} \left\{\sum_{i=1}^{n}{2 \left(x_i-\mu\right) \cdot \frac{d}{d\mu} \left(-\mu\right)}\right\}\\ &=\sum_{i=1}^{n} \left(x_i-\mu\right)\\ &=\sum_{i=1}^{n}x_i-n\mu \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=\sum_{i=1}^{n}x_i-n\hat{\mu}\\ n\hat{\mu}=\sum_{i=1}^{n}x_i\\ \hat{\mu}=\frac{1}{n}\sum_{i=1}^{n}x_i\\ \hat{\mu}=\bar{X} \end{gather} 最尤推定量の不偏性により、 \begin{align} \hat{\theta}=e^{\hat{\mu}}\\ =e^{\bar{X}} \end{align} $\blacksquare$
〔2〕最尤推定量バイアス
正規分布 $\mathrm{N} \left(\mu,1\right)$ のモーメント母関数は、 \begin{align} M_X \left(t\right)=\exp \left(\mu t+\frac{t^2}{2}\right) \end{align} 正規分布の標本平均 $\bar{X}$ の従う分布とモーメント母関数は、 \begin{gather} \bar{X} \sim \mathrm{N} \left(\mu,\frac{1}{n}\right)\\ M_{\bar{X}} \left(t\right)=E \left(e^{t\bar{X}}\right)=\exp \left(\mu t+\frac{t^2}{2n}\right) \end{gather} 最尤推定量 $\hat{\theta}$ の期待値は、 \begin{align} E \left(\hat{\theta}\right)=E \left(e^{\bar{X}}\right) \end{align} 標本平均のモーメント母関数に $t=1$ を代入すると、 \begin{align} E \left(\hat{\theta}\right)=\exp \left(\mu+\frac{1}{2n}\right) \end{align} したがって、バイアス $B=E \left(\hat{\theta}\right)-\theta$ は、 \begin{align} B&=e^{\mu+\frac{1}{2n}}-e^\mu\\ &=e^\mu \left(e^\frac{1}{2n}-1\right) \end{align} ここで、$0 \lt \frac{1}{2n}$ であり、単調増加関数である指数関数は、 \begin{align} 0 \lt x\Rightarrow1 \lt e^x \end{align} したがって、 \begin{align} B=e^\mu \left(e^\frac{1}{2n}-1\right) \gt 0 \end{align} つまり、バイアスの符号は正となる。
また、$\widetilde{\theta}$ の期待値を求めると、 \begin{align} E \left(\widetilde{\theta}\right)&=E \left(e^{\bar{X}-\frac{1}{2n}}\right)\\ &=e^{-\frac{1}{2n}} \cdot E \left(e^{\bar{X}}\right)\\ &=e^{-\frac{1}{2n}} \cdot e^{\mu+\frac{1}{2n}}\\ &=e^\mu\\ &=\theta \end{align} したがって、$\widetilde{\theta}$ は $\theta$ の不偏推定量である。 $\blacksquare$
〔3〕最尤推定量の平均二乗誤差
定義に沿って、平均二乗誤差を求めると、 \begin{align} MSE \left(\hat{\theta}\right)&=E \left[ \left(\hat{\theta}-\theta\right)^2\right]\\ &=E \left({\hat{\theta}}^2-2\theta\hat{\theta}+\theta^2\right)\\ &=E \left({\hat{\theta}}^2\right)-2E \left(\theta\hat{\theta}\right)+E \left(\theta^2\right)\\ &=E \left(e^{2\bar{X}}\right)-2E \left(e^{\bar{X}} \cdot e^\mu\right)+E \left(e^{2\mu}\right)\\ &=E \left(e^{2\bar{X}}\right)-2e^\mu E \left(e^{\bar{X}}\right)+e^{2\mu} \end{align} 〔2〕の結果から、 \begin{align} MSE \left(\hat{\theta}\right)=E \left(e^{2\bar{X}}\right)-2e^{2\mu+\frac{1}{2n}}+e^{2\mu} \end{align} ここで、標本平均のモーメント母関数に $t=2$ を代入すると、 \begin{align} E \left(e^{2\bar{x}}\right)=\exp \left(2\mu+\frac{2}{n}\right) \end{align} よって、最尤推定量 $\hat{\theta}$ の平均二乗誤差は、 \begin{align} MSE \left(\hat{\theta}\right)&=e^{2\mu+\frac{2}{n}}-2e^{2\mu+\frac{1}{2n}}+e^{2\mu}\\ &=e^{2\mu} \left(e^\frac{2}{n}-2e^\frac{1}{2n}+1\right) \end{align} したがって、$n\rightarrow\infty$ のときの極限を取ると、 \begin{align} \lim_{n\rightarrow\infty}{MSE \left(\hat{\theta}\right)}&=e^{2\mu} \left(e^0-2e^0+1\right)\\ &=e^{2\mu} \left(1-2+1\right)\\ &=0 \end{align} $\blacksquare$
〔4〕フィッシャー情報量
〔1〕の結果から、フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_n \left(\theta\right)&=E \left[ \left\{\frac{n}{\theta} \left(\bar{X}-\log{\theta}\right)\right\}^2\right]\\ &=E \left[\frac{n^2}{\theta^2} \left\{{\bar{X}}^2-2\bar{X}\log{\theta}+ \left(\log{\theta}\right)^2\right\}\right]\\ &=\frac{n^2}{\theta^2} \left\{E \left({\bar{X}}^2\right)-2\log{\theta}E \left(\bar{X}\right)+ \left(\log{\theta}\right)^2\right\} \end{align} ここで、分散の公式の変形 $E \left({\bar{X}}^2\right)=V \left(\bar{X}\right)+ \left\{E \left(\bar{X}\right)\right\}^2$ より、 \begin{align} E \left({\bar{X}}^2\right)=\mu^2+\frac{1}{n} \end{align} したがって、 \begin{align} I_n \left(\theta\right)&=\frac{n^2}{\theta^2} \left(\mu^2+\frac{1}{n}-2\mu^2+\mu^2\right)\\ &=\frac{n^2}{\theta^2} \cdot \frac{1}{n}\\ &=\frac{n}{\theta^2} \end{align} 次に、$\widetilde{\theta}$ の分散について、分散の公式より、 \begin{align} V \left(\widetilde{\theta}\right)=E \left({\widetilde{\theta}}^2\right)- \left\{E \left(\widetilde{\theta}\right)\right\}^2 \end{align} ここで、 \begin{align} {\widetilde{\theta}}^2&=\mathrm{exp} \left[2 \left(\bar{X}-\frac{1}{2n}\right)\right]\\ &=\mathrm{exp} \left(2\bar{X}-\frac{1}{n}\right)\\ \end{align} 両辺の期待値を取ると、 \begin{align} E \left({\widetilde{\theta}}^2\right)=e^{-\frac{1}{n}} \cdot E \left(e^{2\bar{X}}\right) \end{align} ここで、標本平均のモーメント母関数に $t=2$ を代入すると、 \begin{align} E \left(e^{2\bar{X}}\right)=e^{2\mu+\frac{2}{n}} \end{align} よって、 \begin{align} E \left({\widetilde{\theta}}^2\right)&=e^{2\mu+\frac{2}{n}} \cdot e^{-\frac{1}{n}}\\ &=e^{2\mu+\frac{1}{n}} \end{align} 〔2〕の結果 $E \left(\widetilde{\theta}\right)=e^\mu$ より、 \begin{align} V \left(\widetilde{\theta}\right)&=e^{2\mu+\frac{1}{n}}-e^{2\mu}\\ &=e^{2\mu} \left(e^\frac{1}{n}-1\right)\\ &=\theta^2 \left(e^\frac{1}{n}-1\right) \end{align} ここで、$0 \lt x$ において、次の関数を考えると、 \begin{gather} f \left(x\right)=e^x-1-x\\ f \left(0\right)=e^0-1-0=0\\ f^\prime \left(x\right)=e^x-1 \gt 0 \end{gather} よって、$f \left(x\right)$ は、$0 \lt x$ において、単調増加関数なので、 \begin{align} e^x-1 \gt x \end{align} したがって、$x=\frac{1}{n}$ と考えると、 \begin{align} V \left(\widetilde{\theta}\right)=\theta^2 \left(e^\frac{1}{n}-1\right) \gt \frac{\theta^2}{n}=\frac{1}{I_n \left(\theta\right)} \end{align} すなわち、$\widetilde{\theta}$ の分散はクラメール・ラオの下限と一致しない（クラメール・ラオの下限よりも大きい）。 $\blacksquare$
0 件のコメント:
コメントを投稿