統計検定 1級 2024年 統計数理 問1 最尤推定量・検定の検出力

本稿には、2024年に実施された統計検定1級『統計数理』 問1の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

• 統計検定の問題の使用に関する規約により禁止されているため、問題文は掲載することができません。公式サイトで公開されているものなどをご参照ください。
• この答案は、あくまでも筆者が自作したものであり、公式なものではありません。正式な答案については、公式問題集をご参照ください。
• 計算ミスや誤字・脱字などがありましたら、コメントなどでご指摘いただければ大変助かります。
• スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

 

〔1〕対数尤度関数の導出

正規分布の性質より、 $$\begin{array}{r}{Y}_i\sim L(\beta x_i,{\sigma }^2)\end{array}$$ したがって、確率変数 $Y_i$ の確率密度関数は、 $$\begin{array}{r}f\left(y_i\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp [-\frac{{(y_i-\beta x_i)}^2}{2{\sigma }^2}]\end{array}$$ 尤度関数 $L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}L\left(\beta \right)& =\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }\exp [-\frac{{(y_i-\beta x_i)}^2}{2{\sigma }^2}]\\ & ={\left(\frac{1}{\sqrt{2\pi {\sigma }^2}}\right)}^n\cdot \exp [-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(y_i-\beta x_i)}^2]\\ & ={\left(\frac{1}{2\pi {\sigma }^2}\right)}^{\frac{n}{2}}\cdot \exp [-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(y_i-\beta x_i)}^2]\end{array}$$ 対数尤度関数 $l\left(\mathit{\theta }\right)=\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}l\left(\beta \right)& =\log [{\left(\frac{1}{2\pi {\sigma }^2}\right)}^{\frac{n}{2}}\cdot \exp \{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(y_i-\beta x_i)}^2\}]\\ & =-\frac{n}{2}\log \left(2\pi {\sigma }^2\right)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(y_i-\beta x_i)}^2\end{array}$$ $◼$

 

〔2〕最尤推定量の導出と不偏性の証明

パラメータ $\beta$ に関するスコア関数 $S\left(\theta \right)=\frac{\partial }{\partial \mu }\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{r}S\left(\beta \right)=-\frac{1}{2{\sigma }^2}(-2\sum _{i=1}^n{x}_i{y}_i+2\beta \sum _{i=1}^n{x}_i^2)\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=-\frac{1}{2{\sigma }^2}(-2\sum _{i=1}^n{x}_i{y}_i+2{\hat{\beta }}_{ML}\sum _{i=1}^n{x}_i^2)\\ -2\sum _{i=1}^n{x}_i{y}_i+2{\hat{\beta }}_{ML}\sum _{i=1}^n{x}_i^2=0\\ {\hat{\beta }}_{ML}\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n{x}_i{y}_i\\ {\hat{\beta }}_{ML}=\frac{\sum _{i=1}^n{x}_i{y}_i}{\sum _{i=1}^n{x}_i^2}\end{array}$$ 両辺の期待値を取ると、期待値の性質より、 $$\begin{array}{rl}E\left({\hat{\beta }}_{ML}\right)& =E\left(\frac{\sum _{i=1}^n{x}_i{y}_i}{\sum _{i=1}^n{x}_i^2}\right)\\ & =\frac{1}{\sum _{i=1}^n{x}_i^2}E\left(\sum _{i=1}^n{x}_i{y}_i\right)\\ & =\frac{1}{\sum _{i=1}^n{x}_i^2}\sum _{i=1}^n\{x_i\cdot E\left(y_i\right)\}\\ & =\frac{1}{\sum _{i=1}^n{x}_i^2}\sum _{i=1}^n(x_i\cdot \beta x_i)\\ & =\beta \cdot \frac{\sum _{i=1}^n{x}_i^2}{\sum _{i=1}^n{x}_i^2}\\ & =\beta \end{array}$$ したがって、不偏推定量の定義を満たすことから、求めた最尤推定量は不偏推定量である。 $◼$

 

〔3〕フィッシャー情報量とクラメール・ラオの下限

フィッシャー情報量の定義式 $I_n\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ より、 $$\begin{array}{rl}{I}_n\left(\beta \right)& =-E(-\frac{1}{2{\sigma }^2}\cdot 2\sum _{i=1}^n{x}_i^2)\\ & =\frac{1}{{\sigma }^2}\sum _{i=1}^n{x}_i^2\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{1}{I_n\left(\beta \right)}=\frac{{\sigma }^2}{\sum _{i=1}^n{x}_i^2}\le V\left(\hat{\beta }\right)\end{array}$$ $◼$

 

〔4〕推定量の期待値と分散

与えられた推定量の期待値を求めると、 $$\begin{array}{rl}E\left(\tilde{\beta }\right)& =E\left(\frac{\sum _{i=1}^n{Y}_i}{\sum _{i=1}^n{x}_i}\right)\\ & =\frac{1}{\sum _{i=1}^n{x}_i}E\left[\sum _{i=1}^n(\beta x_i+{\epsilon }_i)\right]\\ & =\frac{1}{\sum _{i=1}^n{x}_i}\{\left(\sum _{i=1}^n\beta x_i\right)+n\cdot E\left({\epsilon }_i\right)\}\end{array}$$ 問題文の仮定 $E\left({\epsilon }_i\right)=0$ より、 $$\begin{array}{rl}E\left(\tilde{\beta }\right)& =\beta \cdot \frac{\sum _{i=1}^n{x}_i}{\sum _{i=1}^n{x}_i}\\ & =\beta \end{array}$$ 同様に分散を求めると、${\epsilon }_i$ が互いに独立であるとの仮定と分散の加法性より、 $$\begin{array}{rl}V\left(\tilde{\beta }\right)& =V\left(\frac{\sum _{i=1}^n{Y}_i}{\sum _{i=1}^n{x}_i}\right)\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i\right)}^2}V\left[\sum _{i=1}^n(\beta x_i+{\epsilon }_i)\right]\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\cdot nV\left({\epsilon }_i\right)\\ & =\frac{n{\sigma }^2}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\end{array}$$ $◼$

 

〔5〕検定の検出力の大小比較

問題文で与えられた検定問題は、 $$\begin{array}{r}{H}_0:\beta =0H_1:\beta ={\beta }_1(>0)\end{array}$$ と書き換えられる。

最尤推定量の分散を求めると、 $$\begin{array}{rl}V\left({\hat{\beta }}_{ML}\right)& =V\left(\frac{\sum _{i=1}^n{x}_i{y}_i}{\sum _{i=1}^n{x}_i^2}\right)\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}V\left(\sum _{i=1}^n{x}_i{y}_i\right)\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}\sum _{i=1}^n\{x_i^2\cdot V\left(y_i\right)\}\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}\sum _{i=1}^n(x_i^2\cdot {\sigma }^2)\\ & ={\sigma }^2\cdot \frac{\sum _{i=1}^n{x}_i^2}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}\\ & =\frac{{\sigma }^2}{\sum _{i=1}^n{x}_i^2}\end{array}$$ これは、〔3〕で求めたクラメール・ラオの下限に一致するので、最尤推定量の分散がすべての推定量の中で最小の分散となる。

上で求めた値と〔4〕の結果より、 $$\begin{array}{r}V\left({\hat{\beta }}_{ML}\right)=s_1^2\le V\left(\tilde{\beta }\right)=s_2^2\end{array}$$ とおくと、 正規分布の再生性から、 $$\begin{array}{c}{\hat{\beta }}_{ML}\sim N(\beta ,s_1^2)\tilde{\beta }\sim N(\beta ,s_2^2)\end{array}$$

問題文で与えられた検定に対する検定統計量は、帰無仮説のもとで、 $$\begin{array}{c}{Z}_{10}=\frac{{\hat{\beta }}_{ML}-0}{s_1}{Z}_{20}=\frac{\tilde{\beta }-0}{s_2}\\ Z_{10}\sim \mathrm{N}(0,1)Z_{20}\sim \mathrm{N}(0,1)\end{array}$$ 対立仮説のもとで、 $$\begin{array}{c}{Z}_{11}=\frac{{\hat{\beta }}_{ML}-{\beta }_1}{s_1}{Z}_{21}=\frac{\tilde{\beta }-{\beta }_1}{s_2}\\ Z_{11}\sim \mathrm{N}({\beta }_1,1)Z_{21}\sim \mathrm{N}({\beta }_1,1)\end{array}$$

最尤推定量を用いた検定問題の棄却域を $c_{ML}<{\hat{\beta }}_{ML}$ とすると、有意水準が $\alpha$ であるとき、帰無仮説のもとで、 $$\begin{array}{rl}P(c_{ML}<{\hat{\beta }}_{ML}|\beta =0)& =P(\frac{c_{ML}-0}{s_1}<\frac{{\hat{\beta }}_{ML}-0}{s_1})\\ & =P(\frac{c_{ML}}{s_1}<Z_{10})\\ & =\alpha \end{array}$$ したがって、標準正規分布の上側 $\alpha$ 点を $z_{\alpha }$ とすると、 $$\begin{array}{r}\frac{c_{ML}}{s_1}=z_{\alpha }\end{array}$$ このとき、検出力の定義より、対立仮説のもとで、検定統計量が棄却域に入る確率は、標準正規分布の累積分布関数を $\mathrm{\Phi }$ として、 $$\begin{array}{rl}P(c_{ML}<{\hat{\beta }}_{ML}|\beta ={\beta }_1)& =P(\frac{c_{ML}-{\beta }_1}{s_1}<\frac{{\hat{\beta }}_{ML}-{\beta }_1}{s_1})\\ & =P(\frac{c_{ML}}{s_1}-\frac{{\beta }_1}{s_1}<Z_{11})\\ & =\mathrm{\Phi }(z_{\alpha }-\frac{{\beta }_1}{s_1}<Z)\end{array}$$ 〔4〕で与えられた推定量についても同様に考えると、 $$\begin{array}{rl}P(\tilde{c}<\tilde{\beta }|\beta ={\beta }_1)& =P(\frac{\tilde{c}-{\beta }_1}{s_2}<\frac{\tilde{\beta }-{\beta }_1}{s_2})\\ & =P(\frac{\tilde{c}}{s_2}-\frac{{\beta }_1}{s_2}<Z_{21})\\ & =\mathrm{\Phi }(z_{\alpha }-\frac{{\beta }_1}{s_2}<Z)\end{array}$$ ここで、 $$\begin{array}{c}{s}_1^2\le s_2^2\\ s_1\le s_2\\ \frac{{\beta }_1}{s_2}\le \frac{{\beta }_1}{s_1}\\ -\frac{{\beta }_1}{s_1}\le -\frac{{\beta }_1}{s_2}\\ z_{\alpha }-\frac{{\beta }_1}{s_1}\le z_{\alpha }-\frac{{\beta }_1}{s_2}\\ \mathrm{\Phi }(z_{\alpha }-\frac{{\beta }_1}{s_2})\le \mathrm{\Phi }(z_{\alpha }-\frac{{\beta }_1}{s_1})\\ P(\tilde{c}<\tilde{\beta }|\beta ={\beta }_1)\le P(c_{ML}<{\hat{\beta }}_{ML}|\beta ={\beta }_1)\end{array}$$ したがって、最尤推定量を用いた検定の検出力は〔4〕の推定量を用いたときの検出力以上となる。 $◼$

 

関連記事

• 十分統計量
• 推定量の評価
• 最尤推定法とモーメント法
• 仮説検定の基礎