統計検定 1級 2024年 統計数理 問1 最尤推定量・検定の検出力

本稿には、2024年に実施された統計検定1級『統計数理』 問1の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

• 統計検定の問題の使用に関する規約により禁止されているため、問題文は掲載することができません。公式サイトで公開されているものなどをご参照ください。
• この答案は、あくまでも筆者が自作したものであり、公式なものではありません。正式な答案については、公式問題集をご参照ください。
• 計算ミスや誤字・脱字などがありましたら、コメントなどでご指摘いただければ大変助かります。
• スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

 

〔1〕対数尤度関数の導出

正規分布の性質より、 \begin{align} Y_i \sim L \left(\beta x_i,\sigma^2\right) \end{align} したがって、確率変数 $Y_i$ の確率密度関数は、 \begin{align} f \left(y_i\right)=\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp} \left[-\frac{ \left(y_i-\beta x_i\right)^2}{2\sigma^2}\right] \end{align} 尤度関数 $L \left(\boldsymbol{\theta}\right)$ を求めると、 \begin{align} L \left(\beta\right)&=\prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}\mathrm{exp} \left[-\frac{ \left(y_i-\beta x_i\right)^2}{2\sigma^2}\right]}\\ &= \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n \cdot \mathrm{exp} \left[-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(y_i-\beta x_i\right)^2\right]\\ &= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left[-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(y_i-\beta x_i\right)^2\right] \end{align} 対数尤度関数 $l \left(\boldsymbol{\theta}\right)=\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} l \left(\beta\right)&=\log{ \left[ \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(y_i-\beta x_i\right)^2\right\}\right]}\\ &=-\frac{n}{2}\log{ \left(2\pi\sigma^2\right)}-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(y_i-\beta x_i\right)^2 \end{align} $\blacksquare$

 

〔2〕最尤推定量の導出と不偏性の証明

パラメータ $\beta$ に関するスコア関数 $S \left(\theta\right)=\frac{\partial}{\partial\mu}\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} S \left(\beta\right)=-\frac{1}{2\sigma^2} \left(-2\sum_{i=1}^{n}{x_iy_i}+2\beta\sum_{i=1}^{n}x_i^2\right) \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=-\frac{1}{2\sigma^2} \left(-2\sum_{i=1}^{n}{x_iy_i}+2{\hat{\beta}}_{ML}\sum_{i=1}^{n}x_i^2\right)\\ -2\sum_{i=1}^{n}{x_iy_i}+2{\hat{\beta}}_{ML}\sum_{i=1}^{n}x_i^2=0\\ {\hat{\beta}}_{ML}\sum_{i=1}^{n}x_i^2=\sum_{i=1}^{n}{x_iy_i}\\ {\hat{\beta}}_{ML}=\frac{\sum_{i=1}^{n}{x_iy_i}}{\sum_{i=1}^{n}x_i^2} \end{gather} 両辺の期待値を取ると、期待値の性質より、 \begin{align} E \left({\hat{\beta}}_{ML}\right)&=E \left(\frac{\sum_{i=1}^{n}{x_iy_i}}{\sum_{i=1}^{n}x_i^2}\right)\\ &=\frac{1}{\sum_{i=1}^{n}x_i^2}E \left(\sum_{i=1}^{n}{x_iy_i}\right)\\ &=\frac{1}{\sum_{i=1}^{n}x_i^2}\sum_{i=1}^{n} \left\{x_i \cdot E \left(y_i\right)\right\}\\ &=\frac{1}{\sum_{i=1}^{n}x_i^2}\sum_{i=1}^{n} \left(x_i \cdot \beta x_i\right)\\ &=\beta \cdot \frac{\sum_{i=1}^{n}x_i^2}{\sum_{i=1}^{n}x_i^2}\\ &=\beta \end{align} したがって、不偏推定量の定義を満たすことから、求めた最尤推定量は不偏推定量である。 $\blacksquare$

 

〔3〕フィッシャー情報量とクラメール・ラオの下限

フィッシャー情報量の定義式 $I_n \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ より、 \begin{align} I_n \left(\beta\right)&=-E \left(-\frac{1}{2\sigma^2} \cdot 2\sum_{i=1}^{n}x_i^2\right)\\ &=\frac{1}{\sigma^2}\sum_{i=1}^{n}x_i^2 \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{1}{I_n \left(\beta\right)}=\frac{\sigma^2}{\sum_{i=1}^{n}x_i^2} \le V \left(\hat{\beta}\right) \end{align} $\blacksquare$

 

〔4〕推定量の期待値と分散

与えられた推定量の期待値を求めると、 \begin{align} E \left(\widetilde{\beta}\right)&=E \left(\frac{\sum_{i=1}^{n}Y_i}{\sum_{i=1}^{n}x_i}\right)\\ &=\frac{1}{\sum_{i=1}^{n}x_i}E \left[\sum_{i=1}^{n} \left(\beta x_i+\varepsilon_i\right)\right]\\ &=\frac{1}{\sum_{i=1}^{n}x_i} \left\{ \left(\sum_{i=1}^{n}{\beta x_i}\right)+n \cdot E \left(\varepsilon_i\right)\right\} \end{align} 問題文の仮定 $E \left(\varepsilon_i\right)=0$ より、 \begin{align} E \left(\widetilde{\beta}\right)&=\beta \cdot \frac{\sum_{i=1}^{n}x_i}{\sum_{i=1}^{n}x_i}\\ &=\beta \end{align} 同様に分散を求めると、$\varepsilon_i$ が互いに独立であるとの仮定と分散の加法性より、 \begin{align} V \left(\widetilde{\beta}\right)&=V \left(\frac{\sum_{i=1}^{n}Y_i}{\sum_{i=1}^{n}x_i}\right)\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i\right)^2}V \left[\sum_{i=1}^{n} \left(\beta x_i+\varepsilon_i\right)\right]\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i\right)^2} \cdot nV \left(\varepsilon_i\right)\\ &=\frac{n\sigma^2}{ \left(\sum_{i=1}^{n}x_i\right)^2} \end{align} $\blacksquare$

 

〔5〕検定の検出力の大小比較

問題文で与えられた検定問題は、 \begin{align} H_0\colon\beta=0 \quad H_1\colon\beta=\beta_1 \left( \gt 0\right) \end{align} と書き換えられる。

最尤推定量の分散を求めると、 \begin{align} V \left({\hat{\beta}}_{ML}\right)&=V \left(\frac{\sum_{i=1}^{n}{x_iy_i}}{\sum_{i=1}^{n}x_i^2}\right)\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}V \left(\sum_{i=1}^{n}{x_iy_i}\right)\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}\sum_{i=1}^{n} \left\{x_i^2 \cdot V \left(y_i\right)\right\}\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}\sum_{i=1}^{n} \left(x_i^2 \cdot \sigma^2\right)\\ &=\sigma^2 \cdot \frac{\sum_{i=1}^{n}x_i^2}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}\\ &=\frac{\sigma^2}{\sum_{i=1}^{n}x_i^2} \end{align} これは、〔3〕で求めたクラメール・ラオの下限に一致するので、最尤推定量の分散がすべての推定量の中で最小の分散となる。

上で求めた値と〔4〕の結果より、 \begin{align} V \left({\hat{\beta}}_{ML}\right)=s_1^2 \le V \left(\widetilde{\beta}\right)=s_2^2 \end{align} とおくと、 正規分布の再生性から、 \begin{gather} {\hat{\beta}}_{ML} \sim N \left(\beta,s_1^2\right) \quad \widetilde{\beta} \sim N \left(\beta,s_2^2\right) \end{gather}

問題文で与えられた検定に対する検定統計量は、帰無仮説のもとで、 \begin{gather} Z_{10}=\frac{{\hat{\beta}}_{ML}-0}{s_1} \quad Z_{20}=\frac{\widetilde{\beta}-0}{s_2}\\ Z_{10} \sim \mathrm{N} \left(0,1\right) \quad Z_{20} \sim \mathrm{N} \left(0,1\right) \end{gather} 対立仮説のもとで、 \begin{gather} Z_{11}=\frac{{\hat{\beta}}_{ML}-\beta_1}{s_1} \quad Z_{21}=\frac{\widetilde{\beta}-\beta_1}{s_2}\\ Z_{11} \sim \mathrm{N} \left(\beta_1,1\right) \quad Z_{21} \sim \mathrm{N} \left(\beta_1,1\right) \end{gather}

最尤推定量を用いた検定問題の棄却域を $c_{ML} \lt {\hat{\beta}}_{ML}$ とすると、有意水準が $\alpha$ であるとき、帰無仮説のもとで、 \begin{align} P \left(\ c_{ML} \lt {\hat{\beta}}_{ML}\ \middle|\ \beta=0\ \right)&=P \left(\frac{c_{ML}-0}{s_1} \lt \frac{{\hat{\beta}}_{ML}-0}{s_1}\right)\\ &=P \left(\frac{c_{ML}}{s_1} \lt Z_{10}\right)\\ &=\alpha \end{align} したがって、標準正規分布の上側 $\alpha$ 点を $z_\alpha$ とすると、 \begin{align} \frac{c_{ML}}{s_1}=z_\alpha \end{align} このとき、検出力の定義より、対立仮説のもとで、検定統計量が棄却域に入る確率は、標準正規分布の累積分布関数を $\Phi$ として、 \begin{align} P \left(\ c_{ML} \lt {\hat{\beta}}_{ML}\ \middle|\ \beta=\beta_1\ \right)&=P \left(\frac{c_{ML}-\beta_1}{s_1} \lt \frac{{\hat{\beta}}_{ML}-\beta_1}{s_1}\right)\\ &=P \left(\frac{c_{ML}}{s_1}-\frac{\beta_1}{s_1} \lt Z_{11}\right)\\ &=\Phi \left(z_\alpha-\frac{\beta_1}{s_1} \lt Z\right) \end{align} 〔4〕で与えられた推定量についても同様に考えると、 \begin{align} P \left(\ \widetilde{c} \lt \widetilde{\beta}\ \middle|\ \beta=\beta_1\ \right)&=P \left(\frac{\widetilde{c}-\beta_1}{s_2} \lt \frac{\widetilde{\beta}-\beta_1}{s_2}\right)\\ &=P \left(\frac{\widetilde{c}}{s_2}-\frac{\beta_1}{s_2} \lt Z_{21}\right)\\ &=\Phi \left(z_\alpha-\frac{\beta_1}{s_2} \lt Z\right) \end{align} ここで、 \begin{gather} s_1^2 \le s_2^2\\ s_1 \le s_2\\ \frac{\beta_1}{s_2} \le \frac{\beta_1}{s_1}\\ -\frac{\beta_1}{s_1} \le -\frac{\beta_1}{s_2}\\ z_\alpha-\frac{\beta_1}{s_1} \le z_\alpha-\frac{\beta_1}{s_2}\\ \Phi \left(z_\alpha-\frac{\beta_1}{s_2}\right) \le \Phi \left(z_\alpha-\frac{\beta_1}{s_1}\right)\\ P \left(\ \widetilde{c} \lt \widetilde{\beta}\ \middle|\ \beta=\beta_1\ \right) \le P \left(\ c_{ML} \lt {\hat{\beta}}_{ML}\ \middle|\ \beta=\beta_1\ \right) \end{gather} したがって、最尤推定量を用いた検定の検出力は〔4〕の推定量を用いたときの検出力以上となる。 $\blacksquare$

 

関連記事

• 十分統計量
• 推定量の評価
• 最尤推定法とモーメント法
• 仮説検定の基礎