統計検定 1級 2024年 統計数理 問3 二項分布、平均二乗誤差、推定量の比較

本稿には、2024年に実施された統計検定1級『統計数理』 問3の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

• 統計検定の問題の使用に関する規約により禁止されているため、問題文は掲載することができません。公式サイトで公開されているものなどをご参照ください。
• この答案は、あくまでも筆者が自作したものであり、公式なものではありません。正式な答案については、公式問題集をご参照ください。
• 計算ミスや誤字・脱字などがありましたら、コメントなどでご指摘いただければ大変助かります。
• スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

 

〔1〕ベルヌーイ分布の和

ベルヌーイ分布の確率関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}{\theta }^x{(1-\theta )}^{1-x}& x=0,1\\ 0& \mathrm{other}\end{array}\end{array}$$ 期待値の定義より、 $$\begin{array}{rl}E\left(X\right)& =\sum _{x=0}^{1}x\cdot {\theta }^x{(1-\theta )}^{1-x}\\ & =0\cdot {\theta }^0{(1-\theta )}^1+1\cdot {\theta }^1{(1-\theta )}^0\\ & =\theta \end{array}$$ 同様に、 $$\begin{array}{rl}E\left(X^2\right)& =\sum _{x=0}^1{x}^2\cdot {\theta }^x{(1-\theta )}^{1-x}\\ & =0^2\cdot {\theta }^0{(1-\theta )}^1+1^2\cdot {\theta }^1{(1-\theta )}^0\\ & =\theta \end{array}$$ 分散の公式 $V\left(X\right)=E\left(X^2\right)-{\left\{E\left(X\right)\right\}}^2$ より、 $$\begin{array}{rl}V\left(X\right)& =\theta -{\theta }^2\\ & =\theta (1-\theta )\end{array}$$ ベルヌーイ分布に従う確率変数の和 $S_n$ が従う分布は、二項分布であり、期待値の性質より、 $$\begin{array}{rl}E\left(S_n\right)& =E\left(\sum _{i=1}^n{X}_i\right)\\ & =\sum _{i=1}^{n}E\left(X_i\right)\\ & =n\theta \end{array}$$ 同様に、確率変数 $X_i$ は互いに独立であることから、分散の加法性より、 $$\begin{array}{rl}V\left(S_n\right)& =V\left(\sum _{i=1}^n{X}_i\right)\\ & =\sum _{i=1}^{n}V\left(X_i\right)\\ & =n\theta (1-\theta )\end{array}$$ $◼$

 

〔2〕十分統計量・最尤推定量

二項分布の確率関数は、 $$\begin{array}{r}g\left(s\right)=\{\begin{array}{cc}{}_n{C}_s\cdot {\theta }^s{(1-\theta )}^{n-s}& s=0,1,\cdots ,n\\ 0& \mathrm{other}\end{array}\end{array}$$ 具体的な観測値として、$S_n=s$ という値が得られたときの同時確率関数（尤度関数） $L\left(\theta \right)$ は、 $$\begin{array}{r}L\left(\theta \right)={}_n{C}_s\cdot {\theta }^s{(1-\theta )}^{n-s}\end{array}$$ このとき、 $$\begin{array}{r}g(t,\theta )={\theta }^s{(1-\theta )}^{n-s}T\left(S\right)=sh\left(s\right)={}_n{C}_s\end{array}$$ と考えると、 フィッシャー・ネイマンの因子分解定理により、$S_n=s$ はパラメータ $\theta$ を推定するための十分推定量である。

また、対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}l\left(\theta \right)=s\log \theta +(n-s)\log (1-\theta )+\log {}_n{C}_s\end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(\theta \right)=\frac{s}{\theta }-\frac{n-s}{1-\theta }\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=\frac{1}{{\hat{\theta }}_{ML}}s-\frac{n-s}{1-{\hat{\theta }}_{ML}}\\ (1-{\hat{\theta }}_{ML})s-(n-s){\hat{\theta }}_{ML}=0\\ s-{\hat{\theta }}_{ML}s-n{\hat{\theta }}_{ML}+{\hat{\theta }}_{ML}s=0\\ n{\hat{\theta }}_{ML}=s\\ {\hat{\theta }}_{ML}=\frac{s}{n}\end{array}$$ $◼$

 

〔3〕平均二乗誤差

平均二乗誤差は、 $$\begin{array}{rl}\mathrm{MSE}\left(T_n\right)& =E\left[{(T_n-\theta )}^2\right]\\ & =E\left[{\{T_n-E\left(T_n\right)+E\left(T_n\right)-\theta \}}^2\right]\\ & =E\left[{\{T_n-E\left(T_n\right)\}}^2\right]-2E\left[\{T_n-E\left(T_n\right)\}\{E\left(T_n\right)-\theta \}\right]+E\left[{\{E\left(T_n\right)-\theta \}}^2\right]\\ & =V\left(T_n\right)-2\{E\left(T_n\right)-\theta \}\{E\left(T_n\right)-E\left(T_n\right)\}+{\{E\left(T_n\right)-\theta \}}^2\\ & =V\left(T_n\right)+{\{E\left(T_n\right)-\theta \}}^2\end{array}$$ というように、推定量の分散とバイアスに分解することができる。

ここで期待値と分散の性質より、〔1〕の結果を用いると、 $$\begin{array}{rl}E\left(T_n\right)& =E({\alpha }_n{S}_n+{\beta }_n)\\ & ={\alpha }_{n}E\left(S_n\right)+{\beta }_n\\ & ={\alpha }_{n}n\theta +{\beta }_n\end{array}$$ $$\begin{array}{rl}V\left(T_n\right)& =V({\alpha }_n{S}_n+{\beta }_n)\\ & ={\alpha }_n^{2}V\left(S_n\right)\\ & ={\alpha }_n^{2}n\theta (1-\theta )\end{array}$$ したがって、 $$\begin{array}{rl}\mathrm{MSE}\left(T_n\right)& ={\alpha }_n^{2}n\theta (1-\theta )+{({\alpha }_{n}n\theta +{\beta }_n-\theta )}^2\\ & ={\alpha }_n^{2}n\theta (1-\theta )+{\{({\alpha }_{n}n-1)\theta +{\beta }_n\}}^2\\ & =n{\alpha }_n^2\theta -n{\alpha }_n^2{\theta }^2+{({\alpha }_{n}n-1)}^2{\theta }^2+2({\alpha }_{n}n-1){\beta }_n\theta +{\beta }_n^2\\ & =\{{({\alpha }_{n}n-1)}^2-n{\alpha }_n^2\}{\theta }^2+\{n{\alpha }_n^2+2({\alpha }_{n}n-1){\beta }_n\}\theta +{\beta }_n^2\\ & =\{(n^2-n){\alpha }_n^2-2{\alpha }_{n}n+1\}{\theta }^2+\{n{\alpha }_n^2+2({\alpha }_{n}n-1){\beta }_n\}\theta +{\beta }_n^2\end{array}$$ これが $\theta$ によらず一定であるためには、$\theta$ に関する係数について、 $$\begin{array}{c}(n^2-n){\alpha }_n^2-2n{\alpha }_n+1=0\\ n{\alpha }_n^2+2({\alpha }_{n}n-1){\beta }_n=0\end{array}$$ が必要条件となる。 まず、${\alpha }_n$ について、二次方程式の解の公式より、 $$\begin{array}{rl}{\alpha }_n& =\frac{2n\pm \sqrt{4n^2-4n^2+4n}}{2(n^2-n)}\\ & =\frac{2n\pm 2\sqrt{n}}{2(n^2-n)}\\ & =\frac{n\pm \sqrt{n}}{n^2-n}\\ & =\frac{1}{\sqrt{n}(\sqrt{n}\pm 1)}\end{array}$$

導出過程（クリックで表示）

（1）${\alpha }_n=\frac{n+\sqrt{n}}{n^2-n}$ のとき $$\begin{array}{rl}{\alpha }_n& =\frac{n+\sqrt{n}}{n^2-n}\\ & =\frac{\sqrt{n}(\sqrt{n}+1)}{n(n-1)}\\ & =\frac{\sqrt{n}(\sqrt{n}+1)}{n(\sqrt{n}+1)(\sqrt{n}-1)}\\ & =\frac{1}{\sqrt{n}(\sqrt{n}-1)}\end{array}$$ （2）${\alpha }_n=\frac{n-\sqrt{n}}{n^2-n}$ のとき $$\begin{array}{rl}{\alpha }_n& =\frac{n-\sqrt{n}}{n^2-n}\\ & =\frac{\sqrt{n}(\sqrt{n}-1)}{n(n-1)}\\ & =\frac{\sqrt{n}(\sqrt{n}-1)}{n(\sqrt{n}+1)(\sqrt{n}-1)}\\ & =\frac{1}{\sqrt{n}(\sqrt{n}+1)}\end{array}$$

また、${\beta }_n$ について、 $$\begin{array}{rl}{\beta }_n& =-\frac{n{\alpha }_n^2}{2({\alpha }_{n}n-1)}\\ & =-\frac{1}{2(\sqrt{n}-1)},\frac{1}{2(\sqrt{n}+1)}\end{array}$$

導出過程（クリックで表示）

（1）${\alpha }_n=\frac{1}{\sqrt{n}(\sqrt{n}-1)}$ のとき $$\begin{array}{rlr}{\beta }_n& =-\frac{n{\alpha }_n^2}{2({\alpha }_{n}n-1)}& =-\frac{n}{2\{n\cdot \frac{1}{\sqrt{n}(\sqrt{n}-1)}-1\}}\cdot \frac{1}{n{(\sqrt{n}-1)}^2}\\ & =-\frac{1}{2\left\{\frac{\sqrt{n}-(\sqrt{n}-1)}{\sqrt{n}-1}\right\}}\cdot \frac{1}{{(\sqrt{n}-1)}^2}\\ & =-\frac{1}{2\left(\frac{1}{\sqrt{n}-1}\right)}\cdot \frac{1}{{(\sqrt{n}-1)}^2}\\ & =-\frac{\sqrt{n}-1}{2}\cdot \frac{1}{{(\sqrt{n}-1)}^2}\\ & =-\frac{1}{2(\sqrt{n}-1)}\end{array}$$ （2）${\alpha }_n=\frac{1}{\sqrt{n}(\sqrt{n}+1)}$ のとき $$\begin{array}{rlr}{\beta }_n& =-\frac{n{\alpha }_n^2}{2({\alpha }_{n}n-1)}& =-\frac{n}{2\{n\cdot \frac{1}{\sqrt{n}(\sqrt{n}+1)}-1\}}\cdot \frac{1}{n{(\sqrt{n}+1)}^2}\\ & =-\frac{1}{2\left\{\frac{\sqrt{n}-(\sqrt{n}+1)}{\sqrt{n}+1}\right\}}\cdot \frac{1}{{(\sqrt{n}+1)}^2}\\ & =-\frac{1}{2(-\frac{1}{\sqrt{n}+1})}\cdot \frac{1}{{(\sqrt{n}+1)}^2}\\ & =\frac{\sqrt{n}+1}{2}\cdot \frac{1}{{(\sqrt{n}+1)}^2}\\ & =\frac{1}{2(\sqrt{n}+1)}\end{array}$$

すなわち、${\alpha }_n,{\beta }_n$ の組み合わせは、 $$\begin{array}{r}({\alpha }_n,{\beta }_n)=[\frac{1}{\sqrt{n}(\sqrt{n}-1)},-\frac{1}{2(\sqrt{n}-1)}],[\frac{1}{\sqrt{n}(\sqrt{n}+1)},\frac{1}{2(\sqrt{n}+1)}]\end{array}$$

このとき、平均二乗誤差は、 $$\begin{array}{rl}\mathrm{MSE}\left(T_n\right)& ={\beta }_n^2\\ & =\frac{1}{4{(\sqrt{n}\pm 1)}^2}\end{array}$$ このうち小さい方の値は、 $$\begin{array}{r}({\alpha }_n,{\beta }_n)=[\frac{1}{\sqrt{n}(\sqrt{n}+1)},\frac{1}{2(\sqrt{n}+1)}]\Rightarrow \mathrm{MSE}\left(T_n\right)=\frac{1}{4{(\sqrt{n}+1)}^2}\end{array}$$

導出過程

$$\begin{array}{c}\sqrt{n}-1<\sqrt{n}+1\\ {(\sqrt{n}-1)}^2<{(\sqrt{n}+1)}^2\\ 4{(\sqrt{n}-1)}^2<4{(\sqrt{n}+1)}^2\\ \frac{1}{4{(\sqrt{n}+1)}^2}<\frac{1}{4{(\sqrt{n}-1)}^2}\end{array}$$

$◼$

 

〔4〕推定量の比較

最尤推定量の分散は、分散の性質より、 $$\begin{array}{rl}V\left({\hat{\theta }}_{ML}\right)& =V\left(\frac{S_n}{n}\right)\\ & =\frac{1}{n^2}V\left(S_n\right)\\ & =\frac{n\theta (1-\theta )}{n^2}\\ & =\frac{\theta (1-\theta )}{n}\end{array}$$ 平均二乗誤差の方が小さくなる $\theta$ の範囲は、 $$\begin{array}{c}\frac{1}{4{(\sqrt{n}+1)}^2}<\frac{\theta (1-\theta )}{n}\\ \frac{n}{4{(\sqrt{n}+1)}^2}<\theta -{\theta }^2\\ {\theta }^2-\theta +\frac{n}{4{(\sqrt{n}+1)}^2}<0\end{array}$$ ここで、二次方程式の解の公式より、 $$\begin{array}{rl}\theta & =\frac{1}{2}[1\pm \sqrt{1-\frac{n}{{(\sqrt{n}+1)}^2}}]\\ & =\frac{1}{2}(1\pm \frac{\sqrt{n+2\sqrt{n}+1-n}}{\sqrt{n}+1})\\ & =\frac{1}{2}\pm \frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}\end{array}$$ したがって、求める範囲は、 $$\begin{array}{r}\frac{1}{2}-\frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}<\theta <\frac{1}{2}+\frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}\end{array}$$

例えば、$n=1$ のとき、この範囲は、 $$\begin{array}{c}\frac{1}{2}-\frac{\sqrt{2+1}}{2(1+1)}<\theta <\frac{1}{2}+\frac{\sqrt{2+1}}{2(1+1)}\\ \frac{2-\sqrt{3}}{4}<\theta <\frac{2+\sqrt{3}}{4}\end{array}$$ いっぽう、$n\to \mathrm{\infty }$ のとき、 $$\begin{array}{rl}\underset{n\to \mathrm{\infty }}{lim}\frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}& =\underset{n\to \mathrm{\infty }}{lim}\frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}\cdot \frac{\frac{1}{\sqrt{n}}}{\frac{1}{\sqrt{n}}}\\ & =\underset{n\to \mathrm{\infty }}{lim}\frac{\sqrt{\frac{1}{\sqrt{n}}+\frac{1}{n}}}{2(1+\frac{1}{\sqrt{n}})}\\ & =\frac{0}{2\cdot 1}\\ & =0\end{array}$$ したがって、 $$\begin{array}{c}\frac{1}{2}<\theta <\frac{1}{2}\end{array}$$ これらから、サンプルサイズが少ないうちは、$T_n$ の方が優れている真値の範囲が広く、$T_n$ の方が良い推定量である可能性が高いが、サンプルサイズが大きくなるにつれて、その範囲が狭まっていき、最尤推定量の方が優れた推定量になってくると評価できる。 $◼$

 

関連記事

• ベルヌーイ分布の期待値・分散
• 二項分布の期待値・分散
• 十分統計量
• 代表的な確率分布の最尤推定量とフィッシャー情報量
• 推定量の評価