本稿には、2024年に実施された統計検定1級『統計数理』 問3の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。
- 統計検定の問題の使用に関する規約により禁止されているため、問題文は掲載することができません。公式サイトで公開されているものなどをご参照ください。
- この答案は、あくまでも筆者が自作したものであり、公式なものではありません。正式な答案については、公式問題集をご参照ください。
- 計算ミスや誤字・脱字などがありましたら、コメントなどでご指摘いただければ大変助かります。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
〔1〕ベルヌーイ分布の和
ベルヌーイ分布の確率関数は、 \begin{align} f \left(x\right)= \left\{\ \begin{matrix}\theta^x \left(1-\theta\right)^{1-x}&x=0,1\\0&\mathrm{other}\\\end{matrix}\right. \end{align} 期待値の定義より、 \begin{align} E \left(X\right)&=\sum_{x=0}^{1}{x \cdot \theta^x \left(1-\theta\right)^{1-x}}\\ &=0 \cdot \theta^0 \left(1-\theta\right)^1+1 \cdot \theta^1 \left(1-\theta\right)^0\\ &=\theta \end{align} 同様に、 \begin{align} E \left(X^2\right)&=\sum_{x=0}^{1}{x^2 \cdot \theta^x \left(1-\theta\right)^{1-x}}\\ &=0^2 \cdot \theta^0 \left(1-\theta\right)^1+1^2 \cdot \theta^1 \left(1-\theta\right)^0\\ &=\theta \end{align} 分散の公式 $V \left(X\right)=E \left(X^2\right)- \left\{E \left(X\right)\right\}^2$ より、 \begin{align} V \left(X\right)&=\theta-\theta^2\\ &=\theta \left(1-\theta\right) \end{align} ベルヌーイ分布に従う確率変数の和 $S_n$ が従う分布は、二項分布であり、期待値の性質より、 \begin{align} E \left(S_n\right)&=E \left(\sum_{i=1}^{n}X_i\right)\\ &=\sum_{i=1}^{n}E \left(X_i\right)\\ &=n\theta \end{align} 同様に、確率変数 $X_i$ は互いに独立であることから、分散の加法性より、 \begin{align} V \left(S_n\right)&=V \left(\sum_{i=1}^{n}X_i\right)\\ &=\sum_{i=1}^{n}V \left(X_i\right)\\ &=n\theta \left(1-\theta\right) \end{align} $\blacksquare$
〔2〕十分統計量・最尤推定量
二項分布の確率関数は、 \begin{align} g \left(s\right)= \left\{\ \begin{matrix}{}_{n}C_s \cdot \theta^s \left(1-\theta\right)^{n-s}&s=0,1, \cdots ,n\\0&\mathrm{other}\\\end{matrix}\right. \end{align} 具体的な観測値として、$S_n=s$ という値が得られたときの同時確率関数（尤度関数） $L \left(\theta\right)$ は、 \begin{align} L \left(\theta\right)={}_{n}C_s \cdot \theta^s \left(1-\theta\right)^{n-s} \end{align} このとき、 \begin{align} g \left(t,\theta\right)=\theta^s \left(1-\theta\right)^{n-s} \quad T \left(S\right)=s \quad h \left(s\right)={}_{n}C_s \end{align} と考えると、 フィッシャー・ネイマンの因子分解定理により、$S_n=s$ はパラメータ $\theta$ を推定するための十分推定量である。
また、対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(\theta\right)=s\log{\theta}+ \left(n-s\right)\log{ \left(1-\theta\right)}+\log{{}_{n}C_s} \end{align} スコア関数 $S \left(\theta\right)=\frac{d}{d\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(\theta\right)=\frac{s}{\theta}-\frac{n-s}{1-\theta} \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=\frac{1}{{\hat{\theta}}_{ML}}s-\frac{n-s}{1-{\hat{\theta}}_{ML}}\\ \left(1-{\hat{\theta}}_{ML}\right)s- \left(n-s\right){\hat{\theta}}_{ML}=0\\ s-{\hat{\theta}}_{ML}s-n{\hat{\theta}}_{ML}+{\hat{\theta}}_{ML}s=0\\ n{\hat{\theta}}_{ML}=s\\ {\hat{\theta}}_{ML}=\frac{s}{n} \end{gather} $\blacksquare$
〔3〕平均二乗誤差
平均二乗誤差は、 \begin{align} \mathrm{MSE} \left(T_n\right)&=E \left[ \left(T_n-\theta\right)^2\right]\\ &=E \left[ \left\{T_n-E \left(T_n\right)+E \left(T_n\right)-\theta\right\}^2\right]\\ &=E \left[ \left\{T_n-E \left(T_n\right)\right\}^2\right]-2E \left[ \left\{T_n-E \left(T_n\right)\right\} \left\{E \left(T_n\right)-\theta\right\}\right]+E \left[ \left\{E \left(T_n\right)-\theta\right\}^2\right]\\ &=V \left(T_n\right)-2 \left\{E \left(T_n\right)-\theta\right\} \left\{E \left(T_n\right)-E \left(T_n\right)\right\}+ \left\{E \left(T_n\right)-\theta\right\}^2\\ &=V \left(T_n\right)+ \left\{E \left(T_n\right)-\theta\right\}^2 \end{align} というように、推定量の分散とバイアスに分解することができる。
ここで期待値と分散の性質より、〔1〕の結果を用いると、
\begin{align}
E \left(T_n\right)&=E \left(\alpha_nS_n+\beta_n\right)\\
&=\alpha_nE \left(S_n\right)+\beta_n\\
&=\alpha_nn\theta+\beta_n
\end{align}
\begin{align}
V \left(T_n\right)&=V \left(\alpha_nS_n+\beta_n\right)\\
&=\alpha_n^2V \left(S_n\right)\\
&=\alpha_n^2n\theta \left(1-\theta\right)
\end{align}
したがって、
\begin{align}
\mathrm{MSE} \left(T_n\right)&=\alpha_n^2n\theta \left(1-\theta\right)+ \left(\alpha_nn\theta+\beta_n-\theta\right)^2\\
&=\alpha_n^2n\theta \left(1-\theta\right)+ \left\{ \left(\alpha_nn-1\right)\theta+\beta_n\right\}^2\\
&=n\alpha_n^2\theta-n\alpha_n^2\theta^2+ \left(\alpha_nn-1\right)^2\theta^2+2 \left(\alpha_nn-1\right)\beta_n\theta+\beta_n^2\\
&= \left\{ \left(\alpha_nn-1\right)^2-n\alpha_n^2\right\}\theta^2+ \left\{n\alpha_n^2+2 \left(\alpha_nn-1\right)\beta_n\right\}\theta+\beta_n^2\\
&= \left\{ \left(n^2-n\right)\alpha_n^2-2\alpha_nn+1\right\}\theta^2+ \left\{n\alpha_n^2+2 \left(\alpha_nn-1\right)\beta_n\right\}\theta+\beta_n^2
\end{align}
これが $\theta$ によらず一定であるためには、$\theta$ に関する係数について、
\begin{gather}
\left(n^2-n\right)\alpha_n^2-2n\alpha_n+1=0\\
n\alpha_n^2+2 \left(\alpha_nn-1\right)\beta_n=0
\end{gather}
が必要条件となる。
まず、$\alpha_n$ について、二次方程式の解の公式より、
\begin{align}
\alpha_n&=\frac{2n\pm\sqrt{4n^2-4n^2+4n}}{2 \left(n^2-n\right)}\\
&=\frac{2n\pm2\sqrt n}{2 \left(n^2-n\right)}\\
&=\frac{n\pm\sqrt n}{n^2-n}\\
&=\frac{1}{\sqrt n \left(\sqrt n\pm1\right)}
\end{align}
導出過程（クリックで表示）
（1）$\alpha_n=\frac{n+\sqrt n}{n^2-n}$ のとき
\begin{align}
\alpha_n&=\frac{n+\sqrt n}{n^2-n}\\
&=\frac{\sqrt n \left(\sqrt n+1\right)}{n \left(n-1\right)}\\
&=\frac{\sqrt n \left(\sqrt n+1\right)}{n \left(\sqrt n+1\right) \left(\sqrt n-1\right)}\\
&=\frac{1}{\sqrt n \left(\sqrt n-1\right)}
\end{align}
（2）$\alpha_n=\frac{n-\sqrt n}{n^2-n}$ のとき
\begin{align}
\alpha_n&=\frac{n-\sqrt n}{n^2-n}\\
&=\frac{\sqrt n \left(\sqrt n-1\right)}{n \left(n-1\right)}\\
&=\frac{\sqrt n \left(\sqrt n-1\right)}{n \left(\sqrt n+1\right) \left(\sqrt n-1\right)}\\
&=\frac{1}{\sqrt n \left(\sqrt n+1\right)}
\end{align}
導出過程（クリックで表示）
（1）$\alpha_n=\frac{1}{\sqrt n \left(\sqrt n-1\right)}$ のとき
\begin{align}
\beta_n&=-\frac{n\alpha_n^2}{2 \left(\alpha_nn-1\right)}
&=-\frac{n}{2 \left\{n \cdot \frac{1}{\sqrt n \left(\sqrt n-1\right)}-1\right\}} \cdot \frac{1}{n \left(\sqrt n-1\right)^2}\\
&=-\frac{1}{2 \left\{\frac{\sqrt n- \left(\sqrt n-1\right)}{\sqrt n-1}\right\}} \cdot \frac{1}{ \left(\sqrt n-1\right)^2}\\
&=-\frac{1}{2 \left(\frac{1}{\sqrt n-1}\right)} \cdot \frac{1}{ \left(\sqrt n-1\right)^2}\\
&=-\frac{\sqrt n-1}{2} \cdot \frac{1}{ \left(\sqrt n-1\right)^2}\\
&=-\frac{1}{2 \left(\sqrt n-1\right)}
\end{align}
（2）$\alpha_n=\frac{1}{\sqrt n \left(\sqrt n+1\right)}$ のとき
\begin{align}
\beta_n&=-\frac{n\alpha_n^2}{2 \left(\alpha_nn-1\right)}
&=-\frac{n}{2 \left\{n \cdot \frac{1}{\sqrt n \left(\sqrt n+1\right)}-1\right\}} \cdot \frac{1}{n \left(\sqrt n+1\right)^2}\\
&=-\frac{1}{2 \left\{\frac{\sqrt n- \left(\sqrt n+1\right)}{\sqrt n+1}\right\}} \cdot \frac{1}{ \left(\sqrt n+1\right)^2}\\
&=-\frac{1}{2 \left(-\frac{1}{\sqrt n+1}\right)} \cdot \frac{1}{ \left(\sqrt n+1\right)^2}\\
&=\frac{\sqrt n+1}{2} \cdot \frac{1}{ \left(\sqrt n+1\right)^2}\\
&=\frac{1}{2 \left(\sqrt n+1\right)}
\end{align}
このとき、平均二乗誤差は、
\begin{align}
\mathrm{MSE} \left(T_n\right)&=\beta_n^2\\
&=\frac{1}{4 \left(\sqrt n\pm1\right)^2}
\end{align}
このうち小さい方の値は、
\begin{align}
\left(\alpha_n,\beta_n\right)= \left[\frac{1}{\sqrt n \left(\sqrt n+1\right)},\frac{1}{2 \left(\sqrt n+1\right)}\right] \quad \Rightarrow \quad \mathrm{MSE} \left(T_n\right)=\frac{1}{4 \left(\sqrt n+1\right)^2}
\end{align}
導出過程
\begin{gather}
\sqrt n-1 \lt \sqrt n+1\\
\left(\sqrt n-1\right)^2 \lt \left(\sqrt n+1\right)^2\\
4 \left(\sqrt n-1\right)^2 \lt 4 \left(\sqrt n+1\right)^2\\
\frac{1}{4 \left(\sqrt n+1\right)^2} \lt \frac{1}{4 \left(\sqrt n-1\right)^2}
\end{gather}
〔4〕推定量の比較
最尤推定量の分散は、分散の性質より、 \begin{align} V \left({\hat{\theta}}_{ML}\right)&=V \left(\frac{S_n}{n}\right)\\ &=\frac{1}{n^2}V \left(S_n\right)\\ &=\frac{n\theta \left(1-\theta\right)}{n^2}\\ &=\frac{\theta \left(1-\theta\right)}{n} \end{align} 平均二乗誤差の方が小さくなる $\theta$ の範囲は、 \begin{gather} \frac{1}{4 \left(\sqrt n+1\right)^2} \lt \frac{\theta \left(1-\theta\right)}{n}\\ \frac{n}{4 \left(\sqrt n+1\right)^2} \lt \theta-\theta^2\\ \theta^2-\theta+\frac{n}{4 \left(\sqrt n+1\right)^2} \lt 0\\ \end{gather} ここで、二次方程式の解の公式より、 \begin{align} \theta&=\frac{1}{2} \left[1\pm\sqrt{1-\frac{n}{ \left(\sqrt n+1\right)^2}}\right]\\ &=\frac{1}{2} \left(1\pm\frac{\sqrt{n+2\sqrt n+1-n}}{\sqrt n+1}\right)\\ &=\frac{1}{2}\pm\frac{\sqrt{2\sqrt n+1}}{2 \left(\sqrt n+1\right)} \end{align} したがって、求める範囲は、 \begin{align} \frac{1}{2}-\frac{\sqrt{2\sqrt n+1}}{2 \left(\sqrt n+1\right)} \lt \theta \lt \frac{1}{2}+\frac{\sqrt{2\sqrt n+1}}{2 \left(\sqrt n+1\right)} \end{align}
例えば、$n=1$ のとき、この範囲は、 \begin{gather} \frac{1}{2}-\frac{\sqrt{2+1}}{2 \left(1+1\right)} \lt \theta \lt \frac{1}{2}+\frac{\sqrt{2+1}}{2 \left(1+1\right)}\\ \frac{2-\sqrt3}{4} \lt \theta \lt \frac{2+\sqrt3}{4} \end{gather} いっぽう、$n\rightarrow\infty$ のとき、 \begin{align} \lim_{n\rightarrow\infty}{\frac{\sqrt{2\sqrt n+1}}{2 \left(\sqrt n+1\right)}}&=\lim_{n\rightarrow\infty}{\frac{\sqrt{2\sqrt n+1}}{2 \left(\sqrt n+1\right)} \cdot \frac{{\frac{1}{\sqrt n}}}{{\frac{1}{\sqrt n}}}}\\ &=\lim_{n\rightarrow\infty}{\frac{\sqrt{{\frac{1}{\sqrt n}}+{\frac{1}{n}}}}{2 \left(1+{\frac{1}{\sqrt n}}\right)}}\\ &=\frac{0}{2 \cdot 1}\\ &=0 \end{align} したがって、 \begin{gather} \frac{1}{2} \lt \theta \lt \frac{1}{2} \end{gather} これらから、サンプルサイズが少ないうちは、$T_n$ の方が優れている真値の範囲が広く、$T_n$ の方が良い推定量である可能性が高いが、サンプルサイズが大きくなるにつれて、その範囲が狭まっていき、最尤推定量の方が優れた推定量になってくると評価できる。 $\blacksquare$
0 件のコメント:
コメントを投稿