統計検定 1級 2016年 統計数理 問3 回帰係数の不偏推定量

本稿には、2016年に実施された統計検定1級『統計数理』 問3の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

〔1〕回帰係数の不偏推定量

（i）$b_0$ を変形すると、 $$\begin{array}{rl}{b}_0& =\frac{1}{n}\sum _{i=1}^n\frac{Y_i}{x_i}\\ & =\frac{1}{n}\sum _{i=1}^n\frac{\beta x_i+{\epsilon }_i}{x_i}\\ & =\frac{1}{n}\sum _{i=1}^n(\beta +\frac{{\epsilon }_i}{x_i})\\ & =\frac{1}{n}(n\beta +\sum _{i=1}^n\frac{{\epsilon }_i}{x_i})\\ & =\beta +\frac{1}{n}\sum _{i=1}^n\frac{{\epsilon }_i}{x_i}\end{array}$$ 両辺の期待値を取ると、$x_i$ は定数であることから、 $$\begin{array}{rl}E\left(b_0\right)& =E(\beta +\frac{1}{n}\sum _{i=1}^n\frac{{\epsilon }_i}{x_i})\\ & =E\left(\beta \right)+\frac{1}{n}E\left(\sum _{i=1}^n\frac{{\epsilon }_i}{x_i}\right)\\ & =\beta +\frac{1}{n}\{\frac{1}{x_1}E\left({\epsilon }_1\right)+\frac{1}{x_2}E\left({\epsilon }_2\right)+\cdots +\frac{1}{x_n}E\left({\epsilon }_n\right)\}\end{array}$$ 誤差に関する仮定 $E\left({\epsilon }_i\right)=0$ より、 $$\begin{array}{r}E\left(b_0\right)=\beta \end{array}$$ よって、$E\left(\hat{\theta }\right)=\theta$ が成り立つので、$b_0$ は $\beta$ の不偏推定量である。

（ii）$b_1$ を変形すると、 $$\begin{array}{rl}{b}_1& =\frac{\sum _{i=1}^n(\beta x_i+{\epsilon }_i)}{\sum _{i=1}^n{x}_i}\\ & =\frac{\beta \sum _{i=1}^n{x}_i+\sum _{i=1}^n{\epsilon }_i}{\sum _{i=1}^n{x}_i}\\ & =\beta +\frac{\sum _{i=1}^n{\epsilon }_i}{\sum _{i=1}^n{x}_i}\end{array}$$ 両辺の期待値を取ると、$x_i$ は定数であることから、 $$\begin{array}{rl}E\left(b_1\right)& =E(\beta +\frac{\sum _{i=1}^n{\epsilon }_i}{\sum _{i=1}^n{x}_i})\\ & =E\left(\beta \right)+E\left(\frac{\sum _{i=1}^n{\epsilon }_i}{\sum _{i=1}^n{x}_i}\right)\\ & =\beta +\frac{1}{\sum _{i=1}^n{x}_i}E\left(\sum _{i=1}^n{\epsilon }_i\right)\\ & =\beta +\frac{\sum _{i=1}^{n}E\left({\epsilon }_i\right)}{\sum _{i=1}^n{x}_i}\\ & =\beta \end{array}$$ よって、$E\left(\hat{\theta }\right)=\theta$ が成り立つので、$b_1$ は $\beta$ の不偏推定量である。 $◼$

〔2〕最小二乗推定量の導出

与えられた線形モデルを変形すると、 $$\begin{array}{r}{\epsilon }_i=Y_i-\beta x_i\end{array}$$ 両辺を2乗すると、 $$\begin{array}{r}{\epsilon }_i^2={(Y_i-\beta x_i)}^2\end{array}$$ この2乗誤差の総和を取ると、 $$\begin{array}{rl}\sum _{i=1}^n{\epsilon }_i^2& =\sum _{i=1}^n{(Y_i-\beta x_i)}^2\\ & =\sum _{i=1}^n({\beta }^2{x}_i^2-2\beta x_i{Y}_i-Y_i^2)\\ & ={\beta }^2\sum _{i=1}^n{x}_i^2-2\beta \sum _{i=1}^n{x}_i{Y}_i+\sum _{i=1}^n{Y}_i^2\end{array}$$ 最小二乗推定量は、この2乗誤差を最小にする回帰係数 $\hat{\beta }=b_2$ のことであるので、この式を $\beta$ で微分すると、 $$\begin{array}{rl}{f}^{\prime }\left(\beta \right)& =\sum _{i=1}^{n}2(Y_i-\beta x_i)(-x_i)\\ & =2\beta \sum _{i=1}^n{x}_i^2-2\sum _{i=1}^n{x}_i{Y}_i\end{array}$$ $-\mathrm{\infty }<\beta <\mathrm{\infty }$ において、最小値は極値であると考えられるので、$f^{\prime }\left(\beta \right)=0$ とすると、最小二乗推定量は、 $$\begin{array}{c}2b_2\sum _{i=1}^n{x}_i^2-2\sum _{i=1}^n{x}_i{Y}_i=0\\ b_2\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n{x}_i{Y}_i\\ b_2=\frac{\sum _{i=1}^n{x}_i{Y}_i}{\sum _{i=1}^n{x}_i^2}\end{array}$$ また、両辺の期待値を取ると、 $$\begin{array}{rl}E\left(b_2\right)& =E\left(\frac{\sum _{i=1}^n{x}_i{Y}_i}{\sum _{i=1}^n{x}_i^2}\right)\\ & =E\left[\frac{\sum _{i=1}^n{x}_i(\beta x_i+{\epsilon }_i)}{\sum _{i=1}^n{x}_i^2}\right]\\ & =\frac{1}{\sum _{i=1}^n{x}_i^2}E(\beta \sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i{\epsilon }_i)\\ & =\beta +\frac{1}{\sum _{i=1}^n{x}_i^2}E\left(\sum _{i=1}^n{x}_i{\epsilon }_i\right)\\ & =\beta +\frac{\sum _{i=1}^n{x}_{i}E\left({\epsilon }_i\right)}{\sum _{i=1}^n{x}_i^2}\\ & =\beta +\frac{0}{\sum _{i=1}^n{x}_i^2}\\ & =\beta \end{array}$$ よって、$E\left(\hat{\theta }\right)=\theta$ が成り立つので、$b_2$ は $\beta$ の不偏推定量である。 $◼$

〔3〕推定量の相対効率

（I）それぞれの推定量の分散
（i）$V\left(b_0\right)$ を求めると、 $$\begin{array}{rl}V\left(b_0\right)& =V(\beta +\frac{1}{n}\sum _{i=1}^n\frac{{\epsilon }_i}{x_i})\\ & =V\left(\beta \right)+\frac{1}{n^2}V\left(\sum _{i=1}^n\frac{{\epsilon }_i}{x_i}\right)\\ & =0+\frac{1}{n^2}\{\frac{1}{x_1^2}V\left({\epsilon }_1\right)+\frac{1}{x_2^2}V\left({\epsilon }_2\right)+\cdots +\frac{1}{x_n^2}V\left({\epsilon }_n\right)\}\end{array}$$ 誤差に関する仮定 $V\left({\epsilon }_i\right)={\sigma }^2$ より、 $$\begin{array}{rl}V\left(b_0\right)& =\frac{1}{n^2}(\frac{{\sigma }^2}{x_1^2}+\frac{{\sigma }^2}{x_2^2}+\cdots +\frac{{\sigma }^2}{x_n^2})\\ \text{(1)}& & =\frac{{\sigma }^2}{n^2}\sum _{i=1}^n\frac{1}{x_i^2}\end{array}$$

（ii）$V\left(b_1\right)$ を求めると、 $$\begin{array}{rl}V\left(b_1\right)& =V(\beta +\frac{\sum _{i=1}^n{\epsilon }_i}{\sum _{i=1}^n{x}_i})\\ & =V\left(\beta \right)+V\left(\frac{\sum _{i=1}^n{\epsilon }_i}{\sum _{i=1}^n{x}_i}\right)\\ & =0+\frac{1}{{\left(\sum _{i=1}^n{x}_i\right)}^2}V\left(\sum _{i=1}^n{\epsilon }_i\right)\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\sum _{i=1}^{n}V\left({\epsilon }_i\right)\\ \text{(2)}& & =\frac{n{\sigma }^2}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\end{array}$$

（iii）$V\left(b_2\right)$ を求めると、 $$\begin{array}{rl}V\left(b_2\right)& =V\left[\frac{\sum _{i=1}^n{x}_i(\beta x_i+{\epsilon }_i)}{\sum _{i=1}^n{x}_i^2}\right]\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}V(\beta \sum _{i=1}^n{x}_i^2+\sum _{i=1}^n{x}_i{\epsilon }_i)\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}V\left(\sum _{i=1}^n{x}_i{\epsilon }_i\right)\\ & =\frac{1}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}\sum _{i=1}^n{x}_i^{2}V\left({\epsilon }_i\right)\\ & =\frac{\sum _{i=1}^n{x}_i^2}{{\left(\sum _{i=1}^n{x}_i^2\right)}^2}{\sigma }^2\\ \text{(3)}& & =\frac{1}{\sum _{i=1}^n{x}_i^2}{\sigma }^2\end{array}$$

（II）大小関係に関する考察
（i）正の値のみをとる $n$ 個の実数 $Y_1,Y_2,\cdots ,Y_n$ に対して、算術平均と調和平均の関係より、 $$\begin{array}{r}\frac{n}{\sum _{i=1}^n\frac{1}{Y_i}}\le \frac{1}{n}\sum _{i=1}^n{Y}_i\end{array}$$ $y_i=x_i^2$ とすると、 $$\begin{array}{c}\frac{n}{\sum _{i=1}^n\frac{1}{x_i^2}}\le \frac{1}{n}\sum _{i=1}^n{x}_i^2\\ \frac{1}{\sum _{i=1}^n{x}_i^2}\le \frac{1}{n^2}\sum _{i=1}^n\frac{1}{x_i^2}\end{array}$$ したがって、 $$\begin{array}{c}\frac{{\sigma }^2}{\sum _{i=1}^n{x}_i^2}\le \frac{{\sigma }^2}{n^2}\sum _{i=1}^n\frac{1}{x_i^2}\\ V\left(b_2\right)\le V\left(b_0\right)\end{array}$$

（ii）コーシー・シュワルツの不等式より、 $$\begin{array}{c}{(\sum _{i=1}^n{x}_i\cdot 1)}^2\le \left(\sum _{i=1}^n{x}_i^2\right)\left(\sum _{i=1}^{n}1\right)\\ {\left(\sum _{i=1}^n{x}_i\right)}^2\le n\sum _{i=1}^n{x}_i^2\\ \frac{1}{\sum _{i=1}^n{x}_i^2}\le \frac{n}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\end{array}$$ したがって、 $$\begin{array}{c}\frac{{\sigma }^2}{\sum _{i=1}^n{x}_i^2}\le \frac{n{\sigma }^2}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\\ V\left(b_2\right)\le V\left(b_1\right)\end{array}$$

（iii）コーシー・シュワルツの不等式より、 $$\begin{array}{c}{(\sum _{i=1}^n\frac{1}{x_i}\cdot 1)}^2\le \left(\sum _{i=1}^n\frac{1}{x_i^2}\right)\left(\sum _{i=1}^{n}1\right)\\ {\left(\sum _{i=1}^n\frac{1}{x_i}\right)}^2\le n\sum _{i=1}^n\frac{1}{x_i^2}\\ \text{(4)}& \frac{1}{n^3}{\left(\sum _{i=1}^n\frac{1}{x_i}\right)}^2\le \frac{1}{n^2}\sum _{i=1}^n\frac{1}{x_i^2}\end{array}$$ また、算術平均と調和平均の関係より、$y_i=\frac{1}{x_i}$ とすると、 $$\begin{array}{r}\frac{n}{\sum _{i=1}^n{x}_i}\le \frac{1}{n}\sum _{i=1}^n\frac{1}{x_i}\end{array}$$ 両辺を2乗すると、 $$\begin{array}{r}\frac{n^2}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\le \frac{1}{n^2}{\left(\sum _{i=1}^n\frac{1}{x_i}\right)}^2\\ \text{(5)}& \frac{n}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\le \frac{1}{n^3}{\left(\sum _{i=1}^n\frac{1}{x_i}\right)}^2\end{array}$$ したがって、式 $(4),(5)$ より、 $$\begin{array}{c}\frac{n}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\le \frac{1}{n^3}{\left(\sum _{i=1}^n\frac{1}{x_i}\right)}^2\le \frac{1}{n^2}\sum _{i=1}^n\frac{1}{x_i^2}\\ \frac{n{\sigma }^2}{{\left(\sum _{i=1}^n{x}_i\right)}^2}\le \frac{{\sigma }^2}{n^2}\sum _{i=1}^n\frac{1}{x_i^2}\\ V\left(b_1\right)\le V\left(b_0\right)\end{array}$$ 以上より、3つの不偏推定量の分散の大小関係は、 $$\begin{array}{r}V\left(b_2\right)\le V\left(b_1\right)\le V\left(b_0\right)\end{array}$$ $◼$

関連記事

• 推定量の評価
• 期待値の基本性質