統計検定 1級 2016年 統計数理 問3 回帰係数の不偏推定量

本稿には、2016年に実施された統計検定1級『統計数理』 問3の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

〔1〕回帰係数の不偏推定量

（i）$b_0$ を変形すると、 \begin{align} b_0&=\frac{1}{n}\sum_{i=1}^{n}\frac{Y_i}{x_i}\\ &=\frac{1}{n}\sum_{i=1}^{n}\frac{\beta x_i+\varepsilon_i}{x_i}\\ &=\frac{1}{n}\sum_{i=1}^{n} \left(\beta+\frac{\varepsilon_i}{x_i}\right)\\ &=\frac{1}{n} \left(n\beta+\sum_{i=1}^{n}\frac{\varepsilon_i}{x_i}\right)\\ &=\beta+\frac{1}{n}\sum_{i=1}^{n}\frac{\varepsilon_i}{x_i} \end{align} 両辺の期待値を取ると、$x_i$ は定数であることから、 \begin{align} E \left(b_0\right)&=E \left(\beta+\frac{1}{n}\sum_{i=1}^{n}\frac{\varepsilon_i}{x_i}\right)\\ &=E \left(\beta\right)+\frac{1}{n}E \left(\sum_{i=1}^{n}\frac{\varepsilon_i}{x_i}\right)\\ &=\beta+\frac{1}{n} \left\{\frac{1}{x_1}E \left(\varepsilon_1\right)+\frac{1}{x_2}E \left(\varepsilon_2\right)+ \cdots +\frac{1}{x_n}E \left(\varepsilon_n\right)\right\} \end{align} 誤差に関する仮定 $E \left(\varepsilon_i\right)=0$ より、 \begin{align} E \left(b_0\right)=\beta \end{align} よって、$E \left(\hat{\theta}\right)=\theta$ が成り立つので、$b_0$ は $\beta$ の不偏推定量である。

（ii）$b_1$ を変形すると、 \begin{align} b_1&=\frac{\sum_{i=1}^{n} \left(\beta x_i+\varepsilon_i\right)}{\sum_{i=1}^{n}x_i}\\ &=\frac{\beta\sum_{i=1}^{n}x_i+\sum_{i=1}^{n}\varepsilon_i}{\sum_{i=1}^{n}x_i}\\ &=\beta+\frac{\sum_{i=1}^{n}\varepsilon_i}{\sum_{i=1}^{n}x_i} \end{align} 両辺の期待値を取ると、$x_i$ は定数であることから、 \begin{align} E \left(b_1\right)&=E \left(\beta+\frac{\sum_{i=1}^{n}\varepsilon_i}{\sum_{i=1}^{n}x_i}\right)\\ &=E \left(\beta\right)+E \left(\frac{\sum_{i=1}^{n}\varepsilon_i}{\sum_{i=1}^{n}x_i}\right)\\ &=\beta+\frac{1}{\sum_{i=1}^{n}x_i}E \left(\sum_{i=1}^{n}\varepsilon_i\right)\\ &=\beta+\frac{\sum_{i=1}^{n}E \left(\varepsilon_i\right)}{\sum_{i=1}^{n}x_i}\\ &=\beta \end{align} よって、$E \left(\hat{\theta}\right)=\theta$ が成り立つので、$b_1$ は $\beta$ の不偏推定量である。 $\blacksquare$

〔2〕最小二乗推定量の導出

与えられた線形モデルを変形すると、 \begin{align} \varepsilon_i=Y_i-\beta x_i \end{align} 両辺を2乗すると、 \begin{align} \varepsilon_i^2= \left(Y_i-\beta x_i\right)^2 \end{align} この2乗誤差の総和を取ると、 \begin{align} \sum_{i=1}^{n}\varepsilon_i^2&=\sum_{i=1}^{n} \left(Y_i-\beta x_i\right)^2\\ &=\sum_{i=1}^{n} \left(\beta^2x_i^2-2\beta x_iY_i-Y_i^2\right)\\ &=\beta^2\sum_{i=1}^{n}x_i^2-2\beta\sum_{i=1}^{n}{x_iY_i}+\sum_{i=1}^{n}Y_i^2 \end{align} 最小二乗推定量は、この2乗誤差を最小にする回帰係数 $\hat{\beta}=b_2$ のことであるので、この式を $\beta$ で微分すると、 \begin{align} f^\prime \left(\beta\right)&=\sum_{i=1}^{n}2 \left(Y_i-\beta x_i\right) \left(-x_i\right)\\ &=2\beta\sum_{i=1}^{n}x_i^2-2\sum_{i=1}^{n}{x_iY_i} \end{align} $-\infty \lt \beta \lt \infty$ において、最小値は極値であると考えられるので、$f^\prime \left(\beta\right)=0$ とすると、最小二乗推定量は、 \begin{gather} 2b_2\sum_{i=1}^{n}x_i^2-2\sum_{i=1}^{n}{x_iY_i}=0\\ b_2\sum_{i=1}^{n}x_i^2=\sum_{i=1}^{n}{x_iY_i}\\ b_2=\frac{\sum_{i=1}^{n}{x_iY_i}}{\sum_{i=1}^{n}x_i^2} \end{gather} また、両辺の期待値を取ると、 \begin{align} E \left(b_2\right)&=E \left(\frac{\sum_{i=1}^{n}{x_iY_i}}{\sum_{i=1}^{n}x_i^2}\right)\\ &=E \left[\frac{\sum_{i=1}^{n}x_i \left(\beta x_i+\varepsilon_i\right)}{\sum_{i=1}^{n}x_i^2}\right]\\ &=\frac{1}{\sum_{i=1}^{n}x_i^2}E \left(\beta\sum_{i=1}^{n}x_i^2+\sum_{i=1}^{n}{x_i\varepsilon_i}\right)\\ &=\beta+\frac{1}{\sum_{i=1}^{n}x_i^2}E \left(\sum_{i=1}^{n}{x_i\varepsilon_i}\right)\\ &=\beta+\frac{\sum_{i=1}^{n}{x_iE \left(\varepsilon_i\right)}}{\sum_{i=1}^{n}x_i^2}\\ &=\beta+\frac{0}{\sum_{i=1}^{n}x_i^2}\\ &=\beta \end{align} よって、$E \left(\hat{\theta}\right)=\theta$ が成り立つので、$b_2$ は $\beta$ の不偏推定量である。 $\blacksquare$

〔3〕推定量の相対効率

（I）それぞれの推定量の分散
（i）$V \left(b_0\right)$ を求めると、 \begin{align} V \left(b_0\right)&=V \left(\beta+\frac{1}{n}\sum_{i=1}^{n}\frac{\varepsilon_i}{x_i}\right)\\ &=V \left(\beta\right)+\frac{1}{n^2}V \left(\sum_{i=1}^{n}\frac{\varepsilon_i}{x_i}\right)\\ &=0+\frac{1}{n^2} \left\{\frac{1}{x_1^2}V \left(\varepsilon_1\right)+\frac{1}{x_2^2}V \left(\varepsilon_2\right)+ \cdots +\frac{1}{x_n^2}V \left(\varepsilon_n\right)\right\} \end{align} 誤差に関する仮定 $V \left(\varepsilon_i\right)=\sigma^2$ より、 \begin{align} V \left(b_0\right)&=\frac{1}{n^2} \left(\frac{\sigma^2}{x_1^2}+\frac{\sigma^2}{x_2^2}+ \cdots +\frac{\sigma^2}{x_n^2}\right)\\ &=\frac{\sigma^2}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2}\tag{1} \end{align}

（ii）$V \left(b_1\right)$ を求めると、 \begin{align} V \left(b_1\right)&=V \left(\beta+\frac{\sum_{i=1}^{n}\varepsilon_i}{\sum_{i=1}^{n}x_i}\right)\\ &=V \left(\beta\right)+V \left(\frac{\sum_{i=1}^{n}\varepsilon_i}{\sum_{i=1}^{n}x_i}\right)\\ &=0+\frac{1}{ \left(\sum_{i=1}^{n}x_i\right)^2}V \left(\sum_{i=1}^{n}\varepsilon_i\right)\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i\right)^2}\sum_{i=1}^{n}V \left(\varepsilon_i\right)\\ &=\frac{n\sigma^2}{ \left(\sum_{i=1}^{n}x_i\right)^2}\tag{2} \end{align}

（iii）$V \left(b_2\right)$ を求めると、 \begin{align} V \left(b_2\right)&=V \left[\frac{\sum_{i=1}^{n}x_i \left(\beta x_i+\varepsilon_i\right)}{\sum_{i=1}^{n}x_i^2}\right]\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}V \left(\beta\sum_{i=1}^{n}x_i^2+\sum_{i=1}^{n}{x_i\varepsilon_i}\right)\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}V \left(\sum_{i=1}^{n}{x_i\varepsilon_i}\right)\\ &=\frac{1}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}\sum_{i=1}^{n}{x_i^2V \left(\varepsilon_i\right)}\\ &=\frac{\sum_{i=1}^{n}x_i^2}{ \left(\sum_{i=1}^{n}x_i^2\right)^2}\sigma^2\\ &=\frac{1}{\sum_{i=1}^{n}x_i^2}\sigma^2\tag{3} \end{align}

（II）大小関係に関する考察
（i）正の値のみをとる $n$ 個の実数 $Y_1,Y_2, \cdots ,Y_n$ に対して、算術平均と調和平均の関係より、 \begin{align} \frac{n}{\sum_{i=1}^{n}\frac{1}{Y_i}} \le \frac{1}{n}\sum_{i=1}^{n}Y_i \end{align} $y_i=x_i^2$ とすると、 \begin{gather} \frac{n}{\sum_{i=1}^{n}\frac{1}{x_i^2}} \le \frac{1}{n}\sum_{i=1}^{n}x_i^2\\ \frac{1}{\sum_{i=1}^{n}x_i^2} \le \frac{1}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2} \end{gather} したがって、 \begin{gather} \frac{\sigma^2}{\sum_{i=1}^{n}x_i^2} \le \frac{\sigma^2}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2}\\ V \left(b_2\right) \le V \left(b_0\right) \end{gather}

（ii）コーシー・シュワルツの不等式より、 \begin{gather} \left(\sum_{i=1}^{n}x_i \cdot 1\right)^2 \le \left(\sum_{i=1}^{n}x_i^2\right) \left(\sum_{i=1}^{n}1\right)\\ \left(\sum_{i=1}^{n}x_i\right)^2 \le n\sum_{i=1}^{n}x_i^2\\ \frac{1}{\sum_{i=1}^{n}x_i^2} \le \frac{n}{ \left(\sum_{i=1}^{n}x_i\right)^2} \end{gather} したがって、 \begin{gather} \frac{\sigma^2}{\sum_{i=1}^{n}x_i^2} \le \frac{n\sigma^2}{ \left(\sum_{i=1}^{n}x_i\right)^2}\\ V \left(b_2\right) \le V \left(b_1\right) \end{gather}

（iii）コーシー・シュワルツの不等式より、 \begin{gather} \left(\sum_{i=1}^{n}\frac{1}{x_i} \cdot 1\right)^2 \le \left(\sum_{i=1}^{n}\frac{1}{x_i^2}\right) \left(\sum_{i=1}^{n}1\right)\\ \left(\sum_{i=1}^{n}\frac{1}{x_i}\right)^2 \le n\sum_{i=1}^{n}\frac{1}{x_i^2}\\ \frac{1}{n^3} \left(\sum_{i=1}^{n}\frac{1}{x_i}\right)^2 \le \frac{1}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2}\tag{4} \end{gather} また、算術平均と調和平均の関係より、$y_i=\frac{1}{x_i}$ とすると、 \begin{align} \frac{n}{\sum_{i=1}^{n}x_i} \le \frac{1}{n}\sum_{i=1}^{n}\frac{1}{x_i} \end{align} 両辺を2乗すると、 \begin{align} \frac{n^2}{ \left(\sum_{i=1}^{n}x_i\right)^2} \le \frac{1}{n^2} \left(\sum_{i=1}^{n}\frac{1}{x_i}\right)^2\\ \frac{n}{ \left(\sum_{i=1}^{n}x_i\right)^2} \le \frac{1}{n^3} \left(\sum_{i=1}^{n}\frac{1}{x_i}\right)^2\tag{5} \end{align} したがって、式 $(4),(5)$ より、 \begin{gather} \frac{n}{ \left(\sum_{i=1}^{n}x_i\right)^2} \le \frac{1}{n^3} \left(\sum_{i=1}^{n}\frac{1}{x_i}\right)^2 \le \frac{1}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2}\\ \frac{n\sigma^2}{ \left(\sum_{i=1}^{n}x_i\right)^2} \le \frac{\sigma^2}{n^2}\sum_{i=1}^{n}\frac{1}{x_i^2}\\ V \left(b_1\right) \le V \left(b_0\right) \end{gather} 以上より、3つの不偏推定量の分散の大小関係は、 \begin{align} V \left(b_2\right) \le V \left(b_1\right) \le V \left(b_0\right) \end{align} $\blacksquare$

関連記事

• 推定量の評価
• 期待値の基本性質