統計検定 1級 2016年 統計数理 問3 回帰係数の不偏推定量

公開日:

【2023年5月5週】 【B000】数理統計学 【D000】統計検定 過去問

この記事をシェアする
  • B!
サムネイル画像

本稿には、2016年に実施された統計検定1級『統計数理』 問3の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

  • 著作権の関係上、問題文は、掲載することができません。申し訳ありませんが、閲覧者のみなさまでご用意いただければ幸いです。
  • この答案は、あくまでも筆者が自作したものであり、公式なものではありません。正式な答案については、公式問題集をご参照ください。
  • 計算ミスや誤字・脱字などがありましたら、コメントなどでご指摘いただければ大変助かります。
  • スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

〔1〕回帰係数の不偏推定量

(i)b0 を変形すると、 b0=1ni=1nYixi=1ni=1nβxi+εixi=1ni=1n(β+εixi)=1n(nβ+i=1nεixi)=β+1ni=1nεixi 両辺の期待値を取ると、xi は定数であることから、 E(b0)=E(β+1ni=1nεixi)=E(β)+1nE(i=1nεixi)=β+1n{1x1E(ε1)+1x2E(ε2)++1xnE(εn)} 誤差に関する仮定 E(εi)=0 より、 E(b0)=β よって、E(θ^)=θ が成り立つので、b0β の不偏推定量である。

(ii)b1 を変形すると、 b1=i=1n(βxi+εi)i=1nxi=βi=1nxi+i=1nεii=1nxi=β+i=1nεii=1nxi 両辺の期待値を取ると、xi は定数であることから、 E(b1)=E(β+i=1nεii=1nxi)=E(β)+E(i=1nεii=1nxi)=β+1i=1nxiE(i=1nεi)=β+i=1nE(εi)i=1nxi=β よって、E(θ^)=θ が成り立つので、b1β の不偏推定量である。

〔2〕最小二乗推定量の導出

与えられた線形モデルを変形すると、 εi=Yiβxi 両辺を2乗すると、 εi2=(Yiβxi)2 この2乗誤差の総和を取ると、 i=1nεi2=i=1n(Yiβxi)2=i=1n(β2xi22βxiYiYi2)=β2i=1nxi22βi=1nxiYi+i=1nYi2 最小二乗推定量は、この2乗誤差を最小にする回帰係数 β^=b2 のことであるので、この式を β で微分すると、 f(β)=i=1n2(Yiβxi)(xi)=2βi=1nxi22i=1nxiYi <β< において、最小値は極値であると考えられるので、f(β)=0 とすると、最小二乗推定量は、 2b2i=1nxi22i=1nxiYi=0b2i=1nxi2=i=1nxiYib2=i=1nxiYii=1nxi2 また、両辺の期待値を取ると、 E(b2)=E(i=1nxiYii=1nxi2)=E[i=1nxi(βxi+εi)i=1nxi2]=1i=1nxi2E(βi=1nxi2+i=1nxiεi)=β+1i=1nxi2E(i=1nxiεi)=β+i=1nxiE(εi)i=1nxi2=β+0i=1nxi2=β よって、E(θ^)=θ が成り立つので、b2β の不偏推定量である。

〔3〕推定量の相対効率

(I)それぞれの推定量の分散
(i)V(b0) を求めると、 V(b0)=V(β+1ni=1nεixi)=V(β)+1n2V(i=1nεixi)=0+1n2{1x12V(ε1)+1x22V(ε2)++1xn2V(εn)} 誤差に関する仮定 V(εi)=σ2 より、 V(b0)=1n2(σ2x12+σ2x22++σ2xn2)(1)=σ2n2i=1n1xi2

(ii)V(b1) を求めると、 V(b1)=V(β+i=1nεii=1nxi)=V(β)+V(i=1nεii=1nxi)=0+1(i=1nxi)2V(i=1nεi)=1(i=1nxi)2i=1nV(εi)(2)=nσ2(i=1nxi)2

(iii)V(b2) を求めると、 V(b2)=V[i=1nxi(βxi+εi)i=1nxi2]=1(i=1nxi2)2V(βi=1nxi2+i=1nxiεi)=1(i=1nxi2)2V(i=1nxiεi)=1(i=1nxi2)2i=1nxi2V(εi)=i=1nxi2(i=1nxi2)2σ2(3)=1i=1nxi2σ2

(II)大小関係に関する考察
(i)正の値のみをとる n 個の実数 Y1,Y2,,Yn に対して、算術平均と調和平均の関係より、 ni=1n1Yi1ni=1nYi yi=xi2 とすると、 ni=1n1xi21ni=1nxi21i=1nxi21n2i=1n1xi2 したがって、 σ2i=1nxi2σ2n2i=1n1xi2V(b2)V(b0)

(ii)コーシー・シュワルツの不等式より、 (i=1nxi1)2(i=1nxi2)(i=1n1)(i=1nxi)2ni=1nxi21i=1nxi2n(i=1nxi)2 したがって、 σ2i=1nxi2nσ2(i=1nxi)2V(b2)V(b1)

(iii)コーシー・シュワルツの不等式より、 (i=1n1xi1)2(i=1n1xi2)(i=1n1)(i=1n1xi)2ni=1n1xi2(4)1n3(i=1n1xi)21n2i=1n1xi2 また、算術平均と調和平均の関係より、yi=1xi とすると、 ni=1nxi1ni=1n1xi 両辺を2乗すると、 n2(i=1nxi)21n2(i=1n1xi)2(5)n(i=1nxi)21n3(i=1n1xi)2 したがって、式 (4),(5) より、 n(i=1nxi)21n3(i=1n1xi)21n2i=1n1xi2nσ2(i=1nxi)2σ2n2i=1n1xi2V(b1)V(b0) 以上より、3つの不偏推定量の分散の大小関係は、 V(b2)V(b1)V(b0)

関連記事

自己紹介

自分の写真

yama

大学時代に読書の面白さに気づいて以来、読書や勉強を通じて、興味をもったことや新しいことを学ぶことが生きる原動力。そんな人間が、その時々に学んだことを備忘録兼人生の軌跡として記録しているブログです。

このブログを検索

ブログ アーカイブ

QooQ