統計検定 1級 2016年 統計数理 問2 指数分布の最尤推定

本稿には、2016年に実施された統計検定1級『統計数理』 問2の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

〔1〕指数分布の期待値

（i）期待値
期待値の定義式 $E\left(X\right)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\cdot f\left(x\right)dx$ より、 $$\begin{array}{r}E\left(X\right)={\int }_0^{\mathrm{\infty }}x\cdot \lambda e^{-\lambda x}dx\end{array}$$ 部分積分法により、 $$\begin{array}{rl}{\int }_0^{\mathrm{\infty }}x\cdot \lambda e^{-\lambda x}dx& ={[-x\cdot e^{-\lambda x}]}_0^{\mathrm{\infty }}-{\int }_0^{\mathrm{\infty }}-e^{-\lambda x}dx\\ & =-\underset{x\to \mathrm{\infty }}{lim}x\cdot e^{-\lambda x}+{\int }_0^{\mathrm{\infty }}{e}^{-\lambda x}dx\end{array}$$ ここで、ロピタルの定理より、 $$\begin{array}{r}\underset{x\to \mathrm{\infty }}{lim}x{e}^{-\lambda x}=\underset{x\to \mathrm{\infty }}{lim}\frac{x}{e^{\lambda x}}=\underset{x\to \mathrm{\infty }}{lim}\frac{1}{\lambda e^{\lambda x}}=0\end{array}$$ したがって、 $$\begin{array}{rl}E\left(X\right)& ={\int }_0^{\mathrm{\infty }}{e}^{-\lambda x}dx\\ & ={[-\frac{1}{\lambda }{e}^{-\lambda x}]}_0^{\mathrm{\infty }}\\ & =-\frac{1}{\lambda }(\underset{x\to \mathrm{\infty }}{lim}{e}^{-\lambda x}-e^0)\\ & =-\frac{1}{\lambda }(0-1)\\ & =\frac{1}{\lambda }\end{array}$$ $◼$

〔2〕指数分布の上側確率

確率密度関数の定義 $P(c<X)={\int }_c^{\mathrm{\infty }}f\left(x\right)dx$ より、 $$\begin{array}{rl}Q\left(c\right)& =P(c<X)\\ & ={\int }_c^{\mathrm{\infty }}\lambda e^{-\lambda x}dx\\ & =\lambda {[-\frac{1}{\lambda }{e}^{-\lambda x}]}_c^{\mathrm{\infty }}\\ & =-(\underset{x\to \mathrm{\infty }}{lim}\frac{1}{e^{\lambda x}}-e^{-cx})\\ & =e^{-c\lambda }\end{array}$$ 同様に考えると、 $$\begin{array}{c}Q\left[u\left(\alpha \right)\right]=\alpha \\ e^{-u\left(\alpha \right)\lambda }=\alpha \end{array}$$ 両辺の対数を取ると、 $$\begin{array}{c}-u\left(\alpha \right)\lambda =\log \alpha \\ u\left(\alpha \right)=-\frac{\log \alpha }{\lambda }\end{array}$$ $◼$

〔3〕上側パーセント点の最尤推定量

尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}L\left(\lambda \right)& =\prod _{i=1}^n\lambda e^{-\lambda x_i}\\ & =e^{-\lambda (x_1+x_2+\cdots +x_n)}\cdot {\lambda }^n\\ & =e^{-\lambda \sum _{i=1}^n{x}_i}\cdot {\lambda }^n\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l\left(\lambda \right)& =\log (e^{-\lambda \sum _{i=1}^n{x}_i}\cdot {\lambda }^n)\\ & =-\lambda \sum _{i=1}^n{x}_i+n\log \lambda \end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(\lambda \right)=-\sum _{i=1}^n{x}_i+\frac{n}{\lambda }\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=-\sum _{i=1}^n{x}_i+\frac{n}{\hat{\lambda }}\\ \hat{\lambda }\sum _{i=1}^n{x}_i=n\\ \hat{\lambda }=\frac{n}{\sum _{i=1}^n{x}_i}\end{array}$$ 最尤推定量の不変性より、 $$\begin{array}{c}\hat{Q}\left(c\right)=e^{-c\hat{\lambda }}\\ \hat{u}\left(\alpha \right)=-\frac{\log \alpha }{\hat{\lambda }}\end{array}$$ $\hat{u}\left(\alpha \right)$ の期待値について考えると、 $$\begin{array}{rl}E\left[\hat{u}\left(\alpha \right)\right]& =E(-\frac{\log \alpha }{n}\sum _{i=1}^n{x}_i)\\ & =-\frac{\log \alpha }{n}E(x_1+x_2+\cdots +x_n)\\ & =-\frac{\log \alpha }{n}\{E\left(X_1\right)+E\left(X_2\right)+\cdots +E\left(X_n\right)\}\end{array}$$ 〔1〕の結果より、 $$\begin{array}{rl}E\left[\hat{u}\left(\alpha \right)\right]& =-\frac{\log \alpha }{n}\cdot \frac{n}{\lambda }\\ & =-\frac{\log \alpha }{\lambda }\end{array}$$ よって、$E\left(\hat{\theta }\right)=\theta$ が成り立つので、$\hat{u}\left(\alpha \right)$ は $u\left(\alpha \right)$ の不偏推定量である。 $◼$

〔4〕上側確率の不偏推定量

与えられた命題が成り立つことを任意の正の整数 $n$ についての数学的帰納法によって示す。

（i）$n=1$ のとき
ガンマ関数の性質 $\mathrm{\Gamma }\left(1\right)=0!=1$ より、 $$\begin{array}{rl}{g}_1\left(y\right)& =\frac{{\lambda }^1}{\mathrm{\Gamma }\left(1\right)}{y}^{1-1}{e}^{-\lambda y}\\ & =\lambda e^{-\lambda y}\end{array}$$ したがって、与えられた命題は成り立つ。

（ii）$n=k$ のときに、与えられた命題が成り立つと仮定する、すなわち、 $$\begin{array}{r}{g}_k\left(y\right)=\{\begin{array}{cc}\frac{{\lambda }^k}{\mathrm{\Gamma }\left(n\right)}{y}^{k-1}{e}^{-\lambda y}& (0\le y)\\ 0& (y<0)\end{array}\end{array}$$ このとき、$Z=X_{k+1}+Y$ の従う分布は、確率変数のたたみこみの公式より、 $$\begin{array}{rl}h\left(z\right)& ={\int }_0^{z}f(z-y)\cdot g_m\left(y\right)dy\\ & ={\int }_0^z\lambda e^{-\lambda (z-y)}\cdot \frac{{\lambda }^k}{\mathrm{\Gamma }\left(k\right)}{y}^{k-1}{e}^{-\lambda y}dy\\ & ={\int }_0^z\frac{{\lambda }^{k+1}}{\mathrm{\Gamma }\left(k\right)}{y}^{k-1}{e}^{-\lambda z}dy\\ & =\frac{{\lambda }^{k+1}}{\mathrm{\Gamma }\left(k\right)}{e}^{-\lambda z}{\int }_0^z{y}^{k-1}dy\\ & =\frac{{\lambda }^{k+1}}{\mathrm{\Gamma }\left(k\right)}{e}^{-\lambda z}{\left[\frac{1}{k}{y}^k\right]}_0^z\\ & =\frac{{\lambda }^{k+1}}{k\cdot \mathrm{\Gamma }\left(k\right)}{z}^{(k+1)-1}{e}^{-\lambda z}\end{array}$$ ガンマ関数の性質 $k\mathrm{\Gamma }\left(k\right)=\mathrm{\Gamma }(k+1)$ より、 $$\begin{array}{r}h\left(z\right)=\frac{{\lambda }^{k+1}}{\mathrm{\Gamma }(k+1)}{z}^{(k+1)-1}{e}^{-\lambda z}\end{array}$$ したがって、$n=k+1$ のときも、与えられた命題は成り立つ。

ゆえに、数学的帰納法により、任意の正の整数 $n$ について、与えられた命題は成り立つ。

続いて、$\hat{Q}\left(c\right)$ の期待値について、期待値の定義式 $E\left(X\right)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x\cdot f\left(x\right)dx$ より、 $$\begin{array}{rl}E\left\{\hat{Q}\left(c\right)\right\}& ={\int }_0^{\mathrm{\infty }}{(1-\frac{c}{y})}^{n-1}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{y}^{n-1}{e}^{-\lambda y}dy\\ & ={\int }_0^{\mathrm{\infty }}{\left\{\frac{1}{y}(y-c)\right\}}^{n-1}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{y}^{n-1}{e}^{-\lambda y}dy\\ & ={\int }_0^{\mathrm{\infty }}\frac{1}{y^{n-1}}{(y-c)}^{n-1}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{y}^{n-1}{e}^{-\lambda y}dy\\ & ={\int }_0^{\mathrm{\infty }}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{(y-c)}^{n-1}{e}^{-\lambda y}dy\end{array}$$ ここで、以下のように変数変換すると、 $$\begin{array}{c}t=y-c\iff y=t+c\\ y:0\to \mathrm{\infty }\Rightarrow t:0\to \mathrm{\infty }\\ \frac{dy}{dt}=1\Rightarrow dy=dt\end{array}$$ 置換積分法により、 $$\begin{array}{rl}E\left\{\hat{Q}\left(c\right)\right\}& ={\int }_0^{\mathrm{\infty }}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{t}^{n-1}{e}^{-\lambda (t+c)}dt\\ & =e^{-\lambda c}{\int }_0^{\mathrm{\infty }}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{t}^{n-1}{e}^{-\lambda }dt\end{array}$$ ここで、右辺の積分部分は、 $$\begin{array}{r}{g}_n\left(t\right)=\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{t}^{n-1}{e}^{-\lambda }\end{array}$$ 確率密度関数の性質から、 $$\begin{array}{r}{\int }_0^{\mathrm{\infty }}\frac{{\lambda }^n}{\mathrm{\Gamma }\left(n\right)}{t}^{n-1}{e}^{-\lambda }dt=1\end{array}$$ したがって、 $$\begin{array}{r}E\left\{\hat{Q}\left(c\right)\right\}=e^{-\lambda c}\end{array}$$ これは〔2〕で求めた結果と一致する。よって、$E\left(\hat{\theta }\right)=\theta$ が成り立つので、$\hat{Q}\left(c\right)$ は $Q\left(c\right)$ の不偏推定量である。 $◼$

関連記事

• 指数分布の定義と概要
• 指数分布の期待値・分散
• ガンマ分布の期待値・分散
• ガンマ分布の確率密度関数の導出と再生性
• 最尤推定法とモーメント法