統計検定 1級 2016年 統計数理 問2 指数分布の最尤推定

本稿には、2016年に実施された統計検定1級『統計数理』 問2の自作解答案を掲載しています。なお、閲覧にあたっては、以下の点にご注意ください。

〔1〕指数分布の期待値

（i）期待値
期待値の定義式 $E \left(X\right)=\int_{-\infty}^{\infty}{x \cdot f \left(x\right)dx}$ より、 \begin{align} E \left(X\right)=\int_{0}^{\infty}{x \cdot \lambda e^{-\lambda x}dx} \end{align} 部分積分法により、 \begin{align} \int_{0}^{\infty}{x \cdot \lambda e^{-\lambda x}dx}&= \left[-x \cdot e^{-\lambda x}\right]_0^\infty-\int_{0}^{\infty}{-e^{-\lambda x}dx}\\ &=-\lim_{x\rightarrow\infty}{x \cdot e^{-\lambda x}}+\int_{0}^{\infty}{e^{-\lambda x}dx} \end{align} ここで、ロピタルの定理より、 \begin{align} \lim_{x\rightarrow\infty}{xe^{-\lambda x}}=\lim_{x\rightarrow\infty}{\frac{x}{e^{\lambda x}}}=\lim_{x\rightarrow\infty}{\frac{1}{\lambda e^{\lambda x}}}=0 \end{align} したがって、 \begin{align} E \left(X\right)&=\int_{0}^{\infty}{e^{-\lambda x}dx}\\ &= \left[-\frac{1}{\lambda}e^{-\lambda x}\right]_0^\infty\\ &=-\frac{1}{\lambda} \left(\lim_{x\rightarrow\infty}{e^{-\lambda x}}-e^0\right)\\ &=-\frac{1}{\lambda} \left(0-1\right)\\ &=\frac{1}{\lambda} \end{align} $\blacksquare$

〔2〕指数分布の上側確率

確率密度関数の定義 $P \left(c \lt X\right)=\int_{c}^{\infty}f \left(x\right)dx$ より、 \begin{align} Q \left(c\right)&=P \left(c \lt X\right)\\ &=\int_{c}^{\infty}{\lambda e^{-\lambda x}dx}\\ &=\lambda \left[-\frac{1}{\lambda}e^{-\lambda x}\right]_c^\infty\\ &=- \left(\lim_{x\rightarrow\infty}{\frac{1}{e^{\lambda x}}}-e^{-cx}\right)\\ &=e^{-c\lambda} \end{align} 同様に考えると、 \begin{gather} Q \left[u \left(\alpha\right)\right]=\alpha\\ e^{-u \left(\alpha\right)\lambda}=\alpha \end{gather} 両辺の対数を取ると、 \begin{gather} -u \left(\alpha\right)\lambda=\log{\alpha}\\ u \left(\alpha\right)=-\frac{\log{\alpha}}{\lambda} \end{gather} $\blacksquare$

〔3〕上側パーセント点の最尤推定量

尤度関数 $L \left(\theta\right)$ を求めると、 \begin{align} L \left(\lambda\right)&=\prod_{i=1}^{n}{\lambda e^{-\lambda x_i}}\\ &=e^{-\lambda \left(x_1+x_2+ \cdots +x_n\right)} \cdot \lambda^n\\ &=e^{-\lambda\sum_{i=1}^{n}x_i} \cdot \lambda^n \end{align} 対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(\lambda\right)&=\log{ \left(e^{-\lambda\sum_{i=1}^{n}x_i} \cdot \lambda^n\right)}\\ &=-\lambda\sum_{i=1}^{n}x_i+n\log{\lambda} \end{align} スコア関数 $S \left(\theta\right)=\frac{d}{d\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(\lambda\right)=-\sum_{i=1}^{n}x_i+\frac{n}{\lambda} \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=-\sum_{i=1}^{n}x_i+\frac{n}{\hat{\lambda}}\\ \hat{\lambda}\sum_{i=1}^{n}x_i=n\\ \hat{\lambda}=\frac{n}{\sum_{i=1}^{n}x_i} \end{gather} 最尤推定量の不変性より、 \begin{gather} \hat{Q} \left(c\right)=e^{-c\hat{\lambda}}\\ \hat{u} \left(\alpha\right)=-\frac{\log{\alpha}}{\hat{\lambda}} \end{gather} $\hat{u} \left(\alpha\right)$ の期待値について考えると、 \begin{align} E \left[\hat{u} \left(\alpha\right)\right]&=E \left(-\frac{\log{\alpha}}{n}\sum_{i=1}^{n}x_i\right)\\ &=-\frac{\log{\alpha}}{n}E \left(x_1+x_2+ \cdots +x_n\right)\\ &=-\frac{\log{\alpha}}{n} \left\{E \left(X_1\right)+E \left(X_2\right)+ \cdots +E \left(X_n\right)\right\} \end{align} 〔1〕の結果より、 \begin{align} E \left[\hat{u} \left(\alpha\right)\right]&=-\frac{\log{\alpha}}{n} \cdot \frac{n}{\lambda}\\ &=-\frac{\log{\alpha}}{\lambda} \end{align} よって、$E \left(\hat{\theta}\right)=\theta$ が成り立つので、$\hat{u} \left(\alpha\right)$ は $u \left(\alpha\right)$ の不偏推定量である。 $\blacksquare$

〔4〕上側確率の不偏推定量

与えられた命題が成り立つことを任意の正の整数 $n$ についての数学的帰納法によって示す。

（i）$n=1$ のとき
ガンマ関数の性質 $\Gamma \left(1\right)=0!=1$ より、 \begin{align} g_1 \left(y\right)&=\frac{\lambda^1}{\Gamma \left(1\right)}y^{1-1}e^{-\lambda y}\\ &=\lambda e^{-\lambda y} \end{align} したがって、与えられた命題は成り立つ。

（ii）$n=k$ のときに、与えられた命題が成り立つと仮定する、すなわち、 \begin{align} g_k \left(y\right)= \left\{\begin{matrix}\ \frac{\lambda^k}{\Gamma \left(n\right)}y^{k-1}e^{-\lambda y}& \left(0 \le y\right)\\0& \left(y \lt 0\right)\\\end{matrix}\right. \end{align} このとき、$Z=X_{k+1}+Y$ の従う分布は、確率変数のたたみこみの公式より、 \begin{align} h \left(z\right)&=\int_{0}^{z}{f \left(z-y\right) \cdot g_m \left(y\right)dy}\\ &=\int_{0}^{z}{\lambda e^{-\lambda \left(z-y\right)} \cdot \frac{\lambda^k}{\Gamma \left(k\right)}y^{k-1}e^{-\lambda y}dy}\\ &=\int_{0}^{z}{\frac{\lambda^{k+1}}{\Gamma \left(k\right)}y^{k-1}e^{-\lambda z}dy}\\ &=\frac{\lambda^{k+1}}{\Gamma \left(k\right)}e^{-\lambda z}\int_{0}^{z}{y^{k-1}dy}\\ &=\frac{\lambda^{k+1}}{\Gamma \left(k\right)}e^{-\lambda z} \left[\frac{1}{k}y^k\right]_0^z\\ &=\frac{\lambda^{k+1}}{k \cdot \Gamma \left(k\right)}z^{ \left(k+1\right)-1}e^{-\lambda z} \end{align} ガンマ関数の性質 $k\Gamma \left(k\right)=\Gamma \left(k+1\right)$ より、 \begin{align} h \left(z\right)=\frac{\lambda^{k+1}}{\Gamma \left(k+1\right)}z^{ \left(k+1\right)-1}e^{-\lambda z} \end{align} したがって、$n=k+1$ のときも、与えられた命題は成り立つ。

ゆえに、数学的帰納法により、任意の正の整数 $n$ について、与えられた命題は成り立つ。

続いて、$\hat{Q} \left(c\right)$ の期待値について、期待値の定義式 $E \left(X\right)=\int_{-\infty}^{\infty}{x \cdot f \left(x\right)dx}$ より、 \begin{align} E \left\{\hat{Q} \left(c\right)\right\}&=\int_{0}^{\infty}{ \left(1-\frac{c}{y}\right)^{n-1}\frac{\lambda^n}{\Gamma \left(n\right)}y^{n-1}e^{-\lambda y}dy}\\ &=\int_{0}^{\infty}{ \left\{\frac{1}{y} \left(y-c\right)\right\}^{n-1}\frac{\lambda^n}{\Gamma \left(n\right)}y^{n-1}e^{-\lambda y}dy}\\ &=\int_{0}^{\infty}{\frac{1}{y^{n-1}} \left(y-c\right)^{n-1}\frac{\lambda^n}{\Gamma \left(n\right)}y^{n-1}e^{-\lambda y}dy}\\ &=\int_{0}^{\infty}{\frac{\lambda^n}{\Gamma \left(n\right)} \left(y-c\right)^{n-1}e^{-\lambda y}dy}\\ \end{align} ここで、以下のように変数変換すると、 \begin{gather} t=y-c\Leftrightarrow y=t+c\\ y:0\rightarrow\infty \quad \Rightarrow \quad t:0\rightarrow\infty\\ \frac{dy}{dt}=1\Rightarrow dy=dt \end{gather} 置換積分法により、 \begin{align} E \left\{\hat{Q} \left(c\right)\right\}&=\int_{0}^{\infty}{\frac{\lambda^n}{\Gamma \left(n\right)}t^{n-1}e^{-\lambda \left(t+c\right)}dt}\\ &=e^{-\lambda c}\int_{0}^{\infty}{\frac{\lambda^n}{\Gamma \left(n\right)}t^{n-1}e^{-\lambda}dt} \end{align} ここで、右辺の積分部分は、 \begin{align} g_n \left(t\right)=\frac{\lambda^n}{\Gamma \left(n\right)}t^{n-1}e^{-\lambda} \end{align} 確率密度関数の性質から、 \begin{align} \int_{0}^{\infty}{\frac{\lambda^n}{\Gamma \left(n\right)}t^{n-1}e^{-\lambda}dt}=1 \end{align} したがって、 \begin{align} E \left\{\hat{Q} \left(c\right)\right\}=e^{-\lambda c} \end{align} これは〔2〕で求めた結果と一致する。よって、$E \left(\hat{\theta}\right)=\theta$ が成り立つので、$\hat{Q} \left(c\right)$ は $Q \left(c\right)$ の不偏推定量である。 $\blacksquare$

関連記事

• 指数分布の定義と概要
• 指数分布の期待値・分散
• ガンマ分布の期待値・分散
• ガンマ分布の確率密度関数の導出と再生性
• 最尤推定法とモーメント法