代表的な確率分布の最尤推定量とフィッシャー情報量の導出

二項分布の確率関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}{}_{n}C_xp^x \left(1-p\right)^{n-x}&x=0,1, \cdots ,n\\0&\mathrm{other}\\\end{matrix}\right. \end{gather}

（i）最尤推定量
尤度関数 $L \left(\theta\right)$ を求めると、 \begin{align} L \left(p\right)={}_{n}C_xp^x \left(1-p\right)^{n-x} \end{align} 対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(p\right)&=\log{ \left\{{}_{n}C_xp^x \left(1-p\right)^{n-x}\right\}}\\ &=x\log{p}+ \left(n-x\right)\log{ \left(1-p\right)}+\log{{}_{n}C_x} \end{align} スコア関数 $S \left(\theta\right)=\frac{d}{d\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(p\right)=\frac{x}{p}+\frac{n-x}{1-p} \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=\frac{1}{\hat{p}}x+\frac{n-x}{1-\hat{p}}\\ \left(1-\hat{p}\right)x+ \left(n-x\right)\hat{p}=0\\ x-\hat{p}x+n\hat{p}-\hat{p}x=0\\ n\hat{p}=x\\ \hat{p}=\frac{x}{n} \end{gather} $\blacksquare$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_n \left(p\right)&=E \left[ \left\{\frac{x-np}{p \left(1-p\right)}\right\}^2\right]\\ &=E \left[\frac{x^2-2xnp+n^2p^2}{p^2 \left(1-p\right)^2}\right]\\ &=\frac{1}{p^2 \left(1-p\right)^2} \left\{E \left(X^2\right)-2npE \left(X\right)+n^2p^2\right\}\\ \end{align} 二項分布の期待値と分散の公式より、 \begin{align} E \left(X\right)=np \quad V \left(X\right)=np \left(1-p\right) \end{align} 分散の公式の変形 $E \left(X^2\right)=V \left(X\right)+ \left\{E \left(X\right)\right\}^2$ より、2次モーメントは、 \begin{align} E \left(X^2\right)&=np \left(1-p\right)+n^2p^2\\ &=n^2p^2-np^2+np \end{align} したがって、 \begin{align} I_n \left(p\right)&=\frac{1}{p^2 \left(1-p\right)^2} \left(n^2p^2-np^2+np-2np \cdot n p+n^2p^2\right)\\ &=\frac{np \left(1-p\right)}{p^2 \left(1-p\right)^2}\\ &=\frac{n}{p \left(1-p\right)} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{p \left(1-p\right)}{n} \le V \left(\hat{p}\right) \end{align} $\blacksquare$

［別解］ $I_n \left(p\right)=-E \left[\frac{\partial^2}{\partial\theta^2}l \left(\theta\right)\right]$ としたとき \begin{align} I_n \left(p\right)&=-E \left[-\frac{x-2xp+np^2}{p^2 \left(1-p\right)^2}\right]\\ &=\frac{1}{p^2 \left(1-p\right)^2} \left\{E \left(X\right)-2pE \left(X\right)+np^2\right\} \end{align} 二項分布の期待値の公式 $E \left(X\right)=np$ より、 \begin{align} I_n \left(p\right)&=\frac{np-2np^2+np^2}{p^2 \left(1-p\right)^2}\\ &=\frac{np-np^2}{p^2 \left(1-p\right)^2}\\ &=\frac{np \left(1-p\right)}{p^2 \left(1-p\right)^2}\\ &=\frac{n}{p \left(1-p\right)} \end{align} $\blacksquare$

最尤推定された期待情報量は、$p=\hat{p}$ を代入して、 \begin{align} I \left(\hat{p}\right)=\frac{N}{\hat{p} \left(1-\hat{p}\right)} \end{align} いっぽう、最尤推定された観測情報量は、$p=\hat{p}$ を代入して、 \begin{align} i \left(\hat{p}\right)&=\frac{x}{{\hat{p}}^2}+\frac{N-x}{ \left(1-\hat{p}\right)^2}\\ &=\frac{x \left(1-\hat{p}\right)^2+{\hat{p}}^2 \left(N-x\right)}{{\hat{p}}^2 \left(1-\hat{p}\right)^2}\\ &=\frac{x-2\hat{p}x+{\hat{p}}^2x+{\hat{p}}^2N-{\hat{p}}^2x}{{\hat{p}}^2 \left(1-\hat{p}\right)^2}\\ &=\frac{x-2\hat{p}x+{\hat{p}}^2N}{{\hat{p}}^2 \left(1-\hat{p}\right)^2} \end{align} $x=N\hat{p}$ より、 \begin{align} i \left(\hat{p}\right)&=\frac{\hat{p}N-2{\hat{p}}^2N+{\hat{p}}^2N}{{\hat{p}}^2 \left(1-\hat{p}\right)^2}\\ &=\frac{\hat{p}N-{\hat{p}}^2N}{{\hat{p}}^2 \left(1-\hat{p}\right)^2}\\ &=\frac{\hat{p}N \left(1-\hat{p}\right)}{{\hat{p}}^2 \left(1-\hat{p}\right)^2}\\ &=\frac{N}{\hat{p} \left(1-\hat{p}\right)} \end{align} したがって、 \begin{align} i \left(\hat{p}\right)=I \left(\hat{p}\right) \end{align} $\blacksquare$

ポアソン分布の確率関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix}\displaystyle\frac{\lambda^xe^{-\lambda}}{x!}& \left(x=0,1,2, \cdots \right)\\0&\mathrm{other}\\\end{matrix}\right. \end{align}

（i）最尤推定量
尤度関数 $L \left(\theta\right)$ を求めると、 \begin{align} L \left(\lambda\right)&=\prod_{i=1}^{n}\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}\\ &=\lambda^{ \left(x_1+x_2+ \cdots +x_n\right)} \cdot e^{-n\lambda} \cdot \frac{1}{x_1!} \cdot \frac{1}{x_2!} \cdot \cdots \cdot \frac{1}{x_n!}\\ &=\lambda^{\sum_{i=1}^{n}x_i} \cdot e^{-n\lambda} \cdot \prod_{i=1}^{n}\frac{1}{x_i!} \end{align} 対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(\lambda\right)&=\log{ \left(\lambda^{\sum_{i=1}^{n}x_i} \cdot e^{-n\lambda} \cdot \prod_{i=1}^{n}\frac{1}{x_i!}\right)}\\ &=\sum_{i=1}^{n}x_i\log{\lambda}-n\lambda+\log{\prod_{i=1}^{n}\frac{1}{x_i!}} \end{align} スコア関数 $S \left(\theta\right)=\frac{d}{d\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(\lambda\right)=\frac{1}{\lambda}\sum_{i=1}^{n}x_i-n \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=\frac{1}{\hat{\lambda}}\sum_{i=1}^{n}x_i-n\\ \sum_{i=1}^{n}x_i-n\hat{\lambda}=0\\ n\hat{\lambda}=\sum_{i=1}^{n}x_i\\ \hat{\lambda}=\frac{1}{n}\sum_{i=1}^{n}x_i \end{gather} $\blacksquare$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_1 \left(\lambda\right)&=E \left[ \left(\frac{x}{\lambda}-1\right)^2\right]\\ &=E \left(\frac{x^2}{\lambda^2}-\frac{2x}{\lambda}+1\right)\\ &=\frac{1}{\lambda^2}E \left(X^2\right)-\frac{2}{\lambda}E \left(X\right)+1 \end{align} ポアソン分布の期待値と分散の公式より、 \begin{align} E \left(X\right)=\lambda \quad V \left(X\right)=\lambda \end{align} 分散の公式の変形 $E \left(X^2\right)=V \left(X\right)+ \left\{E \left(X\right)\right\}^2$ より、2次モーメントは、 \begin{align} E \left(X^2\right)=\lambda^2+\lambda \end{align} したがって、 \begin{align} I_1 \left(\lambda\right)&=\frac{1}{\lambda^2} \left(\lambda^2+\lambda\right)-\frac{2}{\lambda} \cdot \lambda+1\\ &=1+\frac{1}{\lambda}-2+1\\ &=\frac{1}{\lambda} \end{align} フィッシャー情報量の性質 $I_n \left(\theta\right)=nI_1 \left(\theta\right)$ より、 \begin{align} I_n \left(\lambda\right)=\frac{n}{\lambda} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{\lambda}{n} \le V \left(\hat{\lambda}\right) \end{align} $\blacksquare$

［別解］ $I_1 \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ としたとき \begin{align} I_1 \left(\lambda\right)&=-E \left(-\frac{x}{\lambda^2}\right)\\ &=\frac{1}{\lambda^2}E \left(X\right) \end{align} ポアソン分布の期待値の公式 $E \left(X\right)=\lambda$ より、 \begin{align} I_1 \left(\lambda\right)&=\frac{1}{\lambda^2} \cdot \lambda\\ &=\frac{1}{\lambda} \end{align} $\blacksquare$

幾何分布の確率関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix} \left(1-p\right)^xp&x=0,1,2, \cdots \\0&\mathrm{other}\\\end{matrix}\right. \end{align}

（i）最尤推定量
尤度関数 $L \left(\theta\right)$ を求めると、 \begin{align} L \left(p\right)&=\prod_{i=1}^{n}{ \left(1-p\right)^{x_i}p}\\ &= \left(1-p\right)^{ \left(x_1+x_2+ \cdots +x_n\right)} \cdot p^n\\ &= \left(1-p\right)^{\sum_{i=1}^{n}x_i} \cdot p^n \end{align} 対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(p\right)&=\log{ \left\{ \left(1-p\right)^{\sum_{i=1}^{n}x_i} \cdot p^n\right\}}\\ &= \left\{\log{ \left(1-p\right)}\sum_{i=1}^{n}x_i\right\}-n\log{p} \end{align} スコア関数 $S \left(\theta\right)=\frac{d}{d\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(p\right)=\frac{\sum_{i=1}^{n}x_i}{1-p}-\frac{n}{p} \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=\frac{\sum_{i=1}^{n}x_i}{1-\hat{p}}-\frac{n}{\hat{p}}\\ \hat{p}\sum_{i=1}^{n}x_i-n \left(1-\hat{p}\right)=0\\ \hat{p}\sum_{i=1}^{n}x_i-n+n\hat{p}=0\\ \hat{p} \left(\sum_{i=1}^{n}x_i+n\right)=n\\ \hat{p}=\frac{n}{\sum_{i=1}^{n}x_i+n} \end{gather}

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_1 \left(p\right)&=E \left[ \left(\frac{x}{1-p}-\frac{n}{p}\right)^2\right]\\ &=E \left\{\frac{x^2}{ \left(1-p\right)^2}-\frac{2x}{p \left(1-p\right)}+\frac{1}{p^2}\right\}\\ &=\frac{1}{ \left(1-p\right)^2}E \left(x^2\right)-\frac{2}{p \left(1-p\right)}E \left(x\right)+\frac{1}{p^2} \end{align} 幾何分布の期待値と分散の公式より、 \begin{align} E \left(X\right)=\frac{1}{p} \quad V \left(X\right)=\frac{1-p}{p^2} \end{align} 分散の公式の変形 $E \left(X^2\right)=V \left(X\right)+ \left\{E \left(X\right)\right\}^2$ より、2次モーメントは、 \begin{align} E \left(X^2\right)=\frac{1-p}{p^2}+\frac{1}{p^2}=\frac{2-p}{p^2} \end{align} したがって、 \begin{align} I_1 \left(p\right)&=\frac{1}{ \left(1-p\right)^2} \cdot \frac{2-p}{p^2}-\frac{2}{p \left(1-p\right)} \cdot \frac{1}{p}+\frac{1}{p^2}\\ &=\frac{2-p}{{p^2 \left(1-p\right)}^2}-\frac{2}{p^2 \left(1-p\right)}+\frac{1}{p^2}\\ &=\frac{ \left(2-p\right)-2 \left(1-p\right)+ \left(1-p\right)^2}{p^2 \left(1-p\right)^2}\\ &=\frac{2-p-2+2p+1-2p+p^2}{p^2 \left(1-p\right)^2}\\ &=\frac{p^2-p+1}{p^2 \left(1-p\right)^2} \end{align} フィッシャー情報量の性質 $I_n \left(\theta\right)=nI_1 \left(\theta\right)$ より、 \begin{align} I_n \left(p\right)=\frac{n \left(p^2-p+1\right)}{p^2 \left(1-p\right)^2} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \begin{matrix}\frac{p^2 \left(1-p\right)^2}{n \left(p^2-p+1\right)} \le V \left(\hat{p}\right)&p \lt \frac{1}{2}\\\end{matrix} \end{align} $\blacksquare$

［別解］$I_1 \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ としたとき \begin{align} I_1 \left(p\right)&=-E \left\{\frac{x}{ \left(1-p\right)^2}+\frac{1}{p^2}\right\}\\ &=- \left\{\frac{1}{ \left(1-p\right)^2}E \left(x\right)+\frac{1}{p^2}\right\}\\ &=- \left[\frac{1}{ \left(1-p\right)^2} \cdot \frac{1}{p}+\frac{1}{p^2}\right]\\ &=- \left[\frac{1}{p \left(1-p\right)^2}+\frac{1}{p^2}\right]\\ &=- \left[\frac{p+ \left(1-p\right)^2}{p^2 \left(1-p\right)^2}\right]\\ &=- \left[\frac{p+1-2p+p^2}{p^2 \left(1-p\right)^2}\right]\\ &=\frac{p^2-p+1}{p^2 \left(1-p\right)^2} \end{align} $\blacksquare$

正規分布の確率密度関数は、 \begin{align} \begin{matrix}f \left(x\right)=\displaystyle\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ \left(x-\mu\right)^2}{2\sigma^2}}& \left(-\infty \lt x \lt \infty\right)\\\end{matrix} \end{align}

（i）最尤推定量
尤度関数 $L \left(\boldsymbol{\theta}\right)$ を求めると、 \begin{align} L \left(\mu,\sigma^2\right)&=\prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ \left(x_i-\mu\right)^2}{2\sigma^2}}}\\ &= \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\right\}\\ &= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\right\} \end{align} 対数尤度関数 $l \left(\boldsymbol{\theta}\right)=\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} l \left(\mu,\sigma^2\right)&=\log{ \left[ \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\right\}\right]}\\ &=-\frac{n}{2}\log{2\pi\sigma^2}-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\\ &=-\frac{n}{2} \left(\log{2\pi}+\log{\sigma^2}\right)-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\\ &=-\frac{n}{2} \left(\log{2\pi}+\log{\sigma^2}\right)-\frac{1}{2\sigma^2} \left(\sum_{i=1}^{n}x_i^2-2\mu\sum_{i=1}^{n}x_i+n\mu^2\right) \end{align}

（a）パラメータ $\mu$ に関するスコア関数 $S \left(\theta\right)=\frac{\partial}{\partial\mu}\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} S \left(\mu\right)=-\frac{1}{2\sigma^2} \left(2n\mu-2\sum_{i=1}^{n}x_i\right) \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=-\frac{1}{2\sigma^2} \left(2n\hat{\mu}-2\sum_{i=1}^{n}x_i\right)\\ n\hat{\mu}-\sum_{i=1}^{n}x_i=0\\ n\hat{\mu}=\sum_{i=1}^{n}x_i\\ \hat{\mu}=\frac{1}{n}\sum_{i=1}^{n}x_i \end{gather}

（b）パラメータ $\sigma^2$ に関するスコア関数 $S \left(\theta\right)=\frac{\partial}{\partial\sigma^2}\log{L \left(\boldsymbol{\theta}\right)}$ を求めると、 \begin{align} S \left(\sigma^2\right)=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^{n} \left(x_i-\mu\right)^2 \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=-\frac{n}{2{\hat{\sigma}}^2}+\frac{1}{2{\hat{\sigma}}^4}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\\ 0=n{\hat{\sigma}}^2+\sum_{i=1}^{n} \left(x_i-\mu\right)^2\\ {\hat{\sigma}}^2=\frac{1}{n}\sum_{i=1}^{n} \left(x_i-\mu\right)^2 \end{gather} ここで、平均 $\mu$ は未知数なので、その最尤推定量 $\hat{\mu}=\bar{x}$ で置換すると、 \begin{align} {\hat{\sigma}}^2=\frac{1}{n}\sum_{i=1}^{n} \left(x_i-\bar{x}\right)^2 \end{align} $\blacksquare$

（ii）フィッシャー情報量とクラメール・ラオの下限
（a）フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_1 \left(\mu\right)&=E \left[ \left\{\frac{1}{\sigma^2} \left(x-\mu\right)\right\}^2\right]\\ &=E \left\{\frac{1}{\sigma^4} \left(x-\mu\right)^2\right\}\\ &=\frac{1}{\sigma^4}E \left\{ \left(x-\mu\right)^2\right\} \end{align} 分散の定義式 $E \left\{ \left(X-\mu\right)^2\right\}=\sigma^2$ より、 \begin{align} I_1 \left(\mu\right)=\frac{1}{\sigma^4} \cdot \sigma^2=\frac{1}{\sigma^2} \end{align} フィッシャー情報量の性質 $I_n \left(\theta\right)=nI_1 \left(\theta\right)$ より、 \begin{align} I_n \left(\mu\right)=\frac{n}{\sigma^2} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{\sigma^2}{n} \le V \left(\hat{\mu}\right) \end{align} $\blacksquare$

［別解］ $I_1 \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ としたとき \begin{align} I_1 \left(\mu\right)=-E \left(-\frac{1}{\sigma^2}\right)=\frac{1}{\sigma^2} \end{align} $\blacksquare$

（b）フィッシャー情報量の定義式 $I_n \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ より、 \begin{align} I_1 \left(\sigma^2\right)&=-E \left(\frac{1}{2\sigma^4}-\frac{ \left(x-\mu\right)^2}{\sigma^6}\right)\\ &=-\frac{1}{2\sigma^4}+\frac{1}{\sigma^6}E \left\{ \left(x-\mu\right)^2\right\} \end{align} 分散の定義式 $E \left\{ \left(X-\mu\right)^2\right\}=\sigma^2$ より、 \begin{align} I_1 \left(\sigma^2\right)=-\frac{1}{2\sigma^4}+\frac{1}{\sigma^4}=\frac{1}{2\sigma^4} \end{align} フィッシャー情報量の性質 $I_n \left(\theta\right)=nI_1 \left(\theta\right)$ より、 \begin{align} I_n \left(\sigma^2\right)=\frac{n}{2\sigma^4} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{2\sigma^4}{n} \le V \left({\hat{\sigma}}^2\right) \end{align} $\blacksquare$

指数分布の確率密度関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix}\lambda e^{-\lambda x}& \left(0 \le x\right)\\0& \left(x \lt 0\right)\\\end{matrix}\right. \end{align}

（i）最尤推定量
尤度関数 $L \left(\theta\right)$ を求めると、 \begin{align} L \left(\lambda\right)&=\prod_{i=1}^{n}{\lambda e^{-\lambda x_i}}\\ &=e^{-\lambda \left(x_1+x_2+ \cdots +x_n\right)} \cdot \lambda^n\\ &=e^{-\lambda\sum_{i=1}^{n}x_i} \cdot \lambda^n \end{align} 対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(\lambda\right)&=\log{ \left(e^{-\lambda\sum_{i=1}^{n}x_i} \cdot \lambda^n\right)}\\ &=-\lambda\sum_{i=1}^{n}x_i+n\log{\lambda} \end{align} スコア関数 $S \left(\theta\right)=\frac{d}{d\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(\lambda\right)=-\sum_{i=1}^{n}x_i+\frac{n}{\lambda} \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=-\sum_{i=1}^{n}x_i+\frac{n}{\hat{\lambda}}\\ \hat{\lambda}\sum_{i=1}^{n}x_i=n\\ \hat{\lambda}=\frac{n}{\sum_{i=1}^{n}x_i} \end{gather} $\blacksquare$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_1 \left(\lambda\right)&=E \left[ \left(-x+\frac{1}{\lambda}\right)^2\right]\\ &=E \left(\frac{\lambda^2x^2-2\lambda x+1}{\lambda^2}\right)\\ &=\frac{1}{\lambda^2} \left\{\lambda^2E \left(X^2\right)-2\lambda E \left(X\right)+1\right\} \end{align} 指数分布の期待値の公式より、 \begin{align} E \left(X\right)=\frac{1}{\lambda} \end{align} 指数分布の分散の公式より、 \begin{align} V \left(X\right)=\frac{1}{\lambda^2} \end{align} 分散の公式の変形 $E \left(X^2\right)=V \left(X\right)+ \left\{E \left(X\right)\right\}^2$ より、2次モーメントは、 \begin{align} E \left(X^2\right)&=\frac{1}{\lambda^2}+\frac{1}{\lambda^2}\\ &=\frac{2}{\lambda^2} \end{align} したがって、 \begin{align} I_1 \left(\lambda\right)&=\frac{1}{\lambda^2} \left(\lambda^2 \cdot \frac{2}{\lambda^2}-2\lambda \cdot \frac{1}{\lambda}+1\right)\\ &=\frac{1}{\lambda^2} \cdot 1\\ &=\frac{1}{\lambda^2} \end{align} フィッシャー情報量の性質 $I_n \left(\theta\right)=nI_1 \left(\theta\right)$ より、 \begin{align} I_n \left(\lambda\right)=\frac{n}{\lambda^2} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{\lambda^2}{n} \le V \left(\hat{\lambda}\right) \end{align} $\blacksquare$

［別解］$I_1 \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ としたとき \begin{align} I_1 \left(p\right)&=-E \left(-\frac{1}{\lambda^2}\right)\\ &=\frac{1}{\lambda^2} \end{align}

ガンマ分布の確率密度関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix}\displaystyle\frac{\beta^\alpha}{\Gamma \left(\alpha\right)}x^{\alpha-1}e^{-\beta x}& \left(0 \le x\right)\\0& \left(x \lt 0\right)\\\end{matrix}\right. \end{align} ただし、$\alpha$ は既知とする。

（i）最尤推定量
尤度関数 $L \left(\theta\right)$ を求めると、 \begin{align} L \left(\alpha,\beta\right)&=\prod_{i=1}^{n}{\frac{\beta^\alpha}{\Gamma \left(\alpha\right)}x_i^{\alpha-1}e^{-\beta x_i}}\\ &=\frac{\beta^{n\alpha}}{ \left\{\Gamma \left(\alpha\right)\right\}^n} \cdot e^{-\beta \left(x_1+x_2+ \cdots +x_n\right)} \cdot \left(x_1x_2 \cdots x_n\right)^{\alpha-1}\\ &=\frac{\beta^{n\alpha}}{ \left\{\Gamma \left(\alpha\right)\right\}^n} \cdot e^{-\beta\sum_{i=1}^{n}x_i} \cdot \left(\prod_{i=1}^{n}x_i\right)^{\alpha-1} \end{align} 対数尤度関数 $l \left(\theta\right)=\log{L \left(\theta\right)}$ を求めると、 \begin{align} l \left(\alpha,\beta\right)&=\log{ \left[\frac{\beta^{n\alpha}}{ \left\{\Gamma \left(\alpha\right)\right\}^n} \cdot e^{-\beta\sum_{i=1}^{n}x_i} \cdot \left(\prod_{i=1}^{n}x_i\right)^{\alpha-1}\right]}\\ &=n\alpha\log{\beta}-n\log{\Gamma \left(\alpha\right)}-\beta\sum_{i=1}^{n}x_i+ \left(\alpha-1\right)\sum_{i=1}^{n}\log{x_i} \end{align} パラメータ $\beta$ に関するスコア関数 $S \left(\theta\right)=\frac{\partial}{\partial\theta}\log{L \left(\theta\right)}$ を求めると、 \begin{align} S \left(\beta\right)=\frac{n\alpha}{\beta}-\sum_{i=1}^{n}x_i \end{align} 尤度方程式 $S \left(\theta\right)=0$ を解くと、 \begin{gather} 0=\frac{n\alpha}{\hat{\beta}}-\sum_{i=1}^{n}x_i\\ \hat{\beta}\sum_{i=1}^{n}x_i=n\alpha\\ \hat{\beta}=\frac{n\alpha}{\sum_{i=1}^{n}x_i} \end{gather} $\blacksquare$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_1 \left(\beta\right)&=E \left[ \left(\frac{\alpha}{\beta}-x\right)^2\right]\\ &=E \left(\frac{\beta^2x^2-2\alpha\beta x+\alpha^2}{\beta^2}\right)\\ &=\frac{1}{\beta^2} \left\{\beta^2E \left(X^2\right)-2\alpha\beta E \left(X\right)+\alpha^2\right\} \end{align} ガンマ分布の期待値の公式より、 \begin{align} E \left(X\right)=\frac{\alpha}{\beta} \end{align} ガンマ分布の分散の公式より、 \begin{align} V \left(X\right)=\frac{\alpha}{\beta^2} \end{align} 分散の公式の変形 $E \left(X^2\right)=V \left(X\right)+ \left\{E \left(X\right)\right\}^2$ より、2次モーメントは、 \begin{align} E \left(X^2\right)&=\frac{\alpha}{\beta^2}+\frac{\alpha^2}{\beta^2}\\ &=\frac{\alpha \left(\alpha+1\right)}{\beta^2} \end{align} したがって、 \begin{align} I_1 \left(\hat{\beta}\right)&=\frac{1}{\beta^2} \left\{\beta^2 \cdot \frac{\alpha \left(\alpha+1\right)}{\beta^2}-2\alpha\beta \cdot \frac{\alpha}{\beta}+\alpha^2\right\}\\ &=\frac{1}{\beta^2} \cdot \alpha\\ &=\frac{\alpha}{\beta^2} \end{align} フィッシャー情報量の性質 $I_n \left(\theta\right)=nI_1 \left(\theta\right)$ より、 \begin{align} I_n \left(\hat{\beta}\right)=\frac{n\alpha}{\beta^2} \end{align} クラメール・ラオの不等式 $\frac{1}{I_n \left(\theta\right)} \le V \left(\hat{\theta}\right)$ より、 \begin{align} \frac{\beta^2}{n\alpha} \le V \left(\hat{\beta}\right) \end{align} $\blacksquare$

［別解］ $I_1 \left(\theta\right)=-E \left[\frac{d^2}{d\theta^2}l \left(\theta\right)\right]$ としたとき \begin{align} I_1 \left(\beta\right)&=-E \left(-\frac{\alpha}{\beta^2}\right)\\ &=\frac{\alpha}{\beta^2} \end{align} $\blacksquare$