代表的な確率分布の最尤推定量とフィッシャー情報量の導出

二項分布の確率関数は、 $$\begin{array}{c}f\left(x\right)=\{\begin{array}{cc}{}_n{C}_x{p}^x{(1-p)}^{n-x}& x=0,1,\cdots ,n\\ 0& \mathrm{other}\end{array}\end{array}$$

（i）最尤推定量
尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{r}L\left(p\right)={}_n{C}_x{p}^x{(1-p)}^{n-x}\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l\left(p\right)& =\log \left\{{}_n{C}_x{p}^x{(1-p)}^{n-x}\right\}\\ & =x\log p+(n-x)\log (1-p)+\log {}_n{C}_x\end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(p\right)=\frac{x}{p}-\frac{n-x}{1-p}\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=\frac{1}{\hat{p}}x-\frac{n-x}{1-\hat{p}}\\ (1-\hat{p})x-(n-x)\hat{p}=0\\ x-\hat{p}x-n\hat{p}+\hat{p}x=0\\ n\hat{p}=x\\ \hat{p}=\frac{x}{n}\end{array}$$ $◼$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_n\left(p\right)& =E\left[{\left\{\frac{x-np}{p(1-p)}\right\}}^2\right]\\ & =E\left[\frac{x^2-2xnp+n^2{p}^2}{p^2{(1-p)}^2}\right]\\ & =\frac{1}{p^2{(1-p)}^2}\{E\left(X^2\right)-2npE\left(X\right)+n^2{p}^2\}\end{array}$$ 二項分布の期待値と分散の公式より、 $$\begin{array}{r}E\left(X\right)=npV\left(X\right)=np(1-p)\end{array}$$ 分散の公式の変形 $E\left(X^2\right)=V\left(X\right)+{\left\{E\left(X\right)\right\}}^2$ より、2次モーメントは、 $$\begin{array}{rl}E\left(X^2\right)& =np(1-p)+n^2{p}^2\\ & =n^2{p}^2-n{p}^2+np\end{array}$$ したがって、 $$\begin{array}{rl}{I}_n\left(p\right)& =\frac{1}{p^2{(1-p)}^2}(n^2{p}^2-n{p}^2+np-2np\cdot np+n^2{p}^2)\\ & =\frac{np(1-p)}{p^2{(1-p)}^2}\\ & =\frac{n}{p(1-p)}\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{p(1-p)}{n}\le V\left(\hat{p}\right)\end{array}$$ $◼$

［別解］ $I_n\left(p\right)=-E\left[\frac{{\partial }^2}{\partial {\theta }^2}l\left(\theta \right)\right]$ としたとき $$\begin{array}{rl}{I}_n\left(p\right)& =-E[-\frac{x-2xp+n{p}^2}{p^2{(1-p)}^2}]\\ & =\frac{1}{p^2{(1-p)}^2}\{E\left(X\right)-2pE\left(X\right)+n{p}^2\}\end{array}$$ 二項分布の期待値の公式 $E\left(X\right)=np$ より、 $$\begin{array}{rl}{I}_n\left(p\right)& =\frac{np-2n{p}^2+n{p}^2}{p^2{(1-p)}^2}\\ & =\frac{np-n{p}^2}{p^2{(1-p)}^2}\\ & =\frac{np(1-p)}{p^2{(1-p)}^2}\\ & =\frac{n}{p(1-p)}\end{array}$$ $◼$

最尤推定された期待情報量は、$p=\hat{p}$ を代入して、 $$\begin{array}{r}I\left(\hat{p}\right)=\frac{N}{\hat{p}(1-\hat{p})}\end{array}$$ いっぽう、最尤推定された観測情報量は、$p=\hat{p}$ を代入して、 $$\begin{array}{rl}i\left(\hat{p}\right)& =\frac{x}{{\hat{p}}^2}+\frac{N-x}{{(1-\hat{p})}^2}\\ & =\frac{x{(1-\hat{p})}^2+{\hat{p}}^2(N-x)}{{\hat{p}}^2{(1-\hat{p})}^2}\\ & =\frac{x-2\hat{p}x+{\hat{p}}^{2}x+{\hat{p}}^{2}N-{\hat{p}}^{2}x}{{\hat{p}}^2{(1-\hat{p})}^2}\\ & =\frac{x-2\hat{p}x+{\hat{p}}^{2}N}{{\hat{p}}^2{(1-\hat{p})}^2}\end{array}$$ $x=N\hat{p}$ より、 $$\begin{array}{rl}i\left(\hat{p}\right)& =\frac{\hat{p}N-2{\hat{p}}^{2}N+{\hat{p}}^{2}N}{{\hat{p}}^2{(1-\hat{p})}^2}\\ & =\frac{\hat{p}N-{\hat{p}}^{2}N}{{\hat{p}}^2{(1-\hat{p})}^2}\\ & =\frac{\hat{p}N(1-\hat{p})}{{\hat{p}}^2{(1-\hat{p})}^2}\\ & =\frac{N}{\hat{p}(1-\hat{p})}\end{array}$$ したがって、 $$\begin{array}{r}i\left(\hat{p}\right)=I\left(\hat{p}\right)\end{array}$$ $◼$

ポアソン分布の確率関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}{\displaystyle \frac{{\lambda }^x{e}^{-\lambda }}{x!}}& (x=0,1,2,\cdots )\\ 0& \mathrm{other}\end{array}\end{array}$$

（i）最尤推定量
尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}L\left(\lambda \right)& =\prod _{i=1}^n\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}\\ & ={\lambda }^{(x_1+x_2+\cdots +x_n)}\cdot e^{-n\lambda }\cdot \frac{1}{x_1!}\cdot \frac{1}{x_2!}\cdot \cdots \cdot \frac{1}{x_n!}\\ & ={\lambda }^{\sum _{i=1}^n{x}_i}\cdot e^{-n\lambda }\cdot \prod _{i=1}^n\frac{1}{x_i!}\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l\left(\lambda \right)& =\log ({\lambda }^{\sum _{i=1}^n{x}_i}\cdot e^{-n\lambda }\cdot \prod _{i=1}^n\frac{1}{x_i!})\\ & =\sum _{i=1}^n{x}_i\log \lambda -n\lambda +\log \prod _{i=1}^n\frac{1}{x_i!}\end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(\lambda \right)=\frac{1}{\lambda }\sum _{i=1}^n{x}_i-n\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=\frac{1}{\hat{\lambda }}\sum _{i=1}^n{x}_i-n\\ \sum _{i=1}^n{x}_i-n\hat{\lambda }=0\\ n\hat{\lambda }=\sum _{i=1}^n{x}_i\\ \hat{\lambda }=\frac{1}{n}\sum _{i=1}^n{x}_i\end{array}$$ $◼$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =E\left[{(\frac{x}{\lambda }-1)}^2\right]\\ & =E(\frac{x^2}{{\lambda }^2}-\frac{2x}{\lambda }+1)\\ & =\frac{1}{{\lambda }^2}E\left(X^2\right)-\frac{2}{\lambda }E\left(X\right)+1\end{array}$$ ポアソン分布の期待値と分散の公式より、 $$\begin{array}{r}E\left(X\right)=\lambda V\left(X\right)=\lambda \end{array}$$ 分散の公式の変形 $E\left(X^2\right)=V\left(X\right)+{\left\{E\left(X\right)\right\}}^2$ より、2次モーメントは、 $$\begin{array}{r}E\left(X^2\right)={\lambda }^2+\lambda \end{array}$$ したがって、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =\frac{1}{{\lambda }^2}({\lambda }^2+\lambda )-\frac{2}{\lambda }\cdot \lambda +1\\ & =1+\frac{1}{\lambda }-2+1\\ & =\frac{1}{\lambda }\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left(\lambda \right)=\frac{n}{\lambda }\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{\lambda }{n}\le V\left(\hat{\lambda }\right)\end{array}$$ $◼$

［別解］ $I_1\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ としたとき $$\begin{array}{rl}{I}_1\left(\lambda \right)& =-E(-\frac{x}{{\lambda }^2})\\ & =\frac{1}{{\lambda }^2}E\left(X\right)\end{array}$$ ポアソン分布の期待値の公式 $E\left(X\right)=\lambda$ より、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =\frac{1}{{\lambda }^2}\cdot \lambda \\ & =\frac{1}{\lambda }\end{array}$$ $◼$

幾何分布の確率関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}{(1-p)}^{x}p& x=0,1,2,\cdots \\ 0& \mathrm{other}\end{array}\end{array}$$

（i）最尤推定量
尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}L\left(p\right)& =\prod _{i=1}^n{(1-p)}^{x_i}p\\ & ={(1-p)}^{(x_1+x_2+\cdots +x_n)}\cdot p^n\\ & ={(1-p)}^{\sum _{i=1}^n{x}_i}\cdot p^n\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l\left(p\right)& =\log \{{(1-p)}^{\sum _{i=1}^n{x}_i}\cdot p^n\}\\ & =\{\log (1-p)\sum _{i=1}^n{x}_i\}-n\log p\end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(p\right)=\frac{\sum _{i=1}^n{x}_i}{1-p}-\frac{n}{p}\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=\frac{\sum _{i=1}^n{x}_i}{1-\hat{p}}-\frac{n}{\hat{p}}\\ \hat{p}\sum _{i=1}^n{x}_i-n(1-\hat{p})=0\\ \hat{p}\sum _{i=1}^n{x}_i-n+n\hat{p}=0\\ \hat{p}(\sum _{i=1}^n{x}_i+n)=n\\ \hat{p}=\frac{n}{\sum _{i=1}^n{x}_i+n}\end{array}$$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_1\left(p\right)& =E\left[{(\frac{x}{1-p}-\frac{n}{p})}^2\right]\\ & =E\{\frac{x^2}{{(1-p)}^2}-\frac{2x}{p(1-p)}+\frac{1}{p^2}\}\\ & =\frac{1}{{(1-p)}^2}E\left(x^2\right)-\frac{2}{p(1-p)}E\left(x\right)+\frac{1}{p^2}\end{array}$$ 幾何分布の期待値と分散の公式より、 $$\begin{array}{r}E\left(X\right)=\frac{1}{p}V\left(X\right)=\frac{1-p}{p^2}\end{array}$$ 分散の公式の変形 $E\left(X^2\right)=V\left(X\right)+{\left\{E\left(X\right)\right\}}^2$ より、2次モーメントは、 $$\begin{array}{r}E\left(X^2\right)=\frac{1-p}{p^2}+\frac{1}{p^2}=\frac{2-p}{p^2}\end{array}$$ したがって、 $$\begin{array}{rl}{I}_1\left(p\right)& =\frac{1}{{(1-p)}^2}\cdot \frac{2-p}{p^2}-\frac{2}{p(1-p)}\cdot \frac{1}{p}+\frac{1}{p^2}\\ & =\frac{2-p}{{p^2(1-p)}^2}-\frac{2}{p^2(1-p)}+\frac{1}{p^2}\\ & =\frac{(2-p)-2(1-p)+{(1-p)}^2}{p^2{(1-p)}^2}\\ & =\frac{2-p-2+2p+1-2p+p^2}{p^2{(1-p)}^2}\\ & =\frac{p^2-p+1}{p^2{(1-p)}^2}\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left(p\right)=\frac{n(p^2-p+1)}{p^2{(1-p)}^2}\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\begin{array}{cc}\frac{p^2{(1-p)}^2}{n(p^2-p+1)}\le V\left(\hat{p}\right)& p<\frac{1}{2}\end{array}\end{array}$$ $◼$

［別解］$I_1\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ としたとき $$\begin{array}{rl}{I}_1\left(p\right)& =-E\{\frac{x}{{(1-p)}^2}+\frac{1}{p^2}\}\\ & =-\{\frac{1}{{(1-p)}^2}E\left(x\right)+\frac{1}{p^2}\}\\ & =-[\frac{1}{{(1-p)}^2}\cdot \frac{1}{p}+\frac{1}{p^2}]\\ & =-[\frac{1}{p{(1-p)}^2}+\frac{1}{p^2}]\\ & =-\left[\frac{p+{(1-p)}^2}{p^2{(1-p)}^2}\right]\\ & =-\left[\frac{p+1-2p+p^2}{p^2{(1-p)}^2}\right]\\ & =\frac{p^2-p+1}{p^2{(1-p)}^2}\end{array}$$ $◼$

正規分布の確率密度関数は、 $$\begin{array}{r}\begin{array}{cc}f\left(x\right)={\displaystyle \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}}}& (-\mathrm{\infty }<x<\mathrm{\infty })\end{array}\end{array}$$

（i）最尤推定量
尤度関数 $L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}L(\mu ,{\sigma }^2)& =\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x_i-\mu )}^2}{2{\sigma }^2}}\\ & ={\left(\frac{1}{\sqrt{2\pi {\sigma }^2}}\right)}^n\cdot \exp \{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(x_i-\mu )}^2\}\\ & ={\left(\frac{1}{2\pi {\sigma }^2}\right)}^{\frac{n}{2}}\cdot \exp \{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(x_i-\mu )}^2\}\end{array}$$ 対数尤度関数 $l\left(\mathit{\theta }\right)=\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{rl}l(\mu ,{\sigma }^2)& =\log [{\left(\frac{1}{2\pi {\sigma }^2}\right)}^{\frac{n}{2}}\cdot \exp \{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(x_i-\mu )}^2\}]\\ & =-\frac{n}{2}\log 2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(x_i-\mu )}^2\\ & =-\frac{n}{2}(\log 2\pi +\log {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{(x_i-\mu )}^2\\ & =-\frac{n}{2}(\log 2\pi +\log {\sigma }^2)-\frac{1}{2{\sigma }^2}(\sum _{i=1}^n{x}_i^2-2\mu \sum _{i=1}^n{x}_i+n{\mu }^2)\end{array}$$

（a）パラメータ $\mu$ に関するスコア関数 $S\left(\theta \right)=\frac{\partial }{\partial \mu }\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{r}S\left(\mu \right)=-\frac{1}{2{\sigma }^2}(2n\mu -2\sum _{i=1}^n{x}_i)\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=-\frac{1}{2{\sigma }^2}(2n\hat{\mu }-2\sum _{i=1}^n{x}_i)\\ n\hat{\mu }-\sum _{i=1}^n{x}_i=0\\ n\hat{\mu }=\sum _{i=1}^n{x}_i\\ \hat{\mu }=\frac{1}{n}\sum _{i=1}^n{x}_i\end{array}$$

（b）パラメータ ${\sigma }^2$ に関するスコア関数 $S\left(\theta \right)=\frac{\partial }{\partial {\sigma }^2}\log L\left(\mathit{\theta }\right)$ を求めると、 $$\begin{array}{r}S\left({\sigma }^2\right)=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^n{(x_i-\mu )}^2\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=-\frac{n}{2{\hat{\sigma }}^2}+\frac{1}{2{\hat{\sigma }}^4}\sum _{i=1}^n{(x_i-\mu )}^2\\ 0=n{\hat{\sigma }}^2+\sum _{i=1}^n{(x_i-\mu )}^2\\ {\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{(x_i-\mu )}^2\end{array}$$ ここで、平均 $\mu$ は未知数なので、その最尤推定量 $\hat{\mu }=\overline{x}$ で置換すると、 $$\begin{array}{r}{\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{(x_i-\overline{x})}^2\end{array}$$ $◼$

（ii）フィッシャー情報量とクラメール・ラオの下限
（a）フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_1\left(\mu \right)& =E\left[{\left\{\frac{1}{{\sigma }^2}(x-\mu )\right\}}^2\right]\\ & =E\left\{\frac{1}{{\sigma }^4}{(x-\mu )}^2\right\}\\ & =\frac{1}{{\sigma }^4}E\left\{{(x-\mu )}^2\right\}\end{array}$$ 分散の定義式 $E\left\{{(X-\mu )}^2\right\}={\sigma }^2$ より、 $$\begin{array}{r}{I}_1\left(\mu \right)=\frac{1}{{\sigma }^4}\cdot {\sigma }^2=\frac{1}{{\sigma }^2}\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left(\mu \right)=\frac{n}{{\sigma }^2}\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{{\sigma }^2}{n}\le V\left(\hat{\mu }\right)\end{array}$$ $◼$

［別解］ $I_1\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ としたとき $$\begin{array}{r}{I}_1\left(\mu \right)=-E(-\frac{1}{{\sigma }^2})=\frac{1}{{\sigma }^2}\end{array}$$ $◼$

（b）フィッシャー情報量の定義式 $I_n\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ より、 $$\begin{array}{rl}{I}_1\left({\sigma }^2\right)& =-E(\frac{1}{2{\sigma }^4}-\frac{{(x-\mu )}^2}{{\sigma }^6})\\ & =-\frac{1}{2{\sigma }^4}+\frac{1}{{\sigma }^6}E\left\{{(x-\mu )}^2\right\}\end{array}$$ 分散の定義式 $E\left\{{(X-\mu )}^2\right\}={\sigma }^2$ より、 $$\begin{array}{r}{I}_1\left({\sigma }^2\right)=-\frac{1}{2{\sigma }^4}+\frac{1}{{\sigma }^4}=\frac{1}{2{\sigma }^4}\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left({\sigma }^2\right)=\frac{n}{2{\sigma }^4}\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{2{\sigma }^4}{n}\le V\left({\hat{\sigma }}^2\right)\end{array}$$ $◼$

指数分布の確率密度関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}\lambda e^{-\lambda x}& (0\le x)\\ 0& (x<0)\end{array}\end{array}$$

（i）最尤推定量
尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}L\left(\lambda \right)& =\prod _{i=1}^n\lambda e^{-\lambda x_i}\\ & =e^{-\lambda (x_1+x_2+\cdots +x_n)}\cdot {\lambda }^n\\ & =e^{-\lambda \sum _{i=1}^n{x}_i}\cdot {\lambda }^n\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l\left(\lambda \right)& =\log (e^{-\lambda \sum _{i=1}^n{x}_i}\cdot {\lambda }^n)\\ & =-\lambda \sum _{i=1}^n{x}_i+n\log \lambda \end{array}$$ スコア関数 $S\left(\theta \right)=\frac{d}{d\theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(\lambda \right)=-\sum _{i=1}^n{x}_i+\frac{n}{\lambda }\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=-\sum _{i=1}^n{x}_i+\frac{n}{\hat{\lambda }}\\ \hat{\lambda }\sum _{i=1}^n{x}_i=n\\ \hat{\lambda }=\frac{n}{\sum _{i=1}^n{x}_i}\end{array}$$ $◼$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =E\left[{(-x+\frac{1}{\lambda })}^2\right]\\ & =E\left(\frac{{\lambda }^2{x}^2-2\lambda x+1}{{\lambda }^2}\right)\\ & =\frac{1}{{\lambda }^2}\{{\lambda }^{2}E\left(X^2\right)-2\lambda E\left(X\right)+1\}\end{array}$$ 指数分布の期待値の公式より、 $$\begin{array}{r}E\left(X\right)=\frac{1}{\lambda }\end{array}$$ 指数分布の分散の公式より、 $$\begin{array}{r}V\left(X\right)=\frac{1}{{\lambda }^2}\end{array}$$ 分散の公式の変形 $E\left(X^2\right)=V\left(X\right)+{\left\{E\left(X\right)\right\}}^2$ より、2次モーメントは、 $$\begin{array}{rl}E\left(X^2\right)& =\frac{1}{{\lambda }^2}+\frac{1}{{\lambda }^2}\\ & =\frac{2}{{\lambda }^2}\end{array}$$ したがって、 $$\begin{array}{rl}{I}_1\left(\lambda \right)& =\frac{1}{{\lambda }^2}({\lambda }^2\cdot \frac{2}{{\lambda }^2}-2\lambda \cdot \frac{1}{\lambda }+1)\\ & =\frac{1}{{\lambda }^2}\cdot 1\\ & =\frac{1}{{\lambda }^2}\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left(\lambda \right)=\frac{n}{{\lambda }^2}\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{{\lambda }^2}{n}\le V\left(\hat{\lambda }\right)\end{array}$$ $◼$

［別解］$I_1\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ としたとき $$\begin{array}{rl}{I}_1\left(p\right)& =-E(-\frac{1}{{\lambda }^2})\\ & =\frac{1}{{\lambda }^2}\end{array}$$

ガンマ分布の確率密度関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}{\displaystyle \frac{{\beta }^{\alpha }}{\mathrm{\Gamma }\left(\alpha \right)}{x}^{\alpha -1}{e}^{-\beta x}}& (0\le x)\\ 0& (x<0)\end{array}\end{array}$$ ただし、$\alpha$ は既知とする。

（i）最尤推定量
尤度関数 $L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}L(\alpha ,\beta )& =\prod _{i=1}^n\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }\left(\alpha \right)}{x}_i^{\alpha -1}{e}^{-\beta x_i}\\ & =\frac{{\beta }^{n\alpha }}{{\left\{\mathrm{\Gamma }\left(\alpha \right)\right\}}^n}\cdot e^{-\beta (x_1+x_2+\cdots +x_n)}\cdot {(x_1{x}_2\cdots x_n)}^{\alpha -1}\\ & =\frac{{\beta }^{n\alpha }}{{\left\{\mathrm{\Gamma }\left(\alpha \right)\right\}}^n}\cdot e^{-\beta \sum _{i=1}^n{x}_i}\cdot {\left(\prod _{i=1}^n{x}_i\right)}^{\alpha -1}\end{array}$$ 対数尤度関数 $l\left(\theta \right)=\log L\left(\theta \right)$ を求めると、 $$\begin{array}{rl}l(\alpha ,\beta )& =\log [\frac{{\beta }^{n\alpha }}{{\left\{\mathrm{\Gamma }\left(\alpha \right)\right\}}^n}\cdot e^{-\beta \sum _{i=1}^n{x}_i}\cdot {\left(\prod _{i=1}^n{x}_i\right)}^{\alpha -1}]\\ & =n\alpha \log \beta -n\log \mathrm{\Gamma }\left(\alpha \right)-\beta \sum _{i=1}^n{x}_i+(\alpha -1)\sum _{i=1}^n\log x_i\end{array}$$ パラメータ $\beta$ に関するスコア関数 $S\left(\theta \right)=\frac{\partial }{\partial \theta }\log L\left(\theta \right)$ を求めると、 $$\begin{array}{r}S\left(\beta \right)=\frac{n\alpha }{\beta }-\sum _{i=1}^n{x}_i\end{array}$$ 尤度方程式 $S\left(\theta \right)=0$ を解くと、 $$\begin{array}{c}0=\frac{n\alpha }{\hat{\beta }}-\sum _{i=1}^n{x}_i\\ \hat{\beta }\sum _{i=1}^n{x}_i=n\alpha \\ \hat{\beta }=\frac{n\alpha }{\sum _{i=1}^n{x}_i}\end{array}$$ $◼$

（ii）フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量の定義式 $I_n\left(\theta \right)=E\left[{\left\{S\left(\theta \right)\right\}}^2\right]$ より、 $$\begin{array}{rl}{I}_1\left(\beta \right)& =E\left[{(\frac{\alpha }{\beta }-x)}^2\right]\\ & =E\left(\frac{{\beta }^2{x}^2-2\alpha \beta x+{\alpha }^2}{{\beta }^2}\right)\\ & =\frac{1}{{\beta }^2}\{{\beta }^{2}E\left(X^2\right)-2\alpha \beta E\left(X\right)+{\alpha }^2\}\end{array}$$ ガンマ分布の期待値の公式より、 $$\begin{array}{r}E\left(X\right)=\frac{\alpha }{\beta }\end{array}$$ ガンマ分布の分散の公式より、 $$\begin{array}{r}V\left(X\right)=\frac{\alpha }{{\beta }^2}\end{array}$$ 分散の公式の変形 $E\left(X^2\right)=V\left(X\right)+{\left\{E\left(X\right)\right\}}^2$ より、2次モーメントは、 $$\begin{array}{rl}E\left(X^2\right)& =\frac{\alpha }{{\beta }^2}+\frac{{\alpha }^2}{{\beta }^2}\\ & =\frac{\alpha (\alpha +1)}{{\beta }^2}\end{array}$$ したがって、 $$\begin{array}{rl}{I}_1\left(\hat{\beta }\right)& =\frac{1}{{\beta }^2}\{{\beta }^2\cdot \frac{\alpha (\alpha +1)}{{\beta }^2}-2\alpha \beta \cdot \frac{\alpha }{\beta }+{\alpha }^2\}\\ & =\frac{1}{{\beta }^2}\cdot \alpha \\ & =\frac{\alpha }{{\beta }^2}\end{array}$$ フィッシャー情報量の性質 $I_n\left(\theta \right)=n{I}_1\left(\theta \right)$ より、 $$\begin{array}{r}{I}_n\left(\hat{\beta }\right)=\frac{n\alpha }{{\beta }^2}\end{array}$$ クラメール・ラオの不等式 $\frac{1}{I_n\left(\theta \right)}\le V\left(\hat{\theta }\right)$ より、 $$\begin{array}{r}\frac{{\beta }^2}{n\alpha }\le V\left(\hat{\beta }\right)\end{array}$$ $◼$

［別解］ $I_1\left(\theta \right)=-E\left[\frac{d^2}{d{\theta }^2}l\left(\theta \right)\right]$ としたとき $$\begin{array}{rl}{I}_1\left(\beta \right)& =-E(-\frac{\alpha }{{\beta }^2})\\ & =\frac{\alpha }{{\beta }^2}\end{array}$$ $◼$