スコア関数とフィッシャー情報量

（I）確率の公理より、 \begin{align} \int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{f \left(\boldsymbol{x};\theta\right)dx_1dx_2 \cdots {dx}_n}=1} \end{align} 期待値の定義式 $E \left(X\right)=\int_{-\infty}^{\infty}{x \cdot f \left(x\right)dx}$ より、 \begin{align} E \left[S_n \left(\theta\right)\right]=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{\frac{\partial}{\partial\theta}\log{f \left(\boldsymbol{x}:\theta\right)} \cdot f \left(\boldsymbol{x};\theta\right)dx_1dx_2 \cdots {dx}_n}} \end{align} 対数の微分公式と合成関数の微分法 $\frac{\partial}{\partial x}\log{f \left(x\right)}=\frac{\partial}{\partial x}f \left(x\right) \cdot \frac{1}{f \left(x\right)}$ より、 \begin{align} E \left[S_n \left(\theta\right)\right]&=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{ \left[\frac{1}{f \left(\boldsymbol{x}:\theta\right)} \cdot \frac{\partial}{\partial\theta}f \left(\boldsymbol{x}:\theta\right)\right] \cdot f \left(\boldsymbol{x};\theta\right)dx_1dx_2 \cdots {dx}_n}}\\ &=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{\frac{\partial}{\partial\theta}f \left(\boldsymbol{x}:\theta\right)dx_1dx_2 \cdots {dx}_n}} \end{align} 正則条件 $\frac{d^k}{d\theta^k}\int f \left(x;\theta\right)dx=\int{\frac{d^k}{d\theta^k}f \left(x;\theta\right)dx}$ より、 \begin{align} E \left[S_n \left(\theta\right)\right]=\frac{\partial}{\partial\theta}\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{f \left(\boldsymbol{x}:\theta\right)dx_1dx_2 \cdots {dx}_n}}=\frac{\partial}{\partial\theta}1=0 \end{align}

（II）$S_n \left(\theta\right)=\sum_{i=1}^{n}{S_1 \left(\theta,X_i\right)}$ と書けるので、 \begin{align} I_n \left(\theta\right)&=E \left[ \left\{S_n \left(\theta\right)\right\}^2\right]\\ &=\sum_{i=1}^{n}E \left[ \left\{S_1 \left(\theta,X_i\right)\right\}^2\right]+\sum_{j \neq i}\sum_{i=1}^{n}E \left[S_1 \left(\theta,X_i\right)\right]E \left[S_1 \left(\theta,X_j\right)\right] \end{align} $E \left[S_1 \left(\theta\right)\right]=0$ より、 \begin{align} I_n \left(\theta\right)=nI_1 \left(\theta\right) \end{align}

（III）合成関数の微分法と対数の微分公式 $\frac{\partial}{\partial x}\log{f \left(x\right)}=\frac{\partial}{\partial x}f \left(x\right) \cdot \frac{1}{f \left(x\right)}$ より、 \begin{align} \frac{\partial^2}{\partial\theta^2}\log{L \left(\theta\right)}=\frac{\partial}{\partial\theta} \left\{\frac{\partial}{\partial\theta}f \left(x,\theta\right) \cdot \frac{1}{f \left(x,\theta\right)}\right\} \end{align} 商の微分公式 $\frac{\partial}{\partial x} \left\{\frac{f \left(x\right)}{g \left(x\right)}\right\}=\frac{f^\prime \left(x\right)}{g \left(x\right)}-\frac{f \left(x\right) \cdot g^\prime \left(x\right)}{ \left\{g \left(x\right)\right\}^2}$ より、 \begin{align} \frac{\partial^2}{\partial\theta^2}\log{L \left(\theta\right)}&=\frac{f^{\prime\prime} \left(x\right)}{f \left(x,\theta\right)}-\frac{f^\prime \left(x\right) \cdot f^\prime \left(x\right)}{ \left\{f \left(x,\theta\right)\right\}^2}\\ &=\frac{f^{\prime\prime} \left(x,\theta\right)}{f \left(x,\theta\right)}- \left\{\frac{f^\prime \left(x,\theta\right)}{f \left(x,\theta\right)}\right\}^2\\ &=\frac{f^{\prime\prime} \left(x,\theta\right)}{f \left(x,\theta\right)}- \left\{S_1 \left(\theta\right)\right\}^2\tag{1} \end{align} 2階微分について、 \begin{align} \int_{-\infty}^{\infty}{\frac{\partial^2}{\partial\theta^2}f \left(x,\theta\right)dx}=\frac{\partial^2}{\partial\theta^2}\int_{-\infty}^{\infty}f \left(x,\theta\right)dx=\frac{\partial^2}{\partial\theta^2}1=0 \end{align} よって、式 $(1)$ の両辺の期待値を取ると、 \begin{align} E \left[\frac{\partial^2}{\partial\theta^2}\log{L \left(\theta\right)}\right]=-E \left[ \left\{S_1 \left(\theta\right)\right\}^2\right] \end{align} フィッシャー情報量の定義式 $I_n \left(\theta\right)=E \left[ \left\{S \left(\theta\right)\right\}^2\right]$ より、 \begin{align} I_1 \left(\theta\right)=-E \left[\frac{\partial^2}{\partial\theta^2}\log{L \left(\theta\right)}\right] \end{align} $\blacksquare$