クラメール・ラオの不等式の証明

まず、スコア関数と $g \left(\theta\right)$ の不偏推定量をそれぞれ、 \begin{gather} S \left(\theta\right)=\frac{\partial}{\partial\theta}\log{f \left(\boldsymbol{x}:\theta\right)}\\ T \left(\boldsymbol{X}\right):E \left[T \left(\boldsymbol{X}\right)\right]=g \left(\theta\right) \end{gather} とする。

期待値の定義式より、 \begin{align} E \left[T \left(\boldsymbol{X}\right)\right]=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{T \left(\boldsymbol{x}\right) \cdot f \left(\boldsymbol{x};\theta\right)dx_1dx_2 \cdots {dx}_n}=g \left(\theta\right)}\tag{1} \end{align} また、スコア関数と不偏推定量の積の期待値を求めると、 \begin{align} E \left[T \left(\boldsymbol{X}\right) \cdot S \left(\theta\right)\right]&=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{T \left(\boldsymbol{x}\right) \cdot \frac{\partial}{\partial\theta}f \left(\boldsymbol{x}:\theta\right)dx_1dx_2 \cdots {dx}_n}}\\ &=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{T \left(\boldsymbol{x}\right) \cdot \left[\frac{1}{f \left(\boldsymbol{x}:\theta\right)} \cdot \frac{\partial}{\partial\theta}f \left(\boldsymbol{x}:\theta\right)\right] \cdot f \left(\boldsymbol{x};\theta\right)dx_1dx_2 \cdots {dx}_n}}\\ &=\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{T \left(\boldsymbol{x}\right) \cdot \frac{\partial}{\partial\theta}f \left(\boldsymbol{x}:\theta\right)dx_1dx_2 \cdots {dx}_n}} \end{align} 正則条件 $\frac{d^k}{d\theta^k}\int f \left(\boldsymbol{x}:\theta\right)dx=\int{\frac{d^k}{d\theta^k}f \left(\boldsymbol{x}:\theta\right)dx}$ より、 \begin{align} E \left[T \left(\boldsymbol{X}\right) \cdot S \left(\theta\right)\right]=\frac{\partial}{\partial\theta}\int_{-\infty}^{-\infty}{\int_{-\infty}^{-\infty} \cdots \int_{-\infty}^{-\infty}{T \left(\boldsymbol{x}\right) \cdot f \left(\boldsymbol{x}:\theta\right)dx_1dx_2 \cdots {dx}_n}} \end{align} 式 $(1)$ より、 \begin{align} E \left[T \left(\boldsymbol{X}\right) \cdot S \left(\theta\right)\right]=\frac{\partial}{\partial\theta}g \left(\theta\right)\tag{2} \end{align} 共分散の公式 $\mathrm{Cov} \left(X,Y\right)=E \left(XY\right)-E \left(X\right)E \left(Y\right)$ より、 \begin{align} \mathrm{Cov} \left[T \left(\boldsymbol{X}\right),S \left(\theta\right)\right]=E \left[T \left(\boldsymbol{X}\right) \cdot S \left(\theta\right)\right]-E \left[T \left(\boldsymbol{X}\right)\right] \cdot E \left[S \left(\theta\right)\right] \end{align} スコア関数の性質 $E \left[S \left(\theta\right)\right]=0$ より、 \begin{align} \mathrm{Cov} \left[T \left(\boldsymbol{X}\right),S \left(\theta\right)\right]=E \left[T \left(\boldsymbol{X}\right) \cdot S \left(\theta\right)\right] \end{align} 式 $(2)$ より、 \begin{align} \mathrm{Cov} \left[T \left(\boldsymbol{X}\right),S \left(\theta\right)\right]=\frac{\partial}{\partial\theta}g \left(\theta\right)\tag{3} \end{align} 共分散の定義式より、 \begin{align} \mathrm{Cov} \left[T \left(\boldsymbol{X}\right),S \left(\theta\right)\right]=E \left[ \left\{T \left(\boldsymbol{X}\right)-g \left(\theta\right)\right\} \left\{S \left(\theta\right)-E \left[S \left(\theta\right)\right]\right\}\right] \end{align} スコア関数の性質 $E \left[S \left(\theta\right)\right]=0$ より、 \begin{align} \mathrm{Cov} \left[T \left(\boldsymbol{X}\right),S \left(\theta\right)\right]=E \left[ \left\{T \left(\boldsymbol{X}\right)-g \left(\theta\right)\right\} \left\{S \left(\theta\right)\right\}\right] \end{align} コーシー・シュワルツの不等式 $ \left\{E \left(XY\right)\right\}^2 \le E \left(X^2\right)E \left(Y^2\right)$ より、 \begin{align} \left[\mathrm{Cov} \left\{T \left(\boldsymbol{X}\right),S \left(\theta\right)\right\}\right]^2 \le E \left[ \left\{T \left(\boldsymbol{X}\right)-g \left(\theta\right)\right\}^2\right] \cdot E \left[ \left\{S \left(\theta\right)\right\}^2\right] \end{align} 分散の定義式 $V \left[g \left(X\right)\right]=E \left[ \left\{g \left(X\right)-E \left[g \left(X\right)\right]\right\}^2\right]$ より、 \begin{align} \left[\mathrm{Cov} \left\{T \left(\boldsymbol{X}\right),S \left(\theta\right)\right\}\right]^2 \le V \left[T \left(\boldsymbol{X}\right)\right] \cdot E \left[ \left\{S \left(\theta\right)\right\}^2\right] \end{align} フィッシャー情報量の定義式 $E \left[ \left\{S \left(\theta\right)\right\}^2\right]=I_n \left(\theta\right)$ より、 \begin{align} \left[\mathrm{Cov} \left\{T \left(\boldsymbol{X}\right),S \left(\theta\right)\right\}\right]^2 \le V \left[T \left(\boldsymbol{X}\right)\right] \cdot I_n \left(\theta\right) \end{align} 式 $(3)$ より、 \begin{gather} \left[\frac{\partial}{\partial\theta}g \left(\theta\right)\right]^2 \le V \left[T \left(\boldsymbol{X}\right)\right] \cdot I_n \left(\theta\right)\\ \frac{ \left[\frac{\partial}{\partial\theta}g \left(\theta\right)\right]^2}{I_n \left(\theta\right)} \le V \left[T \left(\boldsymbol{X}\right)\right] \end{gather} 等号はコーシー・シュワルツの不等式において等号が成り立つとき、すなわち、 \begin{align} T \left(\boldsymbol{X}\right)-g \left(\theta\right)=K \left(\theta\right)\frac{\partial}{\partial\theta}\log{f \left(\boldsymbol{x}:\theta\right)} \end{align} を満たす $K \left(\theta\right) \neq 0$ が存在するときに成り立つ。 $\blacksquare$