クラメール・ラオの不等式の証明

まず、スコア関数と $g\left(\theta \right)$ の不偏推定量をそれぞれ、 $$\begin{array}{c}S\left(\theta \right)=\frac{\partial }{\partial \theta }\log f(\mathit{x}:\theta )\\ T\left(\mathit{X}\right):E\left[T\left(\mathit{X}\right)\right]=g\left(\theta \right)\end{array}$$ とする。

期待値の定義式より、 $$\begin{array}{}\text{(1)}& E\left[T\left(\mathit{X}\right)\right]={\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}T\left(\mathit{x}\right)\cdot f(\mathit{x};\theta )d{x}_{1}d{x}_2\cdots {dx}_n=g\left(\theta \right)\end{array}$$ また、スコア関数と不偏推定量の積の期待値を求めると、 $$\begin{array}{rl}E[T\left(\mathit{X}\right)\cdot S\left(\theta \right)]& ={\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}T\left(\mathit{x}\right)\cdot \frac{\partial }{\partial \theta }f(\mathit{x}:\theta )d{x}_{1}d{x}_2\cdots {dx}_n\\ & ={\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}T\left(\mathit{x}\right)\cdot [\frac{1}{f(\mathit{x}:\theta )}\cdot \frac{\partial }{\partial \theta }f(\mathit{x}:\theta )]\cdot f(\mathit{x};\theta )d{x}_{1}d{x}_2\cdots {dx}_n\\ & ={\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}T\left(\mathit{x}\right)\cdot \frac{\partial }{\partial \theta }f(\mathit{x}:\theta )d{x}_{1}d{x}_2\cdots {dx}_n\end{array}$$ 正則条件 $\frac{d^k}{d{\theta }^k}\int f(\mathit{x}:\theta )dx=\int \frac{d^k}{d{\theta }^k}f(\mathit{x}:\theta )dx$ より、 $$\begin{array}{r}E[T\left(\mathit{X}\right)\cdot S\left(\theta \right)]=\frac{\partial }{\partial \theta }{\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}\cdots {\int }_{-\mathrm{\infty }}^{-\mathrm{\infty }}T\left(\mathit{x}\right)\cdot f(\mathit{x}:\theta )d{x}_{1}d{x}_2\cdots {dx}_n\end{array}$$ 式 $(1)$ より、 $$\begin{array}{}\text{(2)}& E[T\left(\mathit{X}\right)\cdot S\left(\theta \right)]=\frac{\partial }{\partial \theta }g\left(\theta \right)\end{array}$$ 共分散の公式 $\mathrm{Cov}(X,Y)=E\left(XY\right)-E\left(X\right)E\left(Y\right)$ より、 $$\begin{array}{r}\mathrm{Cov}[T\left(\mathit{X}\right),S\left(\theta \right)]=E[T\left(\mathit{X}\right)\cdot S\left(\theta \right)]-E\left[T\left(\mathit{X}\right)\right]\cdot E\left[S\left(\theta \right)\right]\end{array}$$ スコア関数の性質 $E\left[S\left(\theta \right)\right]=0$ より、 $$\begin{array}{r}\mathrm{Cov}[T\left(\mathit{X}\right),S\left(\theta \right)]=E[T\left(\mathit{X}\right)\cdot S\left(\theta \right)]\end{array}$$ 式 $(2)$ より、 $$\begin{array}{}\text{(3)}& \mathrm{Cov}[T\left(\mathit{X}\right),S\left(\theta \right)]=\frac{\partial }{\partial \theta }g\left(\theta \right)\end{array}$$ 共分散の定義式より、 $$\begin{array}{r}\mathrm{Cov}[T\left(\mathit{X}\right),S\left(\theta \right)]=E\left[\{T\left(\mathit{X}\right)-g\left(\theta \right)\}\{S\left(\theta \right)-E\left[S\left(\theta \right)\right]\}\right]\end{array}$$ スコア関数の性質 $E\left[S\left(\theta \right)\right]=0$ より、 $$\begin{array}{r}\mathrm{Cov}[T\left(\mathit{X}\right),S\left(\theta \right)]=E\left[\{T\left(\mathit{X}\right)-g\left(\theta \right)\}\left\{S\left(\theta \right)\right\}\right]\end{array}$$ コーシー・シュワルツの不等式 ${\left\{E\left(XY\right)\right\}}^2\le E\left(X^2\right)E\left(Y^2\right)$ より、 $$\begin{array}{r}{\left[\mathrm{Cov}\{T\left(\mathit{X}\right),S\left(\theta \right)\}\right]}^2\le E\left[{\{T\left(\mathit{X}\right)-g\left(\theta \right)\}}^2\right]\cdot E\left[{\left\{S\left(\theta \right)\right\}}^2\right]\end{array}$$ 分散の定義式 $V\left[g\left(X\right)\right]=E\left[{\{g\left(X\right)-E\left[g\left(X\right)\right]\}}^2\right]$ より、 $$\begin{array}{r}{\left[\mathrm{Cov}\{T\left(\mathit{X}\right),S\left(\theta \right)\}\right]}^2\le V\left[T\left(\mathit{X}\right)\right]\cdot E\left[{\left\{S\left(\theta \right)\right\}}^2\right]\end{array}$$ フィッシャー情報量の定義式 $E\left[{\left\{S\left(\theta \right)\right\}}^2\right]=I_n\left(\theta \right)$ より、 $$\begin{array}{r}{\left[\mathrm{Cov}\{T\left(\mathit{X}\right),S\left(\theta \right)\}\right]}^2\le V\left[T\left(\mathit{X}\right)\right]\cdot I_n\left(\theta \right)\end{array}$$ 式 $(3)$ より、 $$\begin{array}{c}{\left[\frac{\partial }{\partial \theta }g\left(\theta \right)\right]}^2\le V\left[T\left(\mathit{X}\right)\right]\cdot I_n\left(\theta \right)\\ \frac{{\left[\frac{\partial }{\partial \theta }g\left(\theta \right)\right]}^2}{I_n\left(\theta \right)}\le V\left[T\left(\mathit{X}\right)\right]\end{array}$$ 等号はコーシー・シュワルツの不等式において等号が成り立つとき、すなわち、 $$\begin{array}{r}T\left(\mathit{X}\right)-g\left(\theta \right)=K\left(\theta \right)\frac{\partial }{\partial \theta }\log f(\mathit{x}:\theta )\end{array}$$ を満たす $K\left(\theta \right)\ne 0$ が存在するときに成り立つ。 $◼$