スコア関数とフィッシャー情報量-あるノマドの知の旅路～数学・統計学への道

スコア関数とフィッシャー情報量

公開日： 2023/04/20

本稿では、スコア関数とフィッシャー情報量の定義を紹介し、それらの性質を証明しています。スコア関数の期待値は0、フィッシャー情報量の別表現などが含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

1.スコア関数とフィッシャー情報量
2.正則条件
3.【定理】スコア関数とフィッシャー情報量の性質
- 3.1.証明
4.参考文献
5.関連記事

スコア関数とフィッシャー情報量

対数尤度関数がパラメータ $θ$ で偏微分できるとき、その導関数 $\begin{array}{r} S (θ) = \frac{\partial}{\partial θ} \log L (θ) \end{array}$ をスコア関数 score function といい、導関数の2乗の期待値 $\begin{array}{r} I_{n} (θ) = E [{S (θ)}^{2}] = E [{\frac{\partial}{\partial θ} \log L (θ)}^{2}] \end{array}$ をフィッシャー情報量 Fisher information という。

正則条件

条件①：台とパラメータの独立性

同時確率密度関数 $f (x; θ)$ の台 $\begin{matrix} A = {x : f (x; θ) < 0} \end{matrix}$ が $θ$ に依存しない。

条件②：微分と積分の順序交換が可能

すべての $x \in A, θ \in Θ$ において、 $f (x; θ)$ が $θ$ に関して2階まで微分可能で、
$\int f (x | θ)$ の2階までの微分は積分記号下での微分に等しい。すなわち $k = 1, 2$ に対して、 $\begin{array}{r} \frac{d^{k}}{d θ^{k}} \int f (x; θ) d x = \int \frac{d^{k}}{d θ^{k}} f (x; θ) d x \end{array}$ が成り立つ。

条件③：有界性

フィッシャー情報量 $I_{1} (θ)$ は有界、すなわち、 $\begin{array}{r} 0 < I_{1} (θ) < \infty \end{array}$

条件④：識別可能性

母数 $θ$ は識別可能、すなわち $θ \neq θ^{'}$ ならば、 $f (x | θ) \neq f (x | θ^{'})$ である。

条件⑤：開近傍がとれる

真の母数の値 $θ_{0}$ が母数空間の内点にある、すなわち母数空問に含まれる $θ_{0}$ の開近傍がとれる。

条件⑥：3回連続微分可能

$f (x | θ)$ が $θ$ に関して3回連続微分可能とする。また、正の実数 $c$ と関数 $M (x)$ が存在して、 $\begin{matrix} θ_{0} - c < θ < θ_{0} + c \end{matrix}$ なるすべての $θ$ に対して $\begin{matrix} \frac{\partial^{3}}{\partial θ^{3}} \log f (x | θ) \leq M (x) \end{matrix}$ であり、 $\begin{matrix} E [M (X)] < \infty \end{matrix}$ を満たすものとし、さらに $M (x)$ は $θ_{0}, c$ に依存してもよいが、 $θ$ に依存しないものとする。

【定理】スコア関数とフィッシャー情報量の性質

【定理】
スコア関数とフィッシャー情報量の性質
Properties of Score Function and Fisher Information

先に挙げた正則条件を仮定するとき、以下に挙げる性質（I）～（III）が成り立つ。

（I）スコア関数の期待値は0 $\begin{array}{r} E [S_{n} (θ)] = 0 \end{array}$

（II） $n$ 個のデータのフィッシャー情報量は1個のデータのフィッシャー情報量の $n$ 倍になる。 $\begin{array}{r} I_{n} (θ) = n I_{1} (θ) \end{array}$

（III）フィッシャー情報量は2階微分を用いた $\begin{array}{r} I_{1} (θ) = - E [\frac{\partial^{2}}{\partial θ^{2}} \log L (θ)] \end{array}$ の形で書き表すことができる。

証明

（I）確率の公理より、 $\begin{array}{r} \int_{- \infty}^{- \infty} \int_{- \infty}^{- \infty} \dots \int_{- \infty}^{- \infty} f (x; θ) d x_{1} d x_{2} \dots {d x}_{n} = 1 \end{array}$ 期待値の定義式 $E (X) = \int_{- \infty}^{\infty} x \cdot f (x) d x$ より、 $\begin{array}{r} E [S_{n} (θ)] = \int_{- \infty}^{- \infty} \int_{- \infty}^{- \infty} \dots \int_{- \infty}^{- \infty} \frac{\partial}{\partial θ} \log f (x : θ) \cdot f (x; θ) d x_{1} d x_{2} \dots {d x}_{n} \end{array}$ 対数の微分公式と合成関数の微分法 $\frac{\partial}{\partial x} \log f (x) = \frac{\partial}{\partial x} f (x) \cdot \frac{1}{f (x)}$ より、 $\begin{aligned} E [S_{n} (θ)] & = \int_{- \infty}^{- \infty} \int_{- \infty}^{- \infty} \dots \int_{- \infty}^{- \infty} [\frac{1}{f (x : θ)} \cdot \frac{\partial}{\partial θ} f (x : θ)] \cdot f (x; θ) d x_{1} d x_{2} \dots {d x}_{n} \\ = \int_{- \infty}^{- \infty} \int_{- \infty}^{- \infty} \dots \int_{- \infty}^{- \infty} \frac{\partial}{\partial θ} f (x : θ) d x_{1} d x_{2} \dots {d x}_{n} \end{aligned}$ 正則条件 $\frac{d^{k}}{d θ^{k}} \int f (x; θ) d x = \int \frac{d^{k}}{d θ^{k}} f (x; θ) d x$ より、 $\begin{array}{r} E [S_{n} (θ)] = \frac{\partial}{\partial θ} \int_{- \infty}^{- \infty} \int_{- \infty}^{- \infty} \dots \int_{- \infty}^{- \infty} f (x : θ) d x_{1} d x_{2} \dots {d x}_{n} = \frac{\partial}{\partial θ} 1 = 0 \end{array}$

（II） $S_{n} (θ) = \sum_{i = 1}^{n} S_{1} (θ, X_{i})$ と書けるので、 $\begin{aligned} I_{n} (θ) & = E [{S_{n} (θ)}^{2}] \\ = \sum_{i = 1}^{n} E [{S_{1} (θ, X_{i})}^{2}] + \sum_{j \neq i} \sum_{i = 1}^{n} E [S_{1} (θ, X_{i})] E [S_{1} (θ, X_{j})] \end{aligned}$ $E [S_{1} (θ)] = 0$ より、 $\begin{array}{r} I_{n} (θ) = n I_{1} (θ) \end{array}$

（III）合成関数の微分法と対数の微分公式 $\frac{\partial}{\partial x} \log f (x) = \frac{\partial}{\partial x} f (x) \cdot \frac{1}{f (x)}$ より、 $\begin{array}{r} \frac{\partial^{2}}{\partial θ^{2}} \log L (θ) = \frac{\partial}{\partial θ} {\frac{\partial}{\partial θ} f (x, θ) \cdot \frac{1}{f (x, θ)}} \end{array}$ 商の微分公式 $\frac{\partial}{\partial x} {\frac{f (x)}{g (x)}} = \frac{f^{'} (x)}{g (x)} - \frac{f (x) \cdot g^{'} (x)}{{g (x)}^{2}}$ より、 $\begin{aligned} \frac{\partial^{2}}{\partial θ^{2}} \log L (θ) & = \frac{f^{''} (x)}{f (x, θ)} - \frac{f^{'} (x) \cdot f^{'} (x)}{{f (x, θ)}^{2}} \\ = \frac{f^{''} (x, θ)}{f (x, θ)} - {\frac{f^{'} (x, θ)}{f (x, θ)}}^{2} \\ (1) & = \frac{f^{''} (x, θ)}{f (x, θ)} - {S_{1} (θ)}^{2} \end{aligned}$ 2階微分について、 $\begin{array}{r} \int_{- \infty}^{\infty} \frac{\partial^{2}}{\partial θ^{2}} f (x, θ) d x = \frac{\partial^{2}}{\partial θ^{2}} \int_{- \infty}^{\infty} f (x, θ) d x = \frac{\partial^{2}}{\partial θ^{2}} 1 = 0 \end{array}$ よって、式 $(1)$ の両辺の期待値を取ると、 $\begin{array}{r} E [\frac{\partial^{2}}{\partial θ^{2}} \log L (θ)] = - E [{S_{1} (θ)}^{2}] \end{array}$ フィッシャー情報量の定義式 $I_{n} (θ) = E [{S (θ)}^{2}]$ より、 $\begin{array}{r} I_{1} (θ) = - E [\frac{\partial^{2}}{\partial θ^{2}} \log L (θ)] \end{array}$ $◼$

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.218-220
久保川達也著, 新井仁之, 小林俊行, 斎藤毅, 吉田朋広編. 現代数理統計学の基礎. 共立出版, 2017, p.129-130

スコア関数とフィッシャー情報量

スコア関数とフィッシャー情報量