最尤推定法とモーメント法

本稿では、数理統計学における最尤推定法についてまとめています。尤度関数、最尤推定量、対数尤度関数、尤度方程式の定義の紹介、最尤推定量の漸近的性質（一致性・漸近正規性）の紹介、最尤推定量の不変性の証明などが含まれます。また、モーメント法についても紹介しています。

なお、閲覧にあたっては、以下の点にご注意ください。

• スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

 

最尤推定法

ここでは、 $$\begin{array}{c}\mathcal{F}=\{f(x;\theta ):\theta \in \mathrm{\Theta }\subset {\mathit{R}}^k\}\end{array}$$ をパラメトリックモデルとする。 $$\begin{array}{c}f(x;\theta )\end{array}$$ は、 $$\begin{array}{c}\mathit{X}=\{X_1,X_2,\cdots ,X_n\}\end{array}$$ が離散型の場合は確率関数であり、連続型の場合は確率密度関数である。

尤度関数

与えられた観測値 $$\begin{array}{c}\mathit{x}=\{x_1,x_2,\cdots ,x_n\}\end{array}$$ について、 結合確率関数または結合確率密度関数 $$\begin{array}{c}f(\mathit{x};\theta )\end{array}$$ を、 $\theta$ の関数とみなしたものを尤度関数 likelihood function と呼び、特に $$\begin{array}{c}L(\theta ;\mathit{x})=f(\mathit{x};\theta )\end{array}$$ と表わす。 特に、無作為標本の場合は、その尤度関数は、 $$\begin{array}{c}L(\theta ;\mathit{x})=\prod _{i=1}^{n}f(x_i;\theta )\end{array}$$ で与えられる。

確率関数または、確率密度関数 $f(\mathit{x};\theta )$ は、パラメータ $\theta$ の値を固定したときの $\mathit{x}$ の関数であり、尤度関数 $L(\theta ;\mathit{x})$ は、$\mathit{x}$ を固定したときの $\theta$ の関数であり、その定義域は $\mathrm{\Theta }$ である。

最尤推定量

尤度関数を最大にする値 $$\begin{array}{c}\hat{\theta }=\hat{\theta }\left(\mathit{x}\right)\end{array}$$ を最尤推定値（maximum likelihood estimate といい、 $$\begin{array}{c}L(\hat{\theta };\mathit{x})=\sup \{L(\theta ;\mathit{x}):\theta \in \mathrm{\Theta }\}=\sup \{f(\mathit{x};\theta ):\theta \in \mathrm{\Theta }\}\\ \hat{\theta }=\hat{\theta }\left(\mathit{X}\right)\end{array}$$ を $\theta$ の最尤推定量 maximum likelihood estimator: MLE と呼ぶ。 また、パラメータを変換したものに関しては、$g\left(\hat{\theta }\right)$ を $g\left(\theta \right)$ の最尤推定量という。

対数尤度関数

尤度関数の対数をとったもの $$\begin{array}{c}l(\theta ;\mathit{x})=\log L(\theta ;\mathit{x})\end{array}$$ を対数尤度関数 log likelihood function という。 対数関数 $\log t$ は、$t$ の増加関数なので尤度関数を最大にする $\hat{\theta }$ は対数尤度関数も最大にする。

尤度方程式

$$\begin{array}{c}\mathit{\theta }=({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\in \mathrm{\Theta }\end{array}$$ において、 $\mathrm{\Theta }$ は、${\mathit{R}}^k$ の開集合で、それぞれの ${\theta }_i$ についての $L(\theta ;\mathit{x})$ の1次の偏導関数が存在するとき、最尤推定量 $$\begin{array}{c}\hat{\mathit{\theta }}=({\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_k)\end{array}$$ は、次の方程式を満足させる。 $$\begin{array}{c}\frac{\partial }{\partial {\theta }_i}\log L(\hat{\theta };\mathit{x})=0i=1,2,\cdots ,k\end{array}$$ これを尤度方程式 likelihood equations という。

 

最尤推定量と有効推定量の関係

 

証明

 

最尤推定量と十分統計量の関係

 

証明

 

最尤推定量の不変性

 

証明

 

最尤推定量の漸近的性質

次に標本の大きさが大きいときの性質についてみてみる。

最尤推定量の一致性

 

最尤推定量の漸近正規性

最尤推定量が尤度方程式のただ1つの解のときは、最尤推定量は $\theta$ の一致推定量であり、漸近的に正規分布に従う。つまり、標本の大きさが大きいときはこのような条件の下で、最尤推定量の分布は、 $$\begin{array}{c}{\hat{\theta }}_n\stackrel{d}{\to }\mathrm{N}[\theta ,\frac{1}{n{I}_1\left(\theta \right)}]\end{array}$$ の正規分布で近似される。

$\hat{\theta }$ を $\theta$ の最尤推定量とし、$g\left(\theta \right)$ が0でない導関数 $g^{\prime }\left(\theta \right)$ をもつ $\theta$ の関数だとすると、スラツキーの定理により、 $$\begin{array}{c}\sqrt{n}\{g\left(\hat{\theta }\right)-g\left(\theta \right)\}\stackrel{d}{\to }\mathrm{N}[0,\frac{{\left\{g^{\prime }\left(\theta \right)\right\}}^2}{I_1\left(\theta \right)}]\\ g\left(\hat{\theta }\right)\stackrel{d}{\to }\mathrm{N}[g\left(\theta \right),\frac{{\left\{g^{\prime }\left(\theta \right)\right\}}^2}{n{I}_1\left(\theta \right)}]\end{array}$$

 

漸近相対効率

$\left\{T_n\right\}$ を $$\begin{array}{c}\sqrt{n}\{T_n-g\left(\theta \right)\}\stackrel{d}{\to }\mathrm{N}(0,{\sigma }_1^2)\end{array}$$ となる $g\left(\theta \right)$ の推定量の列とし、 $\left\{T_n^{\ast }\right\}$ を $$\begin{array}{c}\sqrt{n}\{T_n^{\ast }-g\left(\theta \right)\}\stackrel{d}{\to }\mathrm{N}(0,{\sigma }_2^2)\end{array}$$ となる $g\left(\theta \right)$ の他の推定量の列とすると、 $T_n^{\ast }$ に対する $T_n$ の漸近相対効率 asymptotic relative efficiency: ARE は、 $$\begin{array}{c}\mathrm{ARE}(T_n,T_n^{\ast })=\frac{{\sigma }_2^2}{{\sigma }_1^2}\end{array}$$ で与えられる。

 

最良漸近正規推定量

分布 $P_{\theta }(\theta \in \mathrm{\Theta })$ からの大きさ $n$ の無作為標本を $$\begin{array}{c}\mathit{X}=(X_1,X_2,\cdots ,X_n)\end{array}$$ とする。

$\left\{T_n\left(X\right)\right\}$ を $g\left(\theta \right)$ の推定量の列とし、 $$\begin{array}{c}\sqrt{n}\{T_n-g\left(\theta \right)\}\stackrel{d}{\to }N(0,{\sigma }^2)\\ {\sigma }^2=\frac{{\left[\frac{\partial }{\partial \theta }g\left(\theta \right)\right]}^2}{I_n\left(\theta \right)}\end{array}$$ が成り立つとき、 $T_n$ を最良漸近正規推定量 best asymptotically normal estimator: BAN estimator、またはBAN推定量という。

つまり、BAN 推定量はその分布が漸近的に正規分布であり、その漸近分散はクラメール・ラオの不等式の下限に等しい、つまり漸近効率が1である。

 

モーメント法推定量

ここでは、比較的簡単に推定量を見つけることができるモーメント法 method of moment を見ていく。

ある母集団からの無作為標本を $$\begin{array}{c}\mathit{X}=(X_1,X_2,\cdots ,X_n)\end{array}$$ とし、 母集団の $k$ 次のモーメントを $$\begin{array}{c}{\mu }_k=E\left(X^k\right)\end{array}$$ 標本の $k$ 次のモーメントを $$\begin{array}{c}{M}_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k\end{array}$$ 推定するパラメータをモーメントの関数 $$\begin{array}{c}g\left(\mathit{\theta }\right)=h({\mu }_1,{\mu }_2,\cdots ,{\mu }_r)\end{array}$$ とする。 このとき、 $$\begin{array}{c}T\left(\mathit{X}\right)=h(M_1,M_2,\cdots ,M_r)\end{array}$$ を $g\left(\mathit{\theta }\right)$ のモーメント法推定量 method of moment estimator という。

 

例題

未知の平均と分散をもつ任意の母集団 $$\begin{array}{c}\mathrm{P}(\mu ,{\sigma }^2)\end{array}$$ からの無作為標本を $$\begin{array}{c}\mathit{X}=(X_1,X_2,\cdots ,X_n)\end{array}$$ とし、 推定するパラメータを $$\begin{array}{c}\mathit{\theta }=(\mu ,{\sigma }^2)\end{array}$$ とする。 $$\begin{array}{c}\mu ={\mu }_1\\ {\sigma }^2={\mu }_2-{\mu }_1^2\end{array}$$ のモーメント法推定量は、 $$\begin{array}{c}\hat{\mu }=\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i\\ {\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^k-{\overline{X}}^2\end{array}$$ で与えられる。

 

モーメント法推定量の一致性

証明

 

参考文献

• 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.224-233
• 久保川 達也 著, 新井 仁之, 小林 俊行, 斎藤 毅, 吉田 朋広 編. 現代数理統計学の基礎. 共立出版, 2017, p.120-124
• 黒木 学 著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.159-178

関連記事

• 統計モデル
• 十分統計量
• 推定量の評価
• 区間推定と信頼区間
• 代表的な確率分布の最尤推定量とフィッシャー情報量
• 統計的推定
• 生存関数の推定
• マンテル・ヘンツェル推定量
• ロジスティック・モデルによる対数オッズ比の最尤推定
• ロジスティック・モデルによる対数リスク比の最尤推定
• ロジスティック・モデルによる共通対数オッズ比の最尤推定
• 条件付きロジスティック・モデル
• 一般ロジスティック回帰モデル
• 二重同次ポアソンモデル
• 同次ポアソン回帰モデル
• カプラン・マイヤー法
• 生存時間分布のパラメトリックモデル①：指数分布モデル
• 生存時間分布のパラメトリックモデル②：ワイブル分布モデル