最尤推定法とモーメント法

本稿では、数理統計学における最尤推定法についてまとめています。尤度関数、最尤推定量、対数尤度関数、尤度方程式の定義の紹介、最尤推定量の漸近的性質（一致性・漸近正規性）の紹介、最尤推定量の不変性の証明などが含まれます。また、モーメント法についても紹介しています。

なお、閲覧にあたっては、以下の点にご注意ください。

• スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

 

最尤推定法

ここでは、 \begin{gather} \mathcal{F}= \left\{f \left(x;\theta\right):\theta\in\Theta\subset\boldsymbol{R}^k\right\} \end{gather} をパラメトリックモデルとする。 \begin{gather} f \left(x;\theta\right) \end{gather} は、 \begin{gather} \boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\} \end{gather} が離散型の場合は確率関数であり、連続型の場合は確率密度関数である。

尤度関数

与えられた観測値 \begin{gather} \boldsymbol{x}= \left\{x_1,x_2, \cdots ,x_n\right\} \end{gather} について、 結合確率関数または結合確率密度関数 \begin{gather} f \left(\boldsymbol{x};\theta\right) \end{gather} を、 $\theta$ の関数とみなしたものを尤度関数 likelihood function と呼び、特に \begin{gather} L \left(\theta;\boldsymbol{x}\right)=f \left(\boldsymbol{x};\theta\right) \end{gather} と表わす。 特に、無作為標本の場合は、その尤度関数は、 \begin{gather} L \left(\theta;\boldsymbol{x}\right)=\prod_{i=1}^{n}f \left(x_i;\theta\right) \end{gather} で与えられる。

確率関数または、確率密度関数 $f \left(\boldsymbol{x};\theta\right)$ は、パラメータ $\theta$ の値を固定したときの $\boldsymbol{x}$ の関数であり、尤度関数 $L \left(\theta;\boldsymbol{x}\right)$ は、$\boldsymbol{x}$ を固定したときの $\theta$ の関数であり、その定義域は $\Theta$ である。

最尤推定量

尤度関数を最大にする値 \begin{gather} \hat{\theta}=\hat{\theta} \left(\boldsymbol{x}\right) \end{gather} を最尤推定値（maximum likelihood estimate といい、 \begin{gather} L \left(\hat{\theta};\boldsymbol{x}\right)=\mathrm{sup} \left\{L \left(\theta;\boldsymbol{x}\right):\theta\in\Theta\right\}=\mathrm{sup} \left\{f \left(\boldsymbol{x};\theta\right):\theta\in\Theta\right\}\\ \hat{\theta}=\hat{\theta} \left(\boldsymbol{X}\right) \end{gather} を $\theta$ の最尤推定量 maximum likelihood estimator: MLE と呼ぶ。 また、パラメータを変換したものに関しては、$g \left(\hat{\theta}\right)$ を $g \left(\theta\right)$ の最尤推定量という。

対数尤度関数

尤度関数の対数をとったもの \begin{gather} l \left(\theta;\boldsymbol{x}\right)=\log{L \left(\theta;\boldsymbol{x}\right)} \end{gather} を対数尤度関数 log likelihood function という。 対数関数 $\log{t}$ は、$t$ の増加関数なので尤度関数を最大にする $\hat{\theta}$ は対数尤度関数も最大にする。

尤度方程式

\begin{gather} \boldsymbol{\theta}= \left(\theta_1,\theta_2, \cdots ,\theta_k\right)\in\Theta \end{gather} において、 $\Theta$ は、$\boldsymbol{R}^k$ の開集合で、それぞれの $\theta_i$ についての $L \left(\theta;\boldsymbol{x}\right)$ の1次の偏導関数が存在するとき、最尤推定量 \begin{gather} \hat{\boldsymbol{\theta}}= \left({\hat{\theta}}_1,{\hat{\theta}}_2, \cdots ,{\hat{\theta}}_k\right) \end{gather} は、次の方程式を満足させる。 \begin{gather} \frac{\partial}{\partial\theta_i}\log{L \left(\hat{\theta};\boldsymbol{x}\right)}=0 \quad i=1,2, \cdots ,k \end{gather} これを尤度方程式 likelihood equations という。

 

最尤推定量と有効推定量の関係

 

証明

 

最尤推定量と十分統計量の関係

 

証明

 

最尤推定量の不変性

 

証明

 

最尤推定量の漸近的性質

次に標本の大きさが大きいときの性質についてみてみる。

最尤推定量の一致性

 

最尤推定量の漸近正規性

最尤推定量が尤度方程式のただ1つの解のときは、最尤推定量は $\theta$ の一致推定量であり、漸近的に正規分布に従う。つまり、標本の大きさが大きいときはこのような条件の下で、最尤推定量の分布は、 \begin{gather} {\hat{\theta}}_n\xrightarrow[]{d}\mathrm{N} \left[\theta,\frac{1}{nI_1 \left(\theta\right)}\right] \end{gather} の正規分布で近似される。

$\hat{\theta}$ を $\theta$ の最尤推定量とし、$g \left(\theta\right)$ が0でない導関数 $g^\prime \left(\theta\right)$ をもつ $\theta$ の関数だとすると、スラツキーの定理により、 \begin{gather} \sqrt n \left\{g \left(\hat{\theta}\right)-g \left(\theta\right)\right\}\xrightarrow[]{d}\mathrm{N} \left[0,\frac{ \left\{g^\prime \left(\theta\right)\right\}^2}{I_1 \left(\theta\right)}\right]\\ g \left(\hat{\theta}\right)\xrightarrow[]{d}\mathrm{N} \left[g \left(\theta\right),\frac{ \left\{g^\prime \left(\theta\right)\right\}^2}{nI_1 \left(\theta\right)}\right] \end{gather}

 

漸近相対効率

$ \left\{T_n\right\}$ を \begin{gather} \sqrt n \left\{T_n-g \left(\theta\right)\right\}\xrightarrow[]{d}\mathrm{N} \left(0,\sigma_1^2\right) \end{gather} となる $g \left(\theta\right)$ の推定量の列とし、 $ \left\{T_n^\ast\right\}$ を \begin{gather} \sqrt n \left\{T_n^\ast-g \left(\theta\right)\right\}\xrightarrow[]{d}\mathrm{N} \left(0,\sigma_2^2\right) \end{gather} となる $g \left(\theta\right)$ の他の推定量の列とすると、 $T_n^\ast$ に対する $T_n$ の漸近相対効率 asymptotic relative efficiency: ARE は、 \begin{gather} \mathrm{ARE} \left(T_n,T_n^\ast\right)=\frac{\sigma_2^2}{\sigma_1^2} \end{gather} で与えられる。

 

最良漸近正規推定量

分布 $P_\theta \left(\theta\in\Theta\right)$ からの大きさ $n$ の無作為標本を \begin{gather} \boldsymbol{X}= \left(X_1,X_2, \cdots ,X_n\right) \end{gather} とする。

$ \left\{T_n \left(X\right)\right\}$ を $g \left(\theta\right)$ の推定量の列とし、 \begin{gather} \sqrt n \left\{T_n-g \left(\theta\right)\right\}\xrightarrow[]{d}N \left(0,\sigma^2\right)\\ \sigma^2=\frac{ \left[\frac{\partial}{\partial\theta}g \left(\theta\right)\right]^2}{I_n \left(\theta\right)} \end{gather} が成り立つとき、 $T_n$ を最良漸近正規推定量 best asymptotically normal estimator: BAN estimator、またはBAN推定量という。

つまり、BAN 推定量はその分布が漸近的に正規分布であり、その漸近分散はクラメール・ラオの不等式の下限に等しい、つまり漸近効率が1である。

 

モーメント法推定量

ここでは、比較的簡単に推定量を見つけることができるモーメント法 method of moment を見ていく。

ある母集団からの無作為標本を \begin{gather} \boldsymbol{X}= \left(X_1,X_2, \cdots ,X_n\right) \end{gather} とし、 母集団の $k$ 次のモーメントを \begin{gather} \mu_k=E \left(X^k\right) \end{gather} 標本の $k$ 次のモーメントを \begin{gather} M_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k \end{gather} 推定するパラメータをモーメントの関数 \begin{gather} g \left(\boldsymbol{\theta}\right)=h \left(\mu_1,\mu_2, \cdots ,\mu_r\right) \end{gather} とする。 このとき、 \begin{gather} T \left(\boldsymbol{X}\right)=h \left(M_1,M_2, \cdots ,M_r\right) \end{gather} を $g \left(\boldsymbol{\theta}\right)$ のモーメント法推定量 method of moment estimator という。

 

例題

未知の平均と分散をもつ任意の母集団 \begin{gather} \mathrm{P} \left(\mu,\sigma^2\right) \end{gather} からの無作為標本を \begin{gather} \boldsymbol{X}= \left(X_1,X_2, \cdots ,X_n\right) \end{gather} とし、 推定するパラメータを \begin{gather} \boldsymbol{\theta}= \left(\mu,\sigma^2\right) \end{gather} とする。 \begin{gather} \mu=\mu_1\\ \sigma^2=\mu_2-\mu_1^2 \end{gather} のモーメント法推定量は、 \begin{gather} \hat{\mu}=\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i\\ {\hat{\sigma}}^2=\frac{1}{n}\sum_{i=1}^{n}X_i^k-{\bar{X}}^2 \end{gather} で与えられる。

 

モーメント法推定量の一致性

証明

 

参考文献

• 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.224-233
• 久保川 達也 著, 新井 仁之, 小林 俊行, 斎藤 毅, 吉田 朋広 編. 現代数理統計学の基礎. 共立出版, 2017, p.120-124
• 黒木 学 著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.159-178

関連記事

• 統計モデル
• 十分統計量
• 推定量の評価
• 区間推定と信頼区間
• 代表的な確率分布の最尤推定量とフィッシャー情報量
• 統計的推定
• 生存関数の推定
• マンテル・ヘンツェル推定量
• ロジスティック・モデルによる対数オッズ比の最尤推定
• ロジスティック・モデルによる対数リスク比の最尤推定
• ロジスティック・モデルによる共通対数オッズ比の最尤推定
• 条件付きロジスティック・モデル
• 一般ロジスティック回帰モデル
• 二重同次ポアソンモデル
• 同次ポアソン回帰モデル
• カプラン・マイヤー法
• 生存時間分布のパラメトリックモデル①：指数分布モデル
• 生存時間分布のパラメトリックモデル②：ワイブル分布モデル