本稿では、中心極限定理を証明しています。統計学の中で最も重要な定理と言っても過言ではない定理であるため、証明の難易度は非常に高そうに思えますが、マクローリン展開などの知識を要するとはいえ、意外と証明はそこまで難しくはありません。
なお、閲覧にあたっては、以下の点にご注意ください。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
【定理】中心極限定理
【定理】
中心極限定理
Central Limit Theorem
平均と分散がそれぞれ $\mu$ と $\sigma^2$ である任意の母集団分布 $\mathrm{P} \left(\mu,\sigma^2\right)$ からの大きさ $n$ の無作為標本
\begin{align}
\boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\}
\end{align}
について、
標本平均を標準化した値を
\begin{align}
Z=\frac{\sqrt n \left({\bar{X}}_n-\mu\right)}{\sigma}
\end{align}
とすると、
確率変数 $X_i \left(i=1,2, \cdots ,n\right)$ のモーメント母関数が存在し、3回微分可能
かつ
それが連続である
ならば、
標本平均を標準化した値は、標準正規分布 $\mathrm{N} \left(0,1\right)$ に分布収束する、すなわち、
\begin{align}
Z\xrightarrow[]{d}N \left(0,1\right)
\end{align}
が成り立つ。
証明:モーメント母関数の定義式とマクローリン展開を用いる方法
$Z_i=\frac{X_i-\mu}{\sigma}$ と線形変換すると、標準化の性質より、 \begin{align} E \left(Z_i\right)=0 \quad V \left(Z_i\right)=1 \end{align} また、分散の公式の変形 $E \left(X^2\right)=V \left(X\right)+ \left\{E \left(X\right)\right\}^2$ より、 \begin{align} E \left(Z_i^2\right)=1+0=1 \end{align} このとき、標本平均の定義式を変形すると、 \begin{gather} {\bar{X}}_n=\frac{1}{n}\sum_{i=1}^{n}X_i\\ \frac{\sqrt n \left({\bar{X}}_n-\mu\right)}{\sigma}=\frac{1}{n}\sum_{i=1}^{n}\frac{\sqrt n \left(X_i-\mu\right)}{\sigma}\\ Z=\sum_{i=1}^{n}\frac{Z_i}{\sqrt n} \end{gather} $Z$ と $Z_i$ のモーメント母関数をそれぞれ \begin{align} M_Z \left(\theta\right) \quad M_{Z_i} \left(\theta\right) \end{align} とすると、 モーメント母関数の定義式より、 \begin{align} M_Z \left(\theta\right)&=E \left[\mathrm{exp} \left(\theta Z\right)\right]\\ &=E \left[\mathrm{exp} \left(\frac{\theta}{\sqrt n}\sum_{i=1}^{n}Z_i\right)\right]\\ &=E \left[\prod_{i=1}^{n}{\mathrm{exp} \left(\frac{\theta}{\sqrt n}Z_i\right)}\right]\\ &=\prod_{i=1}^{n}E \left[\mathrm{exp} \left(\frac{\theta}{\sqrt n}Z_i\right)\right]\\ &=\prod_{i=1}^{n}{M_{Z_i} \left(\frac{\theta}{\sqrt n}\right)}\\ &= \left[M_{Z_i} \left(\frac{\theta}{\sqrt n}\right)\right]^n \end{align} ここで、モーメント母関数をマクローリン展開すると、 \begin{align} M_{Z_i} \left(\frac{\theta}{\sqrt n}\right)&=1+\frac{M_{Z_i}^{ \left(1\right)} \left(0\right)}{1!} \cdot \frac{\theta}{\sqrt n}+\frac{M_{Z_i}^{ \left(2\right)} \left(0\right)}{2!} \cdot \left(\frac{\theta}{\sqrt n}\right)^2+\frac{M_{Z_i}^{ \left(3\right)} \left(0\right)}{3!} \cdot \left(\frac{\theta}{\sqrt n}\right)^3+ \cdots \\ &=1+\frac{\theta}{\sqrt n}E \left(Z_i\right)+ \left(\frac{\theta}{\sqrt n}\right)^2\frac{E \left(Z_i^2\right)}{2}+\frac{M_{Z_i}^{ \left(3\right)} \left(0\right)}{3!} \cdot \left(\frac{\theta}{\sqrt n}\right)^3+ \cdots \\ &=1+\frac{\theta^2}{2n}+\frac{M_{Z_i}^{ \left(3\right)} \left(0\right)}{3!} \cdot \left(\frac{\theta}{\sqrt n}\right)^3+ \cdots \\ &=1+\frac{1}{n} \left\{\frac{\theta^2}{2}+\frac{M_{Z_i}^{ \left(3\right)} \left(0\right) \cdot \theta^3}{3!\sqrt n}+ \cdots \right\} \end{align} したがって、 \begin{align} M_Z \left(\theta\right)= \left[1+\frac{1}{n} \left\{\frac{\theta^2}{2}+\frac{M_{Z_i}^{ \left(3\right)} \left(0\right) \cdot \theta^3}{3!\sqrt n}+ \cdots \right\}\right]^n \end{align} 両辺の $n\rightarrow\infty$ のときの極限を取ると、 \begin{align} \lim_{n\rightarrow\infty}{M_Z \left(\theta\right)}=\lim_{n\rightarrow\infty}{M_Z \left(\theta\right)} \left[1+\frac{1}{n} \left(\frac{\theta^2}{2}\right)\right]^n \end{align} ネイピアの数の定義式 $e^a=\lim_{n\rightarrow\infty}{ \left(1+\frac{a}{n}\right)^n}$ より、 \begin{align} \lim_{n\rightarrow\infty}{M_Z \left(\theta\right)}=\mathrm{exp} \left(\frac{\theta^2}{2}\right) \end{align} これは、標準正規分布のモーメント母関数なので、連続性定理により、$Z$ は標準正規分布に分布収束する。 $\blacksquare$
代表的な分布の漸近標本分布
二項分布の標本比率
二項分布 \begin{gather} \mathrm{B} \left(n,p\right) \end{gather} の標本比率 \begin{gather} \hat{p}=\frac{X}{n} \end{gather} の漸近分布は、 \begin{gather} \hat{p} \sim \mathrm{N} \left[p,\frac{p \left(1-p\right)}{n}\right] \end{gather}
ポアソン分布の標本平均
ポアソン分布 \begin{gather} \mathrm{Po} \left(\lambda\right) \end{gather} の標本平均 \begin{gather} \bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i \end{gather} の漸近分布は、 \begin{gather} \bar{X} \sim \mathrm{N} \left(\lambda,\frac{\lambda}{n}\right) \end{gather}
参考文献
- 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.188-189
- 久保川 達也 著, 新井 仁之, 小林 俊行, 斎藤 毅, 吉田 朋広 編. 現代数理統計学の基礎. 共立出版, 2017, p.96-97
- 黒木 学 著. 数理統計学:統計的推論の基礎. 共立出版, 2020, p.138-139
0 件のコメント:
コメントを投稿