本稿では、モーメントと母関数についてまとめています。2次階乗モーメントを用いた分散の公式、歪度・尖度、確率母関数、モーメント母関数、特性関数、キュムラント母関数などの定義や性質の紹介が含まれます。
なお、閲覧にあたっては、以下の点にご注意ください。
- スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。
積率（モーメント）
$k$ がある正の整数のとき、確率変数 $X$ の $k$ 乗の期待値 \begin{align} E \left(X^k\right) \end{align} を確率変数 $X$ の $k$ 次積率（モーメント） moment といい、 \begin{align} E \left( \left|X\right|^k\right) \end{align} を $k$ 次絶対モーメントと呼ぶ。 $a$ をある実数として、 \begin{align} E \left[ \left(X-a\right)^k\right] \end{align} を $a$ のまわりの $k$ 次モーメントという。 特に、$a=E \left(X\right)$ のとき、 \begin{align} E \left[ \left\{X-E \left(X\right)\right\}^k\right] \end{align} を $k$ 次の中心モーメントと呼び、 \begin{align} E \left[ \left\{\frac{X-E \left(X\right)}{\sigma}\right\}^k\right] \end{align} を $k$ 次の標準化モーメントと呼ぶ。
$E \left( \left|X\right|^k\right)$ が有限の値に収束する、すなわち、 \begin{align} E \left( \left|X\right|^k\right) \lt \infty \end{align} のときに $k$ 次積率は存在するという。
また、 \begin{align} E \left[X \left(X-1\right) \cdots \left(X-k+1\right)\right] \end{align} のかたちで表されるモーメントを $k$ 次階乗モーメントという。
ポイント
①期待値 $E \left(X\right)$ は1次積率、分散 $V \left(X\right)=E \left[ \left\{X-E \left(X\right)\right\}^2\right]$ は期待値のまわりの2次積率と言い換えることができる。
②どのような分布でも、期待値 $\mu$ のまわりの1次積率（1次の中心積率）は0となる。 \begin{align} E \left(X-\mu\right)=E \left(X\right)-\mu=\mu-\mu=0 \end{align}
③確率変数 $X$ の分布がその期待値 $\mu$ について対称ならば、正の部分と負の部分が相殺されるため、奇数次の中心積率はゼロとなる。 \begin{align} E \left[ \left(X-\mu\right)^k\right]=0 \quad k=1,3,5, \cdots \end{align}
低次なモーメントの存在性
【命題】
低次なモーメントの存在性
Existence of Lower Moments
$k$ 次モーメントが存在すれば、それよりも低次なモーメントも存在する、すなわち、 \begin{align} E \left( \left|X\right|^k\right) \lt \infty\Rightarrow E \left( \left|X\right|^j\right) \lt \infty \quad j \lt k \end{align}
証明
（i）離散型の場合 \begin{align} E \left( \left|X\right|^j\right)&=\sum_{-\infty}^{\infty}{ \left|x\right|^j \cdot f \left(x\right)}\\ &=\sum_{ \left|x\right| \le 1}{ \left|x\right|^j \cdot f \left(x\right)}+\sum_{ \left|x\right|>1}{ \left|x\right|^j \cdot f \left(x\right)}\\ & \le \sum_{ \left|x\right| \le 1}{1 \cdot f \left(x\right)}+\sum_{ \left|x\right|>1}{ \left|x\right|^k \cdot f \left(x\right)}\\ & \le P \left( \left|X\right| \le 1\right)+E \left( \left|X\right|^k\right)\\ & \lt \infty \end{align} $\blacksquare$
（ii）連続型の場合 \begin{align} E \left( \left|X\right|^j\right)&=\int_{-\infty}^{\infty}{ \left|x\right|^j \cdot f \left(x\right)dx}\\ &=\int_{ \left|x\right| \le 1}{ \left|x\right|^j \cdot f \left(x\right)dx}+\int_{ \left|x\right|>1}{ \left|x\right|^j \cdot f \left(x\right)dx}\\ & \le \int_{ \left|x\right| \le 1}{1 \cdot f \left(x\right)dx}+\int_{ \left|x\right|>1}{ \left|x\right|^k \cdot f \left(x\right)dx}\\ & \le P \left( \left|X\right| \le 1\right)+E \left( \left|X\right|^k\right)\\ & \lt \infty \end{align} $\blacksquare$
これは、2次モーメント $E \left(X^2\right)$ が存在すれば、期待値 $E \left(X\right)$ も存在し、また分散 $V \left(X\right)$ も存在するということを意味している。
任意の点まわりの2次モーメントとしての分散
【命題】
任意の点まわりの2次モーメントとしての分散
Variance as Second Moment about Arbitrary Point
分散は、任意の実数 $c$ まわりの2次モーメントを最小にする、すなわち、 \begin{align} V \left(X\right) \le E \left[ \left(X-c\right)^2\right] \end{align}
証明
\begin{align} E \left[ \left(X-c\right)^2\right]&=E \left[ \left\{ \left(X-\mu\right)- \left(\mu-c\right)\right\}^2\right]\\ &=E \left[ \left(X-\mu\right)^2-2 \left(X-\mu\right) \left(\mu-c\right)+ \left(\mu-c\right)^2\right]\\ &=E \left[ \left(X-\mu\right)^2\right]-2 \left(\mu-c\right)E \left(X-\mu\right)+ \left(\mu-c\right)^2\\ &=V \left(X\right)-2 \left(\mu-c\right) \left(\mu-\mu\right)+ \left(\mu-c\right)^2\\ &=V \left(X\right)+ \left(\mu-c\right)^2 \geq V \left(X\right)\\ \end{align} $\blacksquare$
2次階乗モーメントを用いた分散の公式
【公式】
2次階乗モーメントを用いた分散の公式
Variance Formula with 2nd Factorial Moment
確率変数 $X$ の分散が存在するとき、分散は、2次階乗モーメントを用いて \begin{align} V \left(X\right)=E \left\{X \left(X-1\right)\right\}+E \left(X\right)- \left\{E \left(X\right)\right\}^2 \end{align} で求めることができる。
導出
次の恒等式 \begin{align} X^2=X \left(X-1\right)+X \end{align} において、 両辺の期待値を取ると、 \begin{align} E \left(X^2\right)=E \left\{X \left(X-1\right)\right\}+E \left(X\right) \end{align} 分散の公式 $V \left(X\right)=E \left(X^2\right)- \left\{E \left(X\right)\right\}^2$ より、 \begin{align} V \left(X\right)=E \left\{X \left(X-1\right)\right\}+E \left(X\right)- \left\{E \left(X\right)\right\}^2 \end{align} $\blacksquare$
歪度
\begin{align} \alpha_3=\frac{E \left[ \left\{X-E \left(X\right)\right\}^3\right]}{\sigma^3} \end{align} を確率変数 $X$ の確率分布の歪度 skewness という。 歪度は確率分布の形状の非対称性の指標であり、正ならば右の裾が長く、負ならば左の裾が長い。そして、歪度の絶対値がその程度を表している。
なお、計算をする際には、 \begin{align} E \left[ \left\{X-E \left(X\right)\right\}^3\right]=E \left(X^3\right)-3E \left(X\right) \cdot E \left(X^2\right)+2 \left\{E \left(X\right)\right\}^3 \end{align} として計算することができる。
尖度
\begin{align} \alpha_4=\frac{E \left[ \left\{X-E \left(X\right)\right\}^4\right]}{\sigma^4} \end{align} を確率変数 $X$ の確率分布の尖度 kurtosis という。 尖度は確率分布の形状の尖りの程度の指標であり、通常、正規分布の \begin{align} \alpha_4=3 \end{align} と比較し、 \begin{align} \alpha_4-3 \end{align} を尖度超過係数 kurtosis coefficient of excess という。 尖度超過係数が正ならば正規分布よりも尖っており、負ならば正規分布よりも丸く鈍い形をしている。
計算には、 \begin{align} E \left[ \left\{X-E \left(X\right)\right\}^4\right]=E \left(X^4\right)-4E \left(X\right) \cdot E \left(X^3\right)+6 \left\{E \left(X\right)\right\}^2 \cdot E \left(X^2\right)-3 \left\{E \left(X\right)\right\}^4 \end{align} を用いることができる。
確率母関数
確率変数 $X$ が非負の整数値のみを取る離散型確率分布に従うとき、 \begin{gather} \left|\theta\right| \le 1 \end{gather} を満たす任意の実数 $\theta$ に対し、 $\theta^X$ の期待値 \begin{align} \begin{matrix}G_X \left(\theta\right)=E \left(\theta^X\right)=\sum_{x=0}^{\infty}{\theta^x \cdot f \left(x\right)}& \left( \left|\theta\right| \le 1\right)\\\end{matrix} \end{align} を確率母関数 probability-generatingfunction という。
確率母関数の性質
【定理】
確率母関数の性質
Basic Properties of Probability-Generating Function
確率変数 $X$ の確率母関数が存在するとき、
（I）$X=x$ となる確率 $P \left(X=x\right)=f \left(x\right)$ と確率母関数との間に、
\begin{align}
f \left(x\right)=\frac{G_X^{ \left(x\right)} \left(0\right)}{x!}
\end{align}
という関係が成り立つ。
（II）$X$ の $k$ 次階乗モーメントと確率母関数との間に、 \begin{align} G_X^{ \left(k\right)} \left(1\right)=E \left[X \left(X-1\right) \cdots \left(X-k+1\right)\right] \end{align} という関係が成り立つ。
（III）確率変数 \begin{align} X_1,X_2, \cdots ,X_n \end{align} が互いに独立であり、 それぞれの確率母関数を \begin{align} G_{X_1} \left(\theta\right),G_{X_2} \left(\theta\right), \cdots ,G_{X_n} \left(\theta\right) \end{align} とすると、 \begin{align} Y=X_1+X_2+ \cdots +X_n \end{align} の確率母関数は、 \begin{align} G_Y \left(\theta\right)=G_{X_1} \left(\theta\right) \cdot G_{X_2} \left(\theta\right) \cdots G_{X_n} \left(\theta\right) \end{align} で与えられる。
モーメント母関数
確率変数 $X$ について、任意の実数 $\theta$ に対し、$e^{\theta X}$ の期待値 \begin{align} M_X \left(\theta\right)=E \left(e^{\theta X}\right) \end{align} を積率（モーメント）母関数 moment-generating function という。 すなわち、$f \left(x\right)$ を確率関数、あるいは確率密度関数とすると、モーメント母関数は、 \begin{align} M_X \left(\theta\right)= \left\{\begin{matrix}\sum_{x=-\infty}^{\infty}{e^{\theta x} \cdot f \left(x\right)}&\mathrm{Discrete}\\\int_{-\infty}^{\infty}{e^{\theta x} \cdot f \left(x\right)dx}&\mathrm{Continuous}\\\end{matrix}\right. \end{align} で与えられる。 右辺が有限の値に収束する、すなわち、 \begin{align} E \left(e^{\theta X}\right) \lt \infty \end{align} のときに、モーメント母関数は存在するという。
多次元確率変数のモーメント母関数
また、多次元確率変数 \begin{align} \boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\} \end{align} のモーメント母関数は、 \begin{align} \boldsymbol{\theta}= \left\{\theta_1,\theta_2, \cdots ,\theta_n\right\} \end{align} に対し、 \begin{align} M_X \left(\boldsymbol{\theta}\right)=E \left(e^{\boldsymbol{\theta}\boldsymbol{X}^T}\right)=E \left(e^{\theta_1X_1+\theta_2X_2+ \cdots +\theta_nX_n}\right) \end{align} で与えられる。
モーメント母関数の基本性質
【定理】
モーメント母関数の基本性質
Basic Properties of Moment-Generating Function
（I）モーメント母関数とモーメントの関係
モーメント母関数が存在するとき、確率変数 $X$ の $k$ 次モーメントとモーメント母関数との間に、
\begin{align}
M_X^{ \left(k\right)} \left(0\right)=E \left(X^k\right)
\end{align}
という関係が成り立つ。
（II）線形変換後のモーメント母関数
確率変数 $X$ に対し、線形変換 $Y=aX+b$ を行うとき、変換後のモーメント母関数は、
\begin{align}
M_Y \left(\theta\right)=e^{b\theta}M_X \left(a\theta\right)
\end{align}
で与えられる。
（III）独立な確率変数の和のモーメント母関数
確率変数
\begin{align}
X_1,X_2, \cdots ,X_n
\end{align}
が互いに独立であり、
それぞれのモーメント母関数を
\begin{align}
M_{X_1} \left(\theta\right),M_{X_2} \left(\theta\right), \cdots ,M_{X_n} \left(\theta\right)
\end{align}
とすると、
\begin{align}
Y=X_1+X_2+ \cdots +X_n
\end{align}
のモーメント母関数は、
\begin{align}
M_Y \left(\theta\right)&=M_{X_1} \left(\theta\right) \cdot M_{X_2} \left(\theta\right) \cdot \cdots \cdot M_{X_n} \left(\theta\right)\\
&=\prod_{i=1}^{n}{M_{X_i} \left(\theta\right)}
\end{align}
で与えられる。
（IV）モーメント母関数の一意性
確率変数 $X,Y$ のモーメント母関数存在し、かつ、それらが一致すれば、$X_1,X_2$ の分布関数は同じ、すなわち、
\begin{align}
M_X \left(\theta\right)=M_Y \left(\theta\right)\Rightarrow F \left(x\right)=G \left(y\right)
\end{align}
が成り立つ。
特性関数
確率変数 $X$ について、$i^2=-1$ を満たす虚数単位 $i$ と任意の実数 $t$ に対し、$e^{i\theta X}$ の期待値 \begin{align} \varphi_X \left(t\right)=E \left(e^{itX}\right)=E \left[\cos{ \left(tX\right)}+i\sin{ \left(tX\right)}\right] \end{align} を特性関数 characteristic function と呼ぶ。 すなわち、$f \left(x\right)$ を確率関数、あるいは確率密度関数とすると、特性関数は、 \begin{align} \varphi_X \left(t\right)= \left\{\begin{matrix}\sum_{x=-\infty}^{\infty}{e^{itX} \cdot f \left(x\right)}&\mathrm{Discrete}\\\int_{-\infty}^{\infty}{e^{itX} \cdot f \left(x\right)dx}&\mathrm{Continuous}\\\end{matrix}\right. \end{align} で与えられる。 モーメント母関数は必ずしも存在するとは限らないが、特性関数はどのような確率変数に対しても必ず存在する。
多次元確率変数の特性関数
また、多次元確率変数 \begin{align} \boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\} \end{align} の特性関数は、 \begin{align} \boldsymbol{t}= \left\{t_1,t_2, \cdots ,t_n\right\} \end{align} に対し、 \begin{align} \varphi_\boldsymbol{X} \left(t\right)=E \left(e^{i\boldsymbol{tX}}\right)=E \left(e^{it_1X_1+it_2X_2+ \cdots +it_nX_n}\right) \end{align} で与えられる。
キュムラント母関数
確率変数 $X$ のモーメント母関数が存在するとき、モーメント母関数の対数 \begin{align} \psi_X \left(\theta\right)=\log{M_X \left(\theta\right)} \end{align} をキュムラント母関数 cumulant-generating function と呼ぶ。 なお、特性関数の対数 \begin{align} \psi_X \left(t\right)=\log{\varphi_X \left(t\right)} \end{align} とする定義もある。
キュムラント
キュムラント母関数を展開すると、 \begin{align} \psi_X \left(\theta\right)=\sum_{k=1}^{\infty}\frac{\theta^k}{k!}\kappa_k \end{align} と書ける。 この係数 $\kappa_k$ を $k$ 次キュムラントという。
キュムラント母関数の性質
【定理】
キュムラント母関数の性質
Basic Property of Characteristic Function and Cumulant-Generating Function
確率変数 $X$ の $k$ 次モーメントとキュムラント母関数との間に、 \begin{gather} \psi_X^{ \left(1\right)} \left(0\right)=E \left(X\right)\\ \psi_X^{ \left(2\right)} \left(0\right)=V \left(X\right) \end{gather} という関係が成り立つ。
参考文献
- 野田 一雄, 宮岡 悦良 著. 入門・演習数理統計. 共立出版, 1990, p.80-83
- 竹村 彰通 著. 現代数理統計学. 創文社, 1991, p.19-25
- 東京大学教養学部統計学教室 編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.99-104
- 久保川 達也 著, 新井 仁之, 小林 俊行, 斎藤 毅, 吉田 朋広 編. 現代数理統計学の基礎. 共立出版, 2017, p.19-23
- 黒木 学 著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.72-78
0 件のコメント:
コメントを投稿