モーメントと母関数-あるノマドの知の旅路～数学・統計学への道

本稿では、モーメントと母関数についてまとめています。2次階乗モーメントを用いた分散の公式、歪度・尖度、確率母関数、モーメント母関数、特性関数、キュムラント母関数などの定義や性質の紹介が含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

積率（モーメント）

$k$ がある正の整数のとき、確率変数 $X$ の $k$ 乗の期待値 $\begin{array}{r} E (X^{k}) \end{array}$ を確率変数 $X$ の $k$ 次積率（モーメント） moment といい、 $\begin{array}{r} E ({| X |}^{k}) \end{array}$ を $k$ 次絶対モーメントと呼ぶ。 $a$ をある実数として、 $\begin{array}{r} E [{(X - a)}^{k}] \end{array}$ を $a$ のまわりの $k$ 次モーメントという。特に、 $a = E (X)$ のとき、 $\begin{array}{r} E [{X - E (X)}^{k}] \end{array}$ を $k$ 次の中心モーメントと呼び、 $\begin{array}{r} E [{\frac{X - E (X)}{σ}}^{k}] \end{array}$ を $k$ 次の標準化モーメントと呼ぶ。

$E ({| X |}^{k})$ が有限の値に収束する、すなわち、 $\begin{array}{r} E ({| X |}^{k}) < \infty \end{array}$ のときに $k$ 次積率は存在するという。

また、 $\begin{array}{r} E [X (X - 1) \dots (X - k + 1)] \end{array}$ のかたちで表されるモーメントを $k$ 次階乗モーメントという。

ポイント

①期待値 $E (X)$ は1次積率、分散 $V (X) = E [{X - E (X)}^{2}]$ は期待値のまわりの2次積率と言い換えることができる。

②どのような分布でも、期待値 $μ$ のまわりの1次積率（1次の中心積率）は0となる。 $\begin{array}{r} E (X - μ) = E (X) - μ = μ - μ = 0 \end{array}$

③確率変数 $X$ の分布がその期待値 $μ$ について対称ならば、正の部分と負の部分が相殺されるため、奇数次の中心積率はゼロとなる。 $\begin{array}{r} E [{(X - μ)}^{k}] = 0 k = 1, 3, 5, \dots \end{array}$

低次なモーメントの存在性

【命題】
低次なモーメントの存在性
Existence of Lower Moments

$k$ 次モーメントが存在すれば、それよりも低次なモーメントも存在する、すなわち、 $\begin{array}{r} E ({| X |}^{k}) < \infty \Rightarrow E ({| X |}^{j}) < \infty j < k \end{array}$

証明

（i）離散型の場合 $\begin{aligned} E ({| X |}^{j}) & = \sum_{- \infty}^{\infty} {| x |}^{j} \cdot f (x) \\ = \sum_{| x | \leq 1} {| x |}^{j} \cdot f (x) + \sum_{| x | > 1} {| x |}^{j} \cdot f (x) \\ \leq \sum_{| x | \leq 1} 1 \cdot f (x) + \sum_{| x | > 1} {| x |}^{k} \cdot f (x) \\ \leq P (| X | \leq 1) + E ({| X |}^{k}) \\ < \infty \end{aligned}$ $◼$

（ii）連続型の場合 $\begin{aligned} E ({| X |}^{j}) & = \int_{- \infty}^{\infty} {| x |}^{j} \cdot f (x) d x \\ = \int_{| x | \leq 1} {| x |}^{j} \cdot f (x) d x + \int_{| x | > 1} {| x |}^{j} \cdot f (x) d x \\ \leq \int_{| x | \leq 1} 1 \cdot f (x) d x + \int_{| x | > 1} {| x |}^{k} \cdot f (x) d x \\ \leq P (| X | \leq 1) + E ({| X |}^{k}) \\ < \infty \end{aligned}$ $◼$

これは、2次モーメント $E (X^{2})$ が存在すれば、期待値 $E (X)$ も存在し、また分散 $V (X)$ も存在するということを意味している。

任意の点まわりの2次モーメントとしての分散

【命題】
任意の点まわりの2次モーメントとしての分散
Variance as Second Moment about Arbitrary Point

分散は、任意の実数 $c$ まわりの2次モーメントを最小にする、すなわち、 $\begin{array}{r} V (X) \leq E [{(X - c)}^{2}] \end{array}$

証明

$\begin{aligned} E [{(X - c)}^{2}] & = E [{(X - μ) - (μ - c)}^{2}] \\ = E [{(X - μ)}^{2} - 2 (X - μ) (μ - c) + {(μ - c)}^{2}] \\ = E [{(X - μ)}^{2}] - 2 (μ - c) E (X - μ) + {(μ - c)}^{2} \\ = V (X) - 2 (μ - c) (μ - μ) + {(μ - c)}^{2} \\ = V (X) + {(μ - c)}^{2} \geq V (X) \end{aligned}$ $◼$

2次階乗モーメントを用いた分散の公式

【公式】
2次階乗モーメントを用いた分散の公式
Variance Formula with 2nd Factorial Moment

確率変数 $X$ の分散が存在するとき、分散は、2次階乗モーメントを用いて $\begin{array}{r} V (X) = E {X (X - 1)} + E (X) - {E (X)}^{2} \end{array}$ で求めることができる。

導出

次の恒等式 $\begin{array}{r} X^{2} = X (X - 1) + X \end{array}$ において、両辺の期待値を取ると、 $\begin{array}{r} E (X^{2}) = E {X (X - 1)} + E (X) \end{array}$ 分散の公式 $V (X) = E (X^{2}) - {E (X)}^{2}$ より、 $\begin{array}{r} V (X) = E {X (X - 1)} + E (X) - {E (X)}^{2} \end{array}$ $◼$

歪度

$\begin{array}{r} α_{3} = \frac{E [{X - E (X)}^{3}]}{σ^{3}} \end{array}$ を確率変数 $X$ の確率分布の歪度 skewness という。歪度は確率分布の形状の非対称性の指標であり、正ならば右の裾が長く、負ならば左の裾が長い。そして、歪度の絶対値がその程度を表している。

なお、計算をする際には、 $\begin{array}{r} E [{X - E (X)}^{3}] = E (X^{3}) - 3 E (X) \cdot E (X^{2}) + 2 {E (X)}^{3} \end{array}$ として計算することができる。

尖度

$\begin{array}{r} α_{4} = \frac{E [{X - E (X)}^{4}]}{σ^{4}} \end{array}$ を確率変数 $X$ の確率分布の尖度 kurtosis という。尖度は確率分布の形状の尖りの程度の指標であり、通常、正規分布の $\begin{array}{r} α_{4} = 3 \end{array}$ と比較し、 $\begin{array}{r} α_{4} - 3 \end{array}$ を尖度超過係数 kurtosis coefficient of excess という。尖度超過係数が正ならば正規分布よりも尖っており、負ならば正規分布よりも丸く鈍い形をしている。

計算には、 $\begin{array}{r} E [{X - E (X)}^{4}] = E (X^{4}) - 4 E (X) \cdot E (X^{3}) + 6 {E (X)}^{2} \cdot E (X^{2}) - 3 {E (X)}^{4} \end{array}$ を用いることができる。

確率母関数

確率変数 $X$ が非負の整数値のみを取る離散型確率分布に従うとき、 $\begin{matrix} | θ | \leq 1 \end{matrix}$ を満たす任意の実数 $θ$ に対し、 $θ^{X}$ の期待値 $\begin{array}{r} \begin{array}{c} G_{X} (θ) = E (θ^{X}) = \sum_{x = 0}^{\infty} θ^{x} \cdot f (x) & (| θ | \leq 1) \end{array} \end{array}$ を確率母関数 probability-generatingfunction という。

確率母関数の性質

【定理】
確率母関数の性質
Basic Properties of Probability-Generating Function

確率変数 $X$ の確率母関数が存在するとき、
（I） $X = x$ となる確率 $P (X = x) = f (x)$ と確率母関数との間に、 $\begin{array}{r} f (x) = \frac{G_{X}^{(x)} (0)}{x!} \end{array}$ という関係が成り立つ。

（II） $X$ の $k$ 次階乗モーメントと確率母関数との間に、 $\begin{array}{r} G_{X}^{(k)} (1) = E [X (X - 1) \dots (X - k + 1)] \end{array}$ という関係が成り立つ。

（III）確率変数 $\begin{array}{r} X_{1}, X_{2}, \dots, X_{n} \end{array}$ が互いに独立であり、それぞれの確率母関数を $\begin{array}{r} G_{X_{1}} (θ), G_{X_{2}} (θ), \dots, G_{X_{n}} (θ) \end{array}$ とすると、 $\begin{array}{r} Y = X_{1} + X_{2} + \dots + X_{n} \end{array}$ の確率母関数は、 $\begin{array}{r} G_{Y} (θ) = G_{X_{1}} (θ) \cdot G_{X_{2}} (θ) \dots G_{X_{n}} (θ) \end{array}$ で与えられる。

モーメント母関数

確率変数 $X$ について、任意の実数 $θ$ に対し、 $e^{θ X}$ の期待値 $\begin{array}{r} M_{X} (θ) = E (e^{θ X}) \end{array}$ を積率（モーメント）母関数 moment-generating function という。すなわち、 $f (x)$ を確率関数、あるいは確率密度関数とすると、モーメント母関数は、 $\begin{array}{r} M_{X} (θ) = {\begin{array}{c} \sum_{x = - \infty}^{\infty} e^{θ x} \cdot f (x) & Discrete \\ \int_{- \infty}^{\infty} e^{θ x} \cdot f (x) d x & Continuous \end{array} \end{array}$ で与えられる。右辺が有限の値に収束する、すなわち、 $\begin{array}{r} E (e^{θ X}) < \infty \end{array}$ のときに、モーメント母関数は存在するという。

多次元確率変数のモーメント母関数

また、多次元確率変数 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ のモーメント母関数は、 $\begin{array}{r} θ = {θ_{1}, θ_{2}, \dots, θ_{n}} \end{array}$ に対し、 $\begin{array}{r} M_{X} (θ) = E (e^{θ X^{T}}) = E (e^{θ_{1} X_{1} + θ_{2} X_{2} + \dots + θ_{n} X_{n}}) \end{array}$ で与えられる。

モーメント母関数の基本性質

【定理】
モーメント母関数の基本性質
Basic Properties of Moment-Generating Function

（I）モーメント母関数とモーメントの関係
モーメント母関数が存在するとき、確率変数 $X$ の $k$ 次モーメントとモーメント母関数との間に、 $\begin{array}{r} M_{X}^{(k)} (0) = E (X^{k}) \end{array}$ という関係が成り立つ。

（II）線形変換後のモーメント母関数
確率変数 $X$ に対し、線形変換 $Y = a X + b$ を行うとき、変換後のモーメント母関数は、 $\begin{array}{r} M_{Y} (θ) = e^{b θ} M_{X} (a θ) \end{array}$ で与えられる。

（III）独立な確率変数の和のモーメント母関数
確率変数 $\begin{array}{r} X_{1}, X_{2}, \dots, X_{n} \end{array}$ が互いに独立であり、それぞれのモーメント母関数を $\begin{array}{r} M_{X_{1}} (θ), M_{X_{2}} (θ), \dots, M_{X_{n}} (θ) \end{array}$ とすると、 $\begin{array}{r} Y = X_{1} + X_{2} + \dots + X_{n} \end{array}$ のモーメント母関数は、 $\begin{aligned} M_{Y} (θ) & = M_{X_{1}} (θ) \cdot M_{X_{2}} (θ) \cdot \dots \cdot M_{X_{n}} (θ) \\ = \prod_{i = 1}^{n} M_{X_{i}} (θ) \end{aligned}$ で与えられる。

（IV）モーメント母関数の一意性
確率変数 $X, Y$ のモーメント母関数存在し、かつ、それらが一致すれば、 $X_{1}, X_{2}$ の分布関数は同じ、すなわち、 $\begin{array}{r} M_{X} (θ) = M_{Y} (θ) \Rightarrow F (x) = G (y) \end{array}$ が成り立つ。

特性関数

確率変数 $X$ について、 $i^{2} = - 1$ を満たす虚数単位 $i$ と任意の実数 $t$ に対し、 $e^{i θ X}$ の期待値 $\begin{array}{r} φ_{X} (t) = E (e^{i t X}) = E [\cos (t X) + i \sin (t X)] \end{array}$ を特性関数 characteristic function と呼ぶ。すなわち、 $f (x)$ を確率関数、あるいは確率密度関数とすると、特性関数は、 $\begin{array}{r} φ_{X} (t) = {\begin{array}{c} \sum_{x = - \infty}^{\infty} e^{i t X} \cdot f (x) & Discrete \\ \int_{- \infty}^{\infty} e^{i t X} \cdot f (x) d x & Continuous \end{array} \end{array}$ で与えられる。モーメント母関数は必ずしも存在するとは限らないが、特性関数はどのような確率変数に対しても必ず存在する。

多次元確率変数の特性関数

また、多次元確率変数 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ の特性関数は、 $\begin{array}{r} t = {t_{1}, t_{2}, \dots, t_{n}} \end{array}$ に対し、 $\begin{array}{r} φ_{X} (t) = E (e^{i t X}) = E (e^{i t_{1} X_{1} + i t_{2} X_{2} + \dots + i t_{n} X_{n}}) \end{array}$ で与えられる。

キュムラント母関数

確率変数 $X$ のモーメント母関数が存在するとき、モーメント母関数の対数 $\begin{array}{r} ψ_{X} (θ) = \log M_{X} (θ) \end{array}$ をキュムラント母関数 cumulant-generating function と呼ぶ。なお、特性関数の対数 $\begin{array}{r} ψ_{X} (t) = \log φ_{X} (t) \end{array}$ とする定義もある。

キュムラント

キュムラント母関数を展開すると、 $\begin{array}{r} ψ_{X} (θ) = \sum_{k = 1}^{\infty} \frac{θ^{k}}{k!} κ_{k} \end{array}$ と書ける。この係数 $κ_{k}$ を $k$ 次キュムラントという。

キュムラント母関数の性質

【定理】
キュムラント母関数の性質
Basic Property of Characteristic Function and Cumulant-Generating Function

確率変数 $X$ の $k$ 次モーメントとキュムラント母関数との間に、 $\begin{matrix} ψ_{X}^{(1)} (0) = E (X) \\ ψ_{X}^{(2)} (0) = V (X) \end{matrix}$ という関係が成り立つ。

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.80-83
竹村彰通著. 現代数理統計学. 創文社, 1991, p.19-25
東京大学教養学部統計学教室編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.99-104
久保川達也著, 新井仁之, 小林俊行, 斎藤毅, 吉田朋広編. 現代数理統計学の基礎. 共立出版, 2017, p.19-23
黒木学著. 数理統計学：統計的推論の基礎. 共立出版, 2020, p.72-78

モーメントと母関数

積率（モーメント）

ポイント

低次なモーメントの存在性

証明

任意の点まわりの2次モーメントとしての分散

証明

2次階乗モーメントを用いた分散の公式

導出

歪度

尖度