母数と統計量-あるノマドの知の旅路～数学・統計学への道

本稿では、数理統計学における母数と統計量の概念についてまとめています。経験分布関数、標本平均、標本不偏分散、順序統計量、標本範囲、標本中央値などの定義の紹介や標本平均の期待値と分散、標本分散の期待値と分散、順序統計量の分布、最大値・最小値の分布の紹介などが含まれます。

なお、閲覧にあたっては、以下の点にご注意ください。

スマートフォンやタブレット端末でご覧の際、数式が見切れている場合は、横にスクロールすることができます。

無作為標本

確率変数 $\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{n}} \end{matrix}$ が互いに独立でそれぞれ同一の確率分布に従うとき、それらは、その確率分布をもつ母集団 population からの大きさ $n$ の無作為標本 random sample といい、その確率分布を母集団分布 population distribution という。

さらに、 $\begin{matrix} f (x) \end{matrix}$ を（母集団）確率変数 $X$ の確率関数または確率密度関数とすると、 $\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{n}} \end{matrix}$ を確率関数または確率密度関数 $f (x)$ をもつ確率分布からの大きさ $n$ の無作為標本ということもある。この場合、無作為標本の結合確率関数、または結合確率密度関数は $\begin{array}{r} f (x_{1}, x_{2}, \dots, x_{n}) = f (x_{1}) \cdot f (x_{2}) \dots f (x_{n}) \end{array}$ で与えられる。

たとえば、ある学校の生徒の身長の調査を考えてみる。確率変数 $X$ がこの学校の生徒の身長を表わすとすると、この学校の全生徒の身長の分布がこの $X$ の分布である。いま、その生徒の中から無作為に10人選ぶとし、 $\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{10}} \end{matrix}$ をその10人の生徒の身長とすると、これらは互いに独立でそれぞれ同一の確率分布、すなわち $X$ の分布に従うので、これらは母集団確率変数 $X$ からの大きさ10の無作為標本と見なすことができる。

このとき、選ばれた10人の身長を実際に観測した値を $\begin{matrix} x = {x_{1}, x_{2}, \dots, x_{n}} \end{matrix}$ とすると、無作為標本 $\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{n}} \end{matrix}$ は確率変数であり、 $\begin{matrix} x = {x_{1}, x_{2}, \dots, x_{n}} \end{matrix}$ はその確率変数の取る値である。実際の社会調査などでは、この学校の全生徒の身長の集合を母集団、選ばれた10人の身長の組を標本という言い方をすることもあるが、数理統計では上で定義したように、確率変数をもとにして考えていく。

統計量

無作為標本 $\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{n}} \end{matrix}$ の関数を統計量 statistics という。また、統計量の確率分布を標本分布 sampling distributionという。

統計量は無作為標本を変数変換したものであり、統計量もまた確率変数である。

ある統計量が $\begin{matrix} T = r (X_{1}, X_{2}, \dots, X_{n}) \end{matrix}$ で定義されているとし、無作為標本を $\begin{matrix} X = {X_{1}, X_{2}, \dots, X_{n}} \end{matrix}$ 実際の観測値を $\begin{matrix} x = {x_{1}, x_{2}, \dots, x_{n}} \end{matrix}$ とすると、 $\begin{matrix} t = r (X_{1}, X_{2}, \dots, X_{n}) \end{matrix}$ は観測値が $\begin{matrix} x = {x_{1}, x_{2}, \dots, x_{n}} \end{matrix}$ のときの統計量の値である。確率変数である統計量とその統計量が実際に取る値の区別をはっきりさせていることが大切である。

統計量は無作為標本の関数であるから、その観測値、すなわちデータが与えられていれば、その標本からの統計量の値は計算できる。同じ母集団から違う無作為標本を取れば、その観測値は違ったものであり、その観測値から計算された統計量の値もまた違ったものになる.また別の無作為標本を取れば、その観測値から計算された統計量の値もまた違うものになる。つまリ、統計量の分布、標本分布である。

経験分布関数

大きさ $n$ の無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ について、 $m$ を $\begin{array}{r} X_{i} \leq x \end{array}$ を満たすデータの個数として、 $\begin{array}{r} {\hat{F}}_{n} (x) = \frac{m}{n} \end{array}$ を 経験分布関数 empirical distribution function、または標本分布関数 sample distribution function という。

経験分布関数の従う分布

【定理】
経験分布関数の従う分布
The Distribution of Empirical Distribution Function

分布関数 $F (x)$ をもつ大きさ $n$ の無作為標本を $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ とし、 $\begin{array}{r} {\hat{F}}_{n} (x) \end{array}$ をその経験分布関数とすると、 $\begin{array}{r} n {\hat{F}}_{n} (x) \end{array}$ は、パラメータ $n$ 、成功確率 $F (x)$ の二項分布 $\begin{array}{r} B {n, F (x)} \end{array}$ に従う。また、 $\begin{matrix} E [{\hat{F}}_{n} (x)] = F (x) \\ V [{\hat{F}}_{n} (x)] = \frac{F (x) {1 - F (x)}}{n} \end{matrix}$ となる。

証明

まず、次の指示関数 $\begin{matrix} I_{i} = {\begin{matrix} 1 & X_{i} \leq x \\ 0 & x < X_{i} \end{matrix} \\ i = 1, 2, \dots, n \end{matrix}$ を定義すると、 $\begin{array}{r} P (I_{i} = 1) = P (X_{i} \leq x) = F (x) \end{array}$ $X_{i}$ は互いに独立なので、 $I_{i}$ もまた独立であり、 $\begin{array}{r} I = {I_{1}, I_{2}, \dots, I_{n}} \end{array}$ は成功確率 $F (x)$ のベルヌーイ試行である。したがって、二項分布の定義より、 $\begin{array}{r} n {\hat{F}}_{n} (x) = \sum_{i = 1}^{n} I_{i} \end{array}$ は、パラメータ $n$ 、成功確率 $F (x)$ の二項分布 $\begin{array}{r} B {n, F (x)} \end{array}$ に従う。また、二項分布の期待値と分散の公式より、 $\begin{matrix} E [n {\hat{F}}_{n} (x)] = n F (x) \\ V [n {\hat{F}}_{n} (x)] = n F (x) {1 - F (x)} \end{matrix}$ 期待値の性質と分散の性質 $E (a X) = a E (X), V (a X) = a^{2} V (X)$ より、 $\begin{matrix} E [{\hat{F}}_{n} (x)] = F (x) \\ V [{\hat{F}}_{n} (x)] = \frac{F (x) {1 - F (x)}}{n} \end{matrix}$ $◼$

標本モーメント

任意の母集団分布からの大きさ $n$ の無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ の統計量のうち、 $\begin{array}{r} M_{k} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}^{k} \end{array}$ を $k$ 次標本モーメント k-th sample moment という。

標本平均

特に、 $k = 1$ の場合、 $\begin{array}{r} \bar{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \end{array}$ を標本平均 sample mean という。また、 $\begin{array}{r} \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{k} \end{array}$ を標本平均まわりの $k$ 次標本モーメントという。

標本不偏分散

特に、 $k = 2$ の場合、 $\begin{array}{r} S^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2} \end{array}$ を標本分散sample variance といい、 $\begin{array}{r} s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2} \end{array}$ を標本不偏分散 sample unbiased variance という。標本分散（または標本不偏分散）の正の平方根 $\begin{array}{r} S = \sqrt{S^{2}} s = \sqrt{s^{2}} \end{array}$ を標本標準偏差 sample standard deviationという。

標本平均の期待値と分散

【定理】
標本平均の期待値と分散
Expected Value and Variance of Sample Mean

平均と分散がそれぞれ $μ$ と $σ^{2}$ である任意の母集団分布 $P (μ, σ^{2})$ からの大きさ $n$ の無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ についての標本平均の期待値と分散はそれぞれ、 $\begin{matrix} E (\bar{X}) = μ \\ V (\bar{X}) = \frac{σ^{2}}{n} \end{matrix}$ で与えられる。

標本分散の期待値と分散

【命題】
標本分散の期待値と分散
Expected Value and Variance of Sample Variance

平均と分散がそれぞれ $μ$ と $σ^{2}$ である任意の母集団分布 $P (μ, σ^{2})$ からの大きさ $n$ の無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ についての標本分散と標本不偏分散の期待値と分散は、 $\begin{array}{r} μ_{4} = E [{(X - μ)}^{4}] \end{array}$ として、（I）標本分散 $\begin{matrix} E (S^{2}) = \frac{n - 1}{n} σ^{2} \\ V (S^{2}) = \frac{{(n - 1)}^{2}}{n^{3}} (μ_{4} - \frac{n - 3}{n - 1} σ^{4}) \end{matrix}$ （II）標本不偏分散 $\begin{matrix} E (s^{2}) = σ^{2} \\ V (s^{2}) = \frac{1}{n} (μ_{4} - \frac{n - 3}{n - 1} σ^{4}) \end{matrix}$ で与えられる。

順序統計量

任意の母集団分布からの大きさ $n$ の無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ を値の小さい順に並べたものを順序統計量 order statisticsといい、 $\begin{array}{r} X_{(1)} \leq X_{(2)} \leq \dots \leq X_{(n)} \end{array}$ と書く。

極値統計量

特に、1 番目の統計量 $\begin{array}{r} X_{(1)} \end{array}$ を標本最小値 sample minimum $n$ 番目の統計量 $\begin{array}{r} X_{(n)} \end{array}$ を標本最大値 sample maximum といい、これらを合わせて極値統計量 extreme value statistics という。

標本範囲

観測値が存在している領域の幅 $\begin{array}{r} R_{n} = X_{(n)} - X_{(1)} \end{array}$ を標本範囲 Sample Rangeという。

標本中央値

観測値の中央の値
$\begin{matrix} M e (X) = {\begin{matrix} \frac{X_{(m)} + X_{(m + 1)}}{2} & n = 2 m \\ X_{(m)} & n = 2 m + 1 \end{matrix} \end{matrix}$ を標本中央値 sample median という。

標本中点

サンプルサイズが偶数・奇数いずれであっても、 $\begin{array}{r} \frac{X_{(m)} + X_{(m + 1)}}{2} \end{array}$ を標本中点 sample midrange という。

順序統計量の分布

【定理】
順序統計量の分布
Distribution of Order Statistics

累積分布関数 $F (x)$ をもつ任意の母集団分布（離散型・連続型いずれでもよい）からの無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ の $i$ 番目の順序統計量 $\begin{array}{r} X_{(i)} \end{array}$ の累積分布関数 $F_{i} (x)$ は、 $\begin{array}{r} F_{i} (x) = \sum_{k = i}^{n}_{n} C_{k} {F (x)}^{k} {1 - F (x)}^{n - k} \end{array}$ で与えられる。また、 $X$ が連続型確率変数であり、確率密度関数 $f (x)$ をもつとき、 $X_{(i)}$ の確率密度関数は、 $\begin{array}{r} f_{i} (x) = \frac{n!}{(i - 1)! (n - i)!} {F (x)}^{i - 1} \cdot {1 - F (x)}^{n - i} \cdot f (x) \end{array}$ で与えられる。

最大値・最小値の分布

【定理】
最大値・最小値の分布
Distribution of the Maximum and the Minimum

累積分布関数 $F (x)$ をもつ任意の確率分布（離散型・連続型いずれでもよい）からの無作為標本 $\begin{array}{r} X = {X_{1}, X_{2}, \dots, X_{n}} \end{array}$ について、（i）最大値 $X_{(n)}$ の累積分布関数は、 $\begin{matrix} F_{(n)} (x) = {F (x)}^{n} \end{matrix}$ また、連続型確率変数で確率密度関数 $f (x)$ をもつ場合、 $X_{(n)}$ の確率密度関数は、 $\begin{matrix} f_{(n)} (x) = n f (x) {F (x)}^{n - 1} \end{matrix}$ で与えられる。（ii）最小値 $X_{(1)}$ の累積分布関数は、 $\begin{matrix} F_{(1)} (x) = 1 - {1 - F (x)}^{n} \end{matrix}$ また、連続型確率変数で確率密度関数 $f (x)$ をもつ場合、 $X_{(1)}$ の確率密度関数は、 $\begin{matrix} f_{(1)} (x) = n f (x) {1 - F (x)}^{n - 1} \end{matrix}$ で与えられる。

参考文献

野田一雄, 宮岡悦良著. 入門・演習数理統計. 共立出版, 1990, p.163-175
竹村彰通著. 現代数理統計学. 創文社, 1991, p.61-65, p.80-83
東京大学教養学部統計学教室編. 基礎統計学 1 統計学入門. 東京大学出版会, 1991, p.175-189
久保川達也著, 新井仁之, 小林俊行, 斎藤毅, 吉田朋広編. 現代数理統計学の基礎. 共立出版, 2017, p.84-86

母数と統計量

無作為標本

統計量

経験分布関数

経験分布関数の従う分布

証明

標本モーメント