標本分散の期待値と分散の導出

（i） \begin{align} S_n^2&=\frac{1}{n}\sum_{i=1}^{n} \left(X_i-{\bar{X}}_n\right)^2\\ &=\frac{1}{n}\sum_{i=1}^{n} \left(X_i^2-2X_i{\bar{X}}_n+{\bar{X}}_n^2\right)\\ &=\frac{1}{n} \left\{\sum_{i=1}^{n}X_i^2-2{\bar{X}}_n\sum_{i=1}^{n}X_i+{\bar{X}}_n^2\sum_{i=1}^{n}1\right\}\\ &=\frac{1}{n} \left\{\sum_{i=1}^{n}X_i^2-2{\bar{X}}_n \cdot n{\bar{X}}_n+n{\bar{X}}_n^2\right\}\\ &=\frac{1}{n} \left\{\sum_{i=1}^{n}X_i^2-n{\bar{X}}_n\right\}\\ &=\frac{1}{n}\sum_{i=1}^{n}X_i^2-{\bar{X}}_n \end{align}

（ii）確率変数 $X_i$ と $X_j$ について、常に \begin{align} \left(X_i-X_j\right)^2=X_i^2-2X_iX_j+X_j^2 \end{align} 確率変数 $X_j$ の和を取ると、$X_i$ は定数であると考えて、 \begin{align} \sum_{j=1}^{n} \left(X_i-X_j\right)^2&=\sum_{j=1}^{n} \left(X_i^2-2X_iX_j+X_j^2\right)\\ &=nX_i^2-2nX_i{\bar{X}}_n+\sum_{j=1}^{n}X_j^2 \end{align} 確率変数 $X_i$ の和を取ると、 \begin{align} \sum_{i=1}^{n}\sum_{j=1}^{n} \left(X_i-X_j\right)^2&=n\sum_{i=1}^{n}X_i^2-2n{\bar{X}}_n\sum_{i=1}^{n}X_i+\sum_{i=1}^{n}\sum_{j=1}^{n}X_j^2\\ &=n\sum_{i=1}^{n}X_i^2-2n{\bar{X}}_n\sum_{i=1}^{n}X_i+n\sum_{j=1}^{n}X_j^2 \end{align} $\sum_{i=1}^{n}X_i=n{\bar{X}}_n$ の関係があるから、 \begin{align} \sum_{i=1}^{n}\sum_{j=1}^{n} \left(X_i-X_j\right)^2=n\sum_{i=1}^{n}X_i^2-2n \cdot n{\bar{X}}_n+n\sum_{j=1}^{n}X_j^2 \end{align} $\sum_{i=1}^{n}X_i^2=\sum_{j=1}^{n}X_j^2$ なので、 \begin{align} \sum_{i=1}^{n}\sum_{j=1}^{n} \left(X_i-X_j\right)^2=2n\sum_{i=1}^{n}X_i^2-2n^2{\bar{X}}_n^2 \end{align} 両辺を $2n^2$ で割ると、 \begin{align} \frac{1}{2n^2}\sum_{i=1}^{n}\sum_{j=1}^{n} \left(X_i-X_j\right)^2=\frac{1}{n}\sum_{i=1}^{n}X_i^2-{\bar{X}}_n=S_n^2 \end{align} $\blacksquare$

（I）標本分散
（i）期待値
標本平均と母平均の差を表す式を変形すると、 \begin{align} \bar{X}-\mu&=\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}n\mu\\ &=\frac{1}{n}\sum_{i=1}^{n} \left(X_i-\mu\right) \end{align} したがって、 \begin{align} \sum_{i=1}^{n} \left(X_i-\mu\right)=n \left(\bar{X}-\mu\right)\tag{1} \end{align} いっぽう、観測値と標本平均の偏差平方和の式を変形すると、 \begin{align} \sum_{i=1}^{n} \left(X_i-\bar{X}\right)^2&=\sum_{i=1}^{n} \left[ \left(X_i-\mu\right)+ \left(\mu-\bar{X}\right)\right]^2\\ &=\sum_{i=1}^{n} \left[ \left(X_i-\mu\right)^2-2 \left(X_i-\mu\right) \left(\bar{X}-\mu\right)+ \left(\bar{X}-\mu\right)^2\right]\\ &=\sum_{i=1}^{n} \left(X_i-\mu\right)^2-2 \left(\bar{X}-\mu\right)\sum_{i=1}^{n} \left(X_i-\mu\right)+\sum_{i=1}^{n} \left(\bar{X}-\mu\right)^2\\ &=\sum_{i=1}^{n} \left(X_i-\mu\right)^2-2 \left(\bar{X}-\mu\right)\sum_{i=1}^{n} \left(X_i-\mu\right)+n \left(\bar{X}-\mu\right)^2 \end{align} 式 $(1)$ より、 \begin{align} \sum_{i=1}^{n} \left(X_i-\bar{X}\right)^2&=\sum_{i=1}^{n} \left(X_i-\mu\right)^2-2 \left(\bar{X}-\mu\right) \cdot n \left(\bar{X}-\mu\right)+n \left(\bar{X}-\mu\right)^2\\ &=\sum_{i=1}^{n} \left(X_i-\mu\right)^2-n \left(\bar{X}-\mu\right)^2\tag{2} \end{align} 両辺の期待値を取ると、 \begin{align} E \left[\sum_{i=1}^{n} \left(X_i-\bar{X}\right)^2\right]&=E \left[\sum_{i=1}^{n} \left(X_i-\mu\right)^2\right]-nE \left[ \left(\bar{X}-\mu\right)^2\right]\\ &=\sum_{i=1}^{n}E \left[ \left(X_i-\mu\right)^2\right]-nE \left[ \left(\bar{X}-\mu\right)^2\right] \end{align} 分散の定義式 $V \left(X\right)=E \left[ \left(X-\mu\right)^2\right]$ より、 \begin{align} E \left[\sum_{i=1}^{n} \left(X_i-\bar{X}\right)^2\right]&=\sum_{i=1}^{n}V \left(X_i\right)-nV \left(\bar{X}\right)\\ &=n\sigma^2-\sigma^2\\ &= \left(n-1\right)\sigma^2 \end{align} したがって、 \begin{align} E \left(S^2\right)&=E \left[\frac{1}{n}\sum_{i=1}^{n} \left(X_i-\bar{X}\right)^2\right]\\ &=\frac{1}{n}E \left[\sum_{i=1}^{n} \left(X_i-\bar{X}\right)^2\right]\\ &=\frac{n-1}{n}\sigma^2 \end{align}

（ii）分散
$Y_i=X_i-\mu,\bar{Y}=\bar{X}-\mu$ とおくと、 \begin{align} S^2&=\frac{1}{n}\sum_{i=1}^{n} \left\{ \left(Y_i+\mu\right)- \left(\bar{Y}+\mu\right)\right\}^2\\ &=\frac{1}{n}\sum_{i=1}^{n} \left(Y_i-\bar{Y}\right)^2 \end{align} 式 $(2)$ より、 \begin{align} S^2=\frac{1}{n} \left(\sum_{i=1}^{n}Y_i^2-n\bar{Y}\right) \end{align} 両辺を2乗すると、 \begin{align} S^4&=\frac{1}{n^2} \left(\sum_{i=1}^{n}Y_i^2-n\bar{Y}\right)^2\\ &=\frac{1}{n^2} \left\{ \left(\sum_{i=1}^{n}Y_i^2\right)^2-2n\sum_{i=1}^{n}{Y_i^2{\bar{Y}}^2}+n^2{\bar{Y}}^4\right\} \end{align} 両辺の期待値を取ると、 \begin{align} E \left(S^4\right)&=\frac{1}{n^2}E \left[ \left(\sum_{i=1}^{n}Y_i^2\right)^2-2n\sum_{i=1}^{n}{Y_i^2{\bar{Y}}^2}+n^2{\bar{Y}}^4\right]\\ &=\frac{1}{n^2} \left\{E \left[ \left(\sum_{i=1}^{n}Y_i^2\right)^2\right]-2nE \left[\sum_{i=1}^{n}{Y_i^2{\bar{Y}}^2}\right]+n^2E \left[{\bar{Y}}^4\right]\right\}\tag{3} \end{align} 式 $(3)$ の右辺第1項、第2項、第3項をそれぞれ、以下のようにおき、計算していく。 \begin{gather} A=E \left[ \left(\sum_{i=1}^{n}Y_i^2\right)^2\right]\\ B=E \left[\sum_{i=1}^{n}{Y_i^2{\bar{Y}}^2}\right]\\ C=E \left[{\bar{Y}}^4\right] \end{gather}

（a） \begin{align} \left(\sum_{i=1}^{n}Y_i^2\right)^2&= \left\{ \left(Y_1-\bar{Y}\right)^2+ \left(Y_2-\bar{Y}\right)^2+ \cdots + \left(Y_n-\bar{Y}\right)^2\right\} \left\{ \left(Y_1-\bar{Y}\right)^2+ \left(Y_2-\bar{Y}\right)^2+ \cdots + \left(Y_n-\bar{Y}\right)^2\right\}\\ &=\sum_{i=1}^{n}Y_i^2\sum_{j=1}^{n}Y_j^2 \end{align} この式を展開していくと、
（a1）$i=j$ となる項
これは、$i=j=1,2, \cdots n$ の $n$ 個ある。 （a2）$i \neq j$ となる項
$i$ の選び方が $n$ 通り
$j$ の選び方が $n-1$ 通り なので、 全部で $n \left(n-1\right)$ 個ある。 （a1）、（a2）より、 \begin{align} \sum_{i=1}^{n}Y_i^2\sum_{j=1}^{n}Y_j^2=nY_i^4+n \left(n-1\right)Y_i^2Y_j^2 \end{align} 両辺の期待値を取ると、 \begin{align} A&=E \left[nY_i^4+n \left(n-1\right)Y_i^2Y_j^2\right]\\ &=nE \left[Y_i^4\right]+n \left(n-1\right)E \left[Y_i^2Y_j^2\right] \end{align} ここで、$i \neq j$ ならば、$Y_i,Y_j$ が独立なので、期待値の性質 $E \left\{g \left(X\right)h \left(Y\right)\right\}=E \left\{g \left(X\right)\right\}E \left\{h \left(Y\right)\right\}$ より、 \begin{align} A=nE \left[Y_i^4\right]+n \left(n-1\right)E \left[Y_i^2\right]E \left[Y_j^2\right] \end{align} 分散の定義式 $V \left(X\right)=E \left[ \left(X-\mu\right)^2\right]$ より、$\mu_4=E \left[ \left(X-\mu\right)^4\right]$ とすると、 \begin{align} A&=n\mu_4+n \left(n-1\right) \cdot \sigma^2 \cdot \sigma^2\\ &=n\mu_4+n \left(n-1\right) \cdot \sigma^4\tag{4} \end{align}

（b） \begin{align} \sum_{i=1}^{n}{Y_i^2{\bar{Y}}^2}&= \left(\sum_{i=1}^{n}Y_i^2\right) \left(\frac{1}{n}\sum_{j=1}^{n}Y_j\right) \left(\frac{1}{n}\sum_{k=1}^{n}Y_k\right)\\ &=\frac{1}{n^2} \left(\sum_{i=1}^{n}Y_i^2\sum_{j=1}^{n}Y_j\sum_{k=1}^{n}Y_k\right) \end{align} 両辺の期待値を取ると、 \begin{align} B=\frac{1}{n^2}E \left[\sum_{i=1}^{n}Y_i^2\sum_{j=1}^{n}Y_j\sum_{k=1}^{n}Y_k\right] \end{align} （a）と同様に考えると、
（b1）3つとも同じ数字となる項（$i=j=k$）
これは、$i=j=k=1,2, \cdots n$ の $n$ 個ある。 （b2-1）3つのうち2つが同じ数字となる項①（$i=j \neq k,i=k \neq j$）
1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
$i$ と同じになるアルファベットの選び方が $2$ 通り なので、 全部で $2n \left(n-1\right)$ 個ある。 （b2-2）3つのうち2つが同じ数字となる項②（$i \neq j=k$）
1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り なので、 全部で $n \left(n-1\right)$ 個ある。 （b3）3つとも違う数字となる項（$i \neq j \neq k$）
1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
3種類目の数字の選び方が $n-2$ 通り なので、 全部で $n \left(n-1\right) \left(n-2\right)$ 個ある。 （b1）～（b3）より、 \begin{align} B&=\frac{1}{n^2} \left\{nE \left[Y_i^4\right]+2n \left(n-1\right)E \left[Y_i^3Y_j\right]+n \left(n-1\right)E \left[Y_i^2Y_j^2\right]+n \left(n-1\right) \left(n-2\right)E \left[Y_i^2Y_jY_k\right]\right\}\\ &=\frac{1}{n} \left\{E \left[Y_i^4\right]+2 \left(n-1\right)E \left[Y_i^3Y_j\right]+ \left(n-1\right)E \left[Y_i^2Y_j^2\right]+ \left(n-1\right) \left(n-2\right)E \left[Y_i^2Y_jY_k\right]\right\} \end{align} 期待値の性質 $E \left\{g \left(X\right)h \left(Y\right)\right\}=E \left\{g \left(X\right)\right\}E \left\{h \left(Y\right)\right\}$ より \begin{align} B=\frac{1}{n} \left\{E \left[Y_i^4\right]+2 \left(n-1\right)E \left[Y_i^3\right]E \left[Y_j\right]+ \left(n-1\right)E \left[Y_i^2\right]E \left[Y_j^2\right]+ \left(n-1\right) \left(n-2\right)E \left[Y_i^2\right]E \left[Y_j\right]E \left[Y_k\right]\right\} \end{align} 期待値周りの1次モーメントは $E \left[Y_j\right]=E \left[X_i-\mu\right]=0$ なので、 \begin{align} B=\frac{1}{n} \left\{E \left[Y_i^4\right]+ \left(n-1\right)E \left[Y_i^2\right]E \left[Y_j^2\right]\right\} \end{align} 分散の定義式 $V \left(X\right)=E \left[ \left(X-\mu\right)^2\right]$ より、 \begin{align} B&=\frac{1}{n} \left\{\mu_4+ \left(n-1\right) \cdot \sigma^2 \cdot \sigma^2\right\}\\ &=\frac{1}{n} \left\{\mu_4+ \left(n-1\right) \cdot \sigma^4\right\}\tag{5} \end{align}

（c） \begin{align} {\bar{Y}}^4&= \left(\frac{1}{n}\sum_{i=1}^{n}Y_i\right) \left(\frac{1}{n}\sum_{j=1}^{n}Y_j\right) \left(\frac{1}{n}\sum_{k=1}^{n}Y_k\right) \left(\frac{1}{n}\sum_{l=1}^{n}Y_l\right)\\ &=\frac{1}{n^4} \left(\sum_{i=1}^{n}Y_i\sum_{j=1}^{n}Y_j\sum_{k=1}^{n}Y_k\sum_{l=1}^{n}Y_l\right) \end{align} 両辺の期待値を取ると、 \begin{align} C=\frac{1}{n^4}E \left[\sum_{i=1}^{n}Y_i\sum_{j=1}^{n}Y_j\sum_{k=1}^{n}Y_k\sum_{l=1}^{n}Y_l\right] \end{align} これまでと同様に考えると、
（c1）4つとも同じ数字となる項（$i=j=k=l$） これは、$i=j=k=l=1,2, \cdots n$ の $n$ 個ある。 （c2）4つのうち3つが同じ数字となる項（$i=j=k \neq l$ など） 1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
そして、同じ数字となるアルファベットの選び方が ${}_{4}C_3=4$ 通り なので、 全部で $4n \left(n-1\right)$ 個ある。 （c3）4つのうち2つが同じ数字のペアが2つとなる項（$i=j \neq k=l$ など） 1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通りある。 同じ数字となるアルファベットの選び方は、 $i$ と同じとなるアルファベットの選び方が ${}_{3}C_1=3$ 通りあり、
残り2つのアルファベットを自動的に同じ数字 とすればいいので、 全部で $3n \left(n-1\right)$ 個ある。 （c4）4つとも違う数字となる項（$i \neq j \neq k \neq l$） 1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
3種類目の数字の選び方が $n-2$ 通り
4種類目の数字の選び方が $n-3$ 通り なので、 全部で $n \left(n-1\right) \left(n-2\right) \left(n-3\right)$ 個ある。 （c1）～（c4）より、 \begin{align} C&=\frac{1}{n^4} \left\{nE \left[Y_i^4\right]+4n \left(n-1\right)E \left[Y_i^3Y_j\right]+3n \left(n-1\right)E \left[Y_i^2Y_j^2\right]+n \left(n-1\right) \left(n-2\right) \left(n-3\right)E \left[Y_iY_jY_kY_l\right]\right\}\\ &=\frac{1}{n^3} \left\{E \left[Y_i^4\right]+4 \left(n-1\right)E \left[Y_i^3Y_j\right]+3 \left(n-1\right)E \left[Y_i^2Y_j^2\right]+ \left(n-1\right) \left(n-2\right) \left(n-3\right)E \left[Y_iY_jY_kY_l\right]\right\} \end{align} 期待値の性質 $E \left\{g \left(X\right)h \left(Y\right)\right\}=E \left\{g \left(X\right)\right\}E \left\{h \left(Y\right)\right\}$ より、 \begin{align} C=\frac{1}{n^3} \left\{E \left[Y_i^4\right]+4 \left(n-1\right)E \left[Y_i^3\right]E \left[Y_j\right]+3 \left(n-1\right)E \left[Y_i^2\right]E \left[Y_j^2\right]+ \left(n-1\right) \left(n-2\right) \left(n-3\right)E \left[Y_i\right]E \left[Y_j\right]E \left[Y_k\right]E \left[Y_l\right]\right\} \end{align} 期待値周りの1次モーメントは $E \left[Y_j\right]=E \left[X_i-\mu\right]=0$ なので、 \begin{align} C=\frac{1}{n^3} \left\{E \left[Y_i^4\right]+3 \left(n-1\right)E \left[Y_i^2\right]E \left[Y_j^2\right]\right\} \end{align} 分散の定義式 $V \left(X\right)=E \left[ \left(X-\mu\right)^2\right]$ より、 \begin{align} C&=\frac{1}{n^3} \left\{\mu_4+3 \left(n-1\right) \cdot \sigma^2 \cdot \sigma^2\right\}\\ &=\frac{1}{n^3} \left\{\mu_4+3 \left(n-1\right) \cdot \sigma^4\right\}\tag{6} \end{align}

式 $(4),(5),(6)$ を式 $(3)$ に代入すると、 \begin{align} E \left(S^4\right)&=\frac{1}{n^2} \left\{n\mu_4+n \left(n-1\right) \cdot \sigma^4-2n \cdot \frac{1}{n} \left\{\mu_4+ \left(n-1\right) \cdot \sigma^4\right\}+n^2 \cdot \frac{1}{n^3} \left\{\mu_4+3 \left(n-1\right) \cdot \sigma^4\right\}\right\}\\ &=\frac{1}{n^2} \left[ \left(\frac{n^2-2n+1}{n}\right)\mu_4+ \left(n-1\right) \left\{n-2+\frac{3}{n}\right\}\sigma^4\right]\\ &=\frac{1}{n^2} \left[\frac{ \left(n-1\right)^2}{n}\mu_4+ \left(n-1\right) \left\{\frac{n^2-2n+3}{n}\right\}\sigma^4\right]\\ &=\frac{ \left(n-1\right)^2}{n^2} \left[\frac{1}{n}\mu_4+\frac{n^2-2n+3}{n \left(n-1\right)}\sigma^4\right] \end{align} 分散の公式 $V \left(X\right)=E \left(X^2\right)- \left\{E \left(X\right)\right\}^2$ より、 \begin{align} V \left(S^2\right)&=\frac{ \left(n-1\right)^2}{n^2} \left[\frac{1}{n}\mu_4+\frac{n^2-2n+3}{n \left(n-1\right)}\sigma^4\right]-\frac{ \left(n-1\right)^2}{n^2}\sigma^4\\ &=\frac{ \left(n-1\right)^2}{n^2} \left[\frac{1}{n}\mu_4+ \left\{\frac{n^2-2n+3}{n \left(n-1\right)}-1\right\}\sigma^4\right]\\ &=\frac{ \left(n-1\right)^2}{n^2} \left[\frac{1}{n}\mu_4+ \left\{\frac{n^2-2n+3-n^2+n}{n \left(n-1\right)}\right\}\sigma^4\right]\\ &=\frac{ \left(n-1\right)^2}{n^2} \left[\frac{1}{n}\mu_4- \left\{\frac{n-3}{n \left(n-1\right)}\right\}\sigma^4\right]\\ &=\frac{ \left(n-1\right)^2}{n^3} \left[\mu_4-\frac{n-3}{n-1}\sigma^4\right] \end{align} $\blacksquare$

（II）標本不偏分散
期待値の性質 $E \left(aX\right)=aE \left(X\right)$ より、 \begin{align} E \left(s^2\right)&=E \left(\frac{n}{n-1}S^2\right)\\ &=\frac{n}{n-1}E \left(S^2\right)\\ &=\frac{n}{n-1} \cdot \frac{n-1}{n}\sigma^2\\ &=\sigma^2 \end{align} また、分散の性質 $V \left(aX\right)=a^2V \left(X\right)$ より、 \begin{align} V \left(s^2\right)&=V \left(\frac{n}{n-1}S^2\right)\\ &=\frac{n^2}{ \left(n-1\right)^2}V \left(S^2\right)\\ &=\frac{n^2}{ \left(n-1\right)^2} \cdot \frac{ \left(n-1\right)^2}{n^3} \left(\mu_4-\frac{n-3}{n-1}\sigma^4\right)\\ &=\frac{1}{n} \left(\mu_4-\frac{n-3}{n-1}\sigma^4\right) \end{align} $\blacksquare$