標本分散の期待値と分散の導出

（i） $$\begin{array}{rl}{S}_n^2& =\frac{1}{n}\sum _{i=1}^n{(X_i-{\overline{X}}_n)}^2\\ & =\frac{1}{n}\sum _{i=1}^n(X_i^2-2X_i{\overline{X}}_n+{\overline{X}}_n^2)\\ & =\frac{1}{n}\{\sum _{i=1}^n{X}_i^2-2{\overline{X}}_n\sum _{i=1}^n{X}_i+{\overline{X}}_n^2\sum _{i=1}^{n}1\}\\ & =\frac{1}{n}\{\sum _{i=1}^n{X}_i^2-2{\overline{X}}_n\cdot n{\overline{X}}_n+n{\overline{X}}_n^2\}\\ & =\frac{1}{n}\{\sum _{i=1}^n{X}_i^2-n{\overline{X}}_n\}\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}_n\end{array}$$

（ii）確率変数 $X_i$ と $X_j$ について、常に $$\begin{array}{r}{(X_i-X_j)}^2=X_i^2-2X_i{X}_j+X_j^2\end{array}$$ 確率変数 $X_j$ の和を取ると、$X_i$ は定数であると考えて、 $$\begin{array}{rl}\sum _{j=1}^n{(X_i-X_j)}^2& =\sum _{j=1}^n(X_i^2-2X_i{X}_j+X_j^2)\\ & =n{X}_i^2-2n{X}_i{\overline{X}}_n+\sum _{j=1}^n{X}_j^2\end{array}$$ 確率変数 $X_i$ の和を取ると、 $$\begin{array}{rl}\sum _{i=1}^n\sum _{j=1}^n{(X_i-X_j)}^2& =n\sum _{i=1}^n{X}_i^2-2n{\overline{X}}_n\sum _{i=1}^n{X}_i+\sum _{i=1}^n\sum _{j=1}^n{X}_j^2\\ & =n\sum _{i=1}^n{X}_i^2-2n{\overline{X}}_n\sum _{i=1}^n{X}_i+n\sum _{j=1}^n{X}_j^2\end{array}$$ $\sum _{i=1}^n{X}_i=n{\overline{X}}_n$ の関係があるから、 $$\begin{array}{r}\sum _{i=1}^n\sum _{j=1}^n{(X_i-X_j)}^2=n\sum _{i=1}^n{X}_i^2-2n\cdot n{\overline{X}}_n+n\sum _{j=1}^n{X}_j^2\end{array}$$ $\sum _{i=1}^n{X}_i^2=\sum _{j=1}^n{X}_j^2$ なので、 $$\begin{array}{r}\sum _{i=1}^n\sum _{j=1}^n{(X_i-X_j)}^2=2n\sum _{i=1}^n{X}_i^2-2n^2{\overline{X}}_n^2\end{array}$$ 両辺を $2n^2$ で割ると、 $$\begin{array}{r}\frac{1}{2n^2}\sum _{i=1}^n\sum _{j=1}^n{(X_i-X_j)}^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\overline{X}}_n=S_n^2\end{array}$$ $◼$

（I）標本分散
（i）期待値
標本平均と母平均の差を表す式を変形すると、 $$\begin{array}{rl}\overline{X}-\mu & =\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}n\mu \\ & =\frac{1}{n}\sum _{i=1}^n(X_i-\mu )\end{array}$$ したがって、 $$\begin{array}{}\text{(1)}& \sum _{i=1}^n(X_i-\mu )=n(\overline{X}-\mu )\end{array}$$ いっぽう、観測値と標本平均の偏差平方和の式を変形すると、 $$\begin{array}{rl}\sum _{i=1}^n{(X_i-\overline{X})}^2& =\sum _{i=1}^n{[(X_i-\mu )+(\mu -\overline{X})]}^2\\ & =\sum _{i=1}^n[{(X_i-\mu )}^2-2(X_i-\mu )(\overline{X}-\mu )+{(\overline{X}-\mu )}^2]\\ & =\sum _{i=1}^n{(X_i-\mu )}^2-2(\overline{X}-\mu )\sum _{i=1}^n(X_i-\mu )+\sum _{i=1}^n{(\overline{X}-\mu )}^2\\ & =\sum _{i=1}^n{(X_i-\mu )}^2-2(\overline{X}-\mu )\sum _{i=1}^n(X_i-\mu )+n{(\overline{X}-\mu )}^2\end{array}$$ 式 $(1)$ より、 $$\begin{array}{rl}\sum _{i=1}^n{(X_i-\overline{X})}^2& =\sum _{i=1}^n{(X_i-\mu )}^2-2(\overline{X}-\mu )\cdot n(\overline{X}-\mu )+n{(\overline{X}-\mu )}^2\\ \text{(2)}& & =\sum _{i=1}^n{(X_i-\mu )}^2-n{(\overline{X}-\mu )}^2\end{array}$$ 両辺の期待値を取ると、 $$\begin{array}{rl}E\left[\sum _{i=1}^n{(X_i-\overline{X})}^2\right]& =E\left[\sum _{i=1}^n{(X_i-\mu )}^2\right]-nE\left[{(\overline{X}-\mu )}^2\right]\\ & =\sum _{i=1}^{n}E\left[{(X_i-\mu )}^2\right]-nE\left[{(\overline{X}-\mu )}^2\right]\end{array}$$ 分散の定義式 $V\left(X\right)=E\left[{(X-\mu )}^2\right]$ より、 $$\begin{array}{rl}E\left[\sum _{i=1}^n{(X_i-\overline{X})}^2\right]& =\sum _{i=1}^{n}V\left(X_i\right)-nV\left(\overline{X}\right)\\ & =n{\sigma }^2-{\sigma }^2\\ & =(n-1){\sigma }^2\end{array}$$ したがって、 $$\begin{array}{rl}E\left(S^2\right)& =E\left[\frac{1}{n}\sum _{i=1}^n{(X_i-\overline{X})}^2\right]\\ & =\frac{1}{n}E\left[\sum _{i=1}^n{(X_i-\overline{X})}^2\right]\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$$

（ii）分散
$Y_i=X_i-\mu ,\overline{Y}=\overline{X}-\mu$ とおくと、 $$\begin{array}{rl}{S}^2& =\frac{1}{n}\sum _{i=1}^n{\{(Y_i+\mu )-(\overline{Y}+\mu )\}}^2\\ & =\frac{1}{n}\sum _{i=1}^n{(Y_i-\overline{Y})}^2\end{array}$$ 式 $(2)$ より、 $$\begin{array}{r}{S}^2=\frac{1}{n}(\sum _{i=1}^n{Y}_i^2-n\overline{Y})\end{array}$$ 両辺を2乗すると、 $$\begin{array}{rl}{S}^4& =\frac{1}{n^2}{(\sum _{i=1}^n{Y}_i^2-n\overline{Y})}^2\\ & =\frac{1}{n^2}\{{\left(\sum _{i=1}^n{Y}_i^2\right)}^2-2n\sum _{i=1}^n{Y}_i^2{\overline{Y}}^2+n^2{\overline{Y}}^4\}\end{array}$$ 両辺の期待値を取ると、 $$\begin{array}{rl}E\left(S^4\right)& =\frac{1}{n^2}E[{\left(\sum _{i=1}^n{Y}_i^2\right)}^2-2n\sum _{i=1}^n{Y}_i^2{\overline{Y}}^2+n^2{\overline{Y}}^4]\\ \text{(3)}& & =\frac{1}{n^2}\{E\left[{\left(\sum _{i=1}^n{Y}_i^2\right)}^2\right]-2nE\left[\sum _{i=1}^n{Y}_i^2{\overline{Y}}^2\right]+n^{2}E\left[{\overline{Y}}^4\right]\}\end{array}$$ 式 $(3)$ の右辺第1項、第2項、第3項をそれぞれ、以下のようにおき、計算していく。 $$\begin{array}{c}A=E\left[{\left(\sum _{i=1}^n{Y}_i^2\right)}^2\right]\\ B=E\left[\sum _{i=1}^n{Y}_i^2{\overline{Y}}^2\right]\\ C=E\left[{\overline{Y}}^4\right]\end{array}$$

（a） $$\begin{array}{rl}{\left(\sum _{i=1}^n{Y}_i^2\right)}^2& =\{{(Y_1-\overline{Y})}^2+{(Y_2-\overline{Y})}^2+\cdots +{(Y_n-\overline{Y})}^2\}\{{(Y_1-\overline{Y})}^2+{(Y_2-\overline{Y})}^2+\cdots +{(Y_n-\overline{Y})}^2\}\\ & =\sum _{i=1}^n{Y}_i^2\sum _{j=1}^n{Y}_j^2\end{array}$$ この式を展開していくと、
（a1）$i=j$ となる項
これは、$i=j=1,2,\cdots n$ の $n$ 個ある。 （a2）$i\ne j$ となる項
$i$ の選び方が $n$ 通り
$j$ の選び方が $n-1$ 通り なので、 全部で $n(n-1)$ 個ある。 （a1）、（a2）より、 $$\begin{array}{r}\sum _{i=1}^n{Y}_i^2\sum _{j=1}^n{Y}_j^2=n{Y}_i^4+n(n-1)Y_i^2{Y}_j^2\end{array}$$ 両辺の期待値を取ると、 $$\begin{array}{rl}A& =E[n{Y}_i^4+n(n-1)Y_i^2{Y}_j^2]\\ & =nE\left[Y_i^4\right]+n(n-1)E\left[Y_i^2{Y}_j^2\right]\end{array}$$ ここで、$i\ne j$ ならば、$Y_i,Y_j$ が独立なので、期待値の性質 $E\left\{g\left(X\right)h\left(Y\right)\right\}=E\left\{g\left(X\right)\right\}E\left\{h\left(Y\right)\right\}$ より、 $$\begin{array}{r}A=nE\left[Y_i^4\right]+n(n-1)E\left[Y_i^2\right]E\left[Y_j^2\right]\end{array}$$ 分散の定義式 $V\left(X\right)=E\left[{(X-\mu )}^2\right]$ より、${\mu }_4=E\left[{(X-\mu )}^4\right]$ とすると、 $$\begin{array}{rl}A& =n{\mu }_4+n(n-1)\cdot {\sigma }^2\cdot {\sigma }^2\\ \text{(4)}& & =n{\mu }_4+n(n-1)\cdot {\sigma }^4\end{array}$$

（b） $$\begin{array}{rl}\sum _{i=1}^n{Y}_i^2{\overline{Y}}^2& =\left(\sum _{i=1}^n{Y}_i^2\right)\left(\frac{1}{n}\sum _{j=1}^n{Y}_j\right)\left(\frac{1}{n}\sum _{k=1}^n{Y}_k\right)\\ & =\frac{1}{n^2}\left(\sum _{i=1}^n{Y}_i^2\sum _{j=1}^n{Y}_j\sum _{k=1}^n{Y}_k\right)\end{array}$$ 両辺の期待値を取ると、 $$\begin{array}{r}B=\frac{1}{n^2}E\left[\sum _{i=1}^n{Y}_i^2\sum _{j=1}^n{Y}_j\sum _{k=1}^n{Y}_k\right]\end{array}$$ （a）と同様に考えると、
（b1）3つとも同じ数字となる項（$i=j=k$）
これは、$i=j=k=1,2,\cdots n$ の $n$ 個ある。 （b2-1）3つのうち2つが同じ数字となる項①（$i=j\ne k,i=k\ne j$）
1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
$i$ と同じになるアルファベットの選び方が $2$ 通り なので、 全部で $2n(n-1)$ 個ある。 （b2-2）3つのうち2つが同じ数字となる項②（$i\ne j=k$）
1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り なので、 全部で $n(n-1)$ 個ある。 （b3）3つとも違う数字となる項（$i\ne j\ne k$）
1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
3種類目の数字の選び方が $n-2$ 通り なので、 全部で $n(n-1)(n-2)$ 個ある。 （b1）～（b3）より、 $$\begin{array}{rl}B& =\frac{1}{n^2}\{nE\left[Y_i^4\right]+2n(n-1)E\left[Y_i^3{Y}_j\right]+n(n-1)E\left[Y_i^2{Y}_j^2\right]+n(n-1)(n-2)E\left[Y_i^2{Y}_j{Y}_k\right]\}\\ & =\frac{1}{n}\{E\left[Y_i^4\right]+2(n-1)E\left[Y_i^3{Y}_j\right]+(n-1)E\left[Y_i^2{Y}_j^2\right]+(n-1)(n-2)E\left[Y_i^2{Y}_j{Y}_k\right]\}\end{array}$$ 期待値の性質 $E\left\{g\left(X\right)h\left(Y\right)\right\}=E\left\{g\left(X\right)\right\}E\left\{h\left(Y\right)\right\}$ より $$\begin{array}{r}B=\frac{1}{n}\{E\left[Y_i^4\right]+2(n-1)E\left[Y_i^3\right]E\left[Y_j\right]+(n-1)E\left[Y_i^2\right]E\left[Y_j^2\right]+(n-1)(n-2)E\left[Y_i^2\right]E\left[Y_j\right]E\left[Y_k\right]\}\end{array}$$ 期待値周りの1次モーメントは $E\left[Y_j\right]=E[X_i-\mu ]=0$ なので、 $$\begin{array}{r}B=\frac{1}{n}\{E\left[Y_i^4\right]+(n-1)E\left[Y_i^2\right]E\left[Y_j^2\right]\}\end{array}$$ 分散の定義式 $V\left(X\right)=E\left[{(X-\mu )}^2\right]$ より、 $$\begin{array}{rl}B& =\frac{1}{n}\{{\mu }_4+(n-1)\cdot {\sigma }^2\cdot {\sigma }^2\}\\ \text{(5)}& & =\frac{1}{n}\{{\mu }_4+(n-1)\cdot {\sigma }^4\}\end{array}$$

（c） $$\begin{array}{rl}{\overline{Y}}^4& =\left(\frac{1}{n}\sum _{i=1}^n{Y}_i\right)\left(\frac{1}{n}\sum _{j=1}^n{Y}_j\right)\left(\frac{1}{n}\sum _{k=1}^n{Y}_k\right)\left(\frac{1}{n}\sum _{l=1}^n{Y}_l\right)\\ & =\frac{1}{n^4}\left(\sum _{i=1}^n{Y}_i\sum _{j=1}^n{Y}_j\sum _{k=1}^n{Y}_k\sum _{l=1}^n{Y}_l\right)\end{array}$$ 両辺の期待値を取ると、 $$\begin{array}{r}C=\frac{1}{n^4}E\left[\sum _{i=1}^n{Y}_i\sum _{j=1}^n{Y}_j\sum _{k=1}^n{Y}_k\sum _{l=1}^n{Y}_l\right]\end{array}$$ これまでと同様に考えると、
（c1）4つとも同じ数字となる項（$i=j=k=l$） これは、$i=j=k=l=1,2,\cdots n$ の $n$ 個ある。 （c2）4つのうち3つが同じ数字となる項（$i=j=k\ne l$ など） 1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
そして、同じ数字となるアルファベットの選び方が ${}_4{C}_3=4$ 通り なので、 全部で $4n(n-1)$ 個ある。 （c3）4つのうち2つが同じ数字のペアが2つとなる項（$i=j\ne k=l$ など） 1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通りある。 同じ数字となるアルファベットの選び方は、 $i$ と同じとなるアルファベットの選び方が ${}_3{C}_1=3$ 通りあり、
残り2つのアルファベットを自動的に同じ数字 とすればいいので、 全部で $3n(n-1)$ 個ある。 （c4）4つとも違う数字となる項（$i\ne j\ne k\ne l$） 1種類目の数字の選び方が $n$ 通り
2種類目の数字の選び方が $n-1$ 通り
3種類目の数字の選び方が $n-2$ 通り
4種類目の数字の選び方が $n-3$ 通り なので、 全部で $n(n-1)(n-2)(n-3)$ 個ある。 （c1）～（c4）より、 $$\begin{array}{rl}C& =\frac{1}{n^4}\{nE\left[Y_i^4\right]+4n(n-1)E\left[Y_i^3{Y}_j\right]+3n(n-1)E\left[Y_i^2{Y}_j^2\right]+n(n-1)(n-2)(n-3)E\left[Y_i{Y}_j{Y}_k{Y}_l\right]\}\\ & =\frac{1}{n^3}\{E\left[Y_i^4\right]+4(n-1)E\left[Y_i^3{Y}_j\right]+3(n-1)E\left[Y_i^2{Y}_j^2\right]+(n-1)(n-2)(n-3)E\left[Y_i{Y}_j{Y}_k{Y}_l\right]\}\end{array}$$ 期待値の性質 $E\left\{g\left(X\right)h\left(Y\right)\right\}=E\left\{g\left(X\right)\right\}E\left\{h\left(Y\right)\right\}$ より、 $$\begin{array}{r}C=\frac{1}{n^3}\{E\left[Y_i^4\right]+4(n-1)E\left[Y_i^3\right]E\left[Y_j\right]+3(n-1)E\left[Y_i^2\right]E\left[Y_j^2\right]+(n-1)(n-2)(n-3)E\left[Y_i\right]E\left[Y_j\right]E\left[Y_k\right]E\left[Y_l\right]\}\end{array}$$ 期待値周りの1次モーメントは $E\left[Y_j\right]=E[X_i-\mu ]=0$ なので、 $$\begin{array}{r}C=\frac{1}{n^3}\{E\left[Y_i^4\right]+3(n-1)E\left[Y_i^2\right]E\left[Y_j^2\right]\}\end{array}$$ 分散の定義式 $V\left(X\right)=E\left[{(X-\mu )}^2\right]$ より、 $$\begin{array}{rl}C& =\frac{1}{n^3}\{{\mu }_4+3(n-1)\cdot {\sigma }^2\cdot {\sigma }^2\}\\ \text{(6)}& & =\frac{1}{n^3}\{{\mu }_4+3(n-1)\cdot {\sigma }^4\}\end{array}$$

式 $(4),(5),(6)$ を式 $(3)$ に代入すると、 $$\begin{array}{rl}E\left(S^4\right)& =\frac{1}{n^2}\{n{\mu }_4+n(n-1)\cdot {\sigma }^4-2n\cdot \frac{1}{n}\{{\mu }_4+(n-1)\cdot {\sigma }^4\}+n^2\cdot \frac{1}{n^3}\{{\mu }_4+3(n-1)\cdot {\sigma }^4\}\}\\ & =\frac{1}{n^2}[\left(\frac{n^2-2n+1}{n}\right){\mu }_4+(n-1)\{n-2+\frac{3}{n}\}{\sigma }^4]\\ & =\frac{1}{n^2}[\frac{{(n-1)}^2}{n}{\mu }_4+(n-1)\left\{\frac{n^2-2n+3}{n}\right\}{\sigma }^4]\\ & =\frac{{(n-1)}^2}{n^2}[\frac{1}{n}{\mu }_4+\frac{n^2-2n+3}{n(n-1)}{\sigma }^4]\end{array}$$ 分散の公式 $V\left(X\right)=E\left(X^2\right)-{\left\{E\left(X\right)\right\}}^2$ より、 $$\begin{array}{rl}V\left(S^2\right)& =\frac{{(n-1)}^2}{n^2}[\frac{1}{n}{\mu }_4+\frac{n^2-2n+3}{n(n-1)}{\sigma }^4]-\frac{{(n-1)}^2}{n^2}{\sigma }^4\\ & =\frac{{(n-1)}^2}{n^2}[\frac{1}{n}{\mu }_4+\{\frac{n^2-2n+3}{n(n-1)}-1\}{\sigma }^4]\\ & =\frac{{(n-1)}^2}{n^2}[\frac{1}{n}{\mu }_4+\left\{\frac{n^2-2n+3-n^2+n}{n(n-1)}\right\}{\sigma }^4]\\ & =\frac{{(n-1)}^2}{n^2}[\frac{1}{n}{\mu }_4-\left\{\frac{n-3}{n(n-1)}\right\}{\sigma }^4]\\ & =\frac{{(n-1)}^2}{n^3}[{\mu }_4-\frac{n-3}{n-1}{\sigma }^4]\end{array}$$ $◼$

（II）標本不偏分散
期待値の性質 $E\left(aX\right)=aE\left(X\right)$ より、 $$\begin{array}{rl}E\left(s^2\right)& =E\left(\frac{n}{n-1}{S}^2\right)\\ & =\frac{n}{n-1}E\left(S^2\right)\\ & =\frac{n}{n-1}\cdot \frac{n-1}{n}{\sigma }^2\\ & ={\sigma }^2\end{array}$$ また、分散の性質 $V\left(aX\right)=a^{2}V\left(X\right)$ より、 $$\begin{array}{rl}V\left(s^2\right)& =V\left(\frac{n}{n-1}{S}^2\right)\\ & =\frac{n^2}{{(n-1)}^2}V\left(S^2\right)\\ & =\frac{n^2}{{(n-1)}^2}\cdot \frac{{(n-1)}^2}{n^3}({\mu }_4-\frac{n-3}{n-1}{\sigma }^4)\\ & =\frac{1}{n}({\mu }_4-\frac{n-3}{n-1}{\sigma }^4)\end{array}$$ $◼$