正規分布の標本平均と標本分散の独立性の証明

$\boldsymbol{X}= \left\{X_1,X_2, \cdots ,X_n\right\}$ の同時確率密度関数は、 \begin{align} f \left(\boldsymbol{x}\right)&=\prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}}\mathrm{exp} \left(-\frac{x_i^2}{2}\right)}\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^n\mathrm{exp} \left(-\frac{1}{2}\sum_{i=1}^{n}x_i^2\right)\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^ne^{-\frac{1}{2} \left(x_1^2+x_2^2+ \cdots +x_n^2\right)} \end{align} 行列を用いて表すと、 \begin{align} f \left(\boldsymbol{x}\right)= \left(\frac{1}{\sqrt{2\pi}}\right)^n\mathrm{exp} \left(-\frac{1}{2}\boldsymbol{x}^\boldsymbol{t}\boldsymbol{x}\right) \end{align} ここで、任意の直交行列 $\boldsymbol{T}$ を用いた変数変換 \begin{gather} \boldsymbol{x}=\boldsymbol{Ty} \end{gather} を考えると、 変数変換後の同時確率密度関数の公式 \begin{align} g \left(\boldsymbol{y}\right)=f \left(\boldsymbol{A}^{-\boldsymbol{1}}\boldsymbol{y}\right) \left|\boldsymbol{A}\right| \end{align} より、 $\boldsymbol{y}= \left\{y_1,y_2, \cdots ,y_n\right\}$ の同時確率密度関数は、 \begin{align} g \left(\boldsymbol{y}\right)=f \left(\boldsymbol{T}^{-\boldsymbol{1}}\boldsymbol{y}\right) \left|\boldsymbol{T}\right| \end{align} ここで、直交行列の逆行列はその行列の転置行列であることから、 \begin{align} \boldsymbol{T}^{-\boldsymbol{1}}=\boldsymbol{T}^\boldsymbol{t} \end{align} また、 \begin{align} \left|\boldsymbol{I}\right|= \left|\boldsymbol{T}^\boldsymbol{t}\boldsymbol{T}\right|= \left|\boldsymbol{T}\right|^\boldsymbol{2}=1 \end{align} したがって、 \begin{align} g \left(\boldsymbol{y}\right)&=f \left(\boldsymbol{T}^\boldsymbol{t}\boldsymbol{y}\right)\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^n\mathrm{exp} \left(-\frac{1}{2} \left(\boldsymbol{T}^\boldsymbol{t}\boldsymbol{y}\right)^\boldsymbol{t} \left(\boldsymbol{T}^\boldsymbol{t}\boldsymbol{y}\right)\right)\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^n\mathrm{exp} \left(-\frac{1}{2}\boldsymbol{y}^\boldsymbol{t}\boldsymbol{T}\boldsymbol{T}^\boldsymbol{t}\boldsymbol{y}\right)\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^n\mathrm{exp} \left(-\frac{1}{2}\boldsymbol{y}^\boldsymbol{t}\boldsymbol{Iy}\right)\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^n\mathrm{exp} \left(-\frac{1}{2}\boldsymbol{y}^\boldsymbol{t}\boldsymbol{y}\right)\\ &= \left(\frac{1}{\sqrt{2\pi}}\right)^ne^{-\frac{1}{2} \left(y_1^2+y_2^2+ \cdots +y_n^2\right)} \end{align} これは、標準正規分布の同時確率密度関数であり、独立性の定義を満たしているため、 \begin{align} \boldsymbol{Y}= \left\{Y_1,Y_2, \cdots ,Y_n\right\} \end{align} は互いに独立に 標準正規分布 \begin{align} Y_i \sim \mathrm{N} \left(0,1\right) \end{align} に従う。 $\blacksquare$

$Z_i=\frac{X_i-\mu}{\sigma}$ と標準化すると、正規分布の標準化の性質より、 \begin{align} Z_i \sim \mathrm{N} \left(0,1\right) \end{align} また、証明したい命題は、
（i）$\bar{Z}$ と $\sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2$ は互いに独立である。 （ii） \begin{align} \sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2 \sim \chi^2 \left(n-1\right) \end{align} と書き直すことができる（上記と同義である）。 ここで、$\boldsymbol{H}$ を最初の行が $ \left(\frac{1}{\sqrt n},\frac{1}{\sqrt n}, \cdots ,\frac{1}{\sqrt n}\right)$ であるような直交行列、例えば、 \begin{align} \boldsymbol{H}= \left(\begin{matrix}\frac{1}{\sqrt n}&\frac{1}{\sqrt n}&\frac{1}{\sqrt n}& \cdots &\frac{1}{\sqrt n}\\-\frac{1}{\sqrt2}&\frac{1}{\sqrt2}&0& \cdots &0\\-\frac{1}{\sqrt{2 \cdot 3}}&-\frac{1}{\sqrt{2 \cdot 3}}&\frac{2}{\sqrt{2 \cdot 3}}& \cdots &0\\\vdots&\vdots&\vdots&\ddots&\vdots\\-\frac{1}{\sqrt{n \left(n-1\right)}}&-\frac{1}{\sqrt{n \left(n-1\right)}}&-\frac{1}{\sqrt{n \left(n-1\right)}}& \cdots &-\frac{n-1}{\sqrt{n \left(n-1\right)}}\\\end{matrix}\right) \end{align} として、 \begin{gather} \boldsymbol{Y}=\boldsymbol{HZ}\\ \end{gather} と変数変換すると、 独立正規標本の直交変換の性質より、 \begin{align} Y_i \sim \mathrm{N} \left(0,1\right) \end{align} また、変数変換の中身を計算すると、 \begin{gather} Y_1=\frac{1}{\sqrt n}\sum_{i=1}^{n}Z_i=\frac{n}{\sqrt n} \cdot \frac{1}{n}\sum_{i=1}^{n}Z_i=\sqrt n\bar{Z}\\ Y_1^2=n{\bar{Z}}^2 \end{gather} ここで、恒等式 \begin{align} \sum_{i=1}^{n}Z_i^2=n{\bar{Z}}^2+\sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2 \end{align} より、 直交変換 $\boldsymbol{Y}=\boldsymbol{HZ}$ によって、 \begin{align} Z_1^2+Z_2^2+ \cdots +Z_n^2=n{\bar{Z}}^2+\sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2\\ \Rightarrow Y_1^2+Y_2^2+ \cdots +Y_n^2=Y_1^2+\sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2 \end{align} と変数変換される。 したがって、 \begin{align} \sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2=Y_2^2+ \cdots +Y_n^2=\sum_{i=2}^{n}Y_i^2 \end{align} ところで、$Y_i$ は互いに独立であるから、その関数である $Y_1^2 \quad $ と $ \quad Y_2^2+ \cdots +Y_n^2$ もまた、互いに独立である。 したがって、 $n{\bar{Z}}^2 \quad $ と $ \quad \sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2$ は、互いに独立で、 これらの関数である $\bar{Z} \quad $ と $ \quad S^2=\frac{1}{n}\sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2$ は、互いに独立である。 また、$\chi^2$分布の定義より、 \begin{align} \sum_{i=1}^{n} \left(Z_i-\bar{Z}\right)^2 \sim \chi^2 \left(n-1\right) \end{align} $\blacksquare$