代表的な確率分布の十分統計量の導出

二項分布の確率関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}{}_{n}C_xp^x \left(1-p\right)^{n-x}&x=0,1, \cdots ,n\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 具体的な観測値として、$X=x$ という値が得られたときの確率関数 $f \left(x\right)$ を求めると、 \begin{gather} f \left(x\right)={}_{n}C_xp^x \left(1-p\right)^{n-x} \end{gather} このとき、 \begin{gather} g \left(t,\theta\right)=p^x \left(1-p\right)^{n-x} \quad T \left(X\right)=x \quad h \left(x\right)={}_{n}C_x \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$T \left(X\right)=x$ はパラメータ $p$ を推定するための十分推定量である。 $\blacksquare$

ポアソン分布の確率関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}\frac{\lambda^xe^{-\lambda}}{x!}& \left(x=0,1,2, \cdots \right)\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 具体的な観測値として、$\boldsymbol{x}= \left\{x_1,x_2, \cdots x_n\right\}$ という値が得られたときの同時確率関数 $f \left(\boldsymbol{x}\right)$ を求めると、 \begin{align} f \left(\boldsymbol{x}\right)&=\prod_{i=1}^{n}\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}\\ &=\lambda^{ \left(x_1+x_2+ \cdots +x_n\right)} \cdot e^{-n\lambda} \cdot \frac{1}{x_1!} \cdot \frac{1}{x_2!} \cdot \cdots \cdot \frac{1}{x_n!}\\ &=\lambda^{\sum_{i=1}^{n}x_i} \cdot e^{-n\lambda} \cdot \prod_{i=1}^{n}\frac{1}{x_i!} \end{align} このとき、 \begin{gather} g \left(t,\theta\right)=\lambda^{\sum_{i=1}^{n}x_i}e^{-n\lambda} \quad T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i \quad h \left(x\right)=\prod_{i=1}^{n}\frac{1}{x_i!} \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i$ はパラメータ $\lambda$ を推定するための十分推定量である。 $\blacksquare$

幾何分布の確率関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix} \left(1-p\right)^{x-1}p& \left(x=0,1,2, \cdots \right)\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 具体的な観測値として、$\boldsymbol{x}= \left\{x_1,x_2, \cdots x_n\right\}$ という値が得られたときの同時確率関数 $f \left(\boldsymbol{x}\right)$ を求めると、 \begin{align} f \left(\boldsymbol{x}\right)&=\prod_{i=1}^{n}{ \left(1-p\right)^{x_i-1}p}\\ &= \left(1-p\right)^{ \left(x_1+x_2+ \cdots +x_n\right)-n} \cdot p^n\\ &= \left(1-p\right)^{\sum_{i=1}^{n}x_i-n} \cdot p^n \end{align} このとき、 \begin{gather} g \left(t,\theta\right)= \left(1-p\right)^{\sum_{i=1}^{n}x_i-n}p^n \quad T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i \quad h \left(x\right)=1 \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i$ はパラメータ $p$ を推定するための十分推定量である。 $\blacksquare$

正規分布の確率密度関数は、 \begin{gather} \begin{matrix}f \left(x\right)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ \left(x-\mu\right)^2}{2\sigma^2}}& \left(-\infty \lt x \lt \infty\right)\\\end{matrix} \end{gather} 具体的な観測値として、$\boldsymbol{x}= \left\{x_1,x_2, \cdots x_n\right\}$ という値が得られたときの同時確率関数 $f \left(\boldsymbol{x}\right)$ を求めると、 \begin{align} f \left(\boldsymbol{x}\right)&=\prod_{i=1}^{n}{\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ \left(x_i-\mu\right)^2}{2\sigma^2}}}\\ &= \left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n \cdot \mathrm{exp} \left\{-\frac{ \left(x_1-\mu\right)^2}{2\sigma^2}--\frac{ \left(x_2-\mu\right)^2}{2\sigma^2}- \cdots --\frac{ \left(x_n-\mu\right)^2}{2\sigma^2}\right\}\\ &= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n} \left(x_i-\mu\right)^2\right\}\\ &= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2} \left(\sum_{i=1}^{n}x_i^2-2\mu\sum_{i=1}^{n}x_i+n\mu^2\right)\right\}\\ &= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}x_i^2\right)\ \mathrm{exp} \left\{-\frac{1}{2\sigma^2} \left(-2\mu\sum_{i=1}^{n}x_i+n\mu^2\right)\right\} \end{align} このとき、 \begin{gather} g \left(t,\theta\right)=\mathrm{exp} \left\{-\frac{1}{2\sigma^2} \left(-2\mu\sum_{i=1}^{n}x_i+n\mu^2\right)\right\}\\ T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i\\ h \left(x\right)= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left(-\frac{1}{2\sigma^2}\sum_{i=1}^{n}x_i^2\right) \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i$ はパラメータ $\mu$ を推定するための十分推定量である。 $\blacksquare$

また、 \begin{gather} g \left(t,\boldsymbol{\theta}\right)= \left(\frac{1}{2\pi\sigma^2}\right)^\frac{n}{2} \cdot \mathrm{exp} \left\{-\frac{1}{2\sigma^2} \left(\sum_{i=1}^{n}x_i^2-2\mu\sum_{i=1}^{n}x_i+n\mu^2\right)\right\} T_1 \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i^2 T_2 \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i h \left(x\right)=1 \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$\boldsymbol{T} \left(\boldsymbol{X}\right)= \left(\sum_{i=1}^{n}x_i,\sum_{i=1}^{n}x_i^2\right)$ はパラメータベクトル $\boldsymbol{\theta}= \left(\mu,\sigma^2\right)$ を推定するための十分推定量ベクトルである。 $\blacksquare$

指数分布の確率密度関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}\lambda e^{-\lambda x}& \left(0 \le x\right)\\0& \left(x \lt 0\right)\\\end{matrix}\right. \end{gather} 具体的な観測値として、$\boldsymbol{x}= \left\{x_1,x_2, \cdots x_n\right\}$ という値が得られたときの同時確率関数 $f \left(\boldsymbol{x}\right)$ を求めると、 \begin{align} f \left(x\right)&=\prod_{i=1}^{n}{\lambda e^{-\lambda x_i}}\\ &=e^{-\lambda \left(x_1+x_2+ \cdots +x_n\right)} \cdot \lambda^n\\ &=e^{-\lambda\sum_{i=1}^{n}x_i} \cdot \lambda^n \end{align} このとき、 \begin{gather} g \left(t,\theta\right)=e^{-\lambda\sum_{i=1}^{n}x_i} \cdot \lambda^n \quad T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i \quad h \left(x\right)=1 \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i$ はパラメータ $\lambda$ を推定するための十分推定量である。 $\blacksquare$

ガンマ分布の確率密度関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}\frac{\beta^\alpha}{\Gamma \left(\alpha\right)}x^{\alpha-1}e^{-\beta x}& \left(0 \le x\right)\\0& \left(x \lt 0\right)\\\end{matrix}\right. \end{gather} 具体的な観測値として、$\boldsymbol{x}= \left\{x_1,x_2, \cdots x_n\right\}$ という値が得られたときの同時確率関数 $f \left(\boldsymbol{x}\right)$ を求めると、 \begin{align} f \left(\boldsymbol{x}\right)&=\prod_{i=1}^{n}{\frac{\beta^\alpha}{\Gamma \left(\alpha\right)}x_i^{\alpha-1}e^{-\beta x_i}}\\ &=\frac{\beta^{n\alpha}}{ \left\{\Gamma \left(\alpha\right)\right\}^n} \cdot e^{-\beta \left(x_1+x_2+ \cdots +x_n\right)} \cdot \left(x_1+x_2+ \cdots +x_n\right)^{\alpha-1}\\ &=\frac{\beta^{n\alpha}}{ \left\{\Gamma \left(\alpha\right)\right\}^n} \cdot e^{-\beta\sum_{i=1}^{n}x_i} \cdot \left(\sum_{i=1}^{n}x_i\right)^{\alpha-1} \end{align} このとき、 \begin{gather} g \left(t,\theta\right)=\frac{\beta^{n\alpha}}{ \left\{\Gamma \left(\alpha\right)\right\}^n} \cdot e^{-\beta\sum_{i=1}^{n}x_i} \quad T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i \quad h \left(x\right)= \left(\sum_{i=1}^{n}x_i\right)^{\alpha-1} \end{gather} と考えると、 フィッシャー・ネイマンの因子分解定理により、$T \left(\boldsymbol{X}\right)=\sum_{i=1}^{n}x_i$ はパラメータ $\beta$ を推定するための十分推定量である。 $\blacksquare$