指数型分布族

ベルヌーイ分布 $\mathrm{Ber}\left(p\right)$ の確率関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}{p}^x{(1-p)}^{1-x}& x=0,1\\ 0& \mathrm{other}\end{array}\end{array}$$ 確率関数をネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp \{\log p^x{(1-p)}^{1-x}\}\\ & =\exp \{x\log p+(1-x)\log (1-p)\}\\ & =\exp \{x\log p+\log (1-p)-x\log (1-p)\}\\ & =\exp [\{\log p-\log (1-p)\}x+\log (1-p)]\end{array}$$ $\theta =p$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\log p-\log (1-p)\\ T\left(x\right)=x\\ d\left(\theta \right)=\log (1-p)\\ h\left(x\right)=0\end{array}$$ この分布は1パラメータの指数型分布族に属すると言える。 $◼$

二項分布 $\mathrm{B}(n,p)$ の確率関数は、 $$\begin{array}{c}f\left(x\right)=\{\begin{array}{cc}{}_n{C}_x{p}^x{(1-p)}^{n-x}& x=0,1,\cdots ,n\\ 0& \mathrm{other}\end{array}\end{array}$$ 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp \{\log {}_n{C}_x{p}^x{(1-p)}^{n-x}\}\\ & =\exp \{x\log p+(n-x)\log (1-p)+\log {}_n{C}_x\}\\ & =\exp \{x\log p-x\log (1-p)+n\log (1-p)+\log {}_n{C}_x\}\\ & =\exp [\{\log p-\log (1-p)\}x+n\log (1-p)+\log {}_n{C}_x]\end{array}$$

（i）$n$ が既知で、$p$ が未知のとき
$\theta =p$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\log p-\log (1-p)\\ T\left(x\right)=x\\ d\left(\theta \right)=n\log (1-p)\\ h\left(x\right)=\log {}_n{C}_x\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（ii）$n$ が未知で、$p$ が既知のとき
$\theta =p$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\mathrm{not}\mathrm{exist}\\ T\left(x\right)=\mathrm{not}\mathrm{exist}\\ d\left(\theta \right)=n\log (1-p)\\ h\left(x\right)=x\{\log p-\log (1-p)\}+\log {}_n{C}_x\end{array}$$ この分布は指数型分布族には属さない。

（iii）$n$ と $p$ がともに未知のとき
$\mathit{\theta }=(n,p)$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}{c}_1\left(\theta \right)=\mathrm{not}\mathrm{exist}\\ c_2\left(\theta \right)=\log p-\log (1-p)\\ T_1\left(x\right)=\mathrm{not}\mathrm{exist}\\ T_2\left(x\right)=x\\ d\left(\mathit{\theta }\right)=n\log (1-p)\\ h\left(x\right)=\log {}_n{C}_x\end{array}$$ この分布は指数型分布族には属さない。 $◼$

ポアソン分布 $\mathrm{Po}\left(\lambda \right)$ の確率関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}\frac{{\lambda }^x{e}^{-\lambda }}{x!}& x=0,1,2,\cdots \\ 0& \mathrm{other}\end{array}\end{array}$$ 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp \{-\lambda +\log \left(\frac{{\lambda }^x}{x!}\right)\}\\ & =\exp \{x\log \lambda -\lambda -\log x!\}\end{array}$$ $\theta =\lambda$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\log \lambda \\ T\left(x\right)=x\\ d\left(\theta \right)=-\lambda \\ h\left(x\right)=-\log x!\end{array}$$ この分布は1パラメータの指数型分布族に属する。 $◼$

幾何分布 $\mathrm{G}\left(p\right)$ の確率関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}{(1-p)}^{x}p& x=0,1,2,\cdots \\ 0& \mathrm{other}\end{array}\end{array}$$ 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp [\log \left\{{(1-p)}^{x}p\right\}]\\ & =\exp \{\log p+x\log (1-p)\}\\ & =\exp \{x\log (1-p)+\log p\}\end{array}$$ $\theta =p$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\log (1-p)\\ T\left(x\right)=x\\ d\left(\theta \right)=\log p\\ h\left(x\right)=0\end{array}$$ この分布は1パラメータの指数型分布族に属する。 $◼$

多項分布 $\mathrm{MN}(n,\mathit{p})$ の同時確率関数は、 $$\begin{array}{c}f\left(\mathit{x}\right)=\{\begin{array}{cc}{\displaystyle \frac{n!}{x_1!\cdots x_k!}{p}_1^{x_1}\cdots p_k^{x_k}}& x_i=0,1,\cdots ,n\\ 0& \mathrm{other}\end{array}\end{array}$$ 同時確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(\mathit{x};\mathit{\theta })& =\exp \{\log (\frac{n!}{x_1!\cdots x_n!}{p}_1^{x_1}\cdots p_k^{x_k})\}\\ & =\exp \{\sum _{i=1}^k(x_i\log p_i)+\log n!-\sum _{i=1}^k\log x_i!\}\end{array}$$

（i）$n$ が既知で、$\mathit{p}$ が未知のとき
$\mathit{\theta }=(p_1,p_2,\cdots ,p_k)$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{r}{c}_i\left(\theta \right)=\log p_i\\ T_i\left(x\right)=x_i\\ d\left(\mathit{\theta }\right)=\mathrm{not}\mathrm{exist}\\ h\left(x\right)=\log n!-\sum _{i=1}^k\log x_i!\end{array}$$ この分布は指数型分布族には属さない。

（ii）$n$ が未知で、$\mathit{p}$ が既知のとき
$\theta =n$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\mathrm{not}\mathrm{exist}\\ T\left(x\right)=\mathrm{not}\mathrm{exist}\\ d\left(\theta \right)=\log n!\\ h\left(x\right)=\sum _{i=1}^k(x_i\log p_i)-\sum _{i=1}^k\log x_i!\end{array}$$ この分布は指数型分布族には属さない。

（iii）$n$ と $\mathit{p}$ がともに未知のとき
$\mathit{\theta }=(n,p_1,p_2,\cdots ,p_k)$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}{c}_i\left(\theta \right)=\log p_i\\ T_i\left(x\right)=x_i\\ d\left(\mathit{\theta }\right)=\log n!\\ h\left(x\right)=-\sum _{i=1}^k\log x_i!\end{array}$$ この分布は $k$ パラメータの指数型分布族に属する。 $◼$

負の二項分布 $\mathrm{NB}(n,p)$ の確率関数は、 $$\begin{array}{c}f\left(x\right)=\{\begin{array}{cc}{}_{n+x-1}{C}_x{p}^x{(1-p)}^{n-x}& x=0,1,2,\cdots \\ 0& \mathrm{other}\end{array}\end{array}$$ 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp [\log \left\{{}_{n+x-1}{C}_x{(1-p)}^n{p}^x\right\}]\\ & =\exp \{x\log p+n\log (1-p)+\log {}_{n+x-1}{C}_x\}\\ & =\exp \{x\log p+n\log (1-p)+\log \frac{x!}{(x+n-1)!(n-1)!}\}\\ & =\exp \{x\log p+n\log (1-p)+\log x!-\log (n-1)!-\log (x+n-1)!\}\end{array}$$

（i）$n$ が既知で、$p$ が未知のとき
$\theta =p$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\log p\\ T\left(x\right)=x\\ d\left(\theta \right)=n\log (1-p)-\log (n-1)!\\ h\left(x\right)=\log x!-\log (x+n-1)!\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（ii）$n$ が未知で、$p$ が既知のとき
$\theta =n$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\mathrm{not}\mathrm{exist}\\ T\left(x\right)=\mathrm{not}\mathrm{exist}\\ d\left(\theta \right)=n\log (1-p)-\log (n-1)!\\ h\left(x\right)=x\log p+\log x!\end{array}$$ したがって、この分布は指数型分布族には属さない。

（iii）$n$ と $p$ がともに未知のとき
$\mathit{\theta }=(n,p)$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}{c}_1\left(\theta \right)=\mathrm{not}\mathrm{exist}\\ T_1\left(x\right)=\mathrm{not}\mathrm{exist}\\ c_2\left(\theta \right)=\log p-\log (1-p)\\ T_2\left(x\right)=x\\ d\left(\mathit{\theta }\right)=n\log (1-p)-log(n-1)!\\ h\left(x\right)=\log x!\end{array}$$ この分布は指数型分布族には属さない。 $◼$

正規分布 $\mathrm{N}(\mu ,{\sigma }^2)$ の確率密度関数は、 $$\begin{array}{c}\begin{array}{cc}f\left(x\right)={\displaystyle \frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}}}& -\mathrm{\infty }<x<\mathrm{\infty }\end{array}\\ -\mathrm{\infty }<\mu <\mathrm{\infty }0<\sigma \end{array}$$ 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp \{-\frac{{(x-\mu )}^2}{2{\sigma }^2}-\log \sqrt{2\pi {\sigma }^2}\}\\ & =\exp \{-\frac{x^2}{2{\sigma }^2}+\frac{\mu x}{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}(\log 2\pi +\log {\sigma }^2)\}\\ & =\exp \{-\frac{x^2}{2{\sigma }^2}+\frac{\mu x}{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}\log 2\pi -\frac{1}{2}\log {\sigma }^2\}\end{array}$$

（i）$\mu$ が既知で、${\sigma }^2$ が未知のとき
$\theta ={\sigma }^2$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=-\frac{1}{2{\sigma }^2}\\ T\left(x\right)={(x-\mu )}^2\\ d\left(\theta \right)=-\frac{1}{2}\log {\sigma }^2\\ h\left(x\right)=-\frac{1}{2}\log 2\pi \end{array}$$ この分布は1パラメータの指数型分布族に属する。

（ii）$\mu$ が未知で、${\sigma }^2$ が既知のとき
$\theta =\mu$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\frac{\mu }{{\sigma }^2}\\ T\left(x\right)=x\\ d\left(\theta \right)=-\frac{{\mu }^2}{2{\sigma }^2}\\ h\left(x\right)=-\frac{x^2}{2{\sigma }^2}-\frac{1}{2}\log 2\pi -\frac{1}{2}\log {\sigma }^2\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（iii）$\mu$ と ${\sigma }^2$ がともに未知のとき
$\mathit{\theta }=(\mu ,{\sigma }^2)$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}{c}_1\left(\theta \right)=\frac{\mu }{{\sigma }^2}\\ T_1\left(x\right)=x\\ c_2\left(\theta \right)=-\frac{1}{2{\sigma }^2}\\ T_2\left(x\right)=x^2\\ d\left(\mathit{\theta }\right)=-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}\log {\sigma }^2\\ h\left(x\right)=-\frac{1}{2}\log 2\pi \end{array}$$ この分布は2パラメータの指数型分布族に属する。 $◼$

指数分布 $\mathrm{Ex}\left(\lambda \right)$ の確率密度関数は、 $$\begin{array}{r}f\left(x\right)=\{\begin{array}{cc}\lambda e^{-\lambda x}& 0\le x\\ 0& \mathrm{other}\end{array}\end{array}$$ 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{r}f(x;\theta )=\exp (-\lambda x+\log \lambda )\end{array}$$ $\theta =\lambda$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\lambda \\ T\left(x\right)=x\\ d\left(\theta \right)=\log \lambda \\ h\left(x\right)=0\end{array}$$ この分布は1パラメータの指数型分布族に属する。 $◼$

ガンマ分布 $\mathrm{Ga}(\alpha ,\beta )$ の確率密度関数は、 $$\begin{array}{c}f\left(x\right)=\{\begin{array}{cc}{\displaystyle \frac{{\beta }^{\alpha }}{\mathrm{\Gamma }\left(\alpha \right)}{x}^{\alpha -1}{e}^{-\beta x}}& 0\le x\\ 0& \mathrm{other}\end{array}\end{array}$$ 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp \{-\beta x-\log \left(\frac{{\beta }^{\alpha }}{\mathrm{\Gamma }\left(\alpha \right)}{x}^{\alpha -1}\right)\}\\ & =\exp \{-\beta x-\{\alpha \log \beta -\log \mathrm{\Gamma }\left(\alpha \right)+(\alpha -1)\log x\}\}\\ & =\exp \{-\alpha \log x-\beta x-\alpha \log \beta +\log \mathrm{\Gamma }\left(\alpha \right)+\log x\}\end{array}$$

（i）$\alpha$ が既知で、$\beta$ が未知のとき
$\theta =\beta$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=-\beta \\ T\left(x\right)=x\\ d\left(\theta \right)=-\alpha \log \beta +\log \mathrm{\Gamma }\left(\alpha \right)\\ h\left(x\right)=-(\alpha -1)\log x\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（ii）$\alpha$ が未知で、$\beta$ が既知のとき
$\theta =\alpha$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=-\alpha \\ T\left(x\right)=\log x\\ d\left(\theta \right)=-\alpha \log \beta +\log \mathrm{\Gamma }\left(\alpha \right)\\ h\left(x\right)=-\beta x+\log x\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（iii）$\alpha$ と $\beta$ がともに未知のとき
$\mathit{\theta }=(\alpha ,\beta )$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}{c}_1\left(\theta \right)=-\alpha \\ T_1\left(x\right)=\log x\\ c_2\left(\theta \right)=-\beta \\ T_2\left(x\right)=x\\ d\left(\mathit{\theta }\right)=-\alpha \log \beta +\log \mathrm{\Gamma }\left(\alpha \right)\\ h\left(x\right)=\log x\end{array}$$ この分布は2パラメータの指数型分布族に属する。 $◼$

ベータ分布 $\mathrm{Be}(\alpha ,\beta )$ の確率密度関数は、 $$\begin{array}{c}f\left(x\right)=\{\begin{array}{cc}{\displaystyle \frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}{(1-x)}^{\beta -1}}& 0<x<1\\ 0& \mathrm{other}\end{array}\end{array}$$ 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp \{\log \left(\frac{x^{\alpha -1}{(1-x)}^{\beta -1}}{B(\alpha ,\beta )}\right)\}\\ & =\exp \{(\alpha -1)\log x+(\beta -1)\log (1-x)-\log B(\alpha ,\beta )\}\\ & =\exp \{\alpha \log x-\log x+\beta \log (1-x)-\log (1-x)-\log B(\alpha ,\beta )\}\\ & =\exp \{\alpha \log x+\beta \log (1-x)-\log B(\alpha ,\beta )-\log x-\log (1-x)\}\end{array}$$

（i）$\alpha$ が既知で、$\beta$ が未知のとき
$\theta =\beta$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\beta \\ T\left(x\right)=\log (1-x)\\ d\left(\theta \right)=-\log B(\alpha ,\beta )\\ h\left(x\right)=\alpha \log x-\log x-\log (1-x)\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（ii）$\alpha$ が未知で、$\beta$ が既知のとき
$\theta =\alpha$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\alpha \\ T\left(x\right)=\log x\\ d\left(\theta \right)=-\log B(\alpha ,\beta )\\ h\left(x\right)=\beta \log (1-x)-\log x-\log (1-x)\end{array}$$ この分布は1パラメータの指数型分布族に属する。

（iii）$\alpha$ と $\beta$ がともに未知のとき
$\mathit{\theta }=(\alpha ,\beta )$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}{c}_1\left(\theta \right)=\alpha \\ T_1\left(x\right)=\log x\\ c_2\left(\theta \right)=\beta \\ T_2\left(x\right)=\log (1-x)\\ d\left(\mathit{\theta }\right)=-\log B(\alpha ,\beta )\\ h\left(x\right)=-\log x-\log (1-x)\end{array}$$ この分布は2パラメータの指数型分布族に属する。 $◼$

${\chi }^2$分布 ${\chi }^2\left(n\right)$ の確率密度関数は、 $$\begin{array}{c}f\left(x\right)=\{\begin{array}{cc}{\displaystyle \frac{1}{2^{\frac{n}{2}}\cdot \mathrm{\Gamma }\left(\frac{n}{2}\right)}{x}^{\frac{n}{2}-1}{e}^{-\frac{x}{2}}}& 0\le x\\ 0& \mathrm{other}\end{array}\end{array}$$ 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 $$\begin{array}{rl}f(x;\theta )& =\exp [-\frac{x}{2}+\log \left\{\frac{1}{2^{\frac{n}{2}}\cdot \mathrm{\Gamma }\left(\frac{n}{2}\right)}{x}^{\frac{n}{2}-1}\right\}]\\ & =\exp \{-\frac{x}{2}+(\frac{n}{2}-1)\log x-\log \mathrm{\Gamma }\left(\frac{n}{2}\right)-\frac{n}{2}\log 2\}\\ & =\exp \{\frac{n}{2}\log x-\log \mathrm{\Gamma }\left(\frac{n}{2}\right)-\frac{n}{2}\log 2-\log x-\frac{x}{2}\}\end{array}$$ $\theta =n$ とすると、指数型分布族の定義式において、以下のように考えると、 $$\begin{array}{c}c\left(\theta \right)=\frac{n}{2}\\ T\left(x\right)=\log x\\ d\left(\theta \right)=-\log \mathrm{\Gamma }\left(\frac{n}{2}\right)-\frac{n}{2}\log 2\\ h\left(x\right)=-\log x-\frac{x}{2}\end{array}$$ この分布は1パラメータの指数型分布族に属する。 $◼$