指数型分布族

ベルヌーイ分布 $\mathrm{Ber} \left(p\right)$ の確率関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix}p^x \left(1-p\right)^{1-x}&x=0,1\\0&\mathrm{other}\\\end{matrix}\right. \end{align} 確率関数をネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left\{\log{p^x \left(1-p\right)^{1-x}}\right\}\\ &=\mathrm{exp} \left\{x\log{p}+ \left(1-x\right)\log{ \left(1-p\right)}\right\}\\ &=\mathrm{exp} \left\{x\log{p}+\log{ \left(1-p\right)}-x\log{ \left(1-p\right)}\right\}\\ &=\mathrm{exp} \left[ \left\{\log{p}-\log{ \left(1-p\right)}\right\}x+\log{ \left(1-p\right)}\right] \end{align} $\theta=p$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\log{p}-\log{ \left(1-p\right)}\\ T \left(x\right)=x\\ d \left(\theta\right)=\log{ \left(1-p\right)}\\ h \left(x\right)=0 \end{gather} この分布は1パラメータの指数型分布族に属すると言える。 $\blacksquare$

二項分布 $\mathrm{B} \left(n,p\right)$ の確率関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}{}_{n}C_xp^x \left(1-p\right)^{n-x}&x=0,1, \cdots ,n\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left\{\log{{}_{n}C_xp^x \left(1-p\right)^{n-x}}\right\}\\ &=\mathrm{exp} \left\{x\log{p}+ \left(n-x\right)\log{ \left(1-p\right)}+\log{{}_{n}C_x}\right\}\\ &=\mathrm{exp} \left\{x\log{p}-x\log{ \left(1-p\right)}+n\log{ \left(1-p\right)}+\log{{}_{n}C_x}\right\}\\ &=\mathrm{exp} \left[ \left\{\log{p}-\log{ \left(1-p\right)}\right\}x+n\log{ \left(1-p\right)}+\log{{}_{n}C_x}\right] \end{align}

（i）$n$ が既知で、$p$ が未知のとき
$\theta=p$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\log{p}-\log{ \left(1-p\right)}\\ T \left(x\right)=x\\ d \left(\theta\right)=n\log{ \left(1-p\right)}\\ h \left(x\right)=\log{{}_{n}C_x} \end{gather} この分布は1パラメータの指数型分布族に属する。

（ii）$n$ が未知で、$p$ が既知のとき
$\theta=p$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\mathrm{not\ exist}\\ T \left(x\right)=\mathrm{not\ exist}\\ d \left(\theta\right)=n\log{ \left(1-p\right)}\\ h \left(x\right)=x \left\{\log{p}-\log{ \left(1-p\right)}\right\}+\log{{}_{n}C_x} \end{gather} この分布は指数型分布族には属さない。

（iii）$n$ と $p$ がともに未知のとき
$\boldsymbol{\theta}= \left(n,p\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c_1 \left(\theta\right)=\mathrm{not\ exist}\\ c_2 \left(\theta\right)=\log{p}-\log{ \left(1-p\right)}\\ T_1 \left(x\right)=\mathrm{not\ exist}\\ T_2 \left(x\right)=x\\ d \left(\boldsymbol{\theta}\right)=n\log{ \left(1-p\right)}\\ h \left(x\right)=\log{{}_{n}C_x} \end{gather} この分布は指数型分布族には属さない。 $\blacksquare$

ポアソン分布 $\mathrm{Po} \left(\lambda\right)$ の確率関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix}\frac{\lambda^xe^{-\lambda}}{x!}&x=0,1,2, \cdots \\0&\mathrm{other}\\\end{matrix}\right. \end{align} 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left\{-\lambda+\log{ \left(\frac{\lambda^x}{x!}\right)}\right\}\\ &=\mathrm{exp} \left\{x\log{\lambda}-\lambda-\log{x!}\right\} \end{align} $\theta=\lambda$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\log{\lambda}\\ T \left(x\right)=x\\ d \left(\theta\right)=-\lambda\\ h \left(x\right)=-\log{x!} \end{gather} この分布は1パラメータの指数型分布族に属する。 $\blacksquare$

幾何分布 $\mathrm{G} \left(p\right)$ の確率関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix} \left(1-p\right)^xp&x=0,1,2, \cdots \\0&\mathrm{other}\\\end{matrix}\right. \end{align} 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left[\log{ \left\{ \left(1-p\right)^xp\right\}}\right]\\ &=\mathrm{exp} \left\{\log{p}+x\log{ \left(1-p\right)}\right\}\\ &=\mathrm{exp} \left\{x\log{ \left(1-p\right)}+\log{p}\right\} \end{align} $\theta=p$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\log{ \left(1-p\right)}\\ T \left(x\right)=x\\ d \left(\theta\right)=\log{p}\\ h \left(x\right)=0 \end{gather} この分布は1パラメータの指数型分布族に属する。 $\blacksquare$

多項分布 $\mathrm{MN} \left(n,\boldsymbol{p}\right)$ の同時確率関数は、 \begin{gather} f \left(\boldsymbol{x}\right)= \left\{\begin{matrix}\displaystyle\frac{n!}{x_1! \cdots x_k!}p_1^{x_1} \cdots p_k^{x_k}&x_i=0,1, \cdots ,n\\0&\mathrm{\mathrm{other}}\\\end{matrix}\right. \end{gather} 同時確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(\boldsymbol{x};\boldsymbol{\theta}\right)&=\mathrm{exp} \left\{\log{ \left(\frac{n!}{x_1! \cdots x_n!}p_1^{x_1} \cdots p_k^{x_k}\right)}\right\}\\ &=\mathrm{exp} \left\{\sum_{i=1}^{k} \left(x_i\log{p_i}\right)+\log{n!}-\sum_{i=1}^{k}\log{x_i!}\right\} \end{align}

（i）$n$ が既知で、$\boldsymbol{p}$ が未知のとき
$\boldsymbol{\theta}= \left(p_1,p_2, \cdots ,p_k\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{align} c_i \left(\theta\right)=\log{p_i}\\ T_i \left(x\right)=x_i\\ d \left(\boldsymbol{\theta}\right)=\mathrm{not\ exist}\\ h \left(x\right)=\log{n!}-\sum_{i=1}^{k}\log{x_i!} \end{align} この分布は指数型分布族には属さない。

（ii）$n$ が未知で、$\boldsymbol{p}$ が既知のとき
$\theta=n$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\mathrm{not\ exist}\\ T \left(x\right)=\mathrm{not\ exist}\\ d \left(\theta\right)=\log{n!}\\ h \left(x\right)=\sum_{i=1}^{k} \left(x_i\log{p_i}\right)-\sum_{i=1}^{k}\log{x_i!} \end{gather} この分布は指数型分布族には属さない。

（iii）$n$ と $\boldsymbol{p}$ がともに未知のとき
$\boldsymbol{\theta}= \left(n,p_1,p_2, \cdots ,p_k\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c_i \left(\theta\right)=\log{p_i}\\ T_i \left(x\right)=x_i\\ d \left(\boldsymbol{\theta}\right)=\log{n!}\\ h \left(x\right)=-\sum_{i=1}^{k}\log{x_i!} \end{gather} この分布は $k$ パラメータの指数型分布族に属する。 $\blacksquare$

負の二項分布 $\mathrm{NB} \left(n,p\right)$ の確率関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}{}_{n+x-1}C_xp^x \left(1-p\right)^{n-x}&x=0,1,2, \cdots \\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 確率関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left[\log{ \left\{{}_{n+x-1}C_x \left(1-p\right)^np^x\right\}}\right]\\ &=\mathrm{exp} \left\{x\log{p}+n\log{ \left(1-p\right)}+\log{{}_{n+x-1}C_x}\right\}\\ &=\mathrm{exp} \left\{x\log{p}+n\log{ \left(1-p\right)}+\log{\frac{x!}{ \left(x+n-1\right)! \left(n-1\right)!}}\right\}\\ &=\mathrm{exp} \left\{x\log{p}+n\log{ \left(1-p\right)}+\log{x!}-\log{ \left(n-1\right)!}-\log{ \left(x+n-1\right)!}\right\} \end{align}

（i）$n$ が既知で、$p$ が未知のとき
$\theta=p$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\log{p}\\ T \left(x\right)=x\\ d \left(\theta\right)=n\log{ \left(1-p\right)}-\log{ \left(n-1\right)!}\\ h \left(x\right)=\log{x!}-\log{ \left(x+n-1\right)!} \end{gather} この分布は1パラメータの指数型分布族に属する。

（ii）$n$ が未知で、$p$ が既知のとき
$\theta=n$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\mathrm{not\ exist}\\ T \left(x\right)=\mathrm{not\ exist}\\ d \left(\theta\right)=n\log{ \left(1-p\right)}-\log{ \left(n-1\right)!}\\ h \left(x\right)=x\log{p}+\log{x!} \end{gather} したがって、この分布は指数型分布族には属さない。

（iii）$n$ と $p$ がともに未知のとき
$\boldsymbol{\theta}= \left(n,p\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c_1 \left(\theta\right)=\mathrm{not\ exist}\\ T_1 \left(x\right)=\mathrm{not\ exist}\\ c_2 \left(\theta\right)=\log{p}-\log{ \left(1-p\right)}\\ T_2 \left(x\right)=x\\ d \left(\boldsymbol{\theta}\right)=n\log{ \left(1-p\right)}-log \left(n-1\right)!\\ h \left(x\right)=\log{x!} \end{gather} この分布は指数型分布族には属さない。 $\blacksquare$

正規分布 $\mathrm{N} \left(\mu,\sigma^2\right)$ の確率密度関数は、 \begin{gather} \begin{matrix}f \left(x\right)=\displaystyle\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ \left(x-\mu\right)^2}{2\sigma^2}}&-\infty \lt x \lt \infty\\\end{matrix}\\ -\infty \lt \mu \lt \infty \quad 0 \lt \sigma \end{gather} 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left\{-\frac{ \left(x-\mu\right)^2}{2\sigma^2}-\log{\sqrt{2\pi\sigma^2}}\right\}\\ &=\mathrm{exp} \left\{-\frac{x^2}{2\sigma^2}+\frac{\mu x}{\sigma^2}-\frac{\mu^2}{2\sigma^2}-\frac{1}{2} \left(\log{2\pi}+\log{\sigma^2}\right)\right\}\\ &=\mathrm{exp} \left\{-\frac{x^2}{2\sigma^2}+\frac{\mu x}{\sigma^2}-\frac{\mu^2}{2\sigma^2}-\frac{1}{2}\log{2\pi}-\frac{1}{2}\log{\sigma^2}\right\} \end{align}

（i）$\mu$ が既知で、$\sigma^2$ が未知のとき
$\theta=\sigma^2$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=-\frac{1}{2\sigma^2}\\ T \left(x\right)= \left(x-\mu\right)^2\\ d \left(\theta\right)=-\frac{1}{2}\log{\sigma^2}\\ h \left(x\right)=-\frac{1}{2}\log{2\pi} \end{gather} この分布は1パラメータの指数型分布族に属する。

（ii）$\mu$ が未知で、$\sigma^2$ が既知のとき
$\theta=\mu$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\frac{\mu}{\sigma^2}\\ T \left(x\right)=x\\ d \left(\theta\right)=-\frac{\mu^2}{2\sigma^2}\\ h \left(x\right)=-\frac{x^2}{2\sigma^2}-\frac{1}{2}\log{2\pi}-\frac{1}{2}\log{\sigma^2} \end{gather} この分布は1パラメータの指数型分布族に属する。

（iii）$\mu$ と $\sigma^2$ がともに未知のとき
$\boldsymbol{\theta}= \left(\mu,\sigma^2\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c_1 \left(\theta\right)=\frac{\mu}{\sigma^2}\\ T_1 \left(x\right)=x\\ c_2 \left(\theta\right)=-\frac{1}{2\sigma^2}\\ T_2 \left(x\right)=x^2\\ d \left(\boldsymbol{\theta}\right)=-\frac{\mu^2}{2\sigma^2}-\frac{1}{2}\log{\sigma^2}\\ h \left(x\right)=-\frac{1}{2}\log{2\pi} \end{gather} この分布は2パラメータの指数型分布族に属する。 $\blacksquare$

指数分布 $\mathrm{Ex} \left(\lambda\right)$ の確率密度関数は、 \begin{align} f \left(x\right)= \left\{\begin{matrix}\lambda e^{-\lambda x}&0 \le x\\0&\mathrm{other}\\\end{matrix}\right. \end{align} 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)=\mathrm{exp} \left(-\lambda x+\log{\lambda}\right) \end{align} $\theta=\lambda$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\lambda\\ T \left(x\right)=x\\ d \left(\theta\right)=\log{\lambda}\\ h \left(x\right)=0 \end{gather} この分布は1パラメータの指数型分布族に属する。 $\blacksquare$

ガンマ分布 $\mathrm{Ga} \left(\alpha,\beta\right)$ の確率密度関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}\displaystyle\frac{\beta^\alpha}{\Gamma \left(\alpha\right)}x^{\alpha-1}e^{-\beta x}&0 \le x\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left\{-\beta x-\log{ \left(\frac{\beta^\alpha}{\Gamma \left(\alpha\right)}x^{\alpha-1}\right)}\right\}\\ &=\mathrm{exp} \left\{-\beta x- \left\{\alpha\log{\beta}-\log{\Gamma \left(\alpha\right)}+ \left(\alpha-1\right)\log{x}\right\}\right\}\\ &=\mathrm{exp} \left\{-\alpha\log{x}-\beta x-\alpha\log{\beta}+\log{\Gamma \left(\alpha\right)}+\log{x}\right\} \end{align}

（i）$\alpha$ が既知で、$\beta$ が未知のとき
$\theta=\beta$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=-\beta\\ T \left(x\right)=x\\ d \left(\theta\right)=-\alpha\log{\beta}+\log{\Gamma \left(\alpha\right)}\\ h \left(x\right)=- \left(\alpha-1\right)\log{x} \end{gather} この分布は1パラメータの指数型分布族に属する。

（ii）$\alpha$ が未知で、$\beta$ が既知のとき
$\theta=\alpha$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=-\alpha\\ T \left(x\right)=\log{x}\\ d \left(\theta\right)=-\alpha\log{\beta}+\log{\Gamma \left(\alpha\right)}\\ h \left(x\right)=-\beta x+\log{x} \end{gather} この分布は1パラメータの指数型分布族に属する。

（iii）$\alpha$ と $\beta$ がともに未知のとき
$\boldsymbol{\theta}= \left(\alpha,\beta\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c_1 \left(\theta\right)=-\alpha\\ T_1 \left(x\right)=\log{x}\\ c_2 \left(\theta\right)=-\beta\\ T_2 \left(x\right)=x\\ d \left(\boldsymbol{\theta}\right)=-\alpha\log{\beta}+\log{\Gamma \left(\alpha\right)}\\ h \left(x\right)=\log{x} \end{gather} この分布は2パラメータの指数型分布族に属する。 $\blacksquare$

ベータ分布 $\mathrm{Be} \left(\alpha,\beta\right)$ の確率密度関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}\displaystyle\frac{1}{B \left(\alpha,\beta\right)}x^{\alpha-1} \left(1-x\right)^{\beta-1}&0 \lt x \lt 1\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left\{\log{ \left(\frac{x^{\alpha-1} \left(1-x\right)^{\beta-1}}{B \left(\alpha,\beta\right)}\right)}\right\}\\ &=\mathrm{exp} \left\{ \left(\alpha-1\right)\log{x}+ \left(\beta-1\right)\log{ \left(1-x\right)}-\log{B \left(\alpha,\beta\right)}\right\}\\ &=\mathrm{exp} \left\{\alpha\log{x}-\log{x}+\beta\log{ \left(1-x\right)}-\log{ \left(1-x\right)}-\log{B \left(\alpha,\beta\right)}\right\}\\ &=\mathrm{exp} \left\{\alpha\log{x}+\beta\log{ \left(1-x\right)}-\log{B \left(\alpha,\beta\right)}-\log{x}-\log{ \left(1-x\right)}\right\} \end{align}

（i）$\alpha$ が既知で、$\beta$ が未知のとき
$\theta=\beta$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\beta\\ T \left(x\right)=\log{ \left(1-x\right)}\\ d \left(\theta\right)=-\log{B \left(\alpha,\beta\right)}\\ h \left(x\right)=\alpha\log{x}-\log{x}-\log{ \left(1-x\right)} \end{gather} この分布は1パラメータの指数型分布族に属する。

（ii）$\alpha$ が未知で、$\beta$ が既知のとき
$\theta=\alpha$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\alpha\\ T \left(x\right)=\log{x}\\ d \left(\theta\right)=-\log{B \left(\alpha,\beta\right)}\\ h \left(x\right)=\beta\log{ \left(1-x\right)}-\log{x}-\log{ \left(1-x\right)} \end{gather} この分布は1パラメータの指数型分布族に属する。

（iii）$\alpha$ と $\beta$ がともに未知のとき
$\boldsymbol{\theta}= \left(\alpha,\beta\right)$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c_1 \left(\theta\right)=\alpha\\ T_1 \left(x\right)=\log{x}\\ c_2 \left(\theta\right)=\beta\\ T_2 \left(x\right)=\log{ \left(1-x\right)}\\ d \left(\boldsymbol{\theta}\right)=-\log{B \left(\alpha,\beta\right)}\\ h \left(x\right)=-\log{x}-\log{ \left(1-x\right)} \end{gather} この分布は2パラメータの指数型分布族に属する。 $\blacksquare$

$\chi^2$分布 $\chi^2 \left(n\right)$ の確率密度関数は、 \begin{gather} f \left(x\right)= \left\{\begin{matrix}\displaystyle\frac{1}{2^\frac{n}{2} \cdot \Gamma \left(\frac{n}{2}\right)}x^{\frac{n}{2}-1}e^{-\frac{x}{2}}&0 \le x\\0&\mathrm{other}\\\end{matrix}\right. \end{gather} 確率密度関数を、ネイピアの数を底とする指数関数のかたちで表すと、 \begin{align} f \left(x;\theta\right)&=\mathrm{exp} \left[-\frac{x}{2}+\log{ \left\{\frac{1}{2^\frac{n}{2} \cdot \Gamma \left(\frac{n}{2}\right)}x^{\frac{n}{2}-1}\right\}}\right]\\ &=\mathrm{exp} \left\{-\frac{x}{2}+ \left(\frac{n}{2}-1\right)\log{x}-\log{\Gamma \left(\frac{n}{2}\right)}-\frac{n}{2}\log{2}\right\}\\ &=\mathrm{exp} \left\{\frac{n}{2}\log{x}-\log{\Gamma \left(\frac{n}{2}\right)}-\frac{n}{2}\log{2}-\log{x}-\frac{x}{2}\right\} \end{align} $\theta=n$ とすると、指数型分布族の定義式において、以下のように考えると、 \begin{gather} c \left(\theta\right)=\frac{n}{2}\\ T \left(x\right)=\log{x}\\ d \left(\theta\right)=-\log{\Gamma \left(\frac{n}{2}\right)}-\frac{n}{2}\log{2}\\ h \left(x\right)=-\log{x}-\frac{x}{2} \end{gather} この分布は1パラメータの指数型分布族に属する。 $\blacksquare$