多項分布の周辺分布と共分散の導出

（i）$X_i$ の周辺分布
周辺確率関数の定義式 $f \left(x_i\right)=\sum f \left(\boldsymbol{x}\right)$ より、例えば、$X_1$ について、 \begin{align} f \left(x_i\right)&=\sum_{x_2+x_3 \cdots +x_k=n-x_1}{\frac{n!}{x_1! \cdots x_k!}p_1^{x_1} \cdots p_k^{x_k}}\\ &=\frac{n!}{x_1! \left(n-x_1\right)!}p_1^{x_1} \cdot \sum_{x_2+x_3 \cdots +x_k=n-x_1}{\frac{ \left(n-x_1\right)!}{x_2! \cdots x_k!}p_2^{x_2} \cdots p_k^{x_k}} \end{align} 多項定理 \begin{gather} \left(p_1+p_2+ \cdots +p_k\right)^n=\sum_{x_1+x_2+ \cdots +x_k=n}{\frac{n!}{x_1!x_2! \cdots x_k!}p_1^{n_1}p_2^{n_2} \cdots p_k^{n_k}} \end{gather} より、 \begin{align} f \left(x_i\right)=\frac{n!}{x_1! \left(n-x_1\right)!}p_1^{x_1} \cdot \left(p_2+ \cdots +p_k\right)^{n-x_1} \end{align} 確率関数の仮定 \begin{gather} \sum_{i=1}^{k}p_i=1\Leftrightarrow p_2+ \cdots +p_k=1-p_1 \end{gather} より、 \begin{align} f \left(x_i\right)&=\frac{n!}{x_1! \left(n-x_1\right)!}p_1^{x_1} \left(1-p_1\right)^{n-x_1}\\ &={}_{n}C_{x_1}p_1^{x_1} \left(1-p_1\right)^{n-x_1} \end{align} これは、二項分布 \begin{align} X_1 \sim \mathrm{B} \left(n,p_1\right) \end{align} の確率関数の定義式である。 $\blacksquare$

（ii）$X_i+X_j \left(i \neq j\right)$ の分布
（i）と同様に考えると、例えば、$X_1+X_2$ について、 \begin{align} f \left(x_i\right)&=\frac{n!}{ \left(x_1+x_2\right)! \left(n-x_1-x_2\right)!} \left(p_1+p_2\right)^{x_1} \left(1-p_1-p_2\right)^{n-x_1-x_2}\\ &={}_{n}C_{x_1+x_2}p_1^{x_1} \left(1-p_1-p_2\right)^{n-x_1} \end{align} これは、二項分布 \begin{align} X_1+X_2 \sim \mathrm{B} \left(n,p_1+p_2\right) \end{align} の確率関数の定義式である。 $\blacksquare$

（i）$X_i$ の周辺分布
多項分布のモーメント母関数の公式より、 \begin{align} M_X \left(\boldsymbol{\theta}\right)= \left(p_1e^{\theta_1}+p_2e^{\theta_2}+ \cdots +p_ke^{\theta_k}\right)^n\tag{1} \end{align} モーメント母関数の定義式 $M_X \left(\boldsymbol{\theta}\right)=E \left(e^{\theta_1X_1+\theta_2X_2+ \cdots +\theta_nX_n}\right)$ より、 \begin{align} E \left(e^{\theta_1X_1+\theta_2X_2+ \cdots +\theta_nX_n}\right)= \left(p_1e^{\theta_1}+p_2e^{\theta_2}+ \cdots +p_ke^{\theta_k}\right)^n \end{align} $X_1$ のモーメント母関数の定義式 $M_{X_1} \left(\theta\right)=E \left(e^{\theta_1X_1}\right)$ より、 \begin{align} M_{X_1} \left(\theta\right)&=E \left(e^{\theta_1X_1}\right)\\ &=E \left(e^{\theta_1X_1+0+ \cdots +0}\right)\\ \end{align} 式 $(1)$ に $\theta_i=0,\ i=2,3, \cdots ,n$ を代入すると、 \begin{align} M_{X_1} \left(\theta\right)&= \left(p_1e^{\theta_1}+p_2e^0+ \cdots +p_ke^0\right)^n\\ &= \left(p_1e^{\theta_1}+p_2+ \cdots +p_k\right)^n\\ &= \left\{p_1e^{\theta_1}+ \left(1-p_1\right)\right\}^n \end{align} これは、二項分布 \begin{align} \mathrm{B} \left(n,p_1\right) \end{align} のモーメント母関数である。 $\blacksquare$

（ii）$X_i+X_j \left(i \neq j\right)$ の分布
（i）と同様に考えると、例えば、$X_1+X_2$ のモーメント母関数は、 \begin{align} M_{X_1+X_2} \left(\theta\right)&=E \left[e^{ \left(x_1+x_2\right)\theta}\right]\\ &=E \left[e^{ \left(x_1+x_2\right)\theta+0+ \cdots +0}\right]\\ &= \left\{p_1e^\theta+p_2e^\theta+p_3e^0+ \cdots +p_ke^0\right\}^n\\ &= \left\{ \left(p_1+p_2\right)e^\theta+p_3+ \cdots +p_k\right\}^n\\ &= \left\{ \left(p_1+p_2\right)e^\theta+1- \left(p_1+p_2\right)\right\}^n \end{align} これは、二項分布 \begin{align} \mathrm{B} \left(n,p_1+p_2\right) \end{align} のモーメント母関数である。 $\blacksquare$

（i）$X_i$ の周辺分布
ある1つの事象 $A_i$ に着目すると、全事象は、$A_i$ が起こるか起こらないか（$A_i$の余事象 $A_i^c$）に大別することができる。

これは、 \begin{gather} P \left(A_i\right)=p_i \quad P \left(A_i^c\right)=1-p_i \end{gather} というベルヌーイ試行であるとみなすことができるので、 $X_i$ の周辺分布は、二項分布 \begin{gather} X_i \sim \mathrm{B} \left(n,p_i\right) \end{gather} である。

（ii）$X_i+X_j \left(i \neq j\right)$ の分布
同様に考えると、ある2つの事象 $A_i,A_j$ に着目し、全事象を \begin{gather} A_i \quad \mathrm{or} \quad A_j \end{gather} が起こるか起こらないか（$A_{i,j}$の余事象 $A_{i,j}^c$）に大別する。

2つは排反な事象なので、 \begin{gather} P \left(A_i \cup A_j\right)=p_i+p_j\\ P \left[ \left(A_i \cup A_j\right)^C\right]=1- \left(p_i+p_j\right) \end{gather} というベルヌーイ試行となる。 よって、$X_i+X_j \left(i \neq j\right)$ の分布は、二項分布 \begin{gather} X_i+X_j \sim \mathrm{B} \left(n,p_i+p_j\right) \end{gather} となる。 $\blacksquare$

二項分布の期待値と分散の公式より、確率変数 $X_i$ の期待値と分散は、 \begin{align} E \left(X_i\right)=np_i \quad V \left(X_i\right)=np_i \left(1-p_i\right) \end{align} 確率変数 $X_j$ の期待値と分散は、 \begin{align} E \left(X_j\right)=np_j \quad V \left(X_j\right)=np_j \left(1-p_j\right) \end{align} 確率変数 $X_i+X_j$ の期待値と分散は、 \begin{align} E \left(X_i+X_j\right)=n \left(p_i+p_j\right) \quad V \left(X_i+X_j\right)=n \left(p_i+p_j\right) \left(1-p_i-p_j\right) \end{align} 確率変数の和の分散の公式 $V \left(X+Y\right)=V \left(X\right)+V \left(Y\right)+2\mathrm{Cov} \left(X,Y\right)$ より、 \begin{gather} n \left(p_i+p_j\right) \left(1-p_i-p_j\right)=np_i \left(1-p_i\right)+np_j \left(1-p_j\right)+2\mathrm{Cov} \left(X_i,X_j\right)\\ np_i+np_j-np_i^2-np_jp_j-np_j^2-np_jp_j=np_i-np_i^2+np_j-np_j^2+2\mathrm{Cov} \left(X_i,X_j\right)\\ 2\mathrm{Cov} \left(X_i,X_j\right)=-np_jp_j-np_jp_j\\ 2\mathrm{Cov} \left(X_i,X_j\right)=-2np_jp_j\\ \mathrm{Cov} \left(X_i,X_j\right)=-np_ip_j \end{gather} $\blacksquare$