ジョン・ラチン（2020）『医薬データのための統計解析』 問題7.1 解答例

本稿は、ジョン・ラチン（2020）『医薬データのための統計解析』の「問題7.1」の自作解答例です。一般ロジスティック回帰モデルに関する問題です。

なお、閲覧にあたっては、以下の点にご注意ください。

問題7.1.1：尤度関数

発症確率のモデルは、 $$\begin{array}{c}{\pi }_i=\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}1-{\pi }_i=\frac{1}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}\end{array}$$ 観測値はベルヌーイ変数 $\left\{y_i\right\}$ なので、確率 $\mathit{\pi }=\{{\pi }_1,{\pi }_2,\cdots ,{\pi }_N\}$ に関する尤度は $$\begin{array}{r}L\left(\mathit{\pi }\right)=\prod _{i=1}^N{\pi }_i^{y_i}{(1-{\pi }_i)}^{1-y_i}\end{array}$$ 共変量とパラメータのロジスティック関数として確率を表すと、 $$\begin{array}{r}L\left(\mathit{\theta }\right)=\prod _{i=1}^N{\left(\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}\right)}^{y_i}{\left(\frac{1}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}\right)}^{1-y_i}\end{array}$$ $◼$

問題7.1.2：対数尤度関数

対数尤度関数 $l(\theta ,\mathit{x})=\log L(\theta ,\mathit{x})$ は、 $$\begin{array}{c}l\left(\mathit{\pi }\right)=\sum _{i=1}^N\{y_i\log {\pi }_i+(1-y_i)\log (1-{\pi }_i)\}\\ l\left(\mathit{\theta }\right)=\sum _{i=1}^N\{y_i\left(e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}\right)-\log (1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})\}\end{array}$$ $◼$

問題7.1.3：スコア関数①

パラメータ $\alpha$ に関するスコア関数 $U\left(\theta \right)=\frac{\partial }{\partial \theta }l\left(\theta \right)$ は、 $$\begin{array}{rl}{U}_{\alpha }\left(\mathit{\theta }\right)& =\sum _{i=1}^N{y}_i-\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}\\ & =\sum _{i=1}^N{y}_i-\sum _{i=1}^N{\pi }_i\\ & =m_1-\sum _{i=1}^N{\pi }_i\\ & =\sum _{i=1}^N\{y_i-E\left(y_i\right|{\mathit{x}}_{\mathit{i}})\}\\ & =m_1-E\left(m_1\right|\mathit{\theta })\end{array}$$ $◼$

問題7.1.4：スコア関数②

パラメータ ${\beta }_j$ に関するスコア関数 $U\left(\theta \right)=\frac{\partial }{\partial \theta }l\left(\theta \right)$ は、 $$\begin{array}{rl}{U}_{{\beta }_1}\left(\mathit{\theta }\right)& =\sum _{i=1}^N{y}_i\cdot x_{i1}-\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}\cdot x_{1k}\\ & =\sum _{i=1}^N(y_i-{\pi }_i)x_{i1}\end{array}$$ $$\begin{array}{rl}{U}_{{\beta }_2}\left(\mathit{\theta }\right)& =\sum _{i=1}^N{y}_i\cdot x_{i2}-\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}\cdot x_{i2}\\ & =\sum _{i=1}^N(y_i-{\pi }_i)x_{i2}\end{array}$$ $◼$

問題7.1.5：観測情報行列

二項分布における観測情報行列の定義式 $\mathit{I}\left(\mathit{\theta }\right)=\mathit{i}\left(\mathit{\theta }\right)=-\mathit{H}\left(\mathit{\theta }\right)$ より、 $$\begin{array}{rl}{i}_{\alpha }\left(\mathit{\theta }\right)& =-\frac{\partial }{\partial \alpha }{U}_{\alpha }\left(\mathit{\theta }\right)\\ & =\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{{(1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})}^2}\\ & =\sum _{i=1}^N{\pi }_i(1-{\pi }_i)\end{array}$$ $$\begin{array}{rl}{i}_{{\beta }_1}\left(\mathit{\theta }\right)& -=\frac{\partial }{\partial {\beta }_1}{U}_{{\beta }_1}\left(\mathit{\theta }\right)\\ & =\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{{(1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})}^2}\cdot x_{i1}\cdot x_{i1}\\ & =\sum _{i=1}^N{\pi }_i(1-{\pi }_i)\cdot x_{i1}^2\end{array}$$ $$\begin{array}{rl}{i}_{{\beta }_2}\left(\mathit{\theta }\right)& =-\frac{\partial }{\partial {\beta }_2}{U}_{{\beta }_2}\left(\mathit{\theta }\right)\\ & =\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{{(1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})}^2}\cdot x_{i2}\cdot x_{i2}\\ & =\sum _{i=1}^N{\pi }_i(1-{\pi }_i)\cdot x_{i2}^2\end{array}$$ $$\begin{array}{rl}{H}_{{\beta }_1{\beta }_2}\left(\mathit{\theta }\right)& =-\frac{\partial }{\partial {\beta }_1}{U}_{{\beta }_2}\left(\mathit{\theta }\right)\\ & =\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{{(1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})}^2}\cdot x_{i1}\cdot x_{i2}\\ & =\sum _{i=1}^N{\pi }_i(1-{\pi }_i)\cdot x_{i1}{x}_{i2}\end{array}$$ $$\begin{array}{rl}{H}_{\alpha {\beta }_1}\left(\mathit{\theta }\right)& =-\frac{\partial }{\partial \alpha }{U}_{{\beta }_1}\left(\mathit{\theta }\right)\\ & =\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{{(1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})}^2}\cdot x_{i1}\\ & =\sum _{i=1}^N{\pi }_i(1-{\pi }_i)\cdot x_{i1}\end{array}$$ $$\begin{array}{rl}{H}_{\alpha {\beta }_2}\left(\mathit{\theta }\right)& =-\frac{\partial }{\partial \alpha }{U}_{{\beta }_2}\left(\mathit{\theta }\right)\\ & =\sum _{i=1}^N\frac{e^{\alpha +x_1{\beta }_1+x_2{\beta }_2}}{{(1+e^{\alpha +x_1{\beta }_1+x_2{\beta }_2})}^2}\cdot x_{i2}\\ & =\sum _{i=1}^N{\pi }_i(1-{\pi }_i)\cdot x_{i2}\end{array}$$ $◼$

参考文献

• ジョン・ラチン 著, 宮岡 悦良 監訳, 遠藤 輝, 黒沢 健, 下川 朝有, 寒水 孝司 訳. 医薬データのための統計解析. 共立出版, 2020, p.397
• ジョン・ラチン 著, 宮岡 悦良 監訳, 遠藤 輝, 黒沢 健, 下川 朝有, 寒水 孝司 訳. 医薬データのための統計解析. 共立出版, 2020, p.303-306

関連記事

• ロジスティック回帰分析