Generalized Linear Model

2025-10-02 2 minute read

Generalized Linear Models (GLM)

$\mu$와 $\phi$가 각각 x와 $\phi$의 함수로 정의되었을 때, Linear regression에서 $p(y \mid x ; \theta) \sim N(\mu, \sigma^2)$을 따른다는 가정이나 Binary classification에서 $p(y \mid x ; \theta) \sim \text{Bernoulli}(\phi)$을 따른다는 가정 모두 임의로 결정한 것이 아니라 둘 다 GLM의 특별한 케이스에 해당되기 때문이다. GLM을 알기 위해서는 Exponential Family 에 대한 사전 지식이 필요하다.

Exponential Family

Exponential Family에 속하는 모든 분포는 다음 형태를 따른다. $p(y \mid \eta) = b(y) exp (\eta^T T(y) - a(\eta)) = b(y) \cdot \frac {exp(\eta^T T(y))} {exp(a(\eta))}$ Distribution family를 결정하는 고정된 T,a,b가 존재하고 $\eta$ 값에 따라 그 family 안에서 특정 distribution이 결정된다.

Bernouli Distribution $\subset$ Exponential Family Distribution

\[p(y ; \phi) = \phi^y \cdot (1 - \phi)^{1-y} = exp( log ( \phi^y \cdot (1 - \phi)^{1-y} ) )\] \[= exp(ylog\phi + (1-y)log(1-\phi))\] \[= exp(log(\frac{\phi} {1 - \phi})y + log(1-\phi))\]

이 식과 Exponential family 형태를 비교하면 b(y)=1, T(y) = y, a($\eta$) = - $log(1-\phi)$일 때 Exponential family distribution이 Bernoulli Distribution이 되는 것을 알 수 있다. 이때, $\eta = log(\frac {\phi} {1-\phi})$이기 때문에 $\eta$ 값에 따라서 Bernoulli Distribution의 평균 $\phi$가 달라지는 것을 알 수 있다. 즉, $\eta$가 특정 Bernoulli distribution을 결정한다는 것을 알 수 있다.

Gaussian Distribution $\subset$ Exponential Family Distribution

Gaussian density function은 다음과 같다. $p(y ; \mu) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{1}{2}\left(\frac{y-\mu}{\sigma}\right)^2}$

이때, 계산을 쉽게 하기 위해 $\sigma$ = 1이라고 가정하자. 다시 작성하면

\[p(y ; \mu) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}({y-\mu})^2}\] \[= \frac{1}{\sqrt{2\pi}} e^{\frac {-1} {2} y^2} \cdot e^{\mu y - \frac{1} {2} \mu^2}\]

이 식과 Exponential family 형태를 비교하면 b(y) = $\frac{1}{\sqrt{2\pi}} e^{\frac {-1} {2} y^2}$, T(y) = y, a($\eta$) = $\frac{1} {2} \mu^2$의 값을 가질 때, Exponential family distribution이 Gaussian Distribution이 되는 것을 알 수 있다. 이때, $\eta$ = $\mu$이기 때문에 a($\eta$) = $\frac{1} {2} \eta^2$이다. 즉, $\eta$ 값이 특정 Gaussian distribution을 결정한다는 것을 알 수 있다.