How genralized linear model work?

May 12, 2018
机器学习

本文将简单的讲述：GLM是如何工作的？

Our goal

在讨论GLM之前，我们还是先要明确我们的目标是什么：

给定一些 feature X，我们需要预测一个y。 即我们需要构造一个 hpythoesis: $h_\theta(x) = y$

How GLM work?

  • 假设 y 的取值服从某个分布
  • 如果这个分布可以写成指数族的形式：$p(y; \eta) = b(y) exp(\eta^T T(y) − a(\eta))$
  • 则有一个性质：T(y)是y的充分统计量
  • 然后我们则用 y 在该分布下的数学期望去预测y，即我们让 $h_\theta(x) = E(y)$
  • 除此之外还假设 $\eta$ 与 X 线性相关，即： $\eta = \theta^TX$

Example

  1. Logistic Regression
  • 假设y的取值服从伯努利分布： $y|x; \theta ∼ Bernoulli(\phi)$
  • 伯努利分布在指数族中，将其改写成指数族的形式：

\[ \begin{align} p(y; \phi) &= \phi^y (1-\phi)^{1-y} \\ &= exp(ylog(\phi) + (1-y)log(1-\phi))\\ &= exp(ylog\frac{\phi}{1-\phi} +log(1-\phi)) \end{align} \]

​ 由此可得： \( T(y) = y \\ \eta = log\frac{\phi}{1-\phi} \) ​ 反解$\phi$ ： \( \phi = \frac{e^{\eta}}{1+e^{\eta}}= \frac{1}{1+e^{-\eta}} \)

  • 利用y在伯努利分布下的数学期望预测y：

\[ \begin{align} y &= E[y|x;\theta] \\ &=\phi \\ &= \frac{1}{1+e^{-\eta}} \end{align} \]

  • 假设 $\eta$ 与 X 线性相关，即： $\eta = \theta^TX$ 。可得：

\[ y = \frac{1}{1+e^{-\theta^TX}} \]

Calendar January 24, 2022