Pouvez-vous donner une explication simple et intuitive de la méthode IRLS pour trouver le MLE d'un GLM?

Contexte:

J'essaie de suivre l'examen de Princeton de l'estimation MLE pour GLM .

Je comprends les bases de l' estimation MLE: likelihood, score, observée et attendue Fisher informationet la Fisher scoringtechnique. Et je sais comment justifier une régression linéaire simple avec une estimation MLE .

---

La question:

Je ne comprends même pas la première ligne de cette méthode :(

Quelle est l'intuition derrière les variables de travail définies comme:$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

Pourquoi sont-ils utilisés au lieu de pour estimer ?$y_i$$\beta$

Et quelle est leur relation avec le response/link functionqui est le lien entre et$\eta$$\mu$

Si quelqu'un a une explication simple ou peut me diriger vers un texte plus basique à ce sujet, je lui en serais reconnaissant.

Il y a quelques années, j'ai écrit un article à ce sujet pour mes étudiants (en espagnol), afin que je puisse essayer de réécrire ces explications ici. Je vais regarder IRLS (moindres carrés itérativement repondérés) à travers une série d'exemples de complexité croissante. Pour le premier exemple, nous avons besoin du concept d'une famille à l'échelle de l'emplacement. Soit une fonction de densité centrée sur zéro dans un certain sens. On peut construire une famille de densités en définissant où est un paramètre d'échelle et$f_0$

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$est un paramètre d'emplacement. Dans le modèle d'erreur de mesure, où le terme d'erreur est généralement modélisé comme une distribution normale, nous pouvons, à la place de cette distribution normale, utiliser une famille à l'échelle de l'emplacement telle que construite ci-dessus. Lorsque est la distribution normale standard, la construction ci-dessus donne la famille .$f_0$$\text{N}(\mu, \sigma)$

Nous allons maintenant utiliser IRLS sur quelques exemples simples. On trouvera d'abord les estimateurs ML (maximum de vraisemblance) dans le modèle avec la densité la distribution de Cauchy la famille d'emplacement (c'est donc une famille d'emplacement). Mais d'abord une notation. L'estimateur des moindres carrés pondérés de est donné par

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ oùwiest un poids. Nous verrons que l'estimateur ML deμpeut être exprimée sous la même forme, avecwiune fonction des résidus ei=yi - μ . La fonction de vraisemblance est donnée par L(y;μ)=( $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ $$\epsilon_i = y_i-\hat{\mu}.$$ et la fonction loglik vraisemblance est donnée par l(y)=-nlog(π)- n ∑ i=1log(1+(yi-μ)2). Sa dérivée par rapport àμest ∂ l ( y $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ où ϵi=yi-μ. Écrivezf0(ϵ)= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$ etf ′ 0 (ϵ)=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$ , on obtient f ′ 0 (ϵ$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ On trouve ∂ l ( y $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ où nous avons utilisé la définition wi= f ′ 0 ( ϵ i $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ En se souvenant que ϵi=yi-μon obtient l'équation ∑wiyi=μ∑wi, qui est l'équation d'estimation de l'IRLS. Notez que $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ $\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. Les poids sont toujours positifs.$w_i$
2. Si le résidu est important, nous accordons moins de poids à l'observation correspondante.

$\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

$f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

Dans ce qui suit, nous donnons un exemple numérique en utilisant R, pour le modèle exponentiel double (avec une échelle connue) et avec des données y <- c(-5,-1,0,1,5). Pour ces données, la vraie valeur de l'estimateur ML est 0. La valeur initiale sera mu <- 0.5. Un passage de l'algorithme est

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

avec cette fonction, vous pouvez expérimenter avec faire les itérations "à la main" Ensuite, l'algorithme itératif peut être fait par

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

$t_k$$\sigma$

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

Pour le moment je vais le laisser ici, je vais continuer ce post.