Pourquoi le GLM est-il différent d'un LM avec une variable transformée

16

Comme expliqué dans ce document de cours (page 1) , un modèle linéaire peut être écrit sous la forme:

y = β_{1} X_{1} + \dots + β_{p} X_{p} + ε_{je},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

où est la variable de réponse et est la variable explicative. $y$ $x_{i}$ $i^{th}$

Souvent, dans le but de répondre aux hypothèses de test, on peut transformer la variable de réponse. Par exemple, nous appliquons la fonction log sur chaque $y_i$ . Transformer une variable de réponse n'équivaut PAS à faire un GLM.

Un GLM peut être rédigé sous la forme suivante (à partir du document de cours à nouveau (page 3) )

g (u) = β_{1} X_{1} + \dots + β_{p} X_{p} + ε_{je},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

où $u$ est juste un autre symbole pour $y$ si je comprends bien à la page 2 du document de cours. $g()$ est appelée la fonction de liaison.

Je ne comprends pas vraiment la différence entre un GLM et un LM avec une variable transformée à partir des diapositives du cours. Pouvez-vous m'aider?

— Remi.b
source

2

Vous pourriez trouver éclairant de considérer le fait que toutes les transformations d'un résultat binaire sont affines, ce qui vous limiterait ainsi à la régression des moindres carrés ordinaires. Ce n'est évidemment pas ce que la régression logistique (un GLM standard pour les réponses binaires) accomplit. (Preuve: laissez les valeurs de résultat être codées comme

y_{0}

$y_0$ et

y_{1}

$y_1$ et laissez

ϕ

$\phi$ être n'importe quelle transformation. En écrivant

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$ et

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$ nous trouvons que

ϕ

$\phi$ est d'accord sur

{y_{0}, y_{1}}

$\{y_0,y_1\}$ avec

y \to λ y + μ

$y\to \lambda y + \mu$ (qui est une transformation affine de

y

$y$ ) où

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$ et

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$ .)

— whuber

15

Transformer la réponse avant de faire une régression linéaire, c'est cela:

E (g (Oui)) \sim β_{0} + β_{1} X_{1} + \dots + β_{p} X_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

où $g$ est une fonction donnée, et nous supposons que $g(Y)$ a une distribution donnée (généralement normale).

Un modèle linéaire généralisé fait ceci:

g (E (Oui)) \sim β_{0} + β_{1} X_{1} + \dots + β_{p} X_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

où $g$ est le même qu'avant, et nous supposons que $Y$ a une distribution donnée (généralement pas normale).

— Hong Ooi
source

qu'est-ce que E dans votre équation?

— user1406647

1

E (X)

$E(X)$ est la notation standard pour la valeur moyenne de .

X

$X$

— Marcus PS

J'ai également trouvé cela utile: christoph-scherber.de/content/PDF%20Files/…

— Aditya

22

Je ne sais pas si cela constituera une réponse complète pour vous, mais cela peut aider à libérer le blocage conceptuel.

Il semble y avoir deux idées fausses dans votre compte:

Gardez à l'esprit que la régression des moindres carrés ordinaires (OLS - «linéaire») est un cas particulier du modèle linéaire généralisé. Ainsi, lorsque vous dites que «[t] transformer une variable de réponse n'équivaut PAS à faire un GLM», c'est incorrect. L'ajustement d'un modèle linéaire ou la transformation de la variable de réponse, puis l'ajustement d'un modèle linéaire constituent tous deux «faire un GLM».
Dans la formulation standard des GLM, ce que vous appelez " " (qui est souvent représenté par , mais ce n'est qu'une question de préférence) est la moyenne de la distribution de réponse conditionnelle à un emplacement spécifique dans l'espace covariable (c'est-à-dire, ). Ainsi, lorsque vous dites "où est juste un autre symbole pour ", c'est également incorrect. Dans la formulation OLS, est une variable aléatoire et / ou est une valeur réalisée de pour l'unité d'observation / d'étude . Autrement dit, (de manière plus générique) représente des données , pas un paramètre . $u$ $\mu$ $X$ $u$ $y$ $Y$ $y_i$ $Y$ $i$ $y$

(Je ne veux pas harceler les erreurs, je soupçonne simplement que cela peut causer votre confusion.)
Il y a aussi un autre aspect du modèle linéaire généralisé que je ne vois pas vous mentionner. C'est-à-dire que nous spécifions une distribution de réponse. Dans le cas de la régression OLS, la distribution de réponse est gaussienne (normale) et la fonction de liaison est la fonction d'identité. Dans le cas, par exemple, de la régression logistique (qui peut être ce à quoi les gens pensent en premier lorsqu'ils pensent aux GLM), la distribution des réponses est le Bernoulli (/ binomial) et la fonction de lien est le logit. Lorsque nous utilisons des transformations pour garantir que les hypothèses pour OLS sont respectées, nous essayons souvent de rendre la distribution de réponse conditionnelle acceptable de manière normale. Cependant, aucune telle transformation ne rendra la distribution de Bernoulli acceptable.

— gung - Réintégrer Monica
source