Hypothèses de distribution résiduelle de régression

12

Pourquoi est-il nécessaire de poser l'hypothèse distributionnelle sur les erreurs, c'est-à-dire

$y_i = X\beta + \epsilon_{i}$ , avec . $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Pourquoi ne pas écrire

$y_i = X\beta + \epsilon_{i}$ , avec , $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

où dans les deux cas . Je l'ai vu souligné que les hypothèses de distribution sont placées sur les erreurs, pas sur les données, mais sans explication. $\epsilon_i = y_i - \hat{y}$

Je ne comprends pas vraiment la différence entre ces deux formulations. À certains endroits, je vois des hypothèses de distribution être placées sur les données (Bayesian lit. il semble surtout), mais la plupart du temps, les hypothèses sont placées sur les erreurs.

Lors de la modélisation, pourquoi choisir / devrait-on commencer par des hypothèses sur l'une ou l'autre?

— bill_e
source

Tout d'abord, ce n'est pas "nécessaire", cela dépend de ce que vous avez l'intention de faire. Il y a de bonnes réponses, mais je pense que le nœud est l'hypothèse sous-jacente de causalité, dans le sens où les X "provoquent" le y, et si vous le regardez de cette façon, vous voyez que la distribution de y est "causée" par la distribution des rhs, c'est-à-dire les Xs et les erreurs (le cas échéant). Vous pouvez faire beaucoup d'économétrie avec des hypothèses de distribution très limitées et, en particulier, sans normalité. Dieu merci.

— PatrickT

3

\hat{y}

$\hat y$ n'est pas , et la moyenne de la population des n'est pas la même que l'estimation de l'échantillon. Ce qui veut dire que la deuxième chose n'est pas en fait la même chose que la première, mais si vous la remplacez par son attente ( ), les deux seraient équivalentes.

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b -Reinstate Monica

Qu'est-ce que ? Et si varie avec , pourquoi varie-t-il pas? Veuillez décider quelle notation vous souhaitez utiliser, le vecteur ou la matrice. Maintenant, si nous supposons que votre notation est plus que bizzare: , c'est-à-dire que vous définissez la distribution de en fonction de lui-même et de toutes les autres observations !

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

J'ai dévalorisé la question parce que je pense que la notation prête à confusion et cela a déjà donné lieu à plusieurs réponses subtilement contradictoires.

— mpiktas

9

Dans un cadre de régression linéaire, il est courant de faire des analyses et de dériver des résultats conditionnels à , c'est-à-dire conditionnels aux "données". Ainsi, ce dont vous avez besoin est que soit normal, c'est-à-dire que vous avez besoin de pour être normal. Comme l'illustre l'exemple de Peter Flom, on peut avoir la normalité de sans avoir la normalité de , et donc, puisque ce dont vous avez besoin est la normalité de , c'est l'hypothèse sensée. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— ekvall
source

9

J'écrirais la deuxième définition comme

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

ou (comme le suggère Karl Oskar +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

c'est-à-dire que l'hypothèse de modélisation est que la variable de réponse est normalement distribuée autour de la droite de régression (qui est une estimation de la moyenne conditionnelle), avec une variance constante . Ce n'est pas la même chose que de suggérer que sont normalement distribués, car la moyenne de la distribution dépend de . $\sigma^2$ $y_i$ $X_i$

Je pense avoir vu des formulations similaires à cela dans la littérature sur l'apprentissage automatique; pour autant que je puisse voir qu'elle est équivalente à la première définition, tout ce que j'ai fait est de ré-exprimer la deuxième formulation un peu différemment pour éliminer les et les . $\epsilon_i$ $\hat{y}$

— Dikran Marsupial
source

3

La différence est plus facile à illustrer avec un exemple. En voici une simple:

Supposons que Y soit bimodal, la modalité étant représentée par une variable indépendante. Par exemple, supposons que Y soit la hauteur et que votre échantillon (pour une raison quelconque) se compose de jockeys et de basketteurs. par exemple dansR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

la première densité est très anormale. Mais les résidus du modèle sont extrêmement proches de la normale.

Quant à savoir pourquoi les restrictions sont placées de cette façon - je laisserai quelqu'un d'autre répondre à celle-ci.

— Peter Flom - Réintégrer Monica
source

1

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

Dans ce cas, l'hétéroscédasticité serait un problème et vous auriez besoin d'utiliser une autre forme de régression, ou éventuellement une transformation, ou vous pourriez ajouter une autre variable (dans cet exemple idiot, la position jouée au basket-ball pourrait le faire).

— Peter Flom - Réintègre Monica

Je ne suis pas sûr que la formulation vise à suggérer que les y sont normalement distribués, juste qu'ils ont une distribution conditionnelle normale.

— Dikran Marsupial

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ (Et évidemment les variances sont égales.) En d'autres termes, ce n'est pas une différence d'hypothèses, mais simplement une différence de notation.

La question devient donc: y a-t-il une raison de préférer présenter l'idée en utilisant la première formulation?

Je pense que la réponse est oui pour deux raisons:

Les gens confondent souvent si les données brutes doivent être normalement distribuées (ie, ), ou si les données conditionnelles à / les erreurs doivent être normalement distribuées (ie, / ), par exemple, voir : Et si les résidus sont normalement distribués, mais y ne l'est pas? $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
Les gens confondent également souvent ce qui est censé être indépendant, les données brutes ou les erreurs. De plus, nous mentionnons souvent le fait que quelque chose devrait être iid (indépendant et identique); si vous pensez en termes de cela peut être une autre source potentielle de confusion, car peut être indépendant, mais ne peut être distribué de manière identique à moins que l'hypothèse nulle ne soit vérifiée (car la moyenne varierait). $Y|\bf X$ $Y|\bf X$

Je crois que ces confusions utilisent plus probablement la deuxième formulation que la première.

— gung - Réintégrer Monica
source

1

@Glen_b, je ne suis pas votre commentaire. Je ne prétends pas que est égal à , mais plutôt que est égal à . Le indexant les observations est pertinent. L'idée est que la valeur prédite, , pour une observation donnée est . Cela n'a rien à voir avec / la moyenne de la population de . (Il semble que j'avais oublié d'ajouter des chapeaux à mes bêtas, cependant; j'ai corrigé cela maintenant.)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— gung - Réinstallez Monica

@Glen_b s'il s'agissait de l'échantillon, ce serait plutôt que . J'ai d'abord trouvé la notation déroutante également, mais le fait que découle des déclarations que et . Pour que ces deux choses soient vraies, ne peut être que .

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Dikran Marsupial