Quel est le besoin d'hypothèses en régression linéaire?

15

En régression linéaire, nous faisons les hypothèses suivantes

La moyenne de la réponse, , à chaque ensemble de valeurs des prédicteurs, , est une fonction linéaire des prédicteurs.

E (Y_{i})

$E(Y_i)$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

Les erreurs,

ε_{i}

$ε_i$ , sont indépendantes.

Les erreurs,

ε_{i}

$ε_i$ , à chaque ensemble de valeurs des prédicteurs,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , sont normalement distribuées.

Les erreurs,

ε_{i}

$ε_i$ , à chaque ensemble de valeurs des prédicteurs,

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , ont des variances égales (notées

σ 2

$σ2$ ).

L'une des façons de résoudre la régression linéaire consiste à utiliser des équations normales, que nous pouvons écrire sous la forme

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

D'un point de vue mathématique, l'équation ci-dessus n'a besoin que de pour être inversible. Alors, pourquoi avons-nous besoin de ces hypothèses? J'ai demandé à quelques collègues et ils ont mentionné que c'est pour obtenir de bons résultats et que les équations normales sont un algorithme pour y parvenir. Mais dans ce cas, comment ces hypothèses aident-elles? Comment leur maintien aide-t-il à obtenir un meilleur modèle? $X^TX$

regression assumptions

— Horloge esclave
source

2

Une distribution normale est nécessaire pour calculer les intervalles de confiance des coefficients en utilisant des formules habituelles. D'autres formules de calcul de CI (je pense que c'était blanc) permettent une distribution non normale.

— keiv.fly

Vous n'avez pas toujours besoin de ces hypothèses pour que le modèle fonctionne. Dans les réseaux de neurones, vous avez des régressions linéaires à l'intérieur et elles minimisent le rmse tout comme la formule que vous avez fournie, mais très probablement aucune des hypothèses ne tient. Pas de distribution normale, pas de variance égale, pas de fonction linéaire, même les erreurs peuvent être dépendantes.

— keiv.fly

2

Voir stats.stackexchange.com/q/16381/35989

— Tim

1

@Alexis Les variables indépendantes étant iid n'est certainement pas une hypothèse (et la variable dépendante étant iid n'est pas non plus une hypothèse - imaginez que si nous supposions que la réponse était iid, il serait inutile de faire autre chose que d'estimer la moyenne). Et "aucune variable omise" n'est pas vraiment une hypothèse supplémentaire bien qu'il soit bon d'éviter d'omettre des variables - la première hypothèse listée est vraiment ce qui s'en occupe.

— Dason

1

@Dason Je pense que mon lien fournit un exemple assez fort de "aucune variable omise" étant nécessaire pour une interprétation valide. Je pense également que iid (conditionnel aux prédicteurs, oui) est nécessaire, avec des marches aléatoires fournissant un excellent exemple de cas où l'estimation non-iid peut échouer (recourant toujours à estimer uniquement la moyenne).

— Alexis

19

$X_1$ $Y$ $\beta_1$

— rincer
source

17

$x_i$

— Henri
source

J'ai fait une illustration après Anscombe montrant à quoi peut ressembler la violation de l'hypothèse de variables non omises . Travaille toujours sur une illustration de type Anscombe d'une violation de l'hypothèse iid .

— Alexis

3

Vous n'avez pas besoin de ces hypothèses pour s'adapter à un modèle linéaire. Cependant, vos estimations de paramètres peuvent être biaisées ou ne pas avoir la variance minimale. La violation des hypothèses rendra plus difficile l'interprétation des résultats de la régression, par exemple, la construction d'un intervalle de confiance.

— Bonjour le monde
source

1

D'accord, jusqu'à présent, les réponses sont les suivantes: si nous violons les hypothèses, de mauvaises choses peuvent se produire. Je crois que la direction intéressante est: lorsque toutes les hypothèses dont nous avons besoin (en fait un peu différentes de celles ci-dessus) sont remplies, pourquoi et comment pouvons-nous être sûrs que la régression linéaire est le meilleur modèle?

$p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

— Fabian Werner
source

0

Les deux hypothèses clés sont

Indépendance des observations
La moyenne n'est pas liée à la variance

Voir La discussion dans le livre de Julian Faraway .

Si ces deux éléments sont vrais, OLS est étonnamment résistant aux violations des autres hypothèses que vous avez répertoriées.

— astaines
source