Pourquoi la somme des résidus au carré n'augmente-t-elle pas lors de l'ajout d'une variable explicative?


9

Dans mon manuel d'économétrie (économétrie d'introduction) couvrant l'OLS, l'auteur écrit: "La RSS doit tomber lorsqu'une autre variable explicative est ajoutée." Pourquoi?


1
Essentiellement parce que s'il n'y a aucune relation linéaire avec la variable suivante (corrélation partielle de 0 échantillon), le SSR restera le même. S'il y a une relation, la variable suivante peut être utilisée pour réduire la SSR.
Glen_b -Reinstate Monica

3
L'énoncé est correct dans son esprit mais pas tout à fait vrai: SSR restera le même (et ne tombera pas) lors de l'ajout d'une variable qui est une combinaison linéaire des variables existantes. Après tout, en ignorant la nouvelle variable, vous pouvez obtenir la même valeur minimale de SSR que vous avez obtenue avec l'ancienne variable, donc l'ajout d'une nouvelle variable ne peut jamais aggraver les choses.
whuber

J'ai répondu à une question similaire ici: stats.stackexchange.com/questions/306267/… . Vous pouvez peut-être le trouver utile.
Josh

Réponses:


18

I:yi=β0+β1x1i+ϵi
II:yi=β0+β1x1i+β2x2i+ϵi
SSR1=i(yiβ0β1x1i)2SSR2=i(yiβ0β1x1iβ2x2i)2β0,β1β2=0β2

Pour résumer, les modèles sont imbriqués, dans le sens où tout ce que nous pouvons modéliser avec le modèle 1 peut être mis en correspondance par le modèle deux, le modèle deux est plus général que le modèle 1. Donc, dans l'optimisation, nous avons une plus grande liberté avec le modèle deux, donc nous pouvons toujours trouver une meilleure solution.

Cela n'a vraiment rien à voir avec les statistiques mais c'est un fait général sur l'optimisation.


1
Je n'ai pas pensé de cette façon, vraiment utile!
Eric Xu

1

La SSR est une mesure de l'écart entre les données et un modèle d'estimation.

Si vous avez la possibilité de prendre en compte une autre variable, alors si cette variable contient plus d'informations, l'ajustement serait naturellement plus serré, ce qui signifie un SSR inférieur.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.