Quelle est la formule du R-carré ajustée dans lm dans R et comment doit-elle être interprétée?

Quelle est la formule exacte utilisée dans R lm() pour le R au carré ajusté? Comment puis-je l'interpréter?

Formules ajustées au carré

Il semble exister plusieurs formules pour calculer le R au carré ajusté.

• Formule de Wherry: $1-(1-R^2)\frac{(n-1)}{(n-v)}$
• La formule de McNemar: $1-(1-R^2)\frac{(n-1)}{(n-v-1)}$
• Formule du Seigneur: $1-(1-R^2)\frac{(n+v-1)}{(n-v-1)}$
• Formule de Stein: $1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2)$

Descriptions de manuels

• Selon le manuel de Field, À la découverte de statistiques avec R (2012, p. 273), R utilise l'équation de Wherry qui "nous dit combien la variance en Y serait prise en compte si le modèle avait été dérivé de la population à partir de laquelle l'échantillon a été prélevé". Il ne donne pas la formule pour Wherry. Il recommande d'utiliser la formule de Stein (à la main) pour vérifier le niveau de validation croisée du modèle.
• Kleiber / Zeileis, Applet Econometrics with R (2008, p. 59) affirment qu'il s'agit du "R-carré ajusté de Theil" et ne disent pas exactement comment son interprétation varie du multiple du R-carré.
• Dalgaard, Introductory Statistics with R (2008, p. 113) écrit que "si vous multipliez le [R au carré ajusté] par 100%, cela peut être interprété comme"% de réduction de la variance "". Il ne dit pas à quelle formule cela correspond.

J'avais déjà pensé, et lu beaucoup, que R-squared pénalise l'ajout de variables supplémentaires au modèle. Maintenant, l'utilisation de ces différentes formules semble nécessiter différentes interprétations. J'ai également examiné une question connexe sur le débordement de pile ( Quelle est la différence entre le R carré double et le R carré ajusté dans une régression à moindres carrés à une variable? ) Et le dictionnaire statistique de la Wharton School à UPenn .

Des questions

• Quelle formule est utilisée pour r-carré ajusté par R lm() ?
• Comment puis-je l'interpréter?

1. Quelle formule lmdans R utilise-t-on pour le r-carré ajusté?

Comme déjà mentionné, taper summary.lmvous donnera le code que R utilise pour calculer le R ajusté. Extraire la ligne la plus pertinente que vous obtenez:

ans$adj.r.squared <- 1 - (1 - ans$r.squared) * ((n - df.int)/rdf)

qui correspond en notation mathématique à:

en supposant qu'il y a une interception (c.-à-d. df.int=1),$n$ est la taille de votre échantillon, et $p$est votre nombre de prédicteurs. Ainsi, vos degrés d'erreur de liberté (c'est-à-dire rdf) sont égaux n-p-1.

La formule correspond à ce que Yin et Fan (2001) appellent Wherry Formula-1 (il existe apparemment une autre formule de Wherry moins courante qui utilise$n-p$ au dénominateur à la place $n-p-1$). Ils suggèrent que les noms les plus communs par ordre d'apparition sont "formule de Wherry", "Ezekiel formlua", "formule de Wherry / McNemar" et "formule de Cohen / Cohen".

2. Pourquoi y a-t-il tant de formules r-carré ajustées?

$R^2_{adj}$ vise à estimer $\rho^2$, la proportion de variance expliquée dans la population par l’équation de régression de population. Bien que cela soit clairement lié à la taille de l'échantillon et au nombre de prédicteurs, le meilleur estimateur est moins clair. Ainsi, vous avez des études de simulation telles que Yin et Fan (2001) qui ont évalué différentes formules de r-carrés ajustées en termes de qualité avec laquelle elles estiment$\rho^2$(Voir cette question pour une discussion plus approfondie ).

Vous verrez avec toutes les formules, la différence entre $R^2$ et $R^2_{adj}$devient plus petit à mesure que la taille de l'échantillon augmente. La différence approche de zéro à mesure que la taille de l'échantillon tend à l'infini. La différence devient également plus petite avec moins de prédicteurs.

3. Comment interpréter $R^2_{adj}$?

$R^2_{adj}$ est une estimation de la proportion de variance expliquée par la vraie équation de régression dans la population $\rho^2$. Vous seriez typiquement intéressé par$\rho^2$où vous êtes intéressé par la prédiction linéaire théorique d'une variable. En revanche, si la prédiction utilisant l’équation de régression échantillon vous intéresse davantage, c’est souvent le cas dans les paramètres appliqués, puis une forme de validation croisée.$R^2$ serait plus pertinent.

Les références

• Yin, P. et Fan, X. (2001). L'estimation$R^2$rétrécissement dans la régression multiple: une comparaison de différentes méthodes analytiques. The Journal of Experimental Education, 69 (2), 203-224. PDF

Regarding your first question: If you don't know how it is calculated look at the code! If you type summary.lm in your console, you get the code for this function. If you skim throught the code you'll find a line: ans$adj.r.squared <- 1 - (1 - ans$r.squared) * ((n - df.int)/rdf). If you look some lines above of this line you will notice that:

• ans$r.squared: is your $R^2$
• n is the number of the residuals = number of observations
• df.int is 0 or 1 (depending if you have a intercept)
• rdf are your residual df

Question 2: From Wikipedia: 'Adjusted $R^2$ is a modification of $R^2$ that adjusts for the number of explanatory terms in a model. '