Calculer la variance expliquée par chaque prédicteur en régression multiple en utilisant R

J'ai effectué une régression multiple dans laquelle le modèle dans son ensemble est significatif et explique environ 13% de la variance. Cependant, je dois trouver la quantité de variance expliquée par chaque prédicteur significatif. Comment puis-je faire cela en utilisant R?

Voici quelques exemples de données et de code:

D = data.frame(
    dv = c( 0.75, 1.00, 1.00, 0.75, 0.50, 0.75, 1.00, 1.00, 0.75, 0.50 ),
    iv1 = c( 0.75, 1.00, 1.00, 0.75, 0.75, 1.00, 0.50, 0.50, 0.75, 0.25 ),
    iv2 = c( 0.882, 0.867, 0.900, 0.333, 0.875, 0.500, 0.882, 0.875, 0.778, 0.867 ),
    iv3 = c( 1.000, 0.067, 1.000, 0.933, 0.875, 0.500, 0.588, 0.875, 1.000, 0.467 ),
    iv4 = c( 0.889, 1.000, 0.905, 0.938, 0.833, 0.882, 0.444, 0.588, 0.895, 0.812 ),
    iv5 = c( 18, 16, 21, 16, 18, 17, 18, 17, 19, 16 ) )
fit = lm( dv ~ iv1 + iv2 + iv3 + iv4 + iv5, data=D )
summary( fit )

Voici la sortie avec mes données réelles:

Call: lm(formula = posttestScore ~ pretestScore + probCategorySame + 
    probDataRelated + practiceAccuracy + practiceNumTrials, data = D)

Residuals:
    Min      1Q  Median      3Q     Max 
-0.6881 -0.1185  0.0516  0.1359  0.3690 

Coefficients:
                  Estimate Std. Error t value Pr(>|t|)
 (Intercept)        0.77364    0.10603    7.30  8.5e-13 ***
 iv1                0.29267    0.03091    9.47  < 2e-16 ***
 iv2                0.06354    0.02456    2.59   0.0099 **
 iv3                0.00553    0.02637    0.21   0.8340
 iv4               -0.02642    0.06505   -0.41   0.6847
 iv5               -0.00941    0.00501   -1.88   0.0607 .  
--- Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.18 on 665 degrees of freedom
 Multiple R-squared:  0.13,      Adjusted R-squared:  0.123
 F-statistic: 19.8 on 5 and 665 DF,  p-value: <2e-16

Cette question a été répondue ici , mais la réponse acceptée ne concerne que les prédicteurs non corrélés, et bien qu'il existe une réponse supplémentaire qui traite des prédicteurs corrélés, elle ne fournit qu'un indice général, pas une solution spécifique. Je voudrais savoir quoi faire si mes prédicteurs sont corrélés.

Le pourcentage expliqué dépend de la commande saisie.

Si vous spécifiez un ordre particulier, vous pouvez le calculer trivialement dans R (par exemple via les fonctions updateet anova, voir ci-dessous), mais un ordre d'entrée différent donnerait des réponses potentiellement très différentes.

[Une possibilité pourrait être de faire la moyenne de toutes les commandes ou quelque chose, mais cela deviendrait lourd et pourrait ne pas répondre à une question particulièrement utile.]

-

Comme le souligne Stat, avec un seul modèle, si vous recherchez une variable à la fois, vous pouvez simplement utiliser 'anova' pour produire la table des sommes incrémentielles des carrés. Cela découlerait de votre code:

 anova(fit)
Analysis of Variance Table

Response: dv
          Df   Sum Sq  Mean Sq F value Pr(>F)
iv1        1 0.033989 0.033989  0.7762 0.4281
iv2        1 0.022435 0.022435  0.5123 0.5137
iv3        1 0.003048 0.003048  0.0696 0.8050
iv4        1 0.115143 0.115143  2.6294 0.1802
iv5        1 0.000220 0.000220  0.0050 0.9469
Residuals  4 0.175166 0.043791        

-

Nous avons donc expliqué la variance incrémentielle; comment obtient-on la proportion?

Assez trivialement, mettez-les à l'échelle 1 divisé par leur somme. (Remplacez le 1 par 100 pour la variation en pourcentage expliquée.)

Ici, je l'ai affiché en tant que colonne ajoutée au tableau anova:

 af <- anova(fit)
 afss <- af$"Sum Sq"
 print(cbind(af,PctExp=afss/sum(afss)*100))
          Df       Sum Sq      Mean Sq    F value    Pr(>F)      PctExp
iv1        1 0.0339887640 0.0339887640 0.77615140 0.4280748  9.71107544
iv2        1 0.0224346357 0.0224346357 0.51230677 0.5137026  6.40989591
iv3        1 0.0030477233 0.0030477233 0.06959637 0.8049589  0.87077807
iv4        1 0.1151432643 0.1151432643 2.62935731 0.1802223 32.89807550
iv5        1 0.0002199726 0.0002199726 0.00502319 0.9468997  0.06284931
Residuals  4 0.1751656402 0.0437914100         NA        NA 50.04732577

-

Si vous décidez que vous voulez plusieurs ordres d'entrée particuliers, vous pouvez faire quelque chose d'encore plus général comme celui-ci (qui vous permet également d'entrer ou de supprimer des groupes de variables à la fois si vous le souhaitez):

 m5 = fit
 m4 = update(m5, ~ . - iv5)
 m3 = update(m4, ~ . - iv4)
 m2 = update(m3, ~ . - iv3)
 m1 = update(m2, ~ . - iv2)
 m0 = update(m1, ~ . - iv1)

 anova(m0,m1,m2,m3,m4,m5)
Analysis of Variance Table

Model 1: dv ~ 1
Model 2: dv ~ iv1
Model 3: dv ~ iv1 + iv2
Model 4: dv ~ iv1 + iv2 + iv3
Model 5: dv ~ iv1 + iv2 + iv3 + iv4
Model 6: dv ~ iv1 + iv2 + iv3 + iv4 + iv5
  Res.Df     RSS Df Sum of Sq      F Pr(>F)
1      9 0.35000                           
2      8 0.31601  1  0.033989 0.7762 0.4281
3      7 0.29358  1  0.022435 0.5123 0.5137
4      6 0.29053  1  0.003048 0.0696 0.8050
5      5 0.17539  1  0.115143 2.6294 0.1802
6      4 0.17517  1  0.000220 0.0050 0.9469

(Une telle approche peut également être automatisée, par exemple via des boucles et l'utilisation de get. Vous pouvez ajouter et supprimer des variables dans plusieurs commandes si nécessaire)

... puis évoluez en pourcentages comme précédemment.

(NB. Le fait que j'explique comment faire ces choses ne doit pas nécessairement être considéré comme le plaidoyer de tout ce que j'explique.)

J'ai prouvé que le pourcentage de variation expliqué par un prédicteur donné dans une régression linéaire multiple est le produit du coefficient de pente et de la corrélation du prédicteur avec les valeurs ajustées de la variable dépendante (en supposant que toutes les variables ont été normalisées pour avoir une moyenne nulle et variance un, qui est sans perte de généralité). Trouvez-le ici:

https://www.researchgate.net/publication/306347340_A_Natural_Decomposition_of_R2_in_Multiple_Linear_Regression

Vous pouvez utiliser la bibliothèque hier.part pour avoir des mesures d'ajustement pour les régressions d'une variable dépendante unique à toutes les combinaisons de N variables indépendantes

library(hier.part)
env <- D[,2:5]
all.regs(D$dv, env, fam = "gaussian", gof = "Rsqu",
     print.vars = TRUE)