Quelles variables expliquent quels composants de l'ACP et vice versa?

En utilisant ces données:

head(USArrests)
nrow(USArrests)

Je peux faire un PCA ainsi:

plot(USArrests)
otherPCA <- princomp(USArrests)

Je peux intégrer les nouveaux composants

otherPCA$scores

et la proportion de variance expliquée par les composantes avec

summary(otherPCA)

Mais que faire si je veux savoir quelles variables sont principalement expliquées par quels composants principaux? Et vice versa: par exemple, PC1 ou PC2 est-il principalement expliqué par murder? Comment puis-je faire ceci?

Puis-je dire par exemple que PC1 est expliqué à 80% par murderou assault?

Je pense que les chargements m'aident ici, mais ils montrent la directionnalité et non la variance expliquée telle que je la comprends, par exemple

otherPCA$loadings

Loadings:
         Comp.1 Comp.2 Comp.3 Comp.4
Murder                         0.995
Assault  -0.995                     
UrbanPop        -0.977 -0.201       
Rape            -0.201  0.974   

Vous avez raison, les chargements peuvent vous aider ici. Ils peuvent être utilisés pour calculer la corrélation entre les variables et les principaux composants. De plus, la somme des charges au carré d'une variable sur toutes les composantes principales est égale à 1. Par conséquent, les charges au carré vous indiquent la proportion de variance d'une variable expliquée par une composante principale.

Le problème avec princomp est qu'il ne montre que les chargements "très élevés". Mais comme les chargements ne sont que les vecteurs propres de la matrice de covariance, on peut obtenir tous les chargements en utilisant la eigencommande dans R:

 loadings <- eigen(cov(USArrests))$vectors
 explvar <- loadings^2

Maintenant, vous avez les informations souhaitées dans la matrice explvar.

Je pense que la réponse acceptée peut être dangereusement trompeuse (-1). Il y a au moins quatre questions différentes mélangées dans le PO. Je les considérerai l'un après l'autre.

• Q1. Quelle proportion de la variance d'un PC donné s'explique par une variable d'origine donnée? Quelle proportion de la variance d'une variable d'origine donnée est expliquée par un PC donné?

$r^2$$r$$i$$\mathbf V_i$$s_i$$\mathbf L_i$$\mathbf L_i = (s_i)^{1/2} \mathbf V_i$. Ses éléments sont des corrélations de ce PC avec les variables d'origine respectives.

$\mathbf V_i$$\mathbf L_i$

De plus, si l'ACP est effectuée sur des covariances (et non sur des corrélations), les chargements vous donneront également des covariances, pas des corrélations. Pour obtenir des corrélations, il faut les calculer manuellement, en suivant PCA. [La réponse actuellement acceptée n'est pas claire à ce sujet.]

• $80\%$

$r^2$$R^2$

$r^2$$R^2$

• $80\%$

$r=0.9$$r=0.9$$r^2$$R^2 = 0.9\cdot0.9\cdot5>1$$R^2$

Comment sélectionner un sous-ensemble expliquant la quantité donnée de variance, a été suggéré par @FrankHarrell (+1).

$R^2$$Y$

Les données sur les arrestations américaines regroupées avec R ne sont qu'un exemple ici, mais je note que les calculs de charges dans la question proviennent d'une ACP de la matrice de covariance . C'est quelque part entre arbitraire et absurde, car les variables sont mesurées à différentes échelles.

La population urbaine ressemble à un pourcentage. La Californie est de 91% et plus.

Les trois variables de la criminalité semblent être le nombre d'arrestations de délits exprimé par rapport à la taille de la population (vraisemblablement pour une certaine période). Vraisemblablement, il est documenté quelque part, que ce soit des arrestations pour 1000 ou 10000 ou autre chose.

La moyenne de la variable d'agression dans les unités données est d'environ 171 et le meurtre moyen est d'environ 8. Ainsi, l'explication de vos charges est qu'en grande partie le modèle est un artefact: il dépend de la variabilité très différente des variables.

Ainsi, bien qu'il y ait un sens dans les données en ce qu'il y a beaucoup plus d'arrestations pour voies de fait que pour meurtres, etc., ce fait connu (ou sans surprise) domine l'analyse.

Cela montre que, comme partout ailleurs dans les statistiques, vous devez penser à ce que vous faites dans une ACP.

Si vous allez plus loin:

1. Je dirais que le pourcentage urbain est mieux exclu de l'analyse. Ce n'est pas un crime d'être urbain; il pourrait bien entendu servir de proxy pour les variables influençant la criminalité.

2. Une ACP basée sur une matrice de corrélation aurait plus de sens à mon avis. Une autre possibilité est de travailler avec des logarithmes des taux d'arrestation et non des taux d'arrestation (toutes les valeurs sont positives; voir ci-dessous).

Remarque: la réponse de @ random_guy utilise délibérément la matrice de covariance.

Voici quelques statistiques sommaires. J'ai utilisé Stata, mais c'est assez immatériel.

    Variable |       Obs        Mean    Std. Dev.       Min        Max
-------------+--------------------------------------------------------
   urban_pop |        50       65.54    14.47476         32         91
      murder |        50       7.788     4.35551         .8       17.4
        rape |        50      21.232    9.366384        7.3         46
     assault |        50      170.76    83.33766         45        337