Est-ce que le signe de scores ou de charges dans PCA ou FA a un sens? Puis-je inverser le signe?

J'ai effectué une analyse en composantes principales (ACP) avec R en utilisant deux fonctions différentes ( prcompet princomp) et j'ai observé que les scores de l'ACP différaient par leur signe. Comment cela peut-il être?

Considère ceci:

set.seed(999)
prcomp(data.frame(1:10,rnorm(10)))$x

            PC1        PC2
 [1,] -4.508620 -0.2567655
 [2,] -3.373772 -1.1369417
 [3,] -2.679669  1.0903445
 [4,] -1.615837  0.7108631
 [5,] -0.548879  0.3093389
 [6,]  0.481756  0.1639112
 [7,]  1.656178 -0.9952875
 [8,]  2.560345 -0.2490548
 [9,]  3.508442  0.1874520
[10,]  4.520055  0.1761397

set.seed(999)
princomp(data.frame(1:10,rnorm(10)))$scores
         Comp.1     Comp.2
 [1,]  4.508620  0.2567655
 [2,]  3.373772  1.1369417
 [3,]  2.679669 -1.0903445
 [4,]  1.615837 -0.7108631
 [5,]  0.548879 -0.3093389
 [6,] -0.481756 -0.1639112
 [7,] -1.656178  0.9952875
 [8,] -2.560345  0.2490548
 [9,] -3.508442 -0.1874520
[10,] -4.520055 -0.1761397

Pourquoi les signes ( +/-) diffèrent-ils pour les deux analyses? Si j’utilisais alors les composantes principales PC1et PC2comme prédicteurs dans une régression, c’est-à-dire que lm(y ~ PC1 + PC2)cela changerait complètement ma compréhension de l’effet des deux variables sur la yméthode que j’ai utilisée! Comment puis-je dire que cela PC1a, par exemple, un effet positif yet PC2un effet négatif sur y?

En outre: si le signe des composants PCA n'a pas de sens, est-ce vrai aussi pour l'analyse factorielle (FA)? Est-il acceptable d'inverser (inverser) le signe des scores individuels des composants PCA / FA (ou des chargements, en tant que colonne de la matrice de chargement)?

PCA est une simple transformation mathématique. Si vous modifiez les signes du ou des composants, vous ne modifiez pas la variance contenue dans le premier composant. De plus, lorsque vous changez les signes, les poids ( prcomp( ... )$rotation) changent également les signes, l'interprétation reste donc exactement la même:

set.seed( 999 )
a <- data.frame(1:10,rnorm(10))
pca1 <- prcomp( a )
pca2 <- princomp( a )
pca1$rotation

spectacles

                 PC1       PC2
X1.10      0.9900908 0.1404287
rnorm.10. -0.1404287 0.9900908

et pca2$loadingsmontrer

Loadings:
          Comp.1 Comp.2
X1.10     -0.99  -0.14 
rnorm.10.  0.14  -0.99 

               Comp.1 Comp.2
SS loadings       1.0    1.0
Proportion Var    0.5    0.5
Cumulative Var    0.5    1.0

Alors, pourquoi l'interprétation reste-t-elle la même?

Vous faites la régression PCA de la ycomposante 1. Dans la première version ( prcomp), supposons que le coefficient soit positif: plus la composante 1 est grande, plus le y est grand. Qu'est-ce que cela signifie quand il s'agit des variables d'origine? Le poids de la variable 1 ( 1:10en a) étant positif, cela montre que plus la variable 1 est grande, plus le y est grand.

Maintenant, utilisez la deuxième version ( princomp). Puisque le composant a changé de signe, plus le y est grand, plus le composant 1 est petit - le coefficient de y <sur PC1 est maintenant négatif. Mais le chargement de la variable 1 l'est aussi. cela signifie que plus la variable 1 est grande, plus la composante 1 est petite, plus y est grand - l'interprétation est la même.

La meilleure façon de voir cela est peut-être d'utiliser un biplot.

library( pca3d )
pca2d( pca1, biplot= TRUE, shape= 19, col= "black"  )

spectacles

Le même biplot pour la deuxième variante montre

pca2d( pca2$scores, biplot= pca2$loadings[,], shape= 19, col= "black" )

Comme vous le voyez, les images pivotent de 180 °. Cependant, la relation entre les poids / charges (les flèches rouges) et les points de données (les points noirs) est exactement la même; ainsi, l'interprétation des composants est inchangée.

Cette question se demande beaucoup sur ce forum, donc je voudrais compléter @ excellente réponse de Janvier avec un peu des considérations plus générales.

À la fois l’analyse en composantes principales (ACP) et l’analyse factorielle (AF), nous utilisons les variables originales $x_1, x_2, ... x_d$ estimer plusieurs composantes latentes (ou variables latentes) $z_1, z_2, ... z_k$. These latent components are given by PCA or FA component scores. Each original variable is a linear combination of these components with some weights: for example the first original variable $x_1$ might be well approximated by twice $z_1$ plus three times $z_2$, so that $x_1 \approx 2z_1 + 3z_2$. If the scores are standardized, then these weights ($2$ and $3$) are known as loadings. So, informally, one can say that

From here we can see that if we take one latent component, e.g. $z_1$, and flip the sign of its scores and of its loadings, then this will have no influence on the outcome (or interpretation), because

The conclusion is that for each PCA or FA component, the sign of its scores and of its loadings is arbitrary and meaningless. It can be flipped, but only if the sign of both scores and loadings is reversed at the same time.

This was well answered above. Just to provide some further mathematical relevance, the directions that the principal components act correspond to the eigenvectors of the system. If you are getting a positive or negative PC it just means that you are projecting on an eigenvector that is pointing in one direction or $180^\circ$ away in the other direction. Regardless, the interpretation remains the same! It should also be added that the lengths of your principal components are simply the eigenvalues.