Chargements vs vecteurs propres dans PCA: quand utiliser l'un ou l'autre?

67

En analyse en composantes principales (ACP), nous obtenons des vecteurs propres (vecteurs unitaires) et des valeurs propres. Maintenant, définissons les charges comme

Loadings = Eigenvectors \cdot \sqrt{Eigenvalues} .

$\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}.$

Je sais que les vecteurs propres ne sont que des directions et que les chargements (tels que définis ci-dessus) incluent également la variance dans ces directions. Mais pour ma meilleure compréhension, j'aimerais savoir où je devrais utiliser des chargements plutôt que des vecteurs propres? Un exemple serait parfait!

En général, je n'ai vu que des gens utiliser des vecteurs propres, mais de temps en temps, ils utilisent des chargements (tels que définis ci-dessus), puis j'ai le sentiment que je ne comprends pas vraiment la différence.

pca

— utilisateur2696565
source

66

En ACP, vous divisez la matrice de covariance (ou de corrélation) en une partie d'échelle (valeurs propres) et une partie de direction (vecteurs propres). Vous pouvez alors doter les vecteurs propres de la balance: loadings . Ainsi, les charges sont ainsi devenues comparables en magnitude avec les covariances / corrélations observées entre les variables, car ce qui avait été établi à partir de la covariation des variables est maintenant restitué, sous la forme de la covariation entre les variables et les composantes principales. En réalité, les chargements sont les covariances / corrélations entre les variables d'origine et les composantes à l'échelle de l'unité . Cette réponse montre géométriquement ce que sont les chargements et quels sont les coefficients associant des composantes à des variables en ACP ou en analyse factorielle.

Les chargements :

Vous aider à interpréter les principales composantes ou facteurs; Parce qu’il s’agit des coefficients de pondération linéaires dans lesquels les composants ou facteurs à l’échelle des unités définissent ou "chargent" une variable .

(Le vecteur propre est simplement un coefficient de transformation ou de projection orthogonale , il est dépourvu de "charge" dans sa valeur. La "charge" est (information sur la quantité de) variance, magnitude. Les PC sont extraits pour expliquer la variance des variables. Les valeurs propres sont les variances de (= expliquées par) des PC Lorsque nous multiplions le vecteur propre par le carré de la valeur donnée, nous "chargeons" le coefficient brut par le montant de la variance. Par cette vertu, nous faisons en sorte que le coefficient soit la mesure de l' association , variabilité.)
Les chargements sont parfois "pivotés" (par exemple, varimax) après pour faciliter l’interprétabilité ( voir aussi );
Ce sont les chargements qui "restaurent" la matrice de covariance / corrélation originale (voir également ce fil de discussion traitant des nuances de PCA et FA à cet égard);
En PCA, vous pouvez calculer les valeurs des composants à la fois à partir de vecteurs propres et de charges, dans l’analyse factorielle, vous calculez les scores des facteurs à partir des charges .
Et, surtout, la matrice de chargement est informative: ses sommes verticales de carrés sont les valeurs propres, les variances des composants, et ses sommes horizontales de carrés sont des portions des variances de variables "expliquées" par les composants.
Le chargement redimensionné ou normalisé est le chargement divisé par la variable st. déviation; c'est la corrélation. (Si votre PCA est une ACP basée sur la corrélation, la charge est égale à celle redimensionnée, car elle est la PCA de variables standardisées.) La valeur de chargement quadratique au carré est la signification de la contribution d'un pr. composant dans une variable; si elle est élevée (proche de 1), la variable est bien définie par cette composante seule.

Un exemple de calculs effectués dans PCA et FA à vous de voir .

Les vecteurs propres sont des chargements à l'échelle d'unité; et ce sont les coefficients (les cosinus) de la transformation orthogonale (rotation) des variables en composantes principales ou inverses. Il est donc facile de calculer les valeurs des composants (non normalisées) avec elles. Outre que leur utilisation est limitée. La valeur de vecteur propre au carré a la signification de la contribution d'une variable dans un pr. composant; si elle est élevée (proche de 1), le composant est bien défini par cette seule variable.

Bien que les vecteurs propres et les chargements soient simplement deux façons différentes de normaliser les coordonnées des mêmes points représentant des colonnes (variables) des données sur une bi - parcelle , il n’est pas judicieux de mélanger les deux termes. Cette réponse a expliqué pourquoi. Voir aussi .

— tnphns
source

3

\sqrt{e i g e n v a l u e s}

$\sqrt{{\rm eigenvalues}}$

1

Remarque secondaire: en chimiométrie, le calcul des scores à partir des données d'origine est d'une importance capitale, car de nombreux modèles prédictifs utilisent la rotation de la PCA (!) Pour le pré-traitement, de sorte que l'utilisation limitée des charges est notre principale utilisation pour la PCA.

— cbeleites soutient Monica

2

@cbeleites, Il est non seulement possible que les conventions terminologiques de la PCA / FA diffèrent d’un domaine à l’autre (ou de logiciels ou de livres différents) - j’affirme qu’elles sont différentes. En psychologie et dans le comportement humain, les "charges" sont généralement ce que j’appelle mon nom (les charges sont très importantes dans ces domaines car l’interprétation des latentes est en attente, alors que les scores peuvent être réduits, normalisés et que personne ne s'en soucie). Par ailleurs, de nombreux Rutilisateurs de ce site ont appelé les "vecteurs propres" de la PCA, qui pourraient probablement provenir de la documentation de la fonction.

— Le

(suite) Le pire de tous est que le mot "loadings" est utilisé dans d'autres techniques (LDA, corrélations canoniques, etc.) pas exactement dans le même sens que dans PCA. Donc, le mot lui-même est compromis. Je suis d’accord avec @amoeba qui suppose qu’il soit totalement abandonné et remplacé par des termes statistiquement précis tels que "corrélations" ou "coefficients". Par ailleurs, les "vecteurs propres" semblent se limiter à la décomposition svd / eigen et à certaines méthodes de dim. réduction ne réalisent pas ceux du tout ou sous leur forme classique.

— tnphns

1

Vous devez être en train de vous mélanger. Lorsque vous calculez correctement les scores PC à l'aide de chargements, vous vous retrouvez avec des composants simplement normalisés. Vous ne calculez pas ces scores avec la même formule qu'avec les vecteurs propres; vous devriez plutôt utiliser les formules décrites dans le lien de mon # 4.

— 15h

3

Il semble y avoir beaucoup de confusion au sujet des charges, des coefficients et des vecteurs propres. Les mots chargés proviennent de l'analyse factorielle et font référence aux coefficients de régression de la matrice de données sur les facteurs. Ce ne sont pas les coefficients définissant les facteurs. Voir, par exemple, Mardia, Bibby et Kent ou d’autres manuels de statistiques multivariés.

Ces dernières années, les mots chargés ont été utilisés pour indiquer les coefficients de PC. Ici, il semble que cela indiquait les coefficients multipliés par le sqrt des valeurs propres de la matrice. Ce ne sont pas des quantités couramment utilisées en PCA. Les composantes principales sont définies comme la somme des variables pondérées par les coefficients de la norme unitaire. De cette manière, les PC ont une norme égale à la valeur propre correspondante, laquelle est égale à la variance expliquée par la composante.

C'est dans l'analyse factorielle que les facteurs doivent avoir une norme d'unité. Mais FA et PCA sont complètement différents. La rotation du coefficient de PC est très rarement effectuée car cela détruit l'optimalité des composants.

En FA, les facteurs ne sont pas définis de manière unique et peuvent être estimés de différentes manières. Les quantités importantes sont les charges (les vraies) et les communalités utilisées pour étudier la structure de la matrice de covariance. PCA ou PLS doivent être utilisés pour estimer les composants.

— Marco Stamazza
source

2

Cette réponse, correcte dans des aspects particuliers (+1), néglige le fait que l’AC et l’ACP peuvent être vus et sont comparables (bien que distincts) en tant que prédiction de variables manifestes par les facteurs / composantes (cette dernière étant mise à l’échelle unitaire). Les chargements sont les coefficients de cette prédiction. Les chargements sont donc utilisés et sont des termes valides, signifiant la même chose, à la fois dans les champs FA et PCA.

— ttnphns

3

En outre, il est dommage que certaines sources (en particulier la documentation R) appellent négligemment des "charges" de vecteurs propres - elles ne contiennent aucune charge .

— ttnphns

C'est juste que FA et PCA estiment un modèle différent. Dans FA, les erreurs sont orthogonales dans PCA, elles ne le sont pas. Je ne vois pas l'intérêt de comparer les résultats, à moins de chercher un modèle. Les chargements sont les colonnes de la matrice Lqui est utilisée pour écrire la matrice de covariance sous la forme S = LL' + Coù Cest une matrice diagonale. ils n'ont rien à voir avec les coefficients des PC.

— Marco Stamazza

they have nothing to do with the PCs' coefficientsNous calculons les chargements dans PCA comme nous le faisons dans FA. Les modèles sont différents mais la signification des chargements est similaire dans les deux méthodes.

— ttnphns

0

In Factor Analysis (using PCA for extraction), we get orthonormal eigen vectors (unit vectors) and corresponding eigenvalues. Now, loadings are defined as

Loadings = Vecteurs propres orthonormaux⋅ Racine carrée de (valeurs propres absolues) Ici, les vecteurs propres orthonormaux (c.-à-d. Le terme vecteurs propres orthonormaux) fournissent une direction et le terme racine carrée de (valeurs propres absolues) fournit la valeur.

D'habitude, les gens disent que les panneaux dans les charges ne sont pas importants, mais que leur ampleur est importante. Mais si nous inversons la direction d'un vecteur propre (en gardant le signe des autres vecteurs propres tels qu'ils sont), les scores des facteurs seront modifiés. Par conséquent, l'analyse ultérieure sera affectée de manière significative.

Je n'ai pas pu trouver de solution satisfaisante à cette ambiguïté jusqu'à présent.

— utilisateur173611
source

0

Il semble y avoir une certaine confusion à ce sujet. Je vais donc présenter quelques observations et indiquer un point sur lequel une excellente réponse peut être trouvée dans la littérature.

En premier lieu, l’ACP et l’analyse factorielle (AF) sont liées. En général, les composantes principales sont orthogonales par définition, alors que les facteurs - l'entité analogue dans FA - ne le sont pas. En termes simples, les composantes principales couvrent l’espace factoriel de manière arbitraire mais pas nécessairement utile car elles sont dérivées de l’analyse propre pure des données. Les facteurs, en revanche, représentent des entités du monde réel qui sont seulement orthogonales (c'est-à-dire non corrélées ou indépendantes) par hasard.

Supposons que nous prenions les observations de chacun des l sujets. Celles-ci peuvent être organisées en une matrice de données D ayant s lignes et l colonnes. D peut être décomposé en une matrice de score S et une matrice de chargement L telles que D = SL . S aura s lignes, et L aura l colonnes, la deuxième dimension de chacune étant le nombre de facteurs n . L’analyse factorielle a pour but de décomposer D de manière à révéler les scores et les facteurs sous-jacents. Les chargements en L nous indiquent la proportion de chaque score qui constituent les observations D .

En ACP, L a les vecteurs propres de la matrice de corrélation ou de covariance de D comme colonnes. Celles-ci sont classiquement classées par ordre décroissant des valeurs propres correspondantes. La valeur de n - c’est-à-dire le nombre de composantes principales significatives à retenir dans l’analyse, et donc le nombre de lignes de L - est généralement déterminée par le biais d’un scree plot des valeurs propres ou de l’une des nombreuses autres méthodes disponibles dans la littérature. Les colonnes de S dans PCA forment les n composantes principales abstraites elles-mêmes. La valeur de n est la dimensionnalité sous-jacente de l'ensemble de données.

L'objet de l' analyse factorielle est de transformer les composants abstraits en facteurs significatifs par l'utilisation d'une matrice de transformation T de telle sorte que D = STT ^-1L . ( ST ) est la matrice de scores transformée et ( T ^-1L ) est la matrice de chargement transformée.

L'explication ci-dessus suit grossièrement la notation d'Edmund R. Malinowski tirée de son excellente analyse factorielle en chimie . Je recommande fortement les premiers chapitres en guise d'introduction au sujet.

— Matt Wenham
source

Cette réponse semble avoir plusieurs problèmes. D'abord, vérifiez vos formules, s'il vous plaît, elles ne sont pas correctes. Deuxièmement, vous essayez de discuter des différences entre FA et PCA. Nous avons un fil long séparé sur le CV pour cela, alors que le fil actuel porte sur les chargements vs les vecteurs propres, la réponse est donc mal placée. Troisièmement, votre image de FA est déformée, en particulier dans des phrases telles que "l'objectif de FA est de décomposer D" ou "l'objet de FA est de transformer les composants abstraits en facteurs significatifs".

— ttnphns

Je considère que le matériel que j'ai posté est pertinent pour la discussion dans ce fil et offre une explication de la relation entre les chargements et les vecteurs propres.

— Matt Wenham

Mes recherches sur le sujet sont résumées dans cet article: onlinelibrary.wiley.com/doi/10.1002/sia.740231303/full

— Matt Wenham

OK, votre compte est peut-être un compte spécial encore valide - je ne peux pas dire sans lire les sources que vous proposez. Cependant, je ferais remarquer que la "relation" entre les chargements et les vecteurs propres dans PCA est tout à fait dans sa formule placée dans la question; il n’ya donc pratiquement rien à "expliquer" (cela devrait être expliqué par leur utilité différente). Une autre chose à remarquer est que le Q concerne principalement la PCA, pas la FA. Et, au final, toutes les méthodes FA ne traitent pas du tout de vecteurs propres, alors qu’elle traite nécessairement des chargements.

— ttnphns

Toutes mes excuses, je ne pense pas qu'il existe une version publique de mon document, même si vous pouvez y accéder via Deepdyve.com avec un essai de deux semaines. Le premier chapitre du livre de Malinowski est disponible à partir du lien ci-dessus. Ceci couvre les bases sans mentionner l'analyse propre. Je dois avouer que je ne savais pas que l'analyse factorielle pouvait se faire sans analyse propre, contrairement à la variante que j'ai utilisée - l'analyse factorielle cible -.

— Matt Wenham

-1

Je suis un peu dérouté par ces noms, et j'ai cherché dans le livre intitulé "Méthodes statistiques dans la science atmosphérique", et cela m'a donné un résumé de la terminologie variée de la PCA, voici les captures d'écran du livre, espérons que cela vous aidera.

— D.Zhang
source