ACP sur la corrélation ou la covariance: est-ce que l'ACP sur la corrélation a un sens? [fermé]

En analyse en composantes principales (ACP), on peut choisir la matrice de covariance ou la matrice de corrélation pour trouver les composantes (à partir de leurs vecteurs propres respectifs). Ceux-ci donnent des résultats différents (chargements et scores PC), car les vecteurs propres entre les deux matrices ne sont pas égaux. Ma compréhension est que cela est dû au fait qu'un vecteur de données brutes $X$ et sa normalisation $Z$ ne peuvent pas être liés via une transformation orthogonale. Mathématiquement, des matrices similaires (c'est-à-dire liées par transformation orthogonale) ont les mêmes valeurs propres, mais pas nécessairement les mêmes vecteurs propres.

Cela soulève quelques difficultés dans mon esprit:

1. L'ACP a-t-elle réellement un sens, si vous pouvez obtenir deux réponses différentes pour le même ensemble de données de départ, essayant toutes deux d'atteindre la même chose (= trouver des directions de variance maximale)?

2. Lorsque vous utilisez l'approche matricielle de corrélation, chaque variable est normalisée (mise à l'échelle) par son propre écart-type individuel, avant de calculer les PC. Comment, alors, est-il encore logique de trouver les directions de la variance maximale si les données ont déjà été mises à l'échelle / compressées différemment au préalable? Je sais que cette ACP basée sur la corrélation est très pratique (les variables standardisées sont sans dimension, donc leurs combinaisons linéaires peuvent être ajoutées; d'autres avantages sont également basés sur le pragmatisme), mais est-ce correct?

Il me semble que l'ACP basée sur la covariance est la seule vraiment correcte (même lorsque les variances des variables diffèrent considérablement), et que chaque fois que cette version ne peut pas être utilisée, l'ACP basée sur la corrélation ne devrait pas être utilisée non plus.

Je sais qu'il y a ce fil: PCA sur la corrélation ou la covariance? - mais il semble se concentrer uniquement sur la recherche d'une solution pragmatique, qui peut ou non être également une solution algébriquement correcte.

J'espère que ces réponses à vos deux questions calmeront votre inquiétude:

1. Une matrice de corrélation est une matrice de covariance des données standardisées (c'est-à-dire non seulement centrées mais également redimensionnées); c'est-à-dire une matrice de covariance (comme si) d' un autre ensemble de données différent. Il est donc naturel et cela ne devrait pas vous déranger que les résultats diffèrent.
2. Oui, il est logique de trouver les directions de la variance maximale avec des données standardisées - ce sont les directions - pour ainsi dire - de la "corrélation" et non de la "covariabilité"; c'est-à-dire, après que l'effet des variances inégales - des variables d'origine - sur la forme du nuage de données multivariées a été supprimé.

Texte et images suivants ajoutés par @whuber (je le remercie. Voir aussi mon commentaire ci-dessous)

Voici un exemple en deux dimensions montrant pourquoi il est toujours logique de localiser les principaux axes des données standardisées (illustrées à droite). Notez que dans le graphique de droite, le nuage a toujours une "forme" même si les variances le long des axes de coordonnées sont maintenant exactement égales (à 1,0). De même, dans des dimensions supérieures, le nuage de points normalisé aura une forme non sphérique même si les variances le long de tous les axes sont exactement égales (à 1,0). Les axes principaux (avec leurs valeurs propres correspondantes) décrivent cette forme. Une autre façon de comprendre cela est de noter que tous les recadrages et décalages qui se produisent lors de la standardisation des variables se produisent uniquement dans les directions des axes de coordonnées et non dans les directions principales elles-mêmes.

Ce qui se passe ici est géométriquement si intuitif et clair qu'il serait difficile de caractériser cela comme une "opération de boîte noire": au contraire, la standardisation et l'ACP sont parmi les choses les plus élémentaires et routinières que nous faisons avec les données afin pour les comprendre.

Continué par @ttnphns

Quand préférerait-on effectuer l'ACP (ou l'analyse factorielle ou un autre type d'analyse similaire) sur les corrélations (c'est-à-dire sur des variables normalisées z) au lieu de le faire sur des covariances (c'est-à-dire sur des variables centrées)?

1. Lorsque les variables sont différentes unités de mesure. C'est clair.
2. Quand on veut que l'analyse reflète juste et uniquement linéaire . Pearson r n'est pas seulement la covariance entre les variables non variées (variance = 1); c'est soudain la mesure de la force de la relation linéaire, alors que le coefficient de covariance habituel est réceptif à la fois à la relation linéaire et monotone.
3. Quand on veut que les associations reflètent la loupe qui "rétrécit" ou "étire" l'échelle de cotation pour une. la co-déviation relative (par rapport à la moyenne) plutôt que la co-déviation brute. La corrélation est basée sur les distributions, leurs écarts, tandis que la covariance est basée sur l'échelle de mesure d'origine. Si je devais analyser par facteurs les profils psychopathologiques des patients tels qu'évalués par les psychiatres sur un questionnaire clinique composé d'éléments de type Likert, je préférerais les covariances. Parce que les professionnels ne devraient pas fausser l'échelle de notation par voie intrapsychique. Si, en revanche, je devais analyser les auto-évaluations des patients par ce même questionnaire, je choisirais probablement des corrélations. Parce que l'évaluation du profane devrait être relative "d'autres personnes", "la majorité" "déviation admissible"

Parlant d'un point de vue pratique - peut-être impopulaire ici - si vous avez des données mesurées à différentes échelles, optez pour la corrélation (`` échelle UV '' si vous êtes chimiométricien), mais si les variables sont à la même échelle et leur taille est importante (par exemple avec des données spectroscopiques), alors la covariance (centrage des données uniquement) a plus de sens. L'ACP est une méthode dépendante de l'échelle et la transformation des journaux peut également aider avec des données très asymétriques.

À mon humble avis, basé sur 20 ans d'application pratique de la chimiométrie, vous devez expérimenter un peu et voir ce qui fonctionne le mieux pour votre type de données. À la fin de la journée, vous devez être en mesure de reproduire vos résultats et essayer de prouver la prévisibilité de vos conclusions. Comment y arriver est souvent un cas d'essais et d'erreurs, mais l'important est que ce que vous faites soit documenté et reproductible.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$degrés. Il ne semble donc guère utile de maximiser la variance de leur combinaison linéaire. Dans ce cas, PCA fournit une solution pour un ensemble de données différent, chaque variable étant mise à l'échelle différemment. Si vous ne standardisez pas ensuite (lors de l'utilisation de corr_PCA), cela peut être OK et nécessaire; mais si vous prenez simplement la solution corr_PCA brute telle quelle et que vous vous arrêtez là, vous obtiendrez une solution mathématique, mais pas une solution liée aux données physiques. Étant donné que la normalisation par la suite semble alors obligatoire au minimum (c'est-à-dire «désétirer» les axes par les écarts-types inverses), cov_PCA aurait pu être utilisé pour commencer. Si vous lisez encore maintenant, je suis impressionné! Pour l'instant, je termine en citant le livre de Jolliffe, p. 42, qui est la partie qui me concerne:`` Il ne faut cependant pas oublier que les PC à matrice de corrélation, lorsqu'ils sont ré-exprimés en termes de variables d'origine, sont toujours des fonctions linéaires de x qui maximisent la variance par rapport aux variables standardisées et non par rapport aux variables d'origine. '' Si vous pensez que j'interprète incorrectement ceci ou ses implications, cet extrait peut être un bon point de discussion pour une discussion plus approfondie.