Matrice de covariance inverse vs matrice de covariance dans l'ACP


10

En PCA, cela fait-il une différence si nous choisissons les principales composantes de la matrice de covariance inverse OU si nous laissons tomber les vecteurs propres de la matrice de covariance correspondant à de grandes valeurs propres?

Ceci est lié à la discussion dans ce post .

Réponses:


12

Observez que pour la matrice de covariance définie positive la précision est \ boldsymbol \ Sigma ^ {- 1} = \ mathbf {UD} ^ {- 1} \ mathbf U' .Σ - 1 = U D - 1 UΣ=UDUΣ1=UD1U

Ainsi, les vecteurs propres restent les mêmes, mais les valeurs propres de la précision sont les inverses des valeurs propres de la covariance. Cela signifie que les plus grandes valeurs propres de la covariance seront les plus petites valeurs propres de la précision. Comme vous avez l'inverse, la précision positive garantit que toutes les valeurs propres sont supérieures à zéro.

Par conséquent, si vous conservez les vecteurs propres relatifs aux plus petites valeurs propres de la précision, cela correspond à l'ACP ordinaire. Puisque nous avons déjà pris des réciproques ( ), seule la racine carrée des valeurs propres de précision doit être utilisée afin de compléter le blanchiment des données transformées.D - 1kD1


+1 mais je pense que votre phrase "Alors oui, ça fait une différence" pourrait être source de confusion pour le PO; le Q n'est pas très clair, mais je pense qu'ils demandaient s'il y avait une différence entre la sélection des plus grandes valeurs propres de la matrice inv cov et la sélection des plus petites valeurs propres (= suppression des plus grandes) de la matrice cov. À cette question, la réponse est qu'elle est équivalente. Alors peut-être que si vous supprimez simplement cette phrase, la réponse sera plus claire.
amibe

Merci, je vois ce que vous voulez dire et j'ai modifié en conséquence.
conjectures

En fait la dernière phrase était bonne, je l'aurais gardée!
amibe

@conjectures Merci, c'est l'explication parfaite.
Mustafa Arif

0

De plus, la matrice de covariance inverse est proportionnelle à la corrélation partielle entre les vecteurs:

Corr(Xi, Xj | (Xothers )

Corrélation entre Xi et Xj lorsque tous les autres sont fixes, elle est très utile pour les séries temporelles.


1
C'est vrai, mais qu'est-ce que cela a à voir avec l'ACP?
amibe
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.