Les solutions PCA sont-elles uniques?

12

Lorsque j'exécute PCA sur un certain ensemble de données, la solution qui m'est donnée est-elle unique?

C'est-à-dire que j'obtiens un ensemble de coordonnées 2d, basé sur des distances entre points. Est-il possible de trouver au moins une autre disposition des points qui répondrait à ces contraintes?

Si la réponse est oui, comment trouver une solution si différente?

pca

— raygozag
source

11

La réponse à la question de l'unicité est à la fois oui et non. Il est "oui" dans le sens où les espaces propres et les valeurs propres sont mathématiquement bien définis et de manière unique. Il est "non" au sens où (a) il existe plusieurs façons de représenter ces espaces propres (même un vecteur propre normalisé peut être annulé et il existe de nombreux choix de base pour les espaces propres dégénérés) et (b) différents algorithmes peuvent produire des résultats qui diffèrent. en raison de l'accumulation d'erreur en virgule flottante dans les calculs.

— whuber

Ramsay et Silverman dans le livre "Functinal Data Analysis", mentionnent la rotation VARIMAX. Ton discours sur la division d'un ensemble de données de fonctions (représenté comme une matrice) en ses principaux composants.

— puissance

Il semble que vous souhaitiez utiliser PCA comme outil de réduction des dimensions. Vous pouvez commencer par regarder la réduction de la dimensionnalité ...

— Elvis

7

Non, la réponse n'est pas unique. Il y a plusieurs façons de le montrer. Une possibilité est de remarquer que la décomposition spectrale d'une matrice carrée par est la solution à la maximisation d'une fonction convexe de . Considérons le premier vecteur / valeur propre: $p$ $p$ $X$ $w$

λ_{1} = max_{w \in R^{p} : | | w | | = 1} w^{'} X w

$\lambda_1=\underset{w\in\mathbb{R}^{p}:||w||=1}{\max} w'Xw$

(où est la première valeur propre et le premier vecteur propre). $\lambda_1$ $w^*$

La solution à de tels problèmes (par exemple, les valeurs de atteignant ce maximum) ne sont, en général, pas uniques. $w$

Cependant, les algorithmes de calcul de ces solutions sont déterministes, ce qui signifie que, sauf pour les cas de coins numériques, les solutions que vous obtenez doivent être les mêmes.

Exemple de tels cas de coins numériques: cas où plusieurs valeurs propres sont (numériquement) les mêmes, cas où le est déficient en rang ... $X$

— user603
source

7

Quelque chose qui n'a pas encore été remarqué est que le simple fait d'inverser le signe d'un PC produit une solution différente. Autrement dit, si est le ème composant principal, alors est également une solution au ème composant principal. Cela a déjà causé de la confusion, en particulier lorsque votre ordinateur produit des PC alternatifs. Voir cette question . $\mathbf{w}$ $n$ $-\mathbf{w}$ $n$

— Cam.Davidson.Pilon
source

3

Pour une application pratique intéressante de cette ambiguïté, veuillez consulter stats.stackexchange.com/questions/34396 . (BTW, l'inversion du signe a été remarquée: voir le premier commentaire à cette question.)

— whuber