L'ACP est-elle toujours réalisée via la composition par équigène de la matrice de covariance lorsque la dimensionnalité est supérieure au nombre d'observations?

J'ai une matrice , contenant mes échantillons dans l' espace . Je souhaite maintenant coder ma propre analyse en composantes principales (ACP) dans Matlab. Je rabaisse d'abord à . $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

J'ai lu dans le code de quelqu'un que dans de tels scénarios où nous avons plus de dimensions que d'observations, nous ne décomposons plus la matrice de covariance du . Au lieu de cela, nous Eigen-decompose . Pourquoi est-ce correct? $X_0$ $\frac{1}{N-1}X_0X_0^T$

La matrice de covariance normale est de taille , dont chaque élément nous indique la covariance entre deux dimensions. Pour moi, n'est même pas aux bonnes dimensions! C'est une matrice , alors que nous dirait-elle? Covariance entre deux observations?! $D\times D$ $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Sibbs Gambling
source

La réponse à votre question est dans le cas où - comme il résulte de votre présentation de votre tâche - vous n'avez pas besoin de la matrice de covariance des colonnes pour elle-même. Vous ne le vouliez que comme un moyen d'obtenir des PC. Droite? Mais les mêmes résultats PCA peuvent être obtenus via les valeurs propres de X'Xet XX'(ainsi que svd de Xet X'). Ce qui est appelé "chargements" dans un cas sera appelé "scores pc" dans l'autre et vice versa. Parce que les deux ne sont que des coordonnées ( voir, par exemple ) et les axes, les "dimensions principales" sont les mêmes.

— ttnphns

(suite) Si c'est le cas et que vous êtes libre de choisir lequel décomposer - il est sage de décomposer ce qui doit être fait plus rapidement / plus efficacement. Quand n<pil faut moins de RAM et moins de temps pour se décomposer XX'car il est de plus petite taille.

— ttnphns du

@ttnphns Grande explication. Je vois le point maintenant. Cependant, j'ai toujours des problèmes pour passer de la propre XX'à l'ordinateur. Pourriez-vous s'il vous plaît me montrer très brièvement comment? Étant donné que les PC ne sont que des vecteurs propres de la matrice de covariance, j'ai tenté de passer de la valeur propre de XX'à la valeur propre de la matrice de covariance X'X, mais j'ai échoué.

— Sibbs Gambling

Je dois y aller. Peut-être que @amoeba (qui est beaucoup plus agile en algèbre que moi) ou un autre lecteur se penchera bientôt ici et vous aidera. À votre santé.

— ttnphns

@ttnphns: Fait :)

— amibe

La matrice de covariance est de taille et est donnée par $D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

La matrice dont vous parlez n'est bien sûr pas une matrice de covariance; il est appelé matrice de Gram et est de taille : $N\times N$

g = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

L'analyse en composantes principales (ACP) peut être implémentée via la composition par eigend de l'une ou l'autre de ces matrices. Ce ne sont que deux façons différentes de calculer la même chose.

La façon la plus simple et la plus utile de voir cela est d'utiliser la décomposition en valeurs singulières de la matrice de données . En branchant cela dans les expressions pour et , nous obtenons: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ g & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Les vecteurs propres de la matrice de covariance sont les directions principales. Les projections des données sur ces vecteurs propres sont les principales composantes; ces projections sont données par . Principaux composants mis à l' échelle à la longueur de l' unité sont données par . Comme vous le voyez, les vecteurs propres de la matrice de Gram sont exactement ces composants principaux mis à l'échelle. Et les valeurs propres de et coïncident. $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

$\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— amibe
source

Très bonne réponse! Je ne savais pas qu'il avait un nom! Merci beaucoup! Je suis maintenant confiant de l'utiliser pour accélérer mon calcul.

— Sibbs Gambling

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

Cette réponse est plus claire que beaucoup d'expositions que j'ai vues dans les livres. Merci.

— usεr11852

À des fins purement de références: je pense que l'article de 1969 sur la technométrie de IJ Good " Quelques applications de la décomposition singulière d'une matrice " est l'un des premiers à les référencer complètement.

— usεr11852

@MattWenham Précisément.

— amoeba