Pourquoi PCA de données au moyen de SVD des données?

Cette question concerne un moyen efficace de calculer les principaux composants.

1. De nombreux textes sur l'ACP linéaire préconisent l'utilisation de la décomposition en valeurs singulières des données casewise . Autrement dit, si nous avons des données et que nous voulons remplacer les variables (ses colonnes ) par des composants principaux, nous faisons SVD: , des valeurs singulières (racines carrées des valeurs propres) occupant la diagonale principale de , vecteurs propres droits sont la matrice de rotation orthogonale des variables-axes en composantes-axes, les vecteurs propres gauche sont comme , seulement pour les cas. Nous pouvons alors calculer les valeurs des composants comme .$\bf X$$\bf X=USV'$$\bf S$$\bf V$$\bf U$$\bf V$$\bf C=XV=US$

2. Une autre façon de réaliser l'ACP des variables consiste à décomposer la matrice carrée $\bf R=X'X$ (c'est-à-dire que $\bf R$ peut être des corrélations ou des covariances, etc., entre les variables). La décomposition peut être une décomposition propre ou une décomposition en valeurs singulières: avec une matrice semi-définie positive symétrique carrée, ils donneront le même résultat $\bf R=VLV'$ avec des valeurs propres comme la diagonale de $\bf L$ et $\bf V$ comme décrit précédemment. Les valeurs des composants seront $\bf C=XV$ .

Maintenant, ma question: si les données $\bf X$ sont une grande matrice et que le nombre de cas est (ce qui est souvent un cas) beaucoup plus grand que le nombre de variables, alors la voie (1) devrait être beaucoup plus lente que la voie (2), parce que way (1) applique un algorithme assez cher (tel que SVD) à une grande matrice; il calcule et stocke une énorme matrice $\bf U$ dont nous n'avons vraiment pas besoin dans notre cas (le PCA des variables). Si c'est le cas , pourquoi tant de texbooks semblent-ils préconiser ou simplement mentionner la seule façon (1)? Peut-être qu'il est efficace et je manque quelque chose?

Voici mon 2ct sur le sujet

• La conférence de chimiométrie où j'ai d'abord appris la PCA a utilisé la solution (2), mais elle n'était pas orientée vers le numérique, et ma conférence de numérique n'était qu'une introduction et n'a pas discuté de SVD pour autant que je m'en souvienne.

• Si je comprends bien Holmes: Fast SVD for Large-Scale Matrices , votre idée a été utilisée pour obtenir un SVD rapide sur le plan des matrices longues.
  Cela signifierait qu'une bonne implémentation SVD peut suivre en interne (2) si elle rencontre des matrices appropriées (je ne sais pas s'il existe encore de meilleures possibilités). Cela signifierait que pour une implémentation de haut niveau, il est préférable d'utiliser le SVD (1) et de laisser au BLAS le soin de choisir l'algorithme à utiliser en interne.

• Vérification pratique rapide: le svd d'OpenBLAS ne semble pas faire cette distinction, sur une matrice de 5e4 x 100, svd (X, nu = 0)prend 3,5 s médian, tout svd (crossprod (X), nu = 0)en 54 ms (appelé depuis R avec microbenchmark).
  La quadrature des valeurs propres est bien sûr rapide, et jusqu'à ce que les résultats des deux appels soient équivalents.

  timing  <- microbenchmark (svd (X, nu = 0), svd (crossprod (X), nu = 0), times = 10)
  timing
  # Unit: milliseconds
  #                      expr        min         lq    median         uq        max neval
  #            svd(X, nu = 0) 3383.77710 3422.68455 3507.2597 3542.91083 3724.24130    10
  # svd(crossprod(X), nu = 0)   48.49297   50.16464   53.6881   56.28776   59.21218    10
  

mise à jour: Jetez un œil à Wu, W .; Massart, D. & de Jong, S .: Les algorithmes PCA du noyau pour les données étendues. Partie I: Théorie et algorithmes, Chemometrics and Intelligent Laboratory Systems, 36, 165 - 172 (1997). DOI: http://dx.doi.org/10.1016/S0169-7439(97)00010-5

Cet article discute des propriétés numériques et informatiques de 4 algorithmes différents pour l'ACP: SVD, décomposition propre (EVD), NIPALS et POWER.

Ils sont liés comme suit:

computes on      extract all PCs at once       sequential extraction    
X                SVD                           NIPALS    
X'X              EVD                           POWER

Le contexte de l'article est large , et ils fonctionnent sur X X ' (noyau PCA) - c'est juste la situation opposée à celle que vous demandez. Donc, pour répondre à votre question sur le comportement à longue matrice, vous devez échanger la signification de "noyau" et "classique".$\mathbf X^{(30 \times 500)}$$\mathbf{XX'}$

Sans surprise, EVD et SVD changent de place selon que les algorithmes classiques ou noyau sont utilisés. Dans le contexte de cette question, cela signifie que l'un ou l'autre peut être meilleur selon la forme de la matrice.

Mais à partir de leur discussion sur les SVD et EVD "classiques", il est clair que la décomposition de est un moyen très courant de calculer l'APC. Cependant, ils ne spécifient pas quel algorithme SVD est utilisé autre que celui qu'ils utilisent la fonction de Matlab .$\mathbf{X'X}$svd ()

    > sessionInfo ()
    R version 3.0.2 (2013-09-25)
    Platform: x86_64-pc-linux-gnu (64-bit)

    locale:
     [1] LC_CTYPE=de_DE.UTF-8       LC_NUMERIC=C               LC_TIME=de_DE.UTF-8        LC_COLLATE=de_DE.UTF-8     LC_MONETARY=de_DE.UTF-8   
     [6] LC_MESSAGES=de_DE.UTF-8    LC_PAPER=de_DE.UTF-8       LC_NAME=C                  LC_ADDRESS=C               LC_TELEPHONE=C            
    [11] LC_MEASUREMENT=de_DE.UTF-8 LC_IDENTIFICATION=C       

    attached base packages:
    [1] stats     graphics  grDevices utils     datasets  methods   base     

    other attached packages:
    [1] microbenchmark_1.3-0

loaded via a namespace (and not attached):
[1] tools_3.0.2

$ dpkg --list libopenblas*
[...]
ii  libopenblas-base              0.1alpha2.2-3                 Optimized BLAS (linear algebra) library based on GotoBLAS2
ii  libopenblas-dev               0.1alpha2.2-3                 Optimized BLAS (linear algebra) library based on GotoBLAS2

La SVD est plus lente mais est souvent considérée comme la méthode préférée en raison de sa précision numérique plus élevée.

$\mathbf X$$\frac{1}{n-1}\mathbf X^\top \mathbf X$$\mathbf{XX}^\top$$n\ll p$ ).

Voici ce qui est écrit dans l' aide de lapca() fonction de MATLAB :

Algorithme de composant principal pca utilise pour effectuer l'analyse du composant principal [...]:

'svd' - Par défaut. Décomposition en valeurs singulières (SVD) de X.

$n$$p$

La dernière phrase met en évidence le compromis crucial entre vitesse et précision qui est en jeu ici.

$1000\times 100$

X = randn([1000 100]);

tic; svd(X); toc         %// Elapsed time is 0.004075 seconds.
tic; svd(X'); toc        %// Elapsed time is 0.011194 seconds.
tic; eig(X'*X); toc      %// Elapsed time is 0.001620 seconds.
tic; eig(X*X'); toc;     %// Elapsed time is 0.126723 seconds.

$n \ll p$$\mathbf{XX}^\top$ (quatrième ligne) sera le moyen le plus rapide à la place. La SVD de la matrice de données elle-même sera plus lente dans les deux cas.

$\mathbf X$$X$$XX^⊤$

eps = 1e-5;
X = [1 1 1; eye(3)*eps];
display(['Squared sing. values of X: ' num2str(sort(svd(X),'descend').^2')])
display(['Eigenvalues of X''*X:       ' num2str(sort(eig(X'*X),'descend')')])

obtenir des résultats identiques:

Squared sing. values of X: 3       1e-10       1e-10
Eigenvalues of X'*X:       3       1e-10       1e-10

$\epsilon = 10^{-10}$

Squared sing. values of X: 3       1e-20       1e-20
Eigenvalues of X'*X:       3           0 -3.3307e-16

$\mathbf X$$\mathbf X$ a des colonnes presque colinéaires (c.-à-d. De très petites valeurs singulières), le calcul de la matrice de covariance puis le calcul de sa composition par eigend résultera en perte de précision par rapport à la SVD directe.

Je dois ajouter que l'on est souvent heureux d'ignorer cette perte de précision [minuscule] potentielle et d'utiliser plutôt la méthode plus rapide.