Le noyau PCA avec noyau linéaire est-il équivalent au PCA standard?

Si dans le noyau PCA, je choisis un noyau linéaire , le résultat sera-t-il différent du PCA linéaire ordinaire ? Les solutions sont-elles fondamentalement différentes ou existe-t-il une relation bien définie? $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$

pca kernel-trick

— tgoossens
source

Résumé: le noyau PCA avec noyau linéaire est exactement équivalent au PCA standard.

Soit la matrice de données centrée de taille avec variables dans les colonnes et points de données dans les lignes. La matrice de covariance est alors donnée par , ses vecteurs propres sont les axes principaux et les valeurs propres sont les variances PC. En même temps, on peut considérer la matrice dite de Gram de la taille Il est facile de voir qu'il a les mêmes valeurs propres (c'est-à-dire les variances PC) jusqu'aux $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$ et ses vecteurs propres sont les principaux composants mis à l'échelle de la norme unitaire.

C'était le PCA standard. Maintenant, dans le noyau PCA, nous considérons une fonction qui mappe chaque point de données vers un autre espace vectoriel qui a généralement une plus grande dimensionnalité , peut-être même infinie. L'idée du noyau PCA est de réaliser le PCA standard dans ce nouvel espace. $\phi(x)$ $D_\mathrm{new}$

La dimensionnalité de ce nouvel espace étant très grande (ou infinie), il est difficile, voire impossible, de calculer une matrice de covariance. Cependant, nous pouvons appliquer la deuxième approche à l'ACP décrite ci-dessus. En effet, la matrice de Gram sera toujours de la même taille gérable . Les éléments de cette matrice sont donnés par , que nous appellerons fonction du noyau $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ . C'est ce qu'on appelle l' astuce du noyau : on n'a en fait jamais besoin de calculer , mais seulement . Les vecteurs propres de cette matrice de Gram seront les principaux composants de l'espace cible, ceux qui nous intéressent. $\phi()$ $K()$

La réponse à votre question devient maintenant évidente. Si , alors la matrice de Gram du noyau se réduit à qui est égale à la matrice de Gram standard, et donc les composants principaux ne changeront pas. $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

Une référence très lisible est Scholkopf B, Smola A et Müller KR, Kernel principal component analysis, 1999 , et notez que, par exemple, dans la figure 1, ils font explicitement référence à l'ACP standard comme celle utilisant le produit scalaire comme fonction du noyau:

noyau PCA

— amibe dit réintégrer Monica
source

étaient ces photos dans votre réponse? D'un livre?

— Pinocchio

@ Pinocchio, le chiffre est tiré de Scholkopf et al. papier, référencé et lié à dans ma réponse.

— amibe dit Réintégrer Monica le

"Il est facile de voir qu'il a les mêmes valeurs propres (c'est-à-dire les variances PC) jusqu'au facteur n-1 " - cela ne signifie-t-il pas qu'elles ne sont pas alors complètement équivalentes? Disons que j'ai une matrice avec n = 10 échantillons, d = 200 dimensions. Dans PCA standard, je serais en mesure de projeter les données à 199 dimensions si je le souhaitais, mais dans le noyau PCA avec noyau linéaire, je ne peux que jusqu'à 10 dimensions.

— Cesar

@Cesar, non, si vous avez n = 10 échantillons, la matrice de covariance aura le rang 10-1 = 9 et l'APC standard ne trouvera que 9 dimensions (ainsi que l'APC du noyau). Voir ici: stats.stackexchange.com/questions/123318 .

— amibe dit Réintégrer Monica le

Je reçois un fichier introuvable pour le lien de référence de Scholkopf B, Smola A et Müller KR.

— pbible

$X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ a les mêmes vecteurs singuliers gauches et donc les mêmes composantes principales.

— Martha White
source

Pour l'ACP standard, je pensais que nous nous soucions de la SVD de la matrice de covariance, donc je ne comprends pas vraiment en quoi la SVD de X est pertinente, pouvez-vous développer?

— m0s

@ m0s Pour l'ACP, nous nous soucions de la composition par équigène de la matrice de covariance que nous effectuons habituellement par la SVD de la matrice de données (centrée).

— MrDrFenner

Il me semble qu'un KPCA avec un noyau linéaire devrait être le même qu'un PCA simple.

La matrice de covariance à partir de laquelle vous allez obtenir les valeurs propres est la même:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

Vous pouvez vérifier avec plus de détails ici .

— Jundiaius
source

K (x_{i}, x_{j})

$K(x_i, x_j)$