Linéarité de la PCA

35

La PCA est considérée comme une procédure linéaire, toutefois:

P C A (X) \neq P C A (X_{1}) + P C A (X_{2}) + \dots + P C A (X_{n}),

$\mathrm{PCA}(X)\neq \mathrm{PCA}(X_1)+\mathrm{PCA}(X_2)+\ldots+\mathrm{PCA}(X_n),$

où . Cela revient à dire que les vecteurs propres obtenus par les PCA sur les matrices de données ne totalisent pas pour égaler les vecteurs propres obtenus par PCA sur la somme des matrices de données . Mais n'est-ce pas la définition d'une fonction linéaire qui: $X=X_1+X_2+\ldots+X_n$ $X_i$ $X_i$ $f$

f (x + y) = f (x) + f (y) ?

$f(x+y)=f(x)+f(y)?$

Alors, pourquoi PCA est-il considéré comme "linéaire" s'il ne satisfait pas à cette condition de base de la linéarité?

pca linear

— AlphaOmega
source

J'ai déjà écrit ou entendu (désolé, je ne me souviens plus ni où ni quand) que PCA "appartient à la famille des procédures linéaires" car elle repose sur des dépendances linéaires entre variables. Il utilise la matrice de corrélation de Pearson et recherche des combinaisons linéaires de la variance la plus élevée.

— Łukasz Deryło

4

La nature de cette question pourrait devenir un peu plus claire en envisageant le réglage beaucoup plus simple et routinier de la régression des moindres carrés ordinaires: il s'agit de l'archétype d'une procédure statistique linéaire. Néanmoins, le processus d'estimation des moindres carrés des coefficients est une fonction non linéaire manifestement de la matrice de données

, comme attesté par la formule

. (Notez qu'il s'agit d'une fonction linéaire du vecteur de réponse

.)

X

$X$

\hat{β} = (X^{'} X)^{- 1} X^{'} y

$\hat\beta = (X^\prime X)^{-1}X^\prime y$

y

$y$

— whuber

4

Il peut être utile de rappeler que f (x) = x + 1 est aussi une "fonction linéaire" ... mais cela ne satisfait pas ce que vous venez de dire ... ce qui devrait expliquer quelque chose.

— Mehrdad

C'est parce que

(X_{1} + X_{2})^{T} (X_{1} + X_{2}) \neq X_{1}^{T} X_{1} + X_{2}^{T} X_{2}

$(X_1+X_2)^T(X_1+X_2)\neq X_1^TX_1+X_2^TX_2$

— Gabriel Romon

39

$f:\mathbf x\mapsto \mathbf z$ $\mathbb R^p$ $\mathbb R^k$ $\mathbf x$

z = f (x) = V^{⊤} x .

$\mathbf z = f(\mathbf x) = \mathbf V^\top \mathbf x.$

$k$ $\mathbf V\in \mathbb R^{p\times k}$ $\mathbf X\in \mathbb R^{n\times p}$ $\mathrm{PCA}()$

V = P C A (X),

$\mathbf V = \mathrm{PCA}(\mathbf X),$

X

$\mathbf X$

2

$2$

4

$4$

— l'amibe dit de réintégrer Monica
source

Le fait que j'ai reçu 35 votes positifs pour cette réponse triviale est assez ridicule (et est principalement dû au fait que ce fil est dans le Hot Network Questions pendant un moment).

— amibe dit de réintégrer Monica le

5

"Linéaire" peut signifier beaucoup de choses et n'est pas exclusivement employé de manière formelle.

La PCA n’est pas souvent définie comme une fonction au sens formel et elle n’est donc pas censée satisfaire aux exigences d’une fonction linéaire lorsqu'elle est décrite comme telle. Comme vous l'avez dit, il est plus souvent décrit comme une procédure et parfois un algorithme (bien que je n'aime pas cette dernière option). On dit souvent qu’il est linéaire de manière informelle et mal définie.

$X_i$

X_{i} \approx f_{Y} (α)

$X_i \approx f_Y(\alpha)$

α \in R^{k}

$\alpha \in \mathbb{R}^k$

Y

$Y$

k

$k$

Y

$Y$

$f_i$

f_{Y} (α) = \sum_{i = 1}^{k} α_{i} Y_{i}

$f_Y(\alpha) = \sum_{i=1}^k \alpha_{i}Y_i$

Y

$Y$

$Y$ $\alpha_{ij}$

— BroncoAbierto
source

3

PCA fournit / est une transformation linéaire.

$\mathbf{M} \equiv PCA(X_1 + X_2)$ $\mathbf{M}(X_1+X_2) = \mathbf{M}(X_1) + \mathbf{M}(X_2)$

$PCA(X_1 + X_2)$ $PCA(X_1)$ $PCA(X_2)$

A titre de comparaison, un exemple très simple d'un processus qui utilise une transformation linéaire mais n'est pas une transformation linéaire elle-même:

$D(\mathbf{v})$ $\mathbf{v}$ $\left[x,y\right]=\left[1,0\right]$

$D(\left[1,1\right]) \rightarrow \left[0,\sqrt{2}\right]$

et

$D(\left[0,1\right]) \rightarrow \left[-1,0\right]$

mais

$D(\left[1,1\right]+\left[0,1\right]=\left[1,2\right]) \rightarrow \left[-0.78,2.09\right] \neq \left[-1,\sqrt{2}\right]$

ce doublement de l'angle, qui implique le calcul des angles, n'est pas linéaire, et est analogue à l'affirmation de Amoeba, que le calcul du vecteur propre n'est pas linéaire

— Sextus Empiricus
source