Pourquoi les scores des composantes principales ne sont-ils pas corrélés?

Supose est une matrice de données moyenne centrée. La matrice est , a valeurs propres distinctes et vecteurs propres , ... , qui sont orthogonaux. $\mathbf A$ $\mathbf S=\text{cov}(\mathbf A)$ $m\times m$ $m$ $\mathbf s_1$ $\mathbf s_2$ $\mathbf s_m$

Le ème composant principal (certaines personnes les appellent "scores") est le vecteur . En d' autres termes, il est une combinaison linéaire des colonnes de , où les coefficients sont les composantes du -ème vecteur propre de . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

Je ne comprends pas pourquoi et ne sont pas corrélés pour tous les . Cela découle-t-il du fait que et sont orthogonaux? Sûrement pas, car je peux facilement trouver une matrice et une paire de vecteurs orthogonaux tels que et sont corrélés. $\mathbf z_i$ $\mathbf z_j$ $i\neq j$ $\mathbf s_i$ $\mathbf s_j$ $\mathbf B$ $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ernest A
source

Une réponse connexe stats.stackexchange.com/a/110546/3277 .

— ttnphns

z_{je}^{⊤} z_{j} = (UNE s_{je})^{⊤} (UNE s_{j}) = s_{je}^{⊤} {UNE}^{⊤} UNE s_{j} = (n - 1) s_{je}^{⊤} S s_{j} = (n - 1) s_{je} λ_{j} s_{j} = (n - 1) λ_{j} s_{je} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— amibe
source

Mathématiques: quelle belle langue.

— Néstor

Cela signifie que

sont orthogonaux. Sans corrélation signifie que cela doit être vrai:

. Je suppose en quelque sorte que

, puis

implique également qu'ils ne sont pas corrélés.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Bon point, @Ernest. Les moyennes sont en effet nulles, car les données sont centrées sur la moyenne (selon votre hypothèse). Ensuite, toutes les projections doivent avoir une moyenne de zéro.

— amibe

@Jubbles car

, donc

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@Ernest, je n'ai pas pu résister à fournir une réponse ne contenant pas de texte, mais je devrais peut-être ajouter que la raison sous-jacente pour laquelle les PC ne sont pas corrélés est que leur matrice de covariance est donnée par

dans la base des vecteurs propres, et dans cette base,

devient diagonal - - c'est tout l'intérêt de la composition par eigendec.

S

$S$

S

$S$

— amibe