Que maximisent les premiers facteurs de l'analyse factorielle?

Dans l'analyse des composantes principales, les premières composantes principales sont les directions orthogonales avec la variance maximale. En d'autres termes, la première composante principale est choisie pour être la direction de la variance maximale, la deuxième composante principale est choisie pour être la direction orthogonale à la première avec la variance maximale, et ainsi de suite.$k$$k$

Existe-t-il une interprétation similaire pour l'analyse factorielle? Par exemple, je pense que les premiers facteurs sont les facteurs qui expliquent le mieux les composantes hors diagonale de la matrice de corrélation d' origine (au sens, par exemple, de l'erreur quadratique entre la matrice de corrélation d'origine et la matrice de corrélation définie par le facteurs). Est-ce vrai (ou y a-t-il quelque chose de similaire que nous pouvons dire)?$k$

L'ACP est avant tout une technique de réduction des données dont l'objectif est d'obtenir une projection des données sur un espace de dimension inférieure. Deux objectifs équivalents sont soit de maximiser itérativement la variance, soit de minimiser l'erreur de reconstruction. Ceci est en fait élaboré dans certains détails dans les réponses à cette question précédente .

En revanche, l'analyse factorielle est principalement un modèle génératif d'un vecteur de données à dimensions disant que où est le vecteur à dimensions de facteurs latents, est avec et est un vecteur d'erreurs non corrélées. La matrice est la matrice des chargements factoriels . Cela donne une paramétrisation spéciale de la matrice de covariance comme Le problème avec ce modèle est qu'il est surparamétrisé. Le même modèle est obtenu si est remplacé parX X = A S + ϵ S q A p × k k < p ϵ A Σ = A A T + D A A R k × k R A $p$$X$

$$X = AS + \epsilon$$ $S$$q$$A$$p \times k$$k < p$$\epsilon$$A$ $$\Sigma = AA^T + D$$ $A$$AR$ pour toute matrice orthogonale , ce qui signifie que les facteurs eux-mêmes ne sont pas uniques. Différentes suggestions existent pour résoudre ce problème, mais il n'y a pas une seule solution qui vous donne des facteurs avec le type d'interprétation que vous demandez. Un choix populaire est la rotation varimax . Cependant, le critère utilisé ne détermine que la rotation. L'espace de colonne couvert par ne change pas, et comme cela fait partie de la paramétrisation, il est déterminé par la méthode utilisée pour estimer - par maximum de vraisemblance dans un modèle gaussien, par exemple.$k \times k$$R$$A$$\Sigma$

Par conséquent, pour répondre à la question, les facteurs choisis ne sont pas donnés automatiquement à l'aide d'un modèle d'analyse factorielle, il n'y a donc pas d'interprétation unique des premiers facteurs. Vous devez spécifier la méthode utilisée pour estimer (l'espace de colonne de) et la méthode utilisée pour choisir la rotation. Si (toutes les erreurs ont la même variance), la solution MLE pour l'espace de colonne de est l'espace couvert par les principaux vecteurs de composants principaux, qui peut être trouvé par une décomposition en valeurs singulières. Il est bien sûr possible de choisir de ne pas faire tourner et de déclarer ces principaux vecteurs composants comme facteurs. A D = σ 2 I A $k$$A$$D = \sigma^2 I$$A$$q$

Edit: Pour souligner comment je le vois, le modèle d'analyse factorielle est un modèle de la matrice de covariance en tant que matrice de rang plus une matrice diagonale. Ainsi, l'objectif du modèle est d'expliquer au mieux la covariance avec une telle structure sur la matrice de covariance. L'interprétation est qu'une telle structure sur la matrice de covariance est compatible avec un facteur de dimension non observé . Malheureusement, les facteurs ne peuvent pas être récupérés de manière unique, et la façon dont ils peuvent être choisis dans l'ensemble des facteurs possibles n'a aucun rapport avec l'explication des données. Comme c'est le cas avec l'ACP, on peut standardiser les données à l'avance et ainsi adapter un modèle qui tente d'expliquer la matrice de corrélation comme un rang plus une matrice diagonale. k $k$$k$$k$

@RAEGTIN, je pense que vous pensez bien. Après extraction et rotation préalable, chaque facteur successif représente de moins en moins de covariation / corrélation, tout comme chaque composante successive représente de moins en moins de variance: dans les deux cas, les colonnes d'une matrice de chargement A vont dans l'ordre de chute de somme des éléments carrés (chargements) en eux. La charge est un facteur et une variable de corrélation; par conséquent, on peut dire que le premier facteur explique la plus grande partie du carré r "global" dans la matrice R , le deuxième facteur est le deuxième ici, etc. La différence entre FA et PCA, cependant, dans la prédiction des corrélations par chargements est la suivante: FA est "calibré" pour restaurer Rassez finement avec juste m facteurs extraits (m facteurs <p variables), tandis que PCA est grossier dans sa restauration par m composants, - il a besoin de tous les p composants pour restaurer R sans erreur.

PS Juste pour ajouter. En FA, une valeur de chargement "consiste" en une communauté propre (une partie de la variance responsable de la corrélation) tandis qu'en PCA, un chargement est un mélange de communalité et d'uniformité de la variable et prend donc en compte la variabilité.