Statistiques et Big Data pca

1

Quel est le lien entre PCA, LDA, CCA et PLS? Ils semblent tous "spectraux" et algébriques linéaires et très bien compris (disons plus de 50 ans de théorie construits autour d'eux). Ils sont utilisés pour des choses très différentes (PCA pour la réduction de la dimensionnalité, LDA pour la classification, …

26 pca discriminant-analysis partial-least-squares canonical-correlation

5

Comment les principaux composants principaux peuvent-ils conserver le pouvoir prédictif sur une variable dépendante (ou même conduire à de meilleures prédictions)?

Supposons que je courais une régression . Pourquoi en sélectionnant les premiers composants de , le modèle conserve-t-il son pouvoir prédictif sur ?k X YOui∼ XOui∼XY \sim XkkkXXXOuiOuiY Je comprends que du point de vue de la réduction de dimensionnalité / sélection des caractéristiques, si sont les vecteurs propres de …

25 regression classification pca dimensionality-reduction regularization

2

Est-il judicieux de combiner PCA et LDA?

Supposons que j'ai un ensemble de données pour une tâche de classification statistique supervisée, par exemple via un classifieur Bayes. Cet ensemble de données se compose de 20 entités et je veux le résumer à 2 entités via des techniques de réduction de dimensionnalité telles que l'analyse en composantes principales …

25 classification pca regularization discriminant-analysis overfitting

3

Interprétation de la régularisation des crêtes en régression

J'ai plusieurs questions concernant la pénalité de crête dans le contexte des moindres carrés: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) L'expression suggère que la matrice de covariance de X est rétrécie vers une matrice diagonale, ce qui signifie que (en supposant que les variables sont normalisées avant la procédure) …

25 regression pca regularization ridge-regression

2

Comment utiliser les résultats de R prcomp pour la prédiction?

J'ai un data.frame avec 800 obs. de 40 variables, et j'aimerais utiliser l'analyse des composants principaux pour améliorer les résultats de ma prédiction (qui fonctionne jusqu'à présent le mieux avec Support Vector Machine sur une quinzaine de variables sélectionnées à la main). Je comprends qu'un prcomp peut m'aider à améliorer …

25 r pca

3

LSA contre PCA (regroupement de documents)

J'étudie différentes techniques utilisées dans le clustering de documents et je voudrais dissiper certains doutes concernant PCA (analyse en composantes principales) et LSA (analyse sémantique latente). Première chose - quelles sont les différences entre eux? Je sais qu'en PCA, la décomposition SVD est appliquée à la matrice terme-covariance, tandis qu'en …

25 clustering pca data-mining svd lsa

2

L'ACP est-elle instable en multicolinéarité?

Je sais que dans une situation de régression, si vous avez un ensemble de variables hautement corrélées, cela est généralement "mauvais" en raison de l'instabilité des coefficients estimés (la variance va vers l'infini car le déterminant va vers zéro). Ma question est de savoir si cette «méchanceté» persiste dans une …

25 pca multicollinearity

5

Exemples d'ACP où les PC à faible variance sont «utiles»

Normalement, dans l'analyse en composantes principales (ACP), les premiers PC sont utilisés et les PC à faible variance sont abandonnés, car ils n'expliquent pas beaucoup la variation des données. Cependant, existe-t-il des exemples où les PC à faible variation sont utiles (c'est-à-dire qu'ils ont une utilisation dans le contexte des …

24 pca

2

Comment comprendre «non linéaire» comme dans «réduction de dimensionnalité non linéaire»?

J'essaie de comprendre les différences entre les méthodes de réduction de dimensionnalité linéaire (par exemple, PCA) et les méthodes non linéaires (par exemple, Isomap). Je ne comprends pas très bien ce que la (non) linéarité implique dans ce contexte. J'ai lu sur Wikipedia que Par comparaison, si PCA (un algorithme …

24 pca terminology dimensionality-reduction pattern-recognition manifold-learning

3

Dans quelle mesure la PCA clairsemée est-elle meilleure que la PCA?

J'ai appris le PCA il y a quelques conférences en classe et en approfondissant ce concept fascinant, j'ai appris à connaître le PCA clairsemé. Je voulais demander, si je ne me trompe pas, c'est ce que l'APC est clairsemée: Dans l'APC, si vous avez points de données avec variables, vous …

24 machine-learning pca sparse

1

Propriétés de l'ACP pour les observations dépendantes

Nous utilisons généralement l'ACP comme technique de réduction de la dimensionnalité pour les données où les cas sont supposés être iid Question: Quelles sont les nuances typiques dans l'application de l'ACP pour des données dépendantes et non iid? Quelles propriétés agréables / utiles de PCA détiennent pour les données iid …

23 time-series pca non-independent iid

2

Quelle est la différence entre l'ACP et l'ACP asymptotique?

Dans deux articles en 1986 et 1988 , Connor et Korajczyk ont proposé une approche pour modéliser les rendements des actifs. Étant donné que ces séries chronologiques ont généralement plus d'actifs que les observations de période, ils ont proposé d'effectuer une ACP sur les covariances transversales des rendements des actifs. …

23 pca econometrics

4

Imputation des valeurs manquantes pour l'ACP

J'ai utilisé la prcomp()fonction pour effectuer une PCA (analyse des composants principaux) dans R. Cependant, il y a un bogue dans cette fonction, de sorte que le na.actionparamètre ne fonctionne pas. J'ai demandé de l'aide sur stackoverflow ; deux utilisateurs y ont proposé deux manières différentes de gérer les NAvaleurs. …

23 r pca missing-data data-imputation

1

Pourquoi n'y a-t-il que

En PCA, lorsque le nombre de dimensions est supérieur (voire égal) au nombre d'échantillons , pourquoi avez-vous au plus vecteurs propres non nuls? En d'autres termes, le rang de la matrice de covariance parmi les dimensions est .dddNNNN−1N−1N-1d≥Nd≥Nd\ge NN−1N−1N-1 Exemple: Vos échantillons sont des images vectorisées, qui sont de dimension …

22 pca dimensionality-reduction eigenvalues

2

Pourquoi PCA de données au moyen de SVD des données?

Cette question concerne un moyen efficace de calculer les principaux composants. De nombreux textes sur l'ACP linéaire préconisent l'utilisation de la décomposition en valeurs singulières des données casewise . Autrement dit, si nous avons des données et que nous voulons remplacer les variables (ses colonnes ) par des composants principaux, …

22 pca algorithms svd matrix-decomposition

Questions marquées «pca»