Statistiques et Big Data pca

1

Réduction supervisée de la dimensionnalité

J'ai un ensemble de données composé d'échantillons étiquetés 15K (de 10 groupes). Je souhaite appliquer une réduction de dimensionnalité en 2 dimensions, qui tiendrait compte de la connaissance des labels. Lorsque j'utilise des techniques de réduction de dimensionnalité "standard" non supervisées telles que l'ACP, le nuage de points semble n'avoir …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

1

Que sont les composantes principales «tournées» et «non tournées», étant donné que PCA fait toujours tourner les axes de coordonnées?

Autant que je sache, les principales composantes sont obtenues en faisant tourner les axes de coordonnées pour les aligner avec les directions de variance maximale. Néanmoins, je continue à lire sur les "composants principaux non tournés" et mon logiciel de statistiques (SAS) me donne les composants principaux à rotation varimax …

13 pca terminology factor-rotation

2

Quelle est la différence entre la sélection de fonctionnalités et la réduction de dimensionnalité?

Je sais que la sélection des fonctionnalités et la réduction de la dimensionnalité visent à réduire le nombre de fonctionnalités dans l'ensemble de fonctionnalités d'origine. Quelle est la différence exacte entre les deux si nous faisons la même chose dans les deux?

13 machine-learning pca feature-selection dimensionality-reduction

1

Comment interpréter les chargements PCA?

En lisant sur PCA, je suis tombé sur l'explication suivante: Supposons que nous ayons un ensemble de données où chaque point de données représente les scores d'un seul élève à un test de mathématiques, un test de physique, un test de compréhension en lecture et un test de vocabulaire. Nous …

13 pca

3

Implémentation étape par étape de PCA dans R à l'aide du didacticiel de Lindsay Smith

Je travaille dans R grâce à un excellent tutoriel PCA par Lindsay I Smith et je suis coincé dans la dernière étape. Le script R ci-dessous nous amène à l'étape (à la p.19) où les données originales sont reconstruites à partir de la composante principale (singulière dans ce cas), ce …

13 r pca

2

Sélection des composants PCA qui séparent les groupes

J'ai fréquemment utilisé pour diagnostiquer mes données multivariées à l'aide de l'ACP (données omiques avec des centaines de milliers de variables et des dizaines ou des centaines d'échantillons). Les données proviennent souvent d'expériences avec plusieurs variables indépendantes catégorielles définissant certains groupes, et je dois souvent passer par quelques composants avant …

13 pca linear-model r-squared discriminant-analysis

3

Comment calculer les composants principaux à rotation varimax dans R?

J'ai exécuté PCA sur 25 variables et sélectionné les 7 meilleurs PC utilisant prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) J'ai ensuite fait une rotation varimax sur ces composants. varimax7 <- varimax(prc$rotation[,1:7]) Et maintenant, je souhaite faire pivoter varimax les données pivotées par PCA (car elles ne font pas partie …

13 r pca factor-rotation

2

Pour une matrice aléatoire, un SVD ne devrait-il rien expliquer du tout? Qu'est-ce que je fais mal?

Si je construis une matrice 2-D entièrement composée de données aléatoires, je m'attendrais à ce que les composants PCA et SVD n'expliquent essentiellement rien. Au lieu de cela, il semble que la première colonne SVD semble expliquer 75% des données. Comment cela peut-il être? Qu'est-ce que je fais mal? Voici …

13 r pca svd

3

PCA sur les données textuelles de grande dimension avant la classification aléatoire des forêts?

Est-il judicieux de faire de l'ACP avant d'effectuer une classification aléatoire des forêts? J'ai affaire à des données de texte de grande dimension, et je veux faire une réduction de fonctionnalités pour éviter la malédiction de la dimensionnalité, mais Random Forests ne fait-il pas déjà une sorte de réduction de …

13 classification pca random-forest dimensionality-reduction high-dimensional

3

Les composantes de l'ACP représentent-elles vraiment un pourcentage de variance? Peuvent-ils totaliser plus de 100%?

Le "Machine Learning For Hackers" d'O'Reilly dit que chaque composant principal représente un pourcentage de la variance. J'ai cité la partie pertinente de la page ci-dessous (chapitre 8, p.207). S'adressant à un autre expert, ils ont convenu qu'il s'agissait du pourcentage. Cependant, les 24 composants totalisent 133,2095%. Comment est-ce possible? …

13 r pca

2

Puis-je effectuer une ACP sur des mesures répétées de réduction des données?

J'ai 3 essais chacun sur 87 animaux dans chacun des 2 contextes (certaines données manquantes; aucune donnée manquante = 64 animaux). Dans un contexte, j'ai de nombreuses mesures spécifiques ( le temps d'entrer, le nombre de fois de retour à l' abri, etc.), donc je veux développer 2 à 3 …

13 repeated-measures pca dimensionality-reduction

5

Réduction de dimensionnalité SVD pour des séries temporelles de différentes longueurs

J'utilise la décomposition en valeurs singulières comme technique de réduction de dimensionnalité. Étant donné des Nvecteurs de dimension D, l'idée est de représenter les entités dans un espace transformé de dimensions non corrélées, qui condense la plupart des informations des données dans les vecteurs propres de cet espace dans un …

13 time-series machine-learning pca data-transformation multivariate-analysis

1

Package GBM vs Caret utilisant GBM

J'ai ajusté le modèle à l'aide caret, mais j'ai ensuite réexécuté le modèle à l'aide du gbmpackage. Je crois comprendre que le caretpackage utilise gbmet que la sortie doit être la même. Cependant, un simple test rapide utilisant data(iris)montre une différence dans le modèle d'environ 5% en utilisant RMSE et …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

1

PCA et scores des composants basés sur un mélange de variables continues et binaires

Je veux appliquer une PCA sur un ensemble de données, qui se compose de variables de type mixte (continu et binaire). Pour illustrer la procédure, je colle un exemple reproductible minimal dans R ci-dessous. # Generate synthetic dataset set.seed(12345) n <- 100 x1 <- rnorm(n) x2 <- runif(n, -2, 2) …

13 r pca

2

Comment effectuer une validation croisée pour PCA afin de déterminer le nombre de composants principaux?

J'essaie d'écrire ma propre fonction pour l'analyse des composants principaux, PCA (bien sûr, il y a déjà beaucoup écrit mais je suis juste intéressé à implémenter des choses par moi-même). Le principal problème que j'ai rencontré est l'étape de validation croisée et le calcul de la somme prédite des carrés …

13 pca cross-validation matlab

Questions marquées «pca»