Statistiques et Big Data dimensionality-reduction

1

Quel est le lien entre les moindres carrés partiels, la régression à rang réduit et la régression à composantes principales?

La régression à rang réduit et la régression à composantes principales ne sont-elles que des cas particuliers de moindres carrés partiels? Ce tutoriel (Page 6, "Comparaison des objectifs") indique que lorsque nous faisons des moindres carrés partiels sans projeter X ou Y (c'est-à-dire "non partiel"), cela devient une régression de …

16 regression pca dimensionality-reduction partial-least-squares reduced-rank-regression

2

Méthodes de fusion / réduction des catégories dans les données ordinales ou nominales?

J'ai du mal à trouver une méthode pour réduire le nombre de catégories dans les données nominales ou ordinales. Par exemple, disons que je veux construire un modèle de régression sur un ensemble de données qui a un certain nombre de facteurs nominaux et ordinaux. Bien que je n'ai aucun …

14 r categorical-data dimensionality-reduction many-categories

4

Quelles variables expliquent quels composants de l'ACP et vice versa?

En utilisant ces données: head(USArrests) nrow(USArrests) Je peux faire un PCA ainsi: plot(USArrests) otherPCA <- princomp(USArrests) Je peux intégrer les nouveaux composants otherPCA$scores et la proportion de variance expliquée par les composantes avec summary(otherPCA) Mais que faire si je veux savoir quelles variables sont principalement expliquées par quels composants principaux? …

14 r pca dimensionality-reduction regression-strategies

3

Choix des hyperparamètres à l'aide de T-SNE pour la classification

En tant que problème spécifique avec lequel je travaille (une compétition), j'ai le réglage suivant: 21 fonctionnalités (numériques sur [0,1]) et une sortie binaire. J'ai environ 100 K rangées. Le cadre semble être très bruyant. Moi et d'autres participants appliquons la génération de fonctionnalités pendant un certain temps et l'intégration …

13 machine-learning dimensionality-reduction unsupervised-learning tsne

1

Réduction supervisée de la dimensionnalité

J'ai un ensemble de données composé d'échantillons étiquetés 15K (de 10 groupes). Je souhaite appliquer une réduction de dimensionnalité en 2 dimensions, qui tiendrait compte de la connaissance des labels. Lorsque j'utilise des techniques de réduction de dimensionnalité "standard" non supervisées telles que l'ACP, le nuage de points semble n'avoir …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

2

Quelle est la différence entre la sélection de fonctionnalités et la réduction de dimensionnalité?

Je sais que la sélection des fonctionnalités et la réduction de la dimensionnalité visent à réduire le nombre de fonctionnalités dans l'ensemble de fonctionnalités d'origine. Quelle est la différence exacte entre les deux si nous faisons la même chose dans les deux?

13 machine-learning pca feature-selection dimensionality-reduction

1

Algèbre de LDA. Pouvoir de discrimination de Fisher d'une variable et analyse discriminante linéaire

Apparemment, l'analyse de Fisher vise à maximiser simultanément la séparation entre les classes, tout en minimisant la dispersion à l'intérieur des classes. Une mesure utile du pouvoir de discrimination d'une variable est donc donnée par la quantité diagonale: .Bii/WiiBii/WiiB_{ii}/W_{ii} http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Je comprends que la taille ( p x p) du …

13 algorithms dimensionality-reduction discriminant-analysis sums-of-squares

3

PCA sur les données textuelles de grande dimension avant la classification aléatoire des forêts?

Est-il judicieux de faire de l'ACP avant d'effectuer une classification aléatoire des forêts? J'ai affaire à des données de texte de grande dimension, et je veux faire une réduction de fonctionnalités pour éviter la malédiction de la dimensionnalité, mais Random Forests ne fait-il pas déjà une sorte de réduction de …

13 classification pca random-forest dimensionality-reduction high-dimensional

2

Puis-je effectuer une ACP sur des mesures répétées de réduction des données?

J'ai 3 essais chacun sur 87 animaux dans chacun des 2 contextes (certaines données manquantes; aucune donnée manquante = 64 animaux). Dans un contexte, j'ai de nombreuses mesures spécifiques ( le temps d'entrer, le nombre de fois de retour à l' abri, etc.), donc je veux développer 2 à 3 …

13 repeated-measures pca dimensionality-reduction

1

Expliquer les étapes de l'algorithme LLE (local linear embedding)?

Je comprends le principe de base derrière l'algorithme pour LLE se compose de trois étapes. Trouver le voisinage de chaque point de données par une métrique telle que k-nn. Trouvez des poids pour chaque voisin qui dénotent l'effet du voisin sur le point de données. Construire l'incorporation de faible dimension …

13 machine-learning model-selection feature-selection dimensionality-reduction nonlinear

1

Quelle est la signification des axes dans t-SNE?

J'essaie actuellement de faire le tour de la mathématique t-SNE . Malheureusement, il y a encore une question à laquelle je ne peux pas répondre de manière satisfaisante: quelle est la signification réelle des axes dans un graphique t-SNE? Si je devais faire une présentation sur ce sujet ou l'inclure …

12 machine-learning dimensionality-reduction tsne

5

Comment effectuer l'imputation de valeurs dans un très grand nombre de points de données?

J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

1

Comment choisir un noyau pour le noyau PCA?

Quelles sont les façons de choisir quel noyau entraînerait une bonne séparation des données dans la sortie finale des données par le noyau PCA (analyse des composants principaux), et quelles sont les façons d'optimiser les paramètres du noyau? Les termes de Layman, si possible, seraient grandement appréciés, et des liens …

12 pca cross-validation dimensionality-reduction kernel-trick manifold-learning

4

Exécution de PCA avec seulement une matrice de distance

Je veux regrouper un ensemble de données massif pour lequel je n'ai que les distances par paire. J'ai implémenté un algorithme k-medoids, mais cela prend trop de temps à exécuter, donc je voudrais commencer par réduire la dimension de mon problème en appliquant PCA. Cependant, la seule façon que je …

12 pca dimensionality-reduction multidimensional-scaling

1

Quelle est la bonne utilisation de t-SNE, en dehors de la visualisation des données?

Dans quelles situations devrions-nous utiliser t-SNE (en dehors de la visualisation des données)? T-SNE est utilisé pour la réduction de dimensionnalité. La réponse à cette question suggère que t-SNE devrait être utilisé uniquement pour la visualisation et que nous ne devrions pas l'utiliser pour le clustering. Alors, quelle est la …

12 data-visualization dimensionality-reduction tsne

Questions marquées «dimensionality-reduction»