Statistiques et Big Data dimensionality-reduction

1

t-SNE avec variables continues et binaires mixtes

J'étudie actuellement la visualisation de données de grande dimension à l'aide de t-SNE. J'ai quelques données avec des variables binaires et continues mixtes et les données semblent regrouper les données binaires beaucoup trop facilement. Bien sûr, cela est prévu pour les données échelonnées (entre 0 et 1): la distance euclidienne …

10 python dimensionality-reduction unsupervised-learning tsne mixed-type-data

2

Pourquoi l'ACP maximise-t-elle la variance totale de la projection?

Christopher Bishop écrit dans son livre Pattern Recognition and Machine Learning une preuve, que chaque composant principal consécutif maximise la variance de la projection à une dimension, après que les données ont été projetées dans l'espace orthogonal aux composants précédemment sélectionnés. D'autres montrent des preuves similaires. Cependant, cela prouve seulement …

10 machine-learning variance pca dimensionality-reduction eigenvalues

1

R régression linéaire variable catégorielle valeur «cachée»

Ceci est juste un exemple que j'ai rencontré plusieurs fois, donc je n'ai pas d'échantillons de données. Exécution d'un modèle de régression linéaire dans R: a.lm = lm(Y ~ x1 + x2) x1est une variable continue. x2est catégorique et a trois valeurs, par exemple "Low", "Medium" et "High". Cependant, la …

10 r regression categorical-data regression-coefficients categorical-encoding machine-learning random-forest anova spss r self-study bootstrap monte-carlo r multiple-regression partitioning neural-networks normalization machine-learning svm kernel-trick self-study survival cox-model repeated-measures survey likert correlation variance sampling meta-analysis anova independence sample assumptions bayesian covariance r regression time-series mathematical-statistics graphical-model machine-learning linear-model kernel-trick linear-algebra self-study moments function correlation spss probability confidence-interval sampling mean population r generalized-linear-model prediction offset data-visualization clustering sas cart binning sas logistic causality regression self-study standard-error r distributions r regression time-series multiple-regression python chi-squared independence sample clustering data-mining rapidminer probability stochastic-processes clustering binary-data dimensionality-reduction svd correspondence-analysis data-visualization excel c# hypothesis-testing econometrics survey rating composite regression least-squares mcmc markov-process kullback-leibler convergence predictive-models r regression anova confidence-interval survival cox-model hazard normal-distribution autoregressive mixed-model r mixed-model sas hypothesis-testing mediation interaction

3

Le clustering comme réduction de dimensionnalité

Je lis un livre "Machine learning with Spark" de Nick Pentreath, et à la page 224-225 l'auteur discute de l'utilisation de K-means comme une forme de réduction de dimensionnalité. Je n'ai jamais vu ce type de réduction de dimensionnalité, a- t-il un nom ou / et est-il utile pour des …

10 clustering k-means dimensionality-reduction

3

PCA trop lent lorsque les deux n, p sont grands: Alternatives?

Configuration du problème J'ai des points de données (images) de grande dimension (4096), que j'essaie de visualiser en 2D. À cette fin, j'utilise t-sne d'une manière similaire à l' exemple de code suivant de Karpathy . La documentation de scikit-learn recommande d'utiliser PCA pour réduire d'abord la dimension des données: …

9 pca dimensionality-reduction high-dimensional java tsne

1

Quelle est la différence entre un apprentissage multiple et une réduction de dimensionnalité non linéaire?

Quelle est la différence entre un apprentissage multiple et une réduction de dimensionnalité non linéaire ? J'ai vu ces deux termes être utilisés de manière interchangeable. Par exemple: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : L'apprentissage multiple (souvent également appelé réduction de dimensionnalité non linéaire) poursuit l'objectif d'incorporer des données qui se trouvent à l'origine …

9 terminology dimensionality-reduction manifold-learning

2

Comprendre ce graphique PCA des ventes de glaces en fonction de la température

Je prends une donnée factice de la température par rapport aux ventes de crème glacée et la classe en utilisant K Means (n grappes = 2) pour distinguer 2 catégories (totalement factice). Maintenant, je fais une analyse en composantes principales sur ces données et mon objectif est de comprendre ce …

9 pca interpretation k-means dimensionality-reduction

2

Réduction dimensionnelle évolutive

Compte tenu du nombre constant de caractéristiques, Barnes-Hut t-SNE a une complexité de , les projections aléatoires et l'ACP ont une complexité de O ( n ), ce qui les rend "abordables" pour de très grands ensembles de données.O ( n logn )O(nlog⁡n)O(n\log n)O ( n )O(n)O(n) En revanche, les …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

Impossible de faire fonctionner correctement ce réseau d'auto-encodeur (avec les couches convolutionnelles et maxpool)

Les réseaux de codage automatique semblent être beaucoup plus délicats que les réseaux MLP classificateurs normaux. Après plusieurs tentatives d'utilisation de la lasagne, tout ce que j'obtiens dans la sortie reconstruite ressemble à son mieux à une moyenne floue de toutes les images de la base de données MNIST sans …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

2

Comment prouver que l'hypothèse multiple est correcte?

Dans l'apprentissage automatique, il est souvent supposé qu'un ensemble de données repose sur un collecteur lisse de faible dimension (l'hypothèse du collecteur), mais existe-t-il un moyen de prouver que, en supposant que certaines conditions sont remplies, l'ensemble de données est en effet (approximativement) généré à partir d'un collecteur lisse de …

9 machine-learning dimensionality-reduction manifold-learning

3

L'ICA doit-il d'abord exécuter PCA?

J'ai passé en revue un article basé sur l'application disant que l'application de l'APC avant d'appliquer l'ICA (en utilisant le package fastICA). Ma question est la suivante: ICA (fastICA) nécessite-t-il que PCA soit exécuté en premier? Ce document mentionne que ... il est également soutenu que la pré-application de l'ACP …

9 pca dimensionality-reduction pattern-recognition ica

4

Technique non orthogonale analogue à l'ACP

Supposons que j'ai un jeu de données ponctuelles 2D et que je veuille détecter les directions de tous les maxima locaux de variance dans les données, par exemple: L'ACP n'aide pas dans cette situation car il s'agit d'une décomposition orthogonale et ne peut donc pas détecter les deux lignes que …

9 pca dimensionality-reduction

2

Variables asymétriques dans l'ACP ou l'analyse factorielle

Je veux faire une analyse en composantes principales (analyse factorielle) sur SPSS basée sur 22 variables. Cependant, certaines de mes variables sont très asymétriques (l'asymétrie calculée à partir de SPSS varie de 2 à 80!). Donc, voici mes questions: Dois-je conserver les variables asymétriques comme cela ou pourrais-je transformer les …

9 pca factor-analysis dimensionality-reduction skewness

3

Quel est le point de décomposition en valeurs singulières?

Je ne comprends pas pourquoi la réduction de dimension est importante. Quel est l'avantage de prendre certaines données et de réduire leur dimension?

9 dimensionality-reduction svd

1

Comment interpréter les résultats de la réduction de dimensionnalité / mise à l'échelle multidimensionnelle?

J'ai effectué à la fois une décomposition SVD et une mise à l'échelle multidimensionnelle d'une matrice de données à 6 dimensions, afin de mieux comprendre la structure des données. Malheureusement, toutes les valeurs singulières sont du même ordre, ce qui implique que la dimensionnalité des données est bien de 6. …

9 pca interpretation dimensionality-reduction svd

Questions marquées «dimensionality-reduction»