Questions marquées «dimensionality-reduction»

La réduction de dimensionnalité fait référence à des techniques permettant de réduire de nombreuses variables en un nombre plus petit tout en conservant autant d'informations que possible. Une méthode importante est [tag pca]

11
Qu'est-ce que la réduction de dimensionnalité? Quelle est la différence entre la sélection de fonctionnalités et l'extraction?
De wikipedia, La réduction de dimensionnalité ou réduction de dimension est le processus de réduction du nombre de variables aléatoires prises en compte. Elle peut être divisée en sélection et extraction de caractéristiques. Quelle est la différence entre la sélection de fonctionnalités et l'extraction de fonctionnalités? Quel est un exemple …
6
Comment faire SVD et PCA avec des mégadonnées?
J'ai un grand ensemble de données (environ 8 Go). J'aimerais utiliser l'apprentissage automatique pour l'analyser. Donc, je pense que je devrais utiliser SVD puis PCA pour réduire la dimensionnalité des données pour plus d'efficacité. Cependant, MATLAB et Octave ne peuvent pas charger un ensemble de données aussi volumineux. Quels outils …
6
Techniques d'apprentissage automatique pour estimer l'âge des utilisateurs en fonction des sites Facebook qu'ils aiment
J'ai une base de données de mon application Facebook et j'essaie d'utiliser l'apprentissage automatique pour estimer l'âge des utilisateurs en fonction des sites Facebook qu'ils aiment. Il y a trois caractéristiques cruciales de ma base de données: la répartition par âge dans mon ensemble de formation (12k d'utilisateurs en somme) …
1
Les dimensions t-sne ont-elles un sens?
Existe-t-il des significations pour les dimensions d'un encastrement en T-SNE? Comme avec PCA, nous avons ce sens de maximisations de variance linéairement transformées, mais pour t-sne y a-t-il une intuition en plus de l'espace que nous définissons pour la cartographie et la minimisation de la distance KL?
4
Améliorez la vitesse de mise en œuvre de t-sne en python pour les énormes données
Je voudrais faire une réduction de dimensionnalité sur près d'un million de vecteurs chacun avec 200 dimensions ( doc2vec). j'utiliseTSNE implémentation du sklearn.manifoldmodule pour cela et le problème majeur est la complexité du temps. Même avec method = barnes_hut, la vitesse de calcul est encore faible. Un certain temps, même …
5
Sélection des fonctionnalités vs extraction des fonctionnalités. Lequel utiliser quand?
L'extraction et la sélection d'entités réduisent essentiellement la dimensionnalité des données, mais l'extraction d'entités rend également les données plus séparables, si j'ai raison. Quelle technique serait préférée à l'autre et quand? Je pensais, puisque la sélection des fonctionnalités ne modifie pas les données d'origine et ses propriétés, je suppose que …
1
Les points de rapprochement peuvent-ils être considérés comme plus similaires dans la visualisation T-SNE?
Je comprends d'après l'article de Hinton que le T-SNE fait un bon travail en gardant les similitudes locales et un travail décent en préservant la structure mondiale (clusterisation). Cependant, je ne sais pas si les points apparaissant plus proches dans une visualisation 2D t-sne peuvent être supposés comme des points …
4
Une alternative d'encodage à chaud pour les grandes valeurs catégorielles?
Bonjour, j'ai une trame de données avec de grandes valeurs catégorielles sur 1600 catégories. Est-ce que je peux trouver des alternatives pour ne pas avoir plus de 1600 colonnes. J'ai trouvé ce lien intéressant ci-dessous http://amunategui.github.io/feature-hashing/#sourcecode Mais ils se convertissent en classe / objet dont je ne veux pas. Je …
4
Dimensionnalité et collecteur
Une phrase couramment entendue dans le Machine Learning non supervisé est Les entrées de grande dimension vivent généralement sur ou à proximité d'un collecteur de faible dimension Qu'est-ce qu'une dimension? Qu'est-ce qu'un collecteur? Quelle est la différence? Pouvez-vous donner un exemple pour décrire les deux? Collecteur de Wikipedia: En mathématiques, …
2
Réduction efficace de la dimensionnalité pour un grand ensemble de données
J'ai un ensemble de données avec ~ 1M lignes et ~ 500K fonctionnalités clairsemées. Je veux réduire la dimensionnalité quelque part dans l'ordre des entités denses 1K-5K. sklearn.decomposition.PCAne fonctionne pas sur des données éparses, et j'ai essayé d'utiliser sklearn.decomposition.TruncatedSVDmais j'obtiens une erreur de mémoire assez rapidement. Quelles sont mes options …
3
Existe-t-il de bons modèles de langage prêts à l'emploi pour python?
Je prototype une application et j'ai besoin d'un modèle de langage pour calculer la perplexité sur certaines phrases générées. Existe-t-il un modèle de langage formé en python que je peux facilement utiliser? Quelque chose de simple comme model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = …
11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.