Statistiques et Big Data word-embeddings

2

Qu'est-ce qu'une couche d'intégration dans un réseau de neurones?

Dans de nombreuses bibliothèques de réseaux neuronaux, il existe des «couches d'intégration», comme dans Keras ou Lasagne . Je ne suis pas sûr de comprendre son fonctionnement, malgré la lecture de la documentation. Par exemple, dans la documentation de Keras, il est écrit: Transformez les entiers positifs (index) en vecteurs …

92 machine-learning neural-networks python word-embeddings

2

Comment fonctionne la couche «Enrobage» de Keras?

Besoin de comprendre le fonctionnement de la couche 'Enrobage' dans la bibliothèque Keras. J'exécute le code suivant en Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) ce qui donne …

70 text-mining word-embeddings keras

3

Appliquer des mots incorporés à l'ensemble du document pour obtenir un vecteur de caractéristiques

Comment utiliser un mot incorporé pour mapper un document sur un vecteur de caractéristiques approprié pour une utilisation avec apprentissage supervisé? Un mot incorporant mappe chaque mot www à un vecteur v∈Rdv∈Rdv \in \mathbb{R}^d , où ddd est un nombre non trop grand (par exemple 500). Les mots les plus …

38 classification natural-language supervised-learning word2vec word-embeddings

1

Devrais-je normaliser les vecteurs de mots de word2vec avant de les utiliser?

Après avoir formé les vecteurs de mots avec word2vec, vaut-il mieux les normaliser avant de les utiliser pour certaines applications en aval? C'est-à-dire quels sont les avantages / inconvénients de les normaliser?

38 natural-language word2vec word-embeddings

3

R: Random Forest lançant NaN / Inf dans l'erreur «appel de fonction étrangère» malgré l'absence de NaN dans l'ensemble de données [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 2 ans . J'utilise caret pour exécuter une forêt aléatoire validée de façon croisée …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

1

Les performances de pointe rapportées de l'utilisation de vecteurs de paragraphe pour l'analyse des sentiments ont-elles été reproduites?

J'ai été impressionné par les résultats du document ICML 2014 " Représentations distribuées des peines et des documents " de Le et Mikolov. La technique qu'ils décrivent, appelée «vecteurs de paragraphe», apprend des représentations non supervisées de paragraphes / documents arbitrairement longs, basées sur une extension du modèle word2vec. L'article …

20 text-mining natural-language word-embeddings sentiment-analysis reproducible-research

1

Comment fonctionne l'échantillonnage négatif dans word2vec?

J'ai essayé de comprendre le concept d'échantillonnage négatif dans le contexte de word2vec. Je suis incapable de digérer l'idée d'un échantillonnage [négatif]. Par exemple, dans les articles de Mikolov, l'attente d'échantillonnage négative est formulée comme suit: Journalσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ Pré[ journalσ( - …

19 machine-learning word2vec word-embeddings

3

Pourquoi skip-gram est-il meilleur pour les mots peu fréquents que CBOW?

Je me demande pourquoi skip-gram est meilleur pour les mots peu fréquents que CBOW dans word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/ .

19 natural-language word2vec word-embeddings

2

Comment la couche d'intégration est formée dans la couche d'intégration Keras

Comment la couche d'intégration est-elle formée dans la couche d'intégration Keras? (par exemple, utiliser le backend tensorflow, ce qui signifie qu'il est similaire à word2vec, glove ou fasttext) Supposons que nous n'utilisions pas une intégration préentraînée.

14 deep-learning keras word-embeddings

3

Pourquoi le softmax hiérarchique est-il meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents?

Je me demande pourquoi le softmax hiérarchique est meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents, dans les modèles CBOW et skip-gram de word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

3

Comment le modèle skip-gram de Word2Vec génère-t-il les vecteurs de sortie?

J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à chaud avec …

11 neural-networks deep-learning natural-language word2vec word-embeddings

1

Algorithmes d'intégration de mots en termes de performances

J'essaie d'incorporer environ 60 millions de phrases dans un espace vectoriel , puis de calculer la similitude en cosinus entre elles. J'ai utilisé sklearn CountVectorizeravec une fonction de tokenizer construite sur mesure qui produit des unigrammes et des bigrammes. Il s'avère que pour obtenir des représentations significatives, je dois autoriser …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

2

Comment déterminer les paramètres du t-SNE pour réduire les dimensions?

Je suis très nouveau dans les intégrations de mots. Je veux visualiser à quoi ressemblent les documents après leur apprentissage. J'ai lu que t-SNE est l'approche pour le faire. J'ai 100K documents avec 250 dimensions comme taille de l'incorporation. Plusieurs packages sont également disponibles. Cependant, pour t-SNE, je ne sais …

11 pca dimensionality-reduction word2vec word-embeddings tsne

1

Quels sont les avantages et les inconvénients de l'application d'informations mutuelles ponctuelles sur une matrice de cooccurrence de mots avant la SVD?

Une façon de générer des incorporations de mots est la suivante ( miroir ): Obtenez un corpus, par exemple: "J'aime voler. J'aime la PNL. J'aime le deep learning." Construisez le mot matrice de cooccurrence à partir de lui: Effectuez SVD sur XXX et conservez les kkk premières colonnes de U. …

11 natural-language svd mutual-information word-embeddings language-models

2

Question sur Continuous Bag of Words

J'ai du mal à comprendre cette phrase: La première architecture proposée est similaire à la NNLM à action directe, où la couche cachée non linéaire est supprimée et la couche de projection est partagée pour tous les mots (pas seulement la matrice de projection); ainsi, tous les mots sont projetés …

11 machine-learning neural-networks natural-language word-embeddings language-models

Questions marquées «word-embeddings»