Statistiques et Big Data word2vec

5

J'essaie de comprendre ce qu'est la similitude entre Latent Dirichlet Allocation et word2vec pour calculer la similarité de mots. Si je comprends bien, LDA mappe les mots sur un vecteur de probabilités de sujets latents , tandis que word2vec les mappe sur un vecteur de nombres réels (liés à la …

39 machine-learning self-study natural-language latent-variable word2vec

3

Appliquer des mots incorporés à l'ensemble du document pour obtenir un vecteur de caractéristiques

Comment utiliser un mot incorporé pour mapper un document sur un vecteur de caractéristiques approprié pour une utilisation avec apprentissage supervisé? Un mot incorporant mappe chaque mot www à un vecteur v∈Rdv∈Rdv \in \mathbb{R}^d , où ddd est un nombre non trop grand (par exemple 500). Les mots les plus …

38 classification natural-language supervised-learning word2vec word-embeddings

1

Devrais-je normaliser les vecteurs de mots de word2vec avant de les utiliser?

Après avoir formé les vecteurs de mots avec word2vec, vaut-il mieux les normaliser avant de les utiliser pour certaines applications en aval? C'est-à-dire quels sont les avantages / inconvénients de les normaliser?

38 natural-language word2vec word-embeddings

3

R: Random Forest lançant NaN / Inf dans l'erreur «appel de fonction étrangère» malgré l'absence de NaN dans l'ensemble de données [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 2 ans . J'utilise caret pour exécuter une forêt aléatoire validée de façon croisée …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

1

Comment fonctionne l'échantillonnage négatif dans word2vec?

J'ai essayé de comprendre le concept d'échantillonnage négatif dans le contexte de word2vec. Je suis incapable de digérer l'idée d'un échantillonnage [négatif]. Par exemple, dans les articles de Mikolov, l'attente d'échantillonnage négative est formulée comme suit: Journalσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ Pré[ journalσ( - …

19 machine-learning word2vec word-embeddings

3

Pourquoi skip-gram est-il meilleur pour les mots peu fréquents que CBOW?

Je me demande pourquoi skip-gram est meilleur pour les mots peu fréquents que CBOW dans word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/ .

19 natural-language word2vec word-embeddings

4

Interpréter la similitude cosinus négative

Ma question peut être stupide. Je m'excuse donc à l'avance. J'essayais d'utiliser le modèle GLOVE pré-formé par Stanford NLP group ( lien ). Cependant, j'ai remarqué que mes résultats de similitude montraient des chiffres négatifs. Cela m'a immédiatement incité à regarder le fichier de données mot-vecteur. Apparemment, les valeurs dans …

17 machine-learning word2vec cosine-similarity

2

Comment est calculée la méthode de .similarité dans SpaCy?

Je ne sais pas si c'est le bon site de pile, mais voilà. Comment fonctionne la méthode .similiarity? Wow spaCy est super! Son modèle tfidf pourrait être plus simple, mais w2v avec une seule ligne de code?! Dans son didacticiel en 10 lignes sur spaCy andrazhribernik nous montre la méthode …

13 natural-language word2vec tf-idf nltk

3

Pourquoi le softmax hiérarchique est-il meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents?

Je me demande pourquoi le softmax hiérarchique est meilleur pour les mots peu fréquents, alors que l'échantillonnage négatif est meilleur pour les mots fréquents, dans les modèles CBOW et skip-gram de word2vec. J'ai lu la réclamation sur https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

3

Comment le modèle skip-gram de Word2Vec génère-t-il les vecteurs de sortie?

J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à chaud avec …

11 neural-networks deep-learning natural-language word2vec word-embeddings

1

Algorithmes d'intégration de mots en termes de performances

J'essaie d'incorporer environ 60 millions de phrases dans un espace vectoriel , puis de calculer la similitude en cosinus entre elles. J'ai utilisé sklearn CountVectorizeravec une fonction de tokenizer construite sur mesure qui produit des unigrammes et des bigrammes. Il s'avère que pour obtenir des représentations significatives, je dois autoriser …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

2

Comment déterminer les paramètres du t-SNE pour réduire les dimensions?

Je suis très nouveau dans les intégrations de mots. Je veux visualiser à quoi ressemblent les documents après leur apprentissage. J'ai lu que t-SNE est l'approche pour le faire. J'ai 100K documents avec 250 dimensions comme taille de l'incorporation. Plusieurs packages sont également disponibles. Cependant, pour t-SNE, je ne sais …

11 pca dimensionality-reduction word2vec word-embeddings tsne

2

Gestion des mots inconnus dans les tâches de modélisation de langage à l'aide de LSTM

Pour une tâche de traitement du langage naturel (NLP), on utilise souvent des vecteurs word2vec comme incorporation pour les mots. Cependant, il peut y avoir de nombreux mots inconnus qui ne sont pas capturés par les vecteurs word2vec simplement parce que ces mots ne sont pas assez souvent vus dans …

11 natural-language word2vec lstm word-embeddings

1

Dérivée de la perte d'entropie croisée dans word2vec

J'essaie de me frayer un chemin à travers le premier ensemble de problèmes du matériel de cours en ligne stanford cs224d et j'ai des problèmes avec le problème 3A: lorsque j'utilise le modèle skip gram word2vec avec la fonction de prédiction softmax et la fonction de perte d'entropie croisée, nous …

10 machine-learning self-study word2vec

1

Dégradés pour skipgram word2vec

Je passe en revue les problèmes liés aux problèmes d'affectation écrits de la classe d'apprentissage profond de Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln J'essaie de comprendre la réponse pour 3a où ils recherchent la dérivée du vecteur pour le mot central. Supposons que l'on vous donne un vecteur de mot prédit correspondant au …

9 self-study neural-networks backpropagation word2vec

Questions marquées «word2vec»