Statistiques et Big Data natural-language

2

Perplexité et entropie croisée pour les modèles n-gram

Essayer de comprendre la relation entre l'entropie croisée et la perplexité. En général pour un modèle M , Perplexité (M) = 2 ^ entropie (M) . Cette relation est-elle valable pour tous les n-grammes différents, c'est-à-dire unigramme, bigramme, etc.?

10 natural-language entropy perplexity

1

Cette interprétation de la rareté est-elle exacte?

Selon la documentation de la removeSparseTermsfonction du tmpackage, voici ce que la rareté implique: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms with …

10 r text-mining natural-language

1

Quel modèle d'apprentissage en profondeur peut classer des catégories qui ne s'excluent pas mutuellement

Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec softmaxfonction à la dernière …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

1

Pourquoi en ajouter un en fréquence de document inverse?

Mon manuel répertorie l'idf comme oùl o g( 1 + Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) : nombre de documentsNNN : nombre de documents contenant le terme tntntn_tttt Wikipedia répertorie cette formule comme une version lissée du l o g réel ( N. Celui que je comprends: il varie delog(Nl o g( Nnt)log(Nnt)log(\frac{N}{n_t})à∞ce qui semble …

9 text-mining natural-language smoothing

1

Comprendre la décomposition en valeurs singulières dans le contexte de LSI

Ma question porte généralement sur la décomposition en valeurs singulières (SVD), et en particulier sur l'indexation sémantique latente (LSI). Dis, j'ai qui contient des fréquences de 5 mots pour 7 documents.Aword×documentAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, 0,10,0,0,7,0,0), ncol=7, byrow=TRUE) rownames(A) <- c('doctor','car','nurse','hospital','wheel') J'obtenir la matrice factorisation …

9 r svd natural-language latent-semantic-indexing

1

Utilisation d'outils d'exploration de texte / de langage naturel pour l'économétrie

Je ne sais pas si cette question est pleinement appropriée ici, sinon, veuillez la supprimer. Je suis un étudiant diplômé en économie. Pour un projet qui étudie les problèmes des assurances sociales, j'ai accès à un grand nombre de cas administratifs (> 200k) qui traitent des évaluations d'éligibilité. Ces rapports …

9 machine-learning data-mining econometrics text-mining natural-language

1

Rapport log-vraisemblance dans la synthèse des documents

J'ai d'abord demandé cela sur le débordement de la pile et j'ai été renvoyé à ce site, alors voici: J'implémente des méthodes non supervisées de synthèse de documents basés sur la sélection / extraction de contenu et je suis confus quant à ce que mon manuel appelle le «rapport de …

9 natural-language text-summarization

4

Quelles sont les senones dans un réseau neuronal profond?

Je lis cet article: traducteur skype où ils utilisent des CD-DNN-HMM (réseaux neuronaux profonds dépendants du contexte avec des modèles de Markov cachés). Je peux comprendre l'idée du projet et l'architecture qu'ils ont conçue mais je ne comprends pas ce que sont les senones . Je cherchais une définition mais …

9 neural-networks deep-learning terminology natural-language hidden-markov-model

1

Représentation vectorielle d'entrée vs représentation vectorielle de sortie dans word2vec

Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?WWWW′W′W' CBOW: Skip-gram:

9 neural-networks natural-language word2vec word-embeddings

1

Comment gérer la modification de la longueur du vecteur d'entrée avec les réseaux de neurones

Je veux former un réseau neuronal avec une séquence de caractères comme vecteur d'entrée. Les exemples d'apprentissage ont une longueur différente et pour cette raison, je ne sais pas comment les représenter. Disons que j'ai deux exemples de séquences, voici des noms: john doe maurice delanoe Le premier exemple est …

9 machine-learning neural-networks feature-selection natural-language

1

Différence entre Naive Bayes et Recurrent Neural Network (LSTM)

Je veux effectuer une analyse de sentiment sur du texte, j'ai parcouru plusieurs articles, certains d'entre eux utilisent "Naive Bayes" et d'autres sont "Recurrent Neural Network (LSTM)" , d'autre part j'ai vu une bibliothèque python pour l'analyse de sentiment qui est nltk. Il utilise "Naive Bayes". Quelqu'un peut-il expliquer quelle …

8 machine-learning neural-networks python natural-language

1

Intervalles de confiance lors de l'utilisation du théorème de Bayes

Je calcule des probabilités conditionnelles et des intervalles de confiance à 95% associés. Pour bon nombre de mes cas, j'ai un décompte simple des xsuccès des nessais (à partir d'un tableau de contingence), donc je peux utiliser un intervalle de confiance binomial, tel que celui fourni par binom.confint(x, n, method='exact')dans …

8 r bayesian confidence-interval conditional-probability hidden-markov-model segmentation hypothesis-testing statistical-significance multiple-comparisons multiple-regression r regression survey sample finite-population pca model-selection dataset partitioning clustering time-series least-squares regression standard-error causality r time-series outliers missing-data machine-learning svm hypothesis-testing discrete-data r data-visualization survey likert finance regression pca feature-selection stepwise-regression underdetermined svm natural-language

1

Modélisation du langage: pourquoi l'ajout de 1 est-il si important?

Dans de nombreuses applications de traitement du langage naturel telles que la correction d'orthographe, la traduction automatique et la reconnaissance vocale, nous utilisons des modèles de langage. Les modèles de langage sont généralement créés en comptant la fréquence à laquelle les séquences de mots (n-grammes) se produisent dans un grand …

8 distributions modeling natural-language language-models

Questions marquées «natural-language»