Statistiques et Big Data text-mining

2

Comment calculer la perplexité d'un récalcitrant avec l'allocation de Dirichlet latente?

Je suis confus sur la façon de calculer la perplexité d'un échantillon d'exclusion lors de l'allocation de Dirichlet latente (LDA). Les articles sur le sujet passent dessus, me faisant penser que je manque quelque chose d'évident ... La perplexité est considérée comme une bonne mesure de la performance de LDA. …

18 text-mining topic-models

5

Classification de texte à grande échelle

Je cherche à faire une classification sur mes données texte. J'ai 300 classes200 documents de formation par classe (donc 60000 documents in total) et cela est susceptible d'entraîner des données dimensionnelles très élevées (nous pouvons rechercher plus de 1 million de dimensions ). Je voudrais effectuer les étapes suivantes dans …

18 machine-learning classification text-mining

2

Pourquoi le classificateur de régression d'arête fonctionne-t-il assez bien pour la classification de texte?

Au cours d'une expérience de classification de texte, j'ai trouvé un classificateur de crête générant des résultats qui dépassent constamment les tests parmi les classificateurs qui sont le plus souvent mentionnés et appliqués pour les tâches d'exploration de texte, tels que SVM, NB, kNN, etc. Cependant, je n'ai pas élaboré …

18 machine-learning classification text-mining ridge-regression

1

Je veux construire un indice de criminalité et un indice d'instabilité politique basés sur des reportages

J'ai ce projet parallèle où j'explore les sites d'information locaux de mon pays et je veux construire un indice de criminalité et un indice d'instabilité politique. J'ai déjà couvert la partie recherche d'informations du projet. Mon plan est de faire: Extraction de rubrique non supervisée. Détection des doublons proches. Classification …

17 machine-learning classification text-mining

1

Les paramètres d'entrée pour l'utilisation de l'allocation Dirichlet latente

Lors de l'utilisation de la modélisation de sujet (allocation Dirichlet latente), le nombre de sujets est un paramètre d'entrée que l'utilisateur doit spécifier. Il me semble que nous devrions également fournir une collection d'ensembles de sujets candidats que le processus Dirichlet doit échantillonner? Ma compréhension est-elle correcte? En pratique, comment …

17 machine-learning bayesian clustering text-mining dirichlet-distribution

1

Prédiction de sujet utilisant l'allocation de Dirichlet latente

J'ai utilisé LDA sur un corpus de documents et trouvé quelques sujets. La sortie de mon code est deux matrices contenant des probabilités; l'une des probabilités doc-topic et l'autre probabilités word-topic. Mais je ne sais pas comment utiliser ces résultats pour prédire le sujet d'un nouveau document. J'utilise l'échantillonnage Gibbs. …

17 text-mining topic-models

2

Quand combinons-nous la réduction de dimensionnalité avec le clustering?

J'essaie d'effectuer un clustering au niveau du document. J'ai construit la matrice de fréquence terme-document et j'essaie de regrouper ces vecteurs de haute dimension en utilisant k-means. Au lieu de regrouper directement, ce que j'ai fait, j'ai d'abord appliqué la décomposition vectorielle singulière de LSA (Latent Semantic Analysis) pour obtenir …

16 clustering pca dimensionality-reduction text-mining svd

2

Quelle est la bonne méthode pour le regroupement de texte court?

Je travaille sur un problème de clustering de texte. Les données contiennent plusieurs phrases. Existe-t-il un bon algorithme qui atteint une grande précision sur un texte court? Pouvez-vous fournir de bonnes références? Des algorithmes tels que KMeans, le clustering spectral ne fonctionnent pas bien pour ce problème.

15 machine-learning clustering text-mining

4

Text Mining: comment regrouper des textes (par exemple des articles de presse) avec l'intelligence artificielle?

J'ai construit des réseaux de neurones (MLP (entièrement connecté), Elman (récurrent)) pour différentes tâches, comme jouer au Pong, classer les chiffres manuscrits et tout ça ... De plus, j'ai essayé de construire certains premiers réseaux de neurones convolutifs, par exemple pour classer des notes manuscrites à plusieurs chiffres, mais je …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

3

Quelles sont les différences entre l'analyse sémantique latente (LSA), l'indexation sémantique latente (LSI) et la décomposition en valeurs singulières (SVD)?

Ces termes se mélangent beaucoup, mais j'aimerais savoir quelles sont, selon vous, les différences, le cas échéant. Merci

15 pca text-mining svd

5

Comment faire une classification de texte à une classe?

Je dois faire face à un problème de classification de texte. Un robot d'indexation analyse des pages Web d'un certain domaine et pour chaque page Web, je veux savoir si elle appartient à une seule classe spécifique ou non. Autrement dit, si j'appelle cette classe positive , chaque page Web …

14 classification text-mining naive-bayes binary-data

3

Modèles de sujet pour les documents courts

Inspiré par cette question , je me demande si des travaux ont été effectués sur des modèles de sujet pour de grandes collections de textes extrêmement courts. Mon intuition est que Twitter devrait être une inspiration naturelle pour de tels modèles. Cependant, à partir d'une expérimentation limitée, il semble que …

14 references text-mining topic-models natural-language

2

Exemples d'exploration de texte avec R (package tm)

J'ai passé trois jours à essayer tmaprès avoir lu le projet de document d'un ami où il a exploré un corpus de texte avec UCINET, montrant des nuages de texte, des graphiques de réseau à deux modes et une décomposition en valeur unique (avec des graphiques, en utilisant Stata). J'ai …

14 r text-mining

2

À quel n les n-grammes deviennent-ils contre-productifs?

Lors du traitement du langage naturel, on peut prendre un corpus et évaluer la probabilité que le mot suivant apparaisse dans une séquence de n. n est généralement choisi comme 2 ou 3 (bigrammes et trigrammes). Existe-t-il un point connu où le suivi des données pour la nième chaîne devient …

13 text-mining natural-language

1

Extraction automatique des mots clés: utilisation des similitudes cosinus comme fonctionnalités

J'ai une matrice de termes de document , et maintenant je voudrais extraire des mots-clés pour chaque document avec une méthode d'apprentissage supervisé (SVM, Naive Bayes, ...). Dans ce modèle, j'utilise déjà Tf-idf, Pos tag, ...MMM Mais maintenant, je me pose des questions sur les voisins. J'ai une matrice avec …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

Questions marquées «text-mining»