La programmation nltk

7

Qu'est-ce que «l'entropie et le gain d'informations»?

Je lis ce livre ( NLTK ) et c'est déroutant. L'entropie est définie comme : L'entropie est la somme de la probabilité de chaque étiquette multipliée par la probabilité logarithmique de cette même étiquette Comment puis-je appliquer l' entropie et l'entropie maximale en termes d'exploration de texte? Quelqu'un peut-il me …

338 math text computer-science nltk text-mining

15

Échec du chargement de english.pickle avec nltk.data.load

Lorsque vous essayez de charger le punkttokenizer ... import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') ... un a LookupErrorété soulevé: > LookupError: > ********************************************************************* > Resource 'tokenizers/punkt/english.pickle' not found. Please use the NLTK Downloader to obtain the resource: nltk.download(). Searched in: > - 'C:\\Users\\Martinos/nltk_data' > - 'C:\\nltk_data' > - 'D:\\nltk_data' > - …

144 python jenkins nltk

8

Quelles sont toutes les balises POS possibles de NLTK?

Comment trouver une liste avec toutes les balises POS possibles utilisées par le Natural Language Toolkit (nltk)?

141 python nltk

15

n-grammes en python, quatre, cinq, six grammes?

Je cherche un moyen de diviser un texte en n-grammes. Normalement, je ferais quelque chose comme: import nltk from nltk import bigrams string = "I really like python, it's pretty awesome." string_bigrams = bigrams(string) print string_bigrams Je suis conscient que nltk ne propose que des bigrammes et des trigrammes, mais …

137 python string nltk n-gram

9

Comment vérifier si un mot est un mot anglais avec Python?

Je veux vérifier dans un programme Python si un mot est dans le dictionnaire anglais. Je pense que l'interface nltk wordnet pourrait être la solution, mais je n'ai aucune idée de comment l'utiliser pour une tâche aussi simple. def is_english_word(word): pass # how to I implement is_english_word? is_english_word(token.lower()) À l'avenir, …

134 python nltk wordnet

9

Quelle est la différence entre la lemmatisation et la tige?

Quand dois-je utiliser chacun? Aussi ... la lemmatisation NLTK dépend-elle des parties du discours? Ne serait-ce pas plus précis si c'était le cas?

131 python nlp nltk lemmatization

11

Comment se débarrasser de la ponctuation à l'aide du tokenizer NLTK?

Je commence tout juste à utiliser NLTK et je ne comprends pas très bien comment obtenir une liste de mots à partir d'un texte. Si j'utilise nltk.word_tokenize(), j'obtiens une liste de mots et de ponctuation. Je n'ai besoin que des mots à la place. Comment puis-je me débarrasser de la …

125 python nlp tokenize nltk

12

Comment supprimer les mots vides en utilisant nltk ou python

J'ai donc un ensemble de données que je voudrais supprimer des mots vides d'utilisation stopwords.words('english') J'ai du mal à utiliser cela dans mon code pour simplement supprimer ces mots. J'ai déjà une liste des mots de cet ensemble de données, la partie avec laquelle je me bats est de comparer …

110 python nltk stop-words

7

comment vérifier quelle version de nltk, scikit learn est installée?

Dans le script shell, je vérifie si ces packages sont installés ou non, s'ils ne sont pas installés, installez-le. Donc avec le script shell: import nltk echo nltk.__version__ mais il arrête le script shell à la importligne dans le terminal Linux a essayé de voir de cette manière: which nltk …

104 python linux shell scikit-learn nltk

26

problème de pip lors de l'installation de presque toutes les bibliothèques

J'ai du mal à utiliser pip pour installer presque tout. Je suis nouveau dans le codage, alors j'ai pensé que c'était peut-être quelque chose que j'avais mal fait et j'ai choisi de ne pas utiliser easy_install pour obtenir la plupart de ce dont j'avais besoin, ce qui a généralement fonctionné. …

101 python pip nltk easy-install

17

Ressource u'tokenizers / punkt / english.pickle 'introuvable

Mon code: import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') Message d'erreur: [ec2-user@ip-172-31-31-31 sentiment]$ python mapper_local_v1.0.py Traceback (most recent call last): File "mapper_local_v1.0.py", line 16, in <module> tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') File "/usr/lib/python2.6/site-packages/nltk/data.py", line 774, in load opened_resource = _open(resource_url) File "/usr/lib/python2.6/site-packages/nltk/data.py", line 888, in _open return find(path_, path + ['']).open() File "/usr/lib/python2.6/site-packages/nltk/data.py", line …

96 python unix nltk

18

Stanford Parser et NLTK

Est-il possible d'utiliser Stanford Parser dans NLTK? (Je ne parle pas de Stanford POS.)

90 python parsing nlp nltk stanford-nlp

6

Python: tf-idf-cosine: pour trouver la similitude du document

Je suivais un tutoriel qui était disponible dans les parties 1 et 2 . Malheureusement, l'auteur n'a pas eu le temps pour la dernière section qui impliquait d'utiliser la similitude cosinus pour trouver réellement la distance entre deux documents. J'ai suivi les exemples de l'article à l'aide du lien suivant …

90 python machine-learning nltk information-retrieval tf-idf

Questions marquées «nltk»