Cette question porte sur l'algorithme génératif contre discriminant, mais quelqu'un peut-il donner un exemple de la différence entre ces formes lorsqu'il est appliqué au traitement du langage naturel? Comment les modèles génératifs et discriminants sont-ils utilisés dans la PNL?
Réponses:
Disons que vous prédisez le sujet d'un document en fonction de ses mots.
Un modèle génératif décrit la probabilité de chaque sujet et la probabilité que des mots lui soient donnés. C'est ainsi que les documents sont "générés" par le monde - un sujet se pose selon une certaine distribution, des mots surgissent à cause du sujet, vous avez un document. Le classement des documents des mots W dans le sujet T consiste à maximiser la vraisemblance conjointe: P (T, W) = P (W | T) P (T)
Un modèle discriminant fonctionne en ne décrivant que la probabilité qu'un sujet reçoive les mots. Il ne dit rien sur la probabilité que les mots ou le sujet soient en eux-mêmes. La tâche consiste à modéliser P (T | W) directement et à trouver le T qui maximise cela. Ces approches ne se soucient pas directement de P (T) ou P (W).