Pourquoi personne n'utilise le classificateur bayésien multinomial Naive Bayes?

Ainsi, dans la modélisation de texte (non supervisée), l'allocation de Dirichlet latent (LDA) est une version bayésienne de l'analyse sémantique probabiliste latente (PLSA). Essentiellement, LDA = PLSA + Dirichlet prioritaire sur ses paramètres. Ma compréhension est que LDA est maintenant l'algorithme de référence et est implémenté dans divers packages, tandis que PLSA ne devrait plus être utilisé.

Mais dans la catégorisation de texte (supervisée), nous pourrions faire exactement la même chose pour le classificateur multinomial Naive Bayes et mettre un Dirichlet avant sur les paramètres. Mais je ne pense pas avoir vu quelqu'un faire ça, et la version "ponctuelle" de Naive Bayes multinomiale semble être la version implémentée dans la plupart des packages. Y a-t-il une raison à cela?

Voici un bel article qui aborde certaines des lacunes «systémiques» du classificateur multinomial Naive Bayes (MNB). L'idée est que vous pouvez augmenter les performances de MNB grâce à quelques ajustements. Et ils mentionnent l'utilisation de prieurs Dirichlet (uniformes).

Dans l'ensemble, si vous êtes intéressé par MNB et que vous n'avez pas encore lu ce document, je vous recommande fortement de le faire.

J'ai également trouvé une thèse de maîtrise accompagnant la même personne / les mêmes personnes, mais je ne l'ai pas encore lu moi-même. Vous pouvez le vérifier.

Je soupçonne que la plupart des implémentations NB permettent d'estimer les probabilités conditionnelles avec la correction de Laplace , ce qui donne une solution MAP au classificateur bayésien NB (avec un Dirichlet particulier avant). Comme le souligne @Zhubarb (+1), les traitements bayésiens des classificateurs NB ont déjà été dérivés et mis en œuvre (les thèses / articles de Rennie valent la peine d'être lus). Cependant, l'hypothèse d'indépendance de NB est presque toujours erronée, auquel cas le fait de rendre le modèle plus fortement dépendant de cette hypothèse (via un traitement bayésien complet) pourrait ne pas être une bonne chose à faire.

Je ne crois pas que ce que vous décrivez soit vrai. Les modèles probabilistes pour LDA et MNB sont différents.

Une différence principale entre les deux est que dans le modèle génératif pour LDA, quand un mot est dessiné, d'abord un sujet pour ce mot est choisi, puis un mot de cette distribution de sujet est choisi. Iow chaque mot dans un document peut être tiré d'un sujet différent.

Dans le modèle génératif pour MNB, le document est affecté à une classe et tous les mots de ce document sont tirés de la (même) distribution pour cette classe.