Quand Naive Bayes fonctionne-t-il mieux que SVM?

Dans un petit problème de classification de texte que je regardais, Naive Bayes a présenté une performance similaire ou supérieure à un SVM et j'étais très confus.

Je me demandais quels facteurs décident du triomphe d'un algorithme sur l'autre. Y a-t-il des situations où il est inutile d'utiliser Naive Bayes sur SVM? Quelqu'un peut-il faire la lumière là-dessus?

— Légende
source

Suivez ce lien pour un tutoriel

— q12

Il n'y a pas de réponse unique quant à la meilleure méthode de classification pour un ensemble de données donné . Différents types de classificateurs doivent toujours être considérés pour une étude comparative sur un ensemble de données donné. Compte tenu des propriétés de l'ensemble de données, vous pouvez avoir des indices qui peuvent donner la préférence à certaines méthodes. Cependant, il serait toujours conseillé d'expérimenter avec tous, si possible.

Naive Bayes Classifier (NBC) et Support Vector Machine (SVM) ont différentes options, y compris le choix de la fonction du noyau pour chacun. Ils sont tous deux sensibles à l'optimisation des paramètres (c.-à-d. Que la sélection de paramètres différents peut modifier considérablement leur sortie) . Donc, si vous avez un résultat montrant que NBC fonctionne mieux que SVM. Cela n'est vrai que pour les paramètres sélectionnés. Cependant, pour une autre sélection de paramètres, vous pourriez trouver que SVM fonctionne mieux.

En général, si l'hypothèse d'indépendance du NBC est satisfaite par les variables de votre ensemble de données et que le degré de chevauchement des classes est faible (c.-à-d. La limite de décision linéaire potentielle), le NBC devrait réussir. Pour certains jeux de données, avec l'optimisation à l'aide de la sélection de fonctionnalités d'encapsuleur, par exemple, NBC peut vaincre d'autres classificateurs. Même s'il atteint des performances comparables, NBC sera plus souhaitable en raison de sa vitesse élevée.

En résumé, nous ne devrions pas préférer une méthode de classification si elle surpasse les autres dans un contexte car elle pourrait échouer gravement dans un autre. ( C'EST NORMAL DANS LES PROBLÈMES D'EXPLOITATION DE DONNÉES ).

— soufanom
source

(+1) Également appelé théorème du déjeuner gratuit . Cependant, je ne suis pas entièrement d'accord avec la comparaison de la sensibilité des paramètres (l'arbre de décision unique est l'une des approches les plus sensibles à mon humble avis), mais nous ne devrions pas en discuter ici :).

— steffen

@steffen, merci pour votre précieux commentaire. Il existe de nombreuses façons d'optimiser les modèles et je suis d'accord pour dire que nous ne pouvons pas généraliser quel modèle est le plus sensible dans tous les cas. Pour la sélection des fonctionnalités, les DT sont, probablement, moins sensibles que NBC mais ce n'est peut-être pas le cas en général. Je vais modifier la réponse pour prendre en compte votre commentaire et si vous le souhaitez, vous pouvez également le modifier. Merci beaucoup :).

— soufanom

+1 pour le commentaire sur la sensibilité des paramètres. Il convient également de noter qu'une grande partie de la théorie qui sous-tend les SVM s'applique aux modèles avec un noyau fixe, de sorte que dès que vous essayez d'optimiser les hyper-paramètres (qui doivent être effectués et effectués avec soin), une grande partie de la base théorique ne s'applique plus.

— Dikran Marsupial