Existe-t-il un domaine dans lequel les réseaux Bayesian surpassent les réseaux de neurones?


48

Les réseaux de neurones obtiennent les meilleurs résultats dans les tâches de vision par ordinateur (voir MNIST , ILSVRC , Kaggle Galaxy Challenge ). Ils semblent surperformer toutes les autres approches de Computer Vision. Mais il y a aussi d'autres tâches:

Je ne suis pas trop sûr de l'ASR (reconnaissance vocale automatique) ni de la traduction automatique, mais je pense aussi avoir entendu dire que les réseaux de neurones (récurrents) (commencent à) surpassent les autres approches.

J'apprends actuellement sur les réseaux bayésiens et je me demande dans quels cas ces modèles sont généralement appliqués. Donc ma question est:

Existe-t-il un défi / concurrence (Kaggle), où l'état de l'art est constitué de réseaux bayésiens ou au moins de modèles très similaires?

(Note latérale: j'ai aussi vu des arbres de décision , 2 , 3 , 4 , 5 , 6 , 7 gagner dans plusieurs récents défis Kaggle)


Ce n'est pas une question de domaine. C'est une question de savoir combien de données vous avez, quelle est la qualité de vos a priori et si vous voulez des postérieurs.
Emre

1
@ Emre Ce qui est une question de domaine ... (et, bien sûr, d'argent lorsque vous avez la possibilité non seulement d'utiliser des ensembles de données existants, mais également d'engager du personnel pour créer / étiqueter de nouvelles données).
Martin Thoma

Ce serait une question de domaine s'il existait une propriété des données, une structure, qu'un algorithme en tirait meilleur parti que l'autre, mais ce n'est pas ce que je propose.
Emre

2
Donc, la réponse à votre question est alors, non . Droite? Parce que toutes les réponses semblent mettre en évidence les avantages des réseaux bayésiens par rapport aux autres modèles prédictifs, je n’ai jamais vu de concurrence de Kaggle où ils surpassent en réalité d’autres modèles. Quelqu'un peut-il en fournir un? Parce que toutes les raisons et les avantages possibles, tels que le manque de données et le choix de bons prédateurs, donnés dans les réponses, semblent excellents en théorie, mais ne répondent toujours pas à la question en fournissant au moins un exemple.
MNLR

Une chose est que les réseaux bayésiens peuvent être utiles pour un apprentissage / des tâches non supervisés où la quantité de données est relativement limitée. Les réseaux de neurones ne surpassent les autres que s’il ya une quantité énorme de données sur lesquelles il faut former.
xji

Réponses:


31

L'un des domaines où les approches bayésiennes sont souvent utilisées est celui où il est nécessaire d'interpréter le système de prévision. Vous ne voulez pas donner aux médecins un réseau de neurones et leur dire qu'il est précis à 95%. Vous souhaitez plutôt expliquer les hypothèses de votre méthode, ainsi que le processus de décision utilisé.

Le même domaine se présente lorsque vous avez une connaissance approfondie du domaine et que vous souhaitez l’utiliser dans le système.



Voir aussi: citron vert
Martin Thoma

18

Les réseaux bayésiens et les réseaux de neurones ne sont pas exclusifs les uns des autres. En fait, les réseaux bayésiens ne sont qu'un autre terme pour "modèle graphique dirigé". Ils peuvent être très utiles lors de la conception de réseaux de neurones à fonctions objectives. Yann Lecun a souligné ce point ici: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Un exemple.

Le codeur automatique variationnel et ses dérivés sont des modèles graphiques dirigés de la formeUn réseau de neurones est utilisé pour implémenter et une approximation de son inverse: .p ( x | z ) q ( z | x ) p ( z | x )

p(x)=zp(x|z)p(z)dz.
p(x|z)q(z|x)p(z|x)

Les deux parties peuvent-elles être formées conjointement?
nn0p

16

Excellentes réponses déjà.

Un domaine auquel je peux penser et sur lequel je travaille beaucoup est le domaine de l' analyse client .

Je dois comprendre et prédire les mouvements et les motivations des clients afin d'informer et de prévenir à la fois le service client, le marketing et les équipes de croissance.

Donc, ici, les réseaux de neurones font un très bon travail dans la prévision du taux de désabonnement, etc. Mais, j’ai trouvé et préfère le style de réseau bayésien, et voici les raisons de le préférer:

  1. Les clients ont toujours un motif. Ils ont toujours une raison d'agir. Et cette raison serait quelque chose que mon équipe a fait pour eux, ou ils ont appris par eux-mêmes. Donc, tout a un précédent ici, et en fait cette raison est très importante car elle alimente l'essentiel de la décision prise par le client.
  2. Chaque mouvement du client et des équipes de croissance dans l'entonnoir marketing / vente est un effet à effet. La connaissance préalable est donc essentielle pour convertir un prospect potentiel en client.

Le concept de prior est donc très important pour l’analyse client, ce qui rend le concept de réseaux bayésiens très important pour ce domaine.


Apprentissage suggéré:

Méthodes bayésiennes pour les réseaux de neurones

Réseaux Bayésiens en Business Analytics


15

Parfois, il est aussi important de changer le résultat que de le prédire.

Un réseau de neurones disposant de suffisamment de données d'entraînement aura tendance à mieux prédire le résultat, mais une fois que vous pouvez prédire le résultat, vous pouvez alors prédire l'effet de la modification des caractéristiques d'entrée sur le résultat.

Un exemple tiré de la vie réelle, savoir qu’une personne est susceptible d’être victime d’une crise cardiaque, est utile, mais pouvoir lui dire que s’il arrête de faire XX, le risque serait réduit de 30%, ce qui serait beaucoup plus bénéfique.

De même, pour fidéliser la clientèle, savoir pourquoi les clients cessent de faire des achats avec vous vaut autant que de prédire les clients susceptibles de cesser de faire des achats avec vous.

De même, un réseau bayésien plus simple qui prédit moins bien mais qui conduit à davantage de mesures peut souvent être meilleur qu’un réseau bayésien plus «correct».

Le plus gros avantage des réseaux bayésiens par rapport aux réseaux de neurones est qu'ils peuvent être utilisés pour l'inférence causale. Cette branche est d’une importance fondamentale pour les statistiques et l’apprentissage automatique et Judea Pearl a remporté le prix Turing pour cette recherche.


Mais les réseaux de neurones peuvent également être utilisés pour déterminer le rôle et l'importance de différentes fonctionnalités, n'est-ce pas?
Hossein

7

Les réseaux bayésiens pourraient surperformer les réseaux de neurones dans un environnement de données réduit. Si les informations préalables sont correctement gérées via la structure du réseau, les a priori et d’autres hyperparamètres, elles pourraient avoir un avantage sur les réseaux de neurones. Les réseaux de neurones, en particulier ceux comportant plus de couches, sont très connus pour avoir faim de données. Presque par définition, de nombreuses données sont nécessaires pour bien les former.


4

J'ai posté ce lien sur Reddit et reçu beaucoup de commentaires. Certains ont posté leurs réponses ici, d'autres pas. Cette réponse devrait résumer le post de reddit. (J'ai créé le wiki de la communauté pour ne pas avoir de points)



2

J'ai fait un petit exemple pour cette fois. À partir de cela, je pense que les réseaux bayésiens sont préférables si vous souhaitez capturer une distribution mais que votre jeu de formation d’entrée ne couvre pas bien la distribution. Dans de tels cas, même un réseau neuronal qui généraliserait bien ne serait pas capable de reconstruire la distribution.


-3

Je ne suis pas du tout d'accord avec le fait que les réseaux de neurones font bien les autres apprenants. En fait, les réseaux neuronaux se portent plutôt mal par rapport aux autres méthodes. Il n’existe pas non plus de méthodologie, malgré quelques conseils sur le choix des paramètres, ce qui est souvent fait par hasard. Il y a des types qui discutent aussi au hasard sur les forums de la façon dont les réseaux neuronaux sont si bons, non pas parce qu'ils ont des preuves à ce sujet, mais parce qu'ils sont attirés par le mot fantaisie et mot à la mode "neural". Ils sont également très instables, avez-vous essayé un réseau de neurones à comparer avec xgboost? Je ne vais pas essayer un réseau de neurones tant qu'il ne sera pas conscient de lui-même .Alors jusque-là, un réseau de neurones heureux :)


3
Ceci est trop vague et conversationnel pour faire une bonne réponse. Quelques détails, faits et corrections l’amélioreraient.
Sean Owen

"Des faits spécifiques" doivent être spécifiés par les personnes postant des messages tels que les réseaux de neurones sont les meilleurs, vous ne pouvez pas dire que les réseaux de neurones fonctionnent bien simplement parce qu'ils semblent fantaisistes, il existe également des ensembles de données dans lesquels les réseaux de neurones le font probablement mauvais de manière à obtenir de meilleurs résultats.
GM1

1
Bien que je ne nie pas votre point de vue, vous ne devriez pas non plus savoir que votre réponse ne répond pas vraiment à la question. Envisagez donc de l'ajouter en tant que commentaire. Et, veuillez ajouter toute preuve concrète et toute théorie à l’appui de votre réponse, sans quoi les futurs téléspectateurs pourraient la regarder comme une
diabolique

1
@ gm1 Je suppose que vous vouliez dire «avec des faits spécifiques» devrait être spécifié par les personnes qui publient des messages comme celui-ci, indiquant que les réseaux de neurones sont les meilleurs ». S'il vous plaît noter que je n'ai pas écrit une déclaration qui était ce général. J'ai écrit que NN gagne dans de nombreuses compétitions / tâches de CV. Et j'ai ajouté quelques défis pour lesquels les approches de réseaux de neurones ont gagné.
Martin Thoma

Bonjour, Il existe bien sûr certaines compétitions Kaggle dans lesquelles les réseaux neuronaux ont bien fonctionné (en supposant qu’ils n’utilisent pas les réseaux neuronaux combinés avec d’autres modèles), mais il s’agit d’une faible proportion de toutes les compétitions Kaggle. Pourriez-vous utiliser un réseau neuronal? TOP 3 dans kaggle TFI? Je pense que je suis capable de faire à la fois pour LB public et privé avec un modèle qui n'est pas linéaire.
GM1
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.