Qu'est-ce que l'erreur Bayes dans l'apprentissage automatique?


15

http://www.deeplearningbook.org/contents/ml.html La page 116 explique l'erreur bayes comme ci-dessous

Le modèle idéal est un oracle qui connaît simplement la vraie distribution de probabilité qui génère les données. Même un tel modèle entraînera toujours une erreur sur de nombreux problèmes, car il peut y avoir encore du bruit dans la distribution. Dans le cas d'un apprentissage supervisé, le mappage de x à y peut être intrinsèquement stochastique, ou y peut être une fonction déterministe qui implique d'autres variables en plus de celles incluses dans x. L'erreur encourue par un oracle faisant des prédictions à partir de la vraie distribution p (x, y) est appelée l'erreur de Bayes.

Des questions

  1. Veuillez expliquer l'erreur Bayes de manière intuitive?
  2. En quoi est-ce différent de l'erreur irréductible?
  3. Puis-je dire erreur totale = biais + variance + erreur Bayes?
  4. Que signifie "y peut être intrinsèquement stochastique"?

Réponses:


23

y

Par exemple, lors du retournement d'une pièce équitable, nous savons exactement quel processus génère le résultat (une distribution binomiale). Cependant, si nous devions prédire le résultat d'une série de retournements de pièces, nous commettrions toujours des erreurs, car le processus est intrinsèquement aléatoire (c'est-à-dire stochastique).

Pour répondre à votre autre question, vous avez raison de dire que l'erreur totale est la somme du biais (au carré), de la variance et de l'erreur irréductible. Consultez également cet article pour une explication facile à comprendre de ces trois concepts.


-2

Sur https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Pour la tâche de classification, l'erreur bayes est définie comme suit:

mjenF=Cost(F)

unergmjenF=Cost(F)

y=F(X)=sjen(X)y~=y+ttN(0,σ2)

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.