Pourquoi briser le dénominateur du théorème de Bayes?

(Je suis un débutant dans les statistiques. Je suis mathématicien et programmeur et j'essaie de créer quelque chose comme un filtre anti-spam bayésien naïf.)

J'ai remarqué à de nombreux endroits que les gens ont tendance à briser le dénominateur dans l'équation du théorème de Bayes. Donc au lieu de ça:

$\frac{P(A|B)\cdot P(B)}{P(A)}$

On nous présente ceci:

$\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)}$

Vous pouvez voir que cette convention est utilisée dans cet article Wikipedia et dans cet article perspicace de Tim Peters.

Je suis déconcerté par cela. Pourquoi le dénominateur se décompose-t-il ainsi? Comment cela aide-t-il les choses? Qu'est-ce qui est si compliqué dans le calcul de , ce qui serait le cas dans le cas des filtres anti-spam ?$P(A)$The probability that the word "cheese" appears in an email, regardless of whether it's spam or not

La réponse courte à votre question est: "la plupart du temps, nous ne savons pas ce qu'est le P (fromage), et il est souvent (relativement) difficile à calculer."

La réponse la plus longue pour laquelle la règle / le théorème de Bayes est normalement énoncée dans la façon dont vous avez écrit est parce que dans les problèmes bayésiens, nous avons - assis sur nos genoux - une distribution antérieure (le P (B) ci-dessus) et une probabilité (le P (A | B), P (A | notB) ci-dessus) et c'est une question de multiplication relativement simple de calculer le postérieur (le P (B | A)). Prendre la peine de ré-exprimer P (A) dans sa forme résumée est un effort qui pourrait être dépensé ailleurs.

Cela peut ne pas sembler si compliqué dans le contexte d'un e-mail car, comme vous l'avez noté à juste titre, c'est juste du P (fromage), non? Le problème est qu'avec des problèmes bayésiens plus complexes sur le champ de bataille, le dénominateur est une intégrale inesthétique, qui peut ou non avoir une solution de forme fermée. En fait, nous avons parfois besoin de méthodes de Monte Carlo sophistiquées juste pour approximer l'intégrale et le barattage des nombres peut être une vraie douleur à l'arrière.

Mais plus précisément, nous ne nous soucions généralement pas de ce qu'est le P (fromage). Gardez à l'esprit que nous essayons d'affiner notre croyance quant à savoir si un e-mail est un spam ou non , et nous ne nous soucions pas de la distribution marginale des données (le P (A), ci-dessus). C'est juste une constante de normalisation, de toute façon, qui ne dépend pas du paramètre; l'acte de sommation efface toutes les informations que nous avions sur le paramètre. La constante est une nuisance à calculer et n'est finalement pas pertinente lorsqu'il s'agit de se concentrer sur nos croyances quant à savoir si le spam de l'e-mail est ou non. Parfois, nous sommes obligés de le calculer, auquel cas le moyen le plus rapide de le faire est avec les informations que nous avons déjà: la priorité et la probabilité.

L'une des raisons d'utiliser la règle de probabilité totale est que nous traitons souvent les probabilités des composants dans cette expression et il est simple de trouver la probabilité marginale en branchant simplement les valeurs. Pour une illustration de cela, voir l'exemple suivant sur Wikipedia:

• Théorème de Bayes> Exemple 1: Dépistage des drogues

Une autre raison est de reconnaître des formes équivalentes de la règle de Bayes en manipulant cette expression. Par exemple:

$P(B|A) = \frac{P(A|B) P(B)}{P(A|B)P(B) + P(A|\lnot B)P(\lnot B)}$

Divisez le RHS par le numérateur:

$P(B|A) = \frac{1} {1 + \frac{P(A|\lnot B)}{P(A|B)} \frac{P(\lnot B)}{P(B)}}$

Ce qui est une belle forme équivalente pour la règle de Bayes, rendue encore plus pratique en soustrayant cela de l'expression originale pour obtenir:

$\frac{P(\lnot B|A)}{P(B|A)} = \frac{P(A|\lnot B)} {P(A|B)} \frac {P(\lnot B)} {P(B)}$

C'est la règle de Bayes énoncée en termes de cotes, c'est-à-dire les cotes postérieures contre B = facteur Bayes contre B fois les cotes antérieures contre B. (Ou vous pouvez l'inverser pour obtenir une expression en termes de cotes pour B.) Le facteur Bayes est le rapport des probabilités de vos modèles. Étant donné que nous ne sommes pas sûrs du mécanisme de génération de données sous-jacent, nous observons les données et mettons à jour nos croyances.

Je ne sais pas si vous trouvez cela utile, mais j'espère que ce n'est pas déroutant; vous devez évidemment travailler avec l'expression qui convient le mieux à votre scénario. Peut-être que quelqu'un d'autre peut intervenir avec de meilleures raisons.

$P (A)$

$P(A)$$P(A | B)$$B$$P(A | B)$$P(A | \neg B)$$B$$\neg B$$P(A | B)$$P(A | \neg B)$$P(B)$$P(\neg B)$