Fondamentalement, dessinez simplement un diagramme de Venn de deux cercles qui se chevauchent et qui sont censés représenter des ensembles d'événements. Appelez-les A et B. Maintenant, l'intersection des deux est P (A, B) qui peut être lu comme probabilité de A ET B. Par les règles de base de probabilité, P (A, B) = P (A | B) P (B). Et comme il n'y a rien de spécial entre A et B, ce doit aussi être P (B | A) P (A). Assimiler ces deux vous donne le théorème de Bayes.
Le théorème de Bayes est vraiment assez simple. Les statistiques bayésiennes sont plus difficiles pour deux raisons. La première est qu'il faut un peu d'abstraction pour passer de parler de rôles aléatoires de dés à la probabilité qu'un fait soit vrai. Cela vous obligeait à avoir un a priori et cet a priori affecte la probabilité postérieure que vous obtenez à la fin. Et lorsque vous devez marginaliser de nombreux paramètres en cours de route, il est plus difficile de voir exactement comment il est affecté.
Certains trouvent que cela semble une sorte de circulaire. Mais vraiment, il n'y a aucun moyen de contourner cela. Les données analysées avec un modèle ne vous mènent pas directement à la vérité. Rien ne fait. Il vous permet simplement de mettre à jour vos croyances de manière cohérente.
L'autre chose difficile à propos des statistiques bayésiennes est que les calculs deviennent assez difficiles, sauf pour des problèmes simples et c'est pourquoi toutes les mathématiques sont utilisées pour y faire face. Nous devons profiter de toutes les symétries que nous pouvons pour faciliter les calculs, sinon recourir aux simulations de Monte Carlo.
Les statistiques bayésiennes sont donc difficiles, mais le théorème de Bayes n'est vraiment pas difficile du tout. N'y pensez pas trop! Il découle directement du fait que l'opérateur "ET", dans un contexte probabiliste, est symétrique. A ET B sont les mêmes que B ET A et tout le monde semble le comprendre intuitivement.
