Comment les bayésiens définissent-ils (ou interprètent-ils exactement) la probabilité?

Partie d'une série d'essayer de comprendre le bayésien vs fréquentiste: 1 2 3 4 5 6 7

Je pense que je comprends la façon dont les bayésiens et les fréquentistes abordent le choix entre les hypothèses , mais je ne sais pas trop si ou comment cela est censé m'expliquer comment ils perçoivent la probabilité.

D'après ce que je comprends, selon Wiki , un fréquentiste "définit" la probabilité comme suit:

Étant donné l'espace de probabilité $(\Omega, \mathscr{F}, \mathbb{P})$, $\forall A \in \mathscr{F}$, $\mathbb{P}(A) \approx \frac{n_A}{n_t}$, où $n_t$ est le nombre d'essais menés et $n_A$ est le nombre de fois où A s'est produit dans ces essais.

En outre, $\mathbb{P}(A) = \lim_{n_t \to \infty} \frac{n_A}{n_t}$.

D'accord, alors comment les bayésiens définissent-ils la probabilité? Ce qui précède semble être une approche pour calculer la probabilité d'un événement en plus de définir une probabilité.

Les bayésiens semblent supposer une probabilité antérieure, effectuer des essais puis mettre à jour leur probabilité, mais cela ne semble pas vraiment expliquer comment ils définissent ce qu'est la probabilité.

Le wiki dit que «la probabilité bayésienne est une quantité que nous attribuons dans le but de représenter un état de connaissance ou un état de croyance».

Qu'est-ce que ça veut dire exactement? L'État est-il synonyme de degré? Par exemple, l'état de croyance de Walter qu'une pièce particulière est juste est représenté par le nombre 0,1 tandis que l'état de croyance de Jesse que la même pièce est juste est représenté par le nombre 0,2. Compte tenu de nouvelles informations, l'état de croyance de Walter pourrait devenir 0,96 tandis que l'état de croyance de Jesse pourrait devenir 0,03. Donc, au départ, Walter était moins enclin à croire que la pièce était juste, mais plus tard Jesse était plus enclin à croire que la pièce était juste?

J'espère quelque chose en termes de symboles comme le fréquentiste ci-dessus.

La même page Wiki dit: «L'interprétation bayésienne de la probabilité peut être considérée comme une extension de la logique propositionnelle qui permet de raisonner avec des hypothèses, c'est-à-dire les propositions dont la vérité ou la fausseté est incertaine.», Il semble que la probabilité bayésienne et fréquentiste est analogue à Logique booléenne, respectivement.

Je pense que la plupart des `` fréquentistes '' et des `` bayésiens '' définiraient rigoureusement la probabilité de la même manière: via les axiomes et la théorie de la mesure de Kolmogorov , modulez quelques problèmes concernant l' additivité finie vs comptable , en fonction de la personne à qui vous parlez. Donc, en termes de «symboles», je pense que vous trouverez probablement plus ou moins la même définition dans tous les domaines. Tout le monde est d'accord sur le comportement des probabilités .

Je dirais que la principale différence réside dans l'interprétation de ce que sont les probabilités . Mon interprétation préférée (bayésienne militante ironique) est que les probabilités sont des représentations cohérentes d'informations sur les événements .

`` Cohérent '' a ici une signification technique: cela signifie que si je représente mes informations sur le monde en termes de probabilités et que j'utilise ensuite ces probabilités pour évaluer mes paris sur la survenance ou la non-survenance d'un événement donné, je suis assuré que je ne peux pas devenir un perdant sûr par des agents pariant contre moi.

Notez que cela n'implique aucune notion de «fréquence relative à long terme»; en effet, je peux représenter de manière cohérente mes informations sur un événement ponctuel - comme le soleil qui explose demain - via le langage des probabilités. D'un autre côté, il semble plus difficile (ou sans doute moins naturel) de parler de l'événement "le soleil va exploser demain" en termes de fréquence relative à long terme.

Pour approfondir cette question, je vous renvoie au premier chapitre des excellents (et gratuits) principes d'incertitude de Jay Kadane .

MISE À JOUR : J'ai écrit un billet de blog relativement informel qui illustre la cohérence.

Comme déjà noté par d'autres, il n'y a pas de définition bayésienne spécifique de la probabilité. Il n'y a qu'une seule façon de définir la probabilité, c'est-à-dire un nombre réel attribué à un événement par une mesure de probabilité, qui suit les axiomes de probabilité . S'il y avait différentes définitions de la probabilité, nous ne pourrions pas l'utiliser de manière cohérente, car différentes personnes comprendraient différentes choses derrière.

Bien qu'il n'y ait qu'une seule façon de la définir , il existe plusieurs façons d' interpréter la probabilité. La probabilité est un concept mathématique , sans aucun rapport avec le monde réel (citant de Finetti, "la probabilité n'existe pas"). Pour l'appliquer au monde réel, nous devons traduire ou interpréter les mathématiques en événements du monde réel. Il existe plusieurs façons différentes d'interpréter la probabilité, voire différentes interprétations parmi les Bayésiens (consultez la section Interprétations des probabilités dans la Stanford Encyclopedia of Philosophy pour une revue). Celui qui est le plus souvent associé aux statistiques bayésiennes est la vision subjectiviste , également connue sous le nom de probabilité personnalisée .

Dans la perspective subjectiviste, la probabilité est un degré de croyance ou un degré de confirmation . Il mesure combien quelqu'un considère quelque chose de crédible. Elle peut être analysée ou observée, plus clairement en termes de comportement de pari (de Finetti, 1937; voir aussi Savage, 1976; Kemeny, 1955):

Supposons qu'un individu soit obligé d'évaluer le taux auquel il serait prêt à échanger la possession d'une somme arbitraire (positive ou négative) en fonction de la survenance d'un événement donné , pour la possession de la somme ; on dira par définition que ce nombre est la mesure du degré de probabilité attribué par l'individu considéré à l'événement , ou, plus simplement, que est la probabilité de (selon l'individu considéré; cette spécification peut être implicite s'il n'y a pas d'ambiguïté).$p$$S$$E$$pS$$p$$E$$p$$E$

Le pari est l'une des situations où l'on a besoin de quantifier la "probabilité" qu'il croit que quelque chose est et la mesure d'une telle croyance est clairement une probabilité. Traduire cette croyance en nombres, au moins en mesure de croire, c'est-à-dire la probabilité.

Bruno de Finetti, l'une des figures majeures des subjectivistes, constate que la vision subjectiviste est cohérente avec les axiomes de probabilité et doit les suivre:

Si nous reconnaissons seulement, d'abord qu'un événement incertain ne peut nous apparaître (a) également probable, (b) plus probable, ou (c) moins probable, puis un autre; deuxièmement, un événement incertain nous semble toujours plus probable qu'un événement impossible et moins probable qu'un événement nécessaire; et enfin, troisièmement que lorsque nous jugeons un événement plus probable que l'événement , qui est lui-même plus probable qu'un événement , alors l'événement ne peut apparaître que plus probable que$E'$$E$$E''$$E'$$E''$ (propriété transitive), il suffira d'y ajouter trois axiomes évidemment triviaux un quatrième, lui-même de nature purement qualitative, pour construire rigoureusement toute la théorie des probabilités. Le quatrième axiome nous dit que les inégalités sont préservées en sommes logiques: si est incompatible avec et avec , alors sera plus ou moins probable que , ou elles seront également probables, selon l'endroit où est plus ou moins probable que , ou ils sont également probables. Plus généralement, on peut en déduire que deux inégalités, telles que$E$$E_1$$E_2$$E_1 \lor E$$E_2 \lor E$$E_1$$E_2$

$$E_1 \text{ is more probable then } E_2,\\ E_1' \text{ is more probable then } E_2',$$

peut être ajouté pour donner

$$E_1 \lor E_1' \text{ is more probable then } E_2 \lor E_2'$$

à condition que les événements ajoutés soient incompatibles entre eux ( avec , avec ).$E_1$$E_1'$$E_2$$E_2'$

Des arguments similaires sont avancés par plusieurs auteurs différents, comme Kemeny (1955) ou Savage (1972), qui, comme De Finetti, établissent des liens entre les axiomes et la vision subjectiviste de la probabilité. Ils montrent également qu'une telle mesure de la croyance doit être cohérente avec les axiomes de la probabilité (donc si elle ressemble à une probabilité et quacks comme une probabilité ...). De plus, Cox (1946) montre que la probabilité peut être considérée comme une extension de la logique formelle qui va au-delà du vrai et du faux binaire, permettant des incertitudes.

Comme vous pouvez le voir, cela n'a rien à voir avec les fréquences. Bien sûr, si vous observez que les fumeurs de nicotine meurent du cancer plus souvent que les non-fumeurs, vous supposeriez rationnellement que cette mort est plus crédible pour un fumeur, donc l'interprétation de la fréquence ne contredit pas le point de vue subjectiviste. Ce qui rend cette interprétation attrayante, c'est qu'elle peut également s'appliquer à des cas qui n'ont rien à voir avec les fréquences (par exemple, la probabilité que Donald Trump remporte l'élection présidentielle américaine de 2016, la probabilité qu'il existe d'autres formes de vie intelligentes quelque part dans l'espace à part nous, etc.). ). Lorsque vous adoptez une vision subjectiviste, vous pouvez considérer ces cas de manière probabiliste et construire des modèles statistiques de tels scénarios (voir l'exemple de prévision des élections par FiveThirtyEight, ce qui est cohérent avec la réflexion sur la probabilité comme mesure du degré de croyance sur la base des preuves disponibles). Cela rend cette interprétation très large (certains disent, trop large), de sorte que nous pouvons adapter avec souplesse la pensée probabiliste à différents problèmes. Oui, c'est subjectif, mais de Finetti (1931) constate que la définition fréquentiste étant basée sur de multiples hypothèses irréalistes, elle ne la rend pas plus "rationnelle".

de Finetti, B. (1937/1980). La Prévision: Ses Lois Logiques, Ses Sources Subjectives. [ Prévoyance. Ses lois logiques, ses sources subjectives. ] Annales de l'Institut Henri Poincaré, 7, 1-68.

Kemeny, J. (1955). Paris équitables et probabilités inductives. Journal of Symbolic Logic, 20, 263-273.

Savage, LJ (1972). Les fondements de la statistique . Douvres.

Cox, RT (1946). Probabilité, fréquence et attente raisonnable. Journal américain de physique, 14 (1), 1-13.

de Finetti, B. (1931/1989). «Probabilisme: un essai critique sur la théorie des probabilités et sur la valeur de la science». Erkenntnis, 31, 169-223.

Je vais essayer d'être incroyablement clair avec ma terminologie. Comme vous l'avez fait, nous nous concentrerons sur une pièce, , donc .$X \sim Bernoulli(p)$$Pr(X=1) = p$

Les bayésiens et les fréquentistes considèrent tous deux comme une variable aléatoire et partagent les mêmes vues sur la distribution de probabilité . Cependant, les bayésiens utilisent également des distributions de probabilité pour modéliser leur incertitude sur un paramètre fixe, dans ce cas .$X$$Pr(X)$$p$

Si nous laissons maintenant et définissons , comme vous l'avez souligné$x_1, x_2, \dots \sim Bernoulli(p)$$h_n = \sum_{i=1}^n x_i$

Ceci est pertinent car est le MLE pour . Notez cependant que pour tout nombre positif (en fait, il n'est même pas nécessaire qu'il soit positif):$h_n/n$$p$$a,b$

Un inconvénient de l'estimateur est que pour les petits cela peut être fou. L'exemple le plus extrême est lorsque , notre estimation de sera ou . Et si nous fixions et utilisons la deuxième estimation. Si nous obtenons un au premier flip, notre estimation mise à jour est , supérieure à mais pas aussi extrême que .$h_n/n$$n$$n = 1$$p$$0$$1$$a=b=5$$1$$6/11$$50\%$$1$

Cette estimation plus restreinte peut être facilement dérivée en exprimant notre incertitude sur sous la forme d'une distribution antérieure (et éventuellement postérieure). Si vous souhaitez consulter cet exemple en profondeur, il s'agit du bêta-binôme . Il s'agit de mettre un Beta a priori sur le paramètre d'une Distribution Binomiale, et de prendre l'attente du postérieur résultant.$p$