Probabilité vs probabilité

J'ai des difficultés avec Likelihoods . Je comprends le théorème de Bayes

$$p(A|B, \mathcal{H}) = \frac{p(B|A, \mathcal{H}) p(A|\mathcal{H})}{p(B|\mathcal{H})}$$

qui peut être directement déduit de l'application $p(A,B) = p(B) \cdot p(A|B) = p (A) p(B|A) = p(B,A)$. Ainsi, dans mon interprétation, le$p(\cdot)$Les fonctions du théorème de Bayes sont en quelque sorte toutes des probabilités, qu'elles soient marginales ou conditionnelles. J'ai donc pensé que la vraisemblance en tant que concept était davantage une vision fréquentiste de la probabilité inverse.

Cependant, j'ai maintenant vu à plusieurs reprises des déclarations dans les livres des bayésianistes qui disent que la probabilité n'est pas une distribution de probabilité. En lisant le livre de MacKay hier, je suis tombé sur la déclaration suivante

"[...] il est important de noter que les termes vraisemblance et probabilité ne sont pas synonymes. La quantité $P(n_b|u,N)$ est fonction des deux $n_B$ et $u$. Pour fixe$u$, $P(n_b|u,N)$ définit une probabilité sur $n_B$, pour fixe $n_B$, $P(n_B|u,N)$ définit la ressemblance de $u$. "

• Je comprends cela comme suit: $p(A|B)$ est une probabilité de $A$ sous donné $B$, donc une fonction $\text{probability} : \mathcal{A}\to [0,1]$. Mais en considérant une valeur donnée$a \in A$ et évaluer $p(A=a|B)$la dépendance de différents $b\in\mathcal{B}$nous utilisons en fait une fonction différente $L : \mathcal{B}\to[0,1]$.

• Cette interprétation est-elle correcte?

• Peut-on alors dire que les méthodes du maximum de vraisemblance pourraient être motivées par le théorème bayésien, où l'a priori est choisi pour être constant?

Je pense que la meilleure façon d'expliquer la notion de probabilité est peut-être de considérer un exemple concret. Supposons que je dispose d'un échantillon d'observations IID tirées d'une distribution de Bernoulli avec une probabilité de réussite inconnue$p$: $X_i \sim {\rm Bernoulli}(p)$, $i = 1, \ldots, n$, de sorte que la fonction de masse de probabilité conjointe de l'échantillon est

$$\Pr[{\boldsymbol X} = \boldsymbol x \mid p] = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$$ Cette expression caractérise également la probabilité de , étant donné un échantillon observé : Mais si nous considérons comme une variable aléatoire, cette probabilité n'est pas une densité: Elle est cependant proportionnelle à une densité de probabilité, c'est pourquoi nous disons que c'est une probabilité que soit une valeur particulière compte tenu de l'échantillon - elle représente, dans un certain sens, la plausibilité relative de étant une certaine valeur pour les observations que nous avons faites.$p$$\boldsymbol x = (x_1, \ldots, x_n)$ $$L(p \mid \boldsymbol x) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}.$$ $p$ $$\int_{p=0}^1 L(p \mid \boldsymbol x) \, dp \ne 1.$$ $p$$p$

Par exemple, supposons et l'échantillon était . Intuitivement, nous conclurions que est plus susceptible d'être plus proche de que de , car nous en avons observé plus. En effet, nous avons Si nous traçons cette fonction sur , nous pouvons voir comment la vraisemblance confirme notre intuition. Bien sûr, nous ne savons pas que la vraie valeur de aurait pu être plutôt que , mais la fonction de vraisemblance nous indique que la première est beaucoup moins probable que la seconde. Mais si nous voulons déterminer une probabilité$n = 5$$\boldsymbol x = (1, 1, 0, 1, 1)$$p$$1$$0$

$$L(p \mid \boldsymbol x) = p^4 (1 - p).$$ $p \in [0,1]$$p$$p = 0.25$$p = 0.8$que se situe dans un certain intervalle, nous devons normaliser la vraisemblance: puisque , il s'ensuit que dans pour obtenir une densité postérieure pour , il faut multiplier par : En fait, ce postérieur est une distribution bêta avec les paramètres . Maintenant, les zones sous la densité correspondent aux probabilités.$p$$\int_{p=0}^1 p^4(1-p) \, dp = \frac{1}{30}$$p$$30$ $$f_p(p \mid \boldsymbol x) = 30p^4(1-p).$$ $a = 5, b = 2$

Donc, ce que nous avons essentiellement fait ici est la règle de Bayes appliquée: Ici, est une distribution antérieure sur le (s) paramètre (s) , le numérateur est la probabilité qui est également la distribution conjointe de

$$f_{\boldsymbol \Theta}(\boldsymbol \theta \mid \boldsymbol x) = \frac{f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta)}{f_{\boldsymbol X}(\boldsymbol x)}.$$ $f_{\boldsymbol \Theta}(\boldsymbol \theta)$$\boldsymbol \theta$$L(\boldsymbol \theta \mid \boldsymbol x) = f_{\boldsymbol X}(\boldsymbol x \mid \boldsymbol \theta) f_{\boldsymbol \Theta}(\boldsymbol \theta) = f_{\boldsymbol X, \boldsymbol \Theta}(\boldsymbol x, \boldsymbol \theta)$$\boldsymbol X, \boldsymbol \Theta$ , et le dénominateur est la densité marginale (inconditionnelle) de , obtenue en intégrant la distribution conjointe par rapport à pour trouver la constante de normalisation qui fait de la probabilité une densité de probabilité avec par rapport au (x) paramètre (s). Dans notre exemple numérique, nous avons implicitement pris l'a priori pour que soit uniforme sur . On peut montrer que, pour un échantillon de Bernoulli, si l'a priori est , le postérieur de est aussi Beta, mais avec les paramètres ,$\boldsymbol X$$\boldsymbol \theta$$f_{\boldsymbol \Theta}$$[0,1]$${\rm Beta}(a,b)$$f_{\boldsymbol \Theta}$$a^* = a+\sum x_i$$b^* = b + n - \sum x_i$. Nous appelons un tel conjugué antérieur (et nous nous référons à cela comme une paire de conjugués Bernoulli-Beta).