Comment utilise-t-on le théorème de Bayes avec un a priori continu?

Si mon a priori est modélisé comme une distribution de probabilité continue, disons, une distribution bêta asymétrique pour refléter mon biais vers certains modèles, comment puis-je calculer la probabilité postérieure?

Le défi pour moi est de calculer la probabilité d'un modèle donné, car la distribution continue ne me donnera que des estimations pour les intervalles .

Veuillez pardonner la naïveté de la question, je n'ai commencé que récemment à étudier les statistiques bayésiennes.

bayesian prior

— Rafa
source

Je suppose que la bonne question serait "Comment puis-je calculer la probabilité du modèle à partir d'un échantillon de données?" Je peux facilement calculer la probabilité des données compte tenu du modèle, mais je ne sais pas comment estimer la probabilité du modèle. Et oui, je suis intéressé par la comparaison de modèles.

— Rafa

Pour comparer des modèles, disons

M_{1} = {f_{1} (\cdot | θ_{1}); θ_{1} \in Θ_{1}}

$\mathfrak{M}_1=\{f_1(\cdot|\theta_1);\ \theta_1\in\Theta_1\}$ et

M_{2} = {f_{2} (\cdot | θ_{2}); θ_{2} \in Θ_{2}}

$\mathfrak{M}_2=\{f_2(\cdot|\theta_2);\ \theta_2\in\Theta_2\}$ la réponse bayésienne classique est (Jeffreys, 1939) de produire un facteur Bayes

B_{12} (x) = \frac{\int_{Θ_{1}} f_{1} (x | θ_{1}) π_{1} (d θ_{1})}{\int_{Θ_{2}} f_{2} (x | θ_{2}) π_{2} (d θ_{2})}

$\mathfrak{B}_{12}(x)=\frac{\int_{\Theta_1} f_1(x|\theta_1)\pi_1(\text{d}\theta_1)}{\int_{\Theta_2} f_2(x|\theta_2)\pi_2(\text{d}\theta_2)}$ Quand

B_{12} (x)

$\mathfrak{B}_{12}(x)$ est plus grand que

1

$1$ les données favorisent le modèle

M_{1}

$\mathfrak{M}_1$ ; quand

B_{12} (x)

$\mathfrak{B}_{12}(x)$ est plus petite que

1

$1$ , les données favorisent le modèle

M_{2}

$\mathfrak{M}_2$ .

— Xi'an
source

Le théorème de Bayes est:

P (A | B) = \frac{P (B | A) P (A)}{P (B)}

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

Dans le cas où vous avez des données et un paramètre, il est courant d'utiliser $\theta$ pour le paramètre (ou vecteur de paramètre) et $x$ pour les données.

Vous pouvez placer un prior sur $\theta$ , $p(\theta)$ et vous pourriez avoir un modèle $p(x|\theta)$ ce qui donne la probabilité de vos données compte tenu du modèle. Vous pouvez ensuite utiliser la règle / théorème de Bayes pour "inverser" ceci et obtenir $p(\theta|x)$ .

Ce n'est que dans un ensemble d'exemples relativement restreint qu'il est possible d'obtenir des solutions sous forme fermée pour $p(\theta|x)$ . Pour les cas arbitraires, vous vous rapprochez souvent de la distribution postérieure en utilisant certaines méthodes standard dans les statistiques bayésiennes - par exemple, les deux approches générales les plus courantes sont la chaîne de Markov Monte Carlo ou les Bayes variationnels.

Supposons que vous vous intéressez à un cas simple où une forme fermée postérieure existe. Un exemple de ceci serait si $p(\theta)$ est une normale standard (gaussienne avec variance unitaire et moyenne nulle) et $p(x|\theta)$ est une normale avec une valeur moyenne de $\theta$ et variance unitaire.

Je vais omettre les facteurs de normalisation pour plus de commodité. Notez également que le dénominateur dans la règle de Bayes a tendance à simplement renormaliser les choses:

p (θ | x) \propto e^{- (x - θ)^{2} / 2} e^{- θ^{2} / 2}

$p(\theta|x) \propto e^{-(x-\theta)^2/2} e^{-\theta^2/2}\\$ Combinons les exposants et complétons le carré

- (x - θ)^{2} / 2 - θ^{2} / 2 \propto - (x^{2} - 2 θ x + θ^{2}) - θ^{2}

$-(x-\theta)^2/2 - \theta^2/2 \propto - (x^2 - 2\theta x + \theta^2) - \theta^2$ Rappelez-vous que x est fixé ici car il a été observé et nous voulons nous attendre à ce que notre réponse soit en termes de celui-ci. Complétez le carré et voyez que l'exposant est

\propto - (θ - x / 2)^{2}

$\propto -(\theta - x/2)^2$ dont d'autres termes dépendent de x. Donc:

p (θ | X) \propto e^{- une (θ - X / 2)^{2}}

$p(\theta|x) \propto e^{-a(\theta - x/2)^2}$
où «a» est un facteur qui peut être obtenu par comptabilité. Notez que le postérieur est une distribution normale avec une valeur moyenne x / 2. Essayez de calculer la variance par vous-même.

Notez que notre réponse a un sens intuitif ... le prieur a dit que $\theta$ est nul et nous observons un échantillon $x$ qui a une valeur attendue de $\theta$ . Puisque la variance de l'a priori et de la distribution $p(x|\theta)$ sont de même ampleur, nous leur faisons également confiance. En conséquence, notre postérieure est une distribution avec une moyenne qui est la moyenne de $x$ et 0 et qui finit par avoir une variance plus petite que l'initiale $p(x|\theta)$ ou $p(x)$ (non illustré ici).

Pour la comparaison des modèles, vous pouvez regarder un ratio:

\frac{p (X | θ_{1})}{p (X | θ_{2})}

$\frac{p(x|\theta_1)}{p(x|\theta_2)}$

C'est ce qu'on appelle le rapport de vraisemblance (voir wikipedia ou ailleurs). Ici, vous n'avez pas besoin du postérieur, vous regardez simplement comment (relativement) probablement vos données (ou observations) sont données soit $\theta_1$ ou $\theta_2$ étant le paramètre du modèle qui a généré vos observations.

J'espère que cela t'aides.

— Josh
source

Désolé, votre réponse est incorrecte. Le facteur Bayes n'est pas défini de cette façon!

— Xi'an

Pour la comparaison des modèles, j'ai décrit le rapport de vraisemblance. Au départ, j'ai utilisé par erreur le terme facteur Bayes.

— Josh

Sauf que tu ne sais pas

θ_{1}

$\theta_1$ et

θ_{2}

$\theta_2$ qui a généré les observations.

— Xi'an

Je voulais simplement décrire le cas simple dans lequel vous avez deux valeurs hypothétiques des paramètres du modèle et vous souhaitez comparer la façon dont les données en découlent. Vous avez convenu que si vous avez deux formes de modèle et que vous souhaitez les comparer sans connaître les paramètres spécifiques, votre réponse fournit la bonne approche.

— Josh