La distribution bêta a-t-elle un conjugué antérieur?

34

Je sais que la distribution bêta est conjuguée au binôme. Mais quel est le préalable conjugué de la bêta? Merci.

beta-distribution conjugate-prior

25

Il semble que vous ayez déjà abandonné la conjugaison. Pour la petite histoire, une chose que j'ai vue voir des gens faire (mais ne me souviens pas exactement où, pardon) est un reparamétrage comme celui-ci. Si $X_1,\dots,X_n$ sont conditionnellement IID, étant donné $\alpha,\beta$ , tel que $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$ , rappelez - vous que

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$ et

V a r [X_{i} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$ Par conséquent, vous pouvezreparamétrerla vraisemblance en termes de

μ

$\mu$ et de

σ^{2}

$\sigma^2$ et utiliser à titre préalable

σ^{2} ∣ μ \sim U [0, μ (1 - μ)] μ \sim U [0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Vous êtes maintenant prêt à calculer le postérieur et à l'explorer selon votre méthode de calcul préférée.

— Zen
source

4

Non, pas MCMC cette chose! Quadrature cette chose! 2 paramètres seulement - la quadrature est la "norme d'or" pour les postérieurs de petites dimensions, à la fois en termes de temps et de précision.

— probabilitéislogic

3

Une autre option consiste à considérer

comme une mesure de la précision et à utiliser à nouveau

ψ = α + β

$\psi = \alpha + \beta$

tant que moyenne. Cela se fait tout le temps avec les processus Dirichlet, et la distribution bêta est un cas particulier. Alors peutêtre lancer un gamma ou log-normale avant le

et uniforme sur

.

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— mec

2

Pour être sûr, ce n'est pas conjugué, correct?

— mec

3

Définitivement pas!

— Zen

Bonjour @Zen Je traite ce problème en ce moment, mais je suis nouveau chez Bayesian et je ne suis pas sûr de bien comprendre l'idée. Je me suis dit que vous proposez de trouver

puis utilisez reparamétrage, mais bien sûrce n'était pas l'idée Pouvezvous me aider à comprendre.?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Oui, il a un conjugué antérieur dans la famille exponentielle. Considérons les trois paramètres famille Pour certaines valeurs decela est intégrable, bien que je n’aie pas bien compris laquelle (je pense queetdevrait fonctionner -correspond à des distributions exponentielles indépendantes cela fonctionne vraiment, et la mise à jour conjuguée implique une incrémentation

π (α, β ∣ a, b, p) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

donc cela suggère que

fonctionne également).

p

$p$

p > 0

$p > 0$

Le problème, et au moins une partie de la raison pour laquelle personne ne l'utilise, est que c'est-à-dire que la constante de normalisation n'a pas de forme fermée.

\int_{0}^{\infty} \int_{0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{p} \exp (a α + b β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— gars
source

Ah C'est problématique. De toute façon, j'allais chercher une version non informative du conjugué, donc il semble que je pourrais aussi bien commencer par des a priori uniformes sur les deux paramètres. Merci.

— Brash Equilibrium

Vous n'avez pas besoin de la normaliser si vous comparez simplement les probabilités…

— Neil G

Je pense que vous pourriez manquer l'action de

dans votre

terme ainsi. Cela devrait probablement être

, etc.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Neil G

@NeilG

est dans l'

, il vous suffit d'exprimer les choses en termes de

au lieu de

. Faire

est juste une reparmetrization, ça ne change rien. Vous ne savez pas ce que vous voulez dire par "comparer simplement les probabilités". Vous ne pouvez pas implémenter un échantillonneur Gibbs avec cet avant sans utiliser quelque chose comme Metropolis, qui tue l'avantage de la conjugaison conditionnelle, la constante de normalisation dépend de

et

qui tue en mettant un prior sur eux ou en les estimant par des méthodes de vraisemblance, etc. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— gars

2

L'intégrale de @NeilG est supérieure à

et

puisque ce sont les variables aléatoires.

α

$\alpha$

β

$\beta$

— mec

9

En théorie, il devrait exister un conjugué préalable pour la distribution bêta. Ceci est dû au fait

la distribution bêta est l'une des distributions de la famille exponentielle , et
en théorie, il devrait être possible de dériver un préalable. Voir, par exemple, wikipedia , la conférence de D Blei sur les familles exponentielles .

Cependant, la dérivation semble difficile, et pour citer les familles exponentielles de A Bouchard-Cote et ses conjoints Priors

Une observation importante à faire est que cette recette ne donne pas toujours un préalable conjugué qui est traitable par calcul.

En accord avec cela, il n'y a pas de priorité pour la distribution Beta dans A Compendium of Conjugate Priors de D Fink .

— Ton trop
source

3

La dérivation n'est pas difficile - Voir ma réponse: mathoverflow.net/questions/63496/…

— Neil G

3

Je ne crois pas qu'il existe une distribution "standard" (c'est-à-dire une famille exponentielle) qui soit le conjugué préalable de la distribution bêta. Cependant, s'il en existe une, elle devra être une distribution à deux variables.

Je ne sais pas à propos de cette question, mais j'ai trouvé cette carte avant conjugué pratique qui semble soutenir votre réponse: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier

Le conjugué prior est dans la famille exponentielle et a trois paramètres - pas deux.

— Neil G

1

@ Neil, tu as définitivement raison. J'aurais dû dire qu'il faudrait au moins deux paramètres.

-1: cette réponse est clairement fausse dans l'affirmation selon laquelle "le conjugué antérieur n'existe pas dans la famille exponentielle", comme le démontre la réponse ci-dessus ...

— Jan Kukacka

3

Robert et Casella (RC) décrivent par hasard la famille des a priori conjugués de la distribution bêta de l’exemple 3.6 (p. 71 - 75) de leur livre, Introducing Monte Carlo Methods in R , Springer, 2010. Cependant, ils citent le résultat sans citer une source.

Ajouté en réponse à la demande de détails de gung. RC déclare que pour la distribution , le conjugué antérieur est "... de la forme $B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} x_{0}^{α} y_{0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

où sont des hyperparamètres, car le postérieur est alors égal à $\{\lambda, x_0, y_0\}$

π (α, β | x) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (x x_{0})^{α} ((1 - x) y_{0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

Le reste de l'exemple concerne l'échantillonnage d'importance de afin de calculer la probabilité marginale de . $\pi(\alpha,\beta \vert x)$ $x$

— utilisateur37239
source

2

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

1

Je recommande humblement que l'affiche originale mette à jour le message pour indiquer que le postérieur donné dans le manuel est incorrect, selon le commentaire de Fred Schoen (qui est facilement vérifiable).

— RMurphy