Quelles sont les définitions des prieurs conjugués semi-conjugués et conditionnels?

Quelles sont les définitions des prieurs semi-conjugués et des prieurs conjugués conditionnels ? Je les ai trouvés dans l'analyse des données bayésiennes de Gelman , mais je n'ai pas pu trouver leurs définitions.

bayesian

— Tim
source

Réponses:

En utilisant la définition de Bayesian Data Analysis (3e éd.) , Si est une classe de distributions d'échantillonnage et est une classe de distributions antérieures pour , alors le la classe est conjuguée à si $\mathcal{F}$ $p(y|\theta)$ $\mathcal{P}$ $\theta$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y) \in P pour tous p (\cdot | θ) \in F et p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

Si est une classe de distributions d'échantillonnage , et est une classe de distributions antérieures pour conditionnelle à , alors la classe est un conjugué conditionnel pour si $\mathcal{F}$ $p(y|\theta,\phi)$ $\mathcal{P}$ $\theta$ $\phi$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y, ϕ) \in P pour tous p (\cdot | θ, ϕ) \in F et p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

Les antérieurs conjugués conditionnellement sont pratiques pour construire un échantillonneur de Gibbs car le conditionnel complet sera une famille connue.

J'ai recherché une version électronique de Bayesian Data Analysis (3e éd.) Et je n'ai pas pu trouver une référence à semi-conjugué auparavant. Je suppose qu'il est synonyme de conjugué conditionnellement, mais si vous fournissez une référence à son utilisation dans le livre, je devrais être en mesure de fournir une définition.

— jaradniemi
source

+1. Quelle est l'URL de la 3e édition de Bayesian Data Analysis?

— Patrick Coulombe

Merci! Le semi-conjugué apparaît ici (2e éd.) Books.google.com/… . Au fait, comment avez-vous obtenu l'ebook pour la 3e édition?

— Tim

Je ne sais pas pourquoi il est écrit semi-conjugué avant, car le prieur est entièrement conjugué. Cette déclaration est supprimée dans la 3e édition. L'ebook peut être acheté ici: crcpress.com/product/isbn/9781439840955 .

— jaradniemi

@jaradniemi: Dans le lien que j'ai donné, en plus de p84, il est souligné que le prémium conjugué n'est pas un prieur conjugué.

— Tim

Dans

à quoi chacun des

référence et fait-il référence à la même chose?

p (θ | y, ϕ) \in P pour tous p (\cdot | θ, ϕ) \in F et p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno

Je voudrais utiliser la normale multivariée comme exemple.

Rappelons que la probabilité est donnée par

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N ré}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{je = 1}^{N} (X_{je} - μ)^{T} Σ^{- 1} (X_{je} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

Afin de trouver un avant cette probabilité, nous pouvons choisir

P (μ, Σ) = Ordinaire (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

Je vous assure de ne PAS vous soucier de pour l'instant; ce sont simplement des paramètres de la distribution antérieure. $\mu_0,\Lambda_0,\nu_0,S_0$

Ce qui est important, cependant, c'est que ce n'est pas conjugué à la probabilité. Pour voir pourquoi, je voudrais citer une référence que j'ai trouvée en ligne.

notons que et apparaissent ensemble de manière non factorisée dans la vraisemblance; par conséquent, ils seront également couplés ensemble dans la partie postérieure $\mu$ $\Sigma$

La référence est "Machine Learning: A Probabilistic Perspective" par Kevin P. Murphy. Voici le lien . Vous pouvez trouver la citation dans la section 4.6 (déduction des paramètres d'un MVN) en haut de la page 135.

Pour continuer la citation,

Le précédent ci-dessus est parfois appelé semi-conjugué ou conjugué conditionnellement , car les deux conditions, et , sont individuellement conjuguées. Pour créer un a priori conjugué complet , nous devons utiliser un a priori où et dépendent l'un de l'autre. Nous utiliserons une distribution conjointe du formulaire $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

L'idée ici est que la première distribution antérieure

P (μ, Σ) = Ordinaire (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

suppose que et sont séparables (ou indépendants dans un sens). Néanmoins, nous observons que dans la fonction de vraisemblance, et ne peuvent pas être factorisés séparément, ce qui implique qu'ils ne seront pas séparables dans le postérieur (Rappel, ). Cela montre que les antérieurs "indissociables" et les antérieurs "séparables" ne sont pas conjugués. D'autre part, en réécrivant $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

de sorte que et dépendent l'un de l'autre (à travers ), vous obtiendrez un a priori conjugué, qui est nommé a priori semi-conjugué . J'espère que cela répond à votre question. $\mu$ $\Sigma$ $p(\mu|\Sigma)$

ps : Une autre référence vraiment utile que j'ai utilisée est "Un premier cours sur les méthodes statistiques bayésiennes" de Peter D. Hoff. Voici un lien vers le livre. Vous pouvez trouver du contenu pertinent dans la section 7 à partir de la page 105, et il a une très bonne explication (et intuition) sur la distribution normale à une seule variable dans la section 5 à partir de la page 67, qui sera encore renforcée dans la section 7 lorsqu'il traitera MVN.

— Jamais être
source

$F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— nudtlxt
source