Pourquoi la probabilité marginale est-elle difficile / intraitable à estimer?

J'ai une question générale à poser ici qui me préoccupe depuis un certain temps. À travers la majeure partie de ma lecture des statistiques bayésiennes, il a déclaré sans détour que la probabilité marginale est souvent intraitable ou difficile à estimer. Pourquoi?

Les raisons souvent invoquées comprennent des déclarations sur la nature hautement dimensionnelle de l'intégrale / sommation à estimer, ou que le domaine des modèles possibles est infini.

J'aimerais que cette communauté me pointe vers quelque chose qui explique pourquoi et explique ce problème dans un langage simple.

Des liens vers des ressources seraient également appréciés. J'ai googlé les termes à la recherche de ressources qui l'expliquent clairement, mais la plupart d'entre eux énoncent simplement le problème sans explication. J'ai également la reconnaissance des modèles de livres en apprentissage automatique et le livre d'apprentissage machine de Kevin Murphy. Je ne suis pas satisfait des explications contenues dans ces textes, je recherche donc quelque chose de clair et de simple.

bayesian inference likelihood

— user1556364
source

Voici une réponse par exemple. Supposons que vous ayez le modèle hiérarchique suivant pour les groupes et observations dans un groupe et valeurs connues et . Avec la vraisemblance marginale est La dimension de l'intégrale est

Y_{i g} \overset{i n d}{\sim} N (θ_{g}, 1) θ_{g} \overset{i n d}{\sim} N (μ, τ^{2}) μ | τ^{2} \sim N (m, τ^{2} / k) τ^{2} \sim I G (a, b)

$Y_{ig} \stackrel{ind}{\sim} N(\theta_g,1) \quad \theta_g \stackrel{ind}{\sim} N(\mu,\tau^2) \quad \mu|\tau^2 \sim N(m,\tau^2/k) \quad \tau^2 \sim IG(a,b)$

g = 1, \dots, G

$g=1,\ldots,G$

i = 1, \dots, n_{g}

$i=1,\ldots,n_g$

m, k, a,

$m,k,a,$

b

$b$

y = (y_{1, 1}, \dots, y_{n_{1}, 1}, y_{1, 2}, \dots, y_{n_{2}, 2}, \dots, y_{1, G}, \dots, y_{n_{G}, G}),

$y = (y_{1,1},\ldots,y_{n_1,1},y_{1,2},\ldots,y_{n_2,2},\ldots,y_{1,G},\ldots,y_{n_G,G}),$

p (y) = \int \dots \int \prod_{g = 1}^{G} [\prod_{i = 1}^{n_{g}} N (y_{i g}; θ_{g}, 1)] N (θ_{g}; μ, τ^{2}) d θ_{1} \dots d θ_{G} d μ d τ^{2} .

$p(y) = \int \cdots \int \prod_{g=1}^G \left[\prod_{i=1}^{n_g} N(y_{ig};\theta_g,1) \right] N(\theta_g; \mu,\tau^2) d\theta_1 \cdots d\theta_G d\mu d\tau^2.$

G + 2

$G+2$ et si est grand, alors c'est une intégrale de grande dimension. La plupart des techniques d'intégration numérique nécessiteront un nombre extrême d'échantillons ou d'itérations pour obtenir une approximation raisonnable de cette intégrale.

G

$G$

Cette intégrale se trouve avoir une vraisemblance marginale sous forme fermée, vous pouvez donc évaluer dans quelle mesure une technique d'intégration numérique peut estimer la vraisemblance marginale. Pour comprendre pourquoi le calcul de la probabilité marginale est difficile, vous pouvez commencer simplement, par exemple, avoir une seule observation, avoir un seul groupe, avoir et connus, etc. Vous pouvez lentement rendre le problème de plus en plus difficile et voir comment les techniques d'intégration numérique s'en sortent par rapport à la vérité. Vous remarquerez qu'ils s'aggravent de plus en plus, c'est-à-dire qu'ils auront besoin de plus en plus d'échantillons ou d'itérations pour obtenir la même précision, à mesure que la dimension du problème, c'est-à-dire , augmente. Enfin, laissez $\mu$ $\sigma^2$ $G$ $Y_{ig} \stackrel{ind}{\sim} Po(e^{\theta_g})$ et maintenant vous avez une probabilité marginale sans forme fermée. Sur la base de votre expérience lorsque vous connaissiez la vérité, à quel point allez-vous croire une estimation numérique si vous ne connaissez pas la vérité? J'imagine que vous n'aurez pas beaucoup confiance dans l'estimation numérique.

— jaradniemi
source

Merci d'avoir répondu. avez-vous des recommandations sur le matériel qui décrit des concepts comme celui-ci? Vous cherchez des textes, des papiers, etc. merci!

— user1556364