Une vraisemblance antérieure et exponentielle appropriée peut-elle conduire à une mauvaise postérieure?

(Cette question est inspirée de ce commentaire de Xi'an .)

Il est bien connu que si la distribution précédente est correcte et que la probabilité est bien définie, alors la distribution postérieure est presque sûrement propre. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

Dans certains cas, nous utilisons plutôt une probabilité tempérée ou exponentiée, conduisant à une pseudo-postérieure

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$

pour certains (par exemple, cela peut avoir des avantages de calcul).

α > 0

$\alpha>0$

Dans ce contexte, est-il possible d'avoir un a priori correct mais un pseudo-postérieur incorrect?

bayesian prior posterior

— Robin Ryder
source

En fait, quelques minutes plus tard, je considérerais cela comme improbable puisque la divergence du produit de vraisemblance x précédent est réduite lorsqu'on considère le produit de vraisemblance x précédent ^ α ... Toute sterne qui va à l'infini y va plus lentement! Et les termes allant à zéro plus lentement sont contrôlés par le bon a priori. Je parie donc que c'est impossible. (avertissement: je me suis trompé!)

— Xi'an

Peut-être utile pour rechercher un contre-exemple lorsque : l'inégalité de Markov nous dit que Donc, si vous pouvez trouver un cas où a des queues polynomiales, vous pouvez éventuellement construire un pseudo-postérieur incorrect.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— πr8

Cet argument fonctionnerait-il également pour ? De plus, existe-t-il un moyen de prouver qu'une probabilité construite de cette manière serait appropriée?

α < 1

$\alpha < 1$

— InfProbSciX

En fait, pour , puisque nous savons que , le supremum sur le RHS est toujours fini, et pour , on utilise votre argument Jensen pour faire la même déduction. L'argument échoue donc à cet égard. Une petite remarque que cet argument nécessite une probabilité illimitée pour réussir, ie pour tout .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

Certes, pour , vous ne pouvez pas en construire un, bon point! Je dois dire que je serais fasciné de voir un exemple d'une probabilité illimitée! Une bêta postérieure serait peut-être le résultat d'une probabilité illimitée.

α = 1

$\alpha = 1$

— InfProbSciX

Réponses:

Pour , c'est peut-être un argument pour montrer qu'il est impossible de construire un tel postérieur? $\alpha \leq 1$

Nous aimerions savoir s'il est possible pour . $\int \tilde \pi(\theta|x)d\theta = \infty$

Sur le RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Si , est une fonction concave, donc par l'inégalité de Jensen: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... où comme Xi'an l'a souligné, est la constante de normalisation (l'évidence). $m(x)$

— InfProbSciX
source

Bien, merci. J'aime que vous utilisiez le fait que pour le postérieur est correct.

α = 1

$\alpha=1$

— Robin Ryder

Il est possible d'utiliser le résultat dans la réponse de @ InfProbSciX pour prouver le résultat en général. Réécrivez en Si , nous avons le cas d'inégalité de Jensen ci-dessus, car nous savons que est normalisable. De même, si , on peut écrire avec , tombant à nouveau dans le même cas, puisque nous savons que est normalisable. Maintenant, on peut utiliser l'induction (forte) pour montrer le cas en général. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Vieux commentaires

Je ne sais pas si c'est super utile, mais comme je ne peux pas commenter, je vais laisser cela dans une réponse. En plus de l'excellente remarque de @ InfProbSciX sur , si l'on fait l'hypothèse supplémentaire que , alors il est impossible d'avoir un bon avant mais un pseudo-postérieur incorrect pour . Par exemple, si nous savons que le deuxième ( ème) moment de existe, nous savons qu'il est dans ( ) et donc le pseudo-postérieur sera propre à . Section 1 de ces notes $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ va dans un peu plus de détails, mais malheureusement, il n'est pas clair à quel point la classe de, disons, pdfs est large. Je m'excuse si je parle ici à contre-courant, je voulais vraiment laisser cela comme un commentaire. $L^{10}$

— Luiz Max Carvalho
source

Vous avez raison, si la fonction de vraisemblance est dans l'espace - c'est-à-dire que l' espace rapport à la mesure induite par l'a priori, alors le postérieur sera approprié pour . Je suis totalement en train de deviner ici, mais je pense que l'espace engloberait la plupart des probabilités auxquelles nous pouvons penser - je pense que j'ai peut-être lu une preuve il y a longtemps qui dit que si est Riemann intégrable, alors ses pouvoirs positifs le sont aussi. est cependant intégrable. Théorème 1.26 pour référence

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, je pense qu'il pourrait y avoir une preuve complète qui se cache dans l'ombre ici. Je retiens de votre réponse que peut être négatif. Si c'est correct, alors nous pouvons montrer que pour tout la pseudo-vraisemblance sera intégrable car les inverses des fonctions intégrables sont intégrables. Et si la vraisemblance est intégrable, je soutiens que le postérieur sera intégrable car le prieur est borné, et le produit d'une fonction intégrable et bornée est intégrable ( math.stackexchange.com/a/56008/271610 ). Laissez-moi savoir ce que vous pensez.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

Je pense que vous pouvez ignorer le cas où , comme la question suppose explicitement le contraire. L'intégrabilité de pour tout cas général doit être montrée. De plus, je ne sais pas si le prieur est toujours borné, par exemple, la densité d'une ne le serait pas.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX, ce que je voulais dire, c'est que même si n'est pas en question, si votre preuve vaut également pour cette condition, nous pourrions montrer l'intégrabilité de en tirant parti du fait que si est intégrable, alors si est . Comme vous le dites, tout cela est nul si le prieur n'est pas borné. Nous pouvons essayer de délimiter la probabilité à la place et il me semble que toute probabilité que l'on utiliserait dans MLE devrait être limitée ou fortement concave ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ), les deux pouvant être utilisées pour construire une preuve générale. Des pensées?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

Désolé, j'ai raté ça, ouais on dirait que ça ferait une tentative intéressante!

— InfProbSciX