Exemple pour un a priori, qui contrairement à Jeffreys, conduit à un postérieur qui n'est pas invariant

Je republie une "réponse" à une question que j'avais posée il y a environ deux semaines: Pourquoi le Jeffreys est-il utile avant? C'était vraiment une question (et je n'avais pas non plus le droit de poster des commentaires à l'époque), donc j'espère que c'est OK de le faire:

Dans le lien ci-dessus, il est discuté que la caractéristique intéressante de Jeffreys prior est que, lors de la reparamétrie du modèle, la distribution postérieure résultante donne des probabilités postérieures qui obéissent aux restrictions imposées par la transformation. Par exemple, comme discuté là, lors du passage de la probabilité de succès $\theta$ dans l'exemple bêta-Bernoulli des cotes $\psi=\theta/(1-\theta)$ , il devrait être le cas que l'un répond postérieure $P(1/3\leq\theta\leq 2/3\mid X=x)=P(1/2\leq\psi\leq 2\mid X=x)$ .

Je voulais créer un exemple numérique d'invariance de Jeffreys avant de transformer $\theta$ en cotes $\psi$ , et, plus intéressant encore, le manque d'autres priors (disons, Haldane, uniformes ou arbitraires).

Maintenant, si le postérieur de la probabilité de succès est Beta (pour tout Beta antérieur, pas seulement Jeffreys), le postérieur de la cote suit une distribution Beta du second type (voir Wikipedia) avec les mêmes paramètres . Ensuite, comme le montre l'exemple numérique ci-dessous, il n'est pas trop surprenant (du moins pour moi) qu'il existe une invariance pour tout choix de Beta préalable (jouer avec alpha0_Uetbeta0_U ), pas seulement Jeffreys, cf. la sortie du programme.

library(GB2) 
# has the Beta density of the 2nd kind, the distribution of theta/(1-theta) if theta~Beta(alpha,beta)

theta_1 = 2/3 # a numerical example as in the above post
theta_2 = 1/3

odds_1 = theta_1/(1-theta_1) # the corresponding odds
odds_2 = theta_2/(1-theta_2)

n = 10 # some data
k = 4

alpha0_J = 1/2 # Jeffreys prior for the Beta-Bernoulli case
beta0_J = 1/2
alpha1_J = alpha0_J + k # the corresponding parameters of the posterior
beta1_J = beta0_J + n - k

alpha0_U = 0 # some other prior
beta0_U = 0
alpha1_U = alpha0_U + k # resulting posterior parameters for the other prior
beta1_U = beta0_U + n - k

# posterior probability that theta is between theta_1 and theta_2:
pbeta(theta_1,alpha1_J,beta1_J) - pbeta(theta_2,alpha1_J,beta1_J) 
# the same for the corresponding odds, based on the beta distribution of the second kind
pgb2(odds_1, 1, 1,alpha1_J,beta1_J) - pgb2(odds_2, 1, 1,alpha1_J,beta1_J) 

# same for the other prior and resulting posterior
pbeta(theta_1,alpha1_U,beta1_U) - pbeta(theta_2,alpha1_U,beta1_U)
pgb2(odds_1, 1, 1,alpha1_U,beta1_U) - pgb2(odds_2, 1, 1,alpha1_U,beta1_U)

Cela m'amène aux questions suivantes:

1. Dois-je faire une erreur?
2. Si non, y a-t-il un résultat comme s'il n'y avait pas de manque d'invariance dans les familles conjuguées, ou quelque chose comme ça? (Une inspection rapide m'amène à soupçonner que je ne pourrais pas, par exemple, également produire un manque d'invariance dans le cas normal-normal.)
3. Connaissez-vous un exemple ( de préférence simples) dans lequel nous ne se manque d'invariance?

Votre calcul semble vérifier que, lorsque nous avons une distribution antérieure particulière les deux procédures suivantes$p(\theta)$

1. Calculer le p θ ∣ D postérieur ($p_{\theta \mid D}(\theta \mid D)$
2. Transformer le postérieur précité en l'autre paramétrisation pour obtenir $p_{\psi \mid D}(\psi \mid D)$

et

1. Transformer l'a priori en l'autre paramétrisation pour obtenir p $p_\theta(\theta)$$p_\psi(\psi)$
2. En utilisant le précédent , calculez le p ψ ∣ D postérieur ( ψ $p_\psi(\psi)$$p_{\psi \mid D}(\psi \mid D)$

$\psi$$\psi$$\theta$

Cependant, ce n'est pas le point de l'invariance en question. Au lieu de cela, la question est de savoir si, lorsque nous avons une méthode particulière pour décider du prieur, les deux procédures suivantes:

1. $p_\theta(\theta)$
2. $p_\psi(\psi)$

et

1. $p_\psi(\psi)$

$\psi$

$\theta$$[0,1]$$\psi$$[0,\infty)$ .

$\theta$$\psi$$\psi$

Il semble que vous vérifiiez que les probabilités induites par les données ne sont pas affectées par la paramétrisation, qui n'a rien à voir avec la précédente.

Si votre façon de choisir les a priori est de, par exemple, "choisir l’uniforme avant", alors ce qui est uniforme sous une paramétrisation (disons Beta, ie Beta (1,1)) n’est pas uniforme sous une autre, disons, BetaPrime (1,1 ) (qui est asymétrique) - c'est BetaPrime (1, -1) est uniforme si une telle chose existe.

Le prieur de Jeffreys est le seul «moyen de choisir les prieurs» invariant sous reparamétrisation. Il est donc moins hypothétique que toute autre façon de choisir les prieurs.