Quel serait un exemple d'un modèle vraiment simple avec une probabilité insoluble?

Le calcul bayésien approximatif est une technique vraiment cool pour ajuster essentiellement n'importe quel modèle stochastique, destiné aux modèles où la probabilité est intraitable (par exemple, vous pouvez échantillonner à partir du modèle si vous fixez les paramètres mais vous ne pouvez pas calculer numériquement, algorithmiquement ou analytiquement la probabilité). Lors de l'introduction du calcul bayésien approximatif (ABC) à un public, il est agréable d'utiliser un exemple de modèle qui est vraiment simple mais toujours quelque peu intéressant et qui a une probabilité insoluble.

Quel serait un bon exemple d'un modèle vraiment simple qui a encore une probabilité insoluble?

— Rasmus Bååth
source

Votre exemple de chaussettes est vraiment simple et surtout insoluble ...

— Xi'an

Ps: Le lien exemple chaussettes ...

— Xi'an

Eh bien, j'espérais que les chaussettes seraient intraitables, mais vous avez prouvé que ce n'était pas le cas, non? :)

— Rasmus Bååth

C'est une bonne question! Il existe divers exemples de jouets dans la littérature, mais ils me semblent un peu artificiels. Ce serait bien d'avoir un modèle vraiment simple motivé par une application réelle avec une probabilité insoluble. Je crois me souvenir d'avoir vu David Cox présenter quelque chose dans ce sens mais je ne l'ai pas vu publié ...

— Dennis Prangle

Réponses:

Deux distributions très utilisées dans la littérature sont:

La distribution g et k. Ceci est défini par sa fonction quantile (cdf inverse) mais a une densité insoluble. Rayner et MacGillivray (2002) en donnent un bon aperçu, et l'un des nombreux articles ABC qui l'utilisent comme exemple de jouet est Drovandi et Pettitt (2011) .
Distributions stables alpha. Ceux-ci sont définis par leur fonction caractéristique mais ont une densité insoluble à l'exception de quelques cas particuliers. Cela a des applications en finance et est souvent utilisé dans les papiers ABC séquentiels, par exemple Yildirim et al (2013) .

— Dennis Prangle
source

La distribution g et k est un très bon exemple où la fonction quantile est simple à exprimer alors que la fonction de vraisemblance n'est pas disponible du tout:

Q (u; A, B, g, k) = A + B [1 + c \frac{1 - \exp {- g Φ (u)}}{1 + \exp {- g Φ (u)}}] {1 + Φ (u)^{2}}^{k} Φ (u)

$Q(u;A,B,g,k)=A + B\left[1+c\dfrac{1-\exp\{-g\Phi(u)\}}{1+\exp\{-g\Phi(u)\}}\right]\{1+\Phi(u)^2\}^k\Phi(u)$

α

$\alpha$

Quelqu'un pourrait-il ajouter des exemples de situations que l'on modéliserait avec ces distributions?

— conjectures

x_{1}, \dots, x_{n} \overset{iid}{\sim} N (θ, σ^{2}),

$x_1,\ldots,x_n\stackrel{\text{iid}}{\sim}\text{N}(\theta,\sigma^2)\,,$

S (X_{1}, \dots, X_{n}) = (med (X_{1}, \dots, X_{n}), furieux (X_{1}, \dots, X_{n})),

$S(x_1,\ldots,x_n)=(\text{med}(x_1,\ldots,x_n),\text{mad}(x_1,\ldots,x_n))\,,$ ce qui n'est pas suffisant et qui n'a pas de densité de joint de forme fermée.

— Xi'an
source

Ce n'est pas parce que la densité du joint est compliquée à écrire qu'elle n'a pas de forme fermée! "Intractable" commence à apparaître comme une question d'opinion dans ce fil. Peut-être pourriez-vous clarifier cela en expliquant ce que vous entendez par "intraitable"?

— whuber

Comme je ne fais de personne capable de calculer cette densité, je l'appelle intraitable ... Comme je n'ai pas de programme informatique capable de produire la valeur numérique de cette probabilité, je suis obligé d'utiliser un algorithme ABC.

— Xi'an

ABC ne calcule pas la probabilité mais utilise des simulations à partir des données pour fournir un échantillon de paramètres qui est une approximation de la vraie postérieure. À la fin de la journée / du calcul, je ne suis pas plus sage au sujet de la fonction de vraisemblance et je ne peux pas produire de valeur numérique pour

L (θ | x_{1}, \dots, x_{n})

$L(\theta|x_1,\ldots,x_n)$ .

— Xi'an

@whuber Si l'on pouvait calculer avec succès la vraisemblance, l'exemple ne conviendrait pas très bien pour démontrer un algorithme d'approximation des postérieurs sans calculer la vraisemblance

\times

$\times$ produits antérieurs.

— Juho Kokkala

@whuber I think your interpretation (2) in the comment beginning "What I am wondering" is at least essentially the intended one. However, I don't understand your last remark "unless your ABC algorithm is taking a long time to execute" - the point of the question is that the expensive likelihood evaluation will be avoided by using ABC instead.

— Juho Kokkala