Exemple de la façon dont les statistiques bayésiennes peuvent estimer des paramètres très difficiles à estimer par des méthodes fréquentistes

Les statisticiens bayésiens soutiennent que "les statistiques bayésiennes peuvent estimer des paramètres très difficiles à estimer par des méthodes fréquentistes". La citation suivante tirée de cette documentation SAS dit-elle la même chose?

Il fournit des inférences conditionnelles aux données et exactes, sans recours à une approximation asymptotique. L'inférence de petits échantillons se déroule de la même manière que si l'on avait un grand échantillon. L'analyse bayésienne peut également estimer directement toutes les fonctions des paramètres, sans utiliser la méthode du "plug-in" (un moyen d'estimer les fonctionnelles en branchant les paramètres estimés dans les fonctionnelles).

J'ai vu une déclaration similaire dans certains manuels, mais je ne me souviens pas où. Quelqu'un peut-il me l'expliquer avec un exemple?

J'ai des objections avec cette citation:

1. Le «fréquentisme» est une approche de l'inférence basée sur les propriétés de fréquence des estimateurs choisis. Il s'agit d'une notion vague dans la mesure où elle n'indique même pas que les estimateurs doivent converger et s'ils le font selon la manière dont ils doivent converger. Par exemple, l'impartialité est une notion fréquentiste mais elle ne peut pas s'appliquer à toutes les fonctions [du paramètre$\theta$] d'intérêt depuis la collecte des transformations de $\theta$qui permettent un estimateur sans biais est très restreint. De plus, un estimateur fréquentiste n'est pas produit par le paradigme mais doit d'abord être choisi avant d'être évalué. En ce sens, un estimateur bayésien est un estimateur fréquentiste s'il satisfait à une propriété fréquentiste.
2. L'inférence produite par une approche bayésienne est basée sur la distribution postérieure, représentée par sa densité $\pi(\theta|\mathfrak{D})$. Je ne comprends pas comment le terme "exact" peut être$\pi(\theta|\mathfrak{D})$Il est uniquement associé à une distribution antérieure$\pi(\theta)$et il est exactement dérivé par le théorème de Bayes. Mais il ne renvoie pas d' inférence exacte en ce que l'estimation ponctuelle n'est pas la vraie valeur du paramètre$\theta$et il ne produit des énoncés de probabilité exacts que dans le cadre fourni par la paire avant x vraisemblance . Changer un terme dans la paire modifie la postérieure et l'inférence, alors qu'il n'y a pas d'argument générique pour défendre une seule priorité ou vraisemblance.
3. De même, d'autres énoncés de probabilité comme «le vrai paramètre a une probabilité de 0,95 de tomber dans un intervalle crédible de 95%» trouvés dans la même page de cette documentation SAS ont une signification relative au cadre de la distribution postérieure mais pas en valeur absolue.
4. D'un point de vue informatique, il est vrai qu'une approche bayésienne peut souvent renvoyer des réponses exactes ou approximatives dans les cas où une approche classique standard échoue. C'est par exemple le cas pour les modèles de variables latents [ou manquants] $$f(x|\theta)=\int g(x,z|\theta)\,\text{d}z$$ où $g(x,z|\theta)$ est une densité commune pour la paire $(X,Z)$ et où $Z$ n'est pas observée, Produire des estimations de $\theta$ et de sa partie postérieure par simulation du couple $(\theta,\mathfrak{Z})$peut s'avérer beaucoup plus facile que de dériver un estimateur [fréquentiste?] à probabilité maximale. Un exemple pratique de ce cadre est le modèle coalescent de Kingman en génétique des populations , où l'évolution des populations d'un ancêtre commun implique des événements latents sur les arbres binaires. Ce modèle peut être traité par inférence bayésienne [approximative] via un algorithme appelé ABC, même s'il existe également des résolutions logicielles non bayésiennes .
5. Cependant, même dans de tels cas, je ne pense pas que l'inférence bayésienne soit la seule solution possible. Les techniques d'apprentissage automatique comme les réseaux de neurones, les forêts aléatoires, l'apprentissage profond, peuvent être classées comme des méthodes fréquentistes car elles s'entraînent sur un échantillon par validation croisée, minimisant une erreur ou un critère de distance qui peut être considéré comme une attente [sous le vrai modèle] approximée par une moyenne d'échantillon. Par exemple, le modèle coalescent de Kingman peut également être géré par des résolutions logicielles non bayésiennes .
6. Un dernier point est que, pour l'estimation ponctuelle, l'approche bayésienne pourrait bien produire des estimations de plug-in. Pour certaines fonctions de perte que j'ai appelées pertes intrinsèques , l'estimateur de Bayes de la transformée$\mathfrak{h}(\theta)$ est la transformation $\mathfrak{h}(\hat\theta)$ de l'estimateur de Bayes $\theta$.