Quels sont / sont les prieurs implicites dans les statistiques fréquentistes?

J'ai entendu dire que Jaynes prétend que les fréquentistes opèrent avec un "a priori implicite".

Quels sont ou sont ces prieurs implicites? Cela signifie-t-il que les modèles fréquentistes sont tous des cas particuliers de modèles bayésiens à découvrir?

Dans la théorie de la décision fréquentiste, il existe des résultats de classe complets qui caractérisent les procédures admissibles comme des procédures Bayes ou comme des limites des procédures Bayes. Par exemple, Stein condition nécessaire et suffisante (Stein. 1955; Farrell, 1968b) déclare que, selon les hypothèses suivantes

1. la densité d'échantillonnage $f(x|\theta)$ est continue dans $\theta$ et strictement positive sur $\Theta$ ; et
2. $L$$E\subset\Theta$ $$\lim_{\|\delta\|\rightarrow +\infty} \inf_{\theta\in E}L(\theta,\delta) =+\infty.$$

un estimateur est admissible si, et seulement si, il existe$\delta$

• une séquence d'ensembles compacts croissants tels que ,Θ = ⋃ n F $(F_n)$$\Theta=\bigcup_n F_n$
• une séquence de mesures finies avec support , etF $(\pi_n)$$F_n$

• une séquence d'estimateurs bayésiens associée à telle queπ $(\delta_n)$$\pi_n$

  1. il existe un ensemble compact tel queinf n π n ( E 0 ) ≥ $E_0\subset \Theta$$\inf_n \pi_n(E_0) \ge 1$
  2. si est compact,sup $E\subset \Theta$$\sup_n \pi_n(E) <+\infty$
  3. $\lim_n r(\pi_n,\delta)-r(\pi_n) = 0$ et
  4. $\lim_n R(\theta,\delta_n)= R(\theta,\delta)$ .

[reproduit de mon livre, Bayesian Choice , Theorem 8.3.0, p.407]

Dans ce sens restreint, la propriété fréquentiste de l'admissibilité est dotée d'un arrière-plan bayésien, associant ainsi un a priori implicite (ou une séquence de ceux-ci) à chaque estimateur admissible.

Sidenote: Dans une triste coïncidence, Charles Stein est décédé le 25 novembre à Palo Alto, en Californie. Il avait 96 ans.

Il existe un résultat similaire (s'il est mathématiquement impliqué) pour une estimation invariante ou équivariante, à savoir que le meilleur estimateur équivariant est un estimateur de Bayes pour chaque groupe transitif agissant sur un modèle statistique, associé à la bonne mesure de Haar, , induite sur$\pi^*$$\Theta$ par ce groupe et la perte invariante correspondante. Voir Pitman (1939), Stein (1964) ou Zidek (1969) pour les détails impliqués. C'est très probablement ce que Jaynes avait en tête, alors qu'il argumentait avec force sur la résolution des paradoxes de marginalisation par les principes d'invariance .

En outre, comme détaillé dans réponse de civilstat , une autre notion fréquentiste d'optimalité, à savoir la minimaxité, est également liée aux procédures bayésiennes en ce que la procédure minimax qui minimise l'erreur maximale (sur l'espace des paramètres) est souvent la procédure maximin qui maximise l'erreur minimale ( sur toutes les distributions antérieures), est donc une Bayes ou limite de procédure (s) de Bayes.

Q .: Existe-t-il un plat à emporter que je puisse utiliser pour transférer mon intuition bayésienne à des modèles fréquentistes?

Premièrement, j'éviterais d'utiliser le terme "modèle fréquentiste" car il existe des modèles d'échantillonnage (les données sont une réalisation de pour une valeur de paramètre.X ∼ f ( x | θ ) $x$$X\sim f(x|\theta)$$\theta$ )95 95 et des procédures fréquentistes (meilleur estimateur sans biais, minimum intervalle de confiance de la variance, & tc.)Deuxièmement, je ne vois pas de raison méthodologique ou théorique convaincante pour considérer les méthodes fréquentistes comme des méthodes bayésiennes limites ou limitatives. La justification d'une procédure fréquentiste, lorsqu'elle existe, est de satisfaire une propriété d'optimalité dans l'espace d'échantillonnage, c'est-à-dire lors de la répétition des observations. La justification principale des procédures bayésiennes est d'être optimale [selon un critère spécifique ou une fonction de perte] compte tenu d'une distribution préalable et d'une réalisation à partir du modèle d'échantillonnage. Parfois, la procédure résultante satisfait une propriété fréquentiste (la$95$% région crédible est une région de confiance à %)$95$ , mais cela se produit par le fait que cette optimalité ne se transfère pas à toutes les procédures associées au modèle bayésien.

La réponse de @ Xi'an est plus complète. Mais puisque vous avez également demandé un plat à emporter, en voici un. (Les concepts que je mentionne ne sont pas exactement les mêmes que les critères d'admissibilité ci-dessus.)

Les fréquents aiment souvent (mais pas toujours) utiliser des estimateurs qui sont "minimax": si je veux estimer , le risque le plus défavorable de mon estimateur devrait être meilleur que le risque le plus défavorable de tout autre estimateur . Il s'avère que les MLE sont souvent (approximativement) minimax. Voir les détails par exemple ici ou ici .$\theta$$\hat{\theta}$

Afin de trouver l'estimateur minimax pour un problème, une façon est de penser bayésien un instant et de trouver le " le moins favorable" . Il s'agit de l'a priori dont l'estimateur de Bayes présente un risque moyen plus élevé que tout autre estimateur de Bayes antérieur. Si vous pouvez le trouver, alors il s'avère que l' estimateur de Bayes de est minimax.$\pi$$\pi$

En ce sens, vous pourriez dire avec concision: Un Frequentist (utilisant minimax) est comme un Bayésien qui a choisi (l'estimation ponctuelle basée sur) un a priori le moins favorable.

Peut-être pourriez-vous étirer ceci pour dire: un tel Frequentist est un bayésien conservateur, choisissant non pas des priors subjectifs ou même des prieurs non informatifs mais (dans ce sens spécifique) des priors du pire des cas.

Enfin, comme d'autres l'ont dit, il est difficile de comparer les Frequentistes et les Bayésiens de cette manière. Être un Frequentist n'implique pas nécessairement que vous utilisez un certain estimateur. Cela signifie simplement que vous posez des questions sur les propriétés d'échantillonnage de votre estimateur, alors que ces questions ne sont pas la priorité absolue des bayésiens. (Ainsi, tout bayésien qui espère de bonnes propriétés d'échantillonnage, par exemple "Bayes calibrées", est également un Frequentist.)
Même si vous définissez un Frequentist comme celui dont les estimateurs ont toujours des propriétés d'échantillonnage optimales , il existe de nombreuses propriétés de ce type et vous ne pouvez pas toujours les rencontrer tous à la fois. Il est donc difficile de parler de manière générale de «tous les modèles Frequentist».