Un bayésien admettrait-il qu'il existe une valeur de paramètre fixe?

Dans l'analyse de données bayésienne, les paramètres sont traités comme des variables aléatoires. Cela découle de la conceptualisation subjective bayésienne de la probabilité. Mais les Bayésiens reconnaissent-ils théoriquement qu’il existe une véritable valeur de paramètre fixe dans le «monde réel»?

Il semble que la réponse évidente soit «oui», car tenter d'estimer le paramètre serait presque absurde. Une citation académique pour cette réponse serait grandement appréciée.

IMHO "oui"! Voici l'une de mes citations préférées du Groenland (2006: 767):

On dit souvent (à tort) que "les paramètres sont traités comme fixés par le fréquentiste mais aléatoires par le bayésien". Pour les fréquentistes et les bayésiens, la valeur d'un paramètre peut avoir été fixée depuis le début ou avoir été générée à partir d'un mécanisme physiquement aléatoire. Dans les deux cas, les deux supposent qu'il a pris une valeur fixe que nous aimerions connaître. Le bayésien utilise des modèles de probabilité formels pour exprimer une incertitude personnelle quant à cette valeur. Le «caractère aléatoire» dans ces modèles représente une incertitude personnelle quant à la valeur du paramètre. ce n'est pas une propriété du paramètre (bien que nous devrions espérer qu'il reflète avec précision les propriétés des mécanismes qui ont produit le paramètre).

Groenland, S. (2006). Perspectives bayésiennes pour la recherche épidémiologique: I. Fondements et méthodes de base. Journal international d'épidémiologie , 35 (3), 765-774.

La conception bayésienne d'une probabilité n'est pas nécessairement subjective (cf Jaynes). La distinction importante ici est que le Bayésien tente de déterminer son état de connaissance concernant la valeur du paramètre en combinant une distribution antérieure pour sa valeur plausible avec la vraisemblance qui résume les informations contenues dans certaines observations. Par conséquent, en tant que bayésien, je dirais que je suis satisfait de l’idée que le paramètre a une valeur réelle, ce que l’on ne sait pas exactement, et le but d’une distribution postérieure est de résumer ce que je sais de ses valeurs plausibles, basé sur mes hypothèses antérieures et les observations.

Maintenant, quand je fais un modèle, le modèle n'est pas la réalité. Donc, dans certains cas, le paramètre en question existe dans la réalité (par exemple, le poids moyen d'un wombat) et dans d'autres, il n'en a pas (par exemple, la valeur vraie d'un paramètre de régression - le modèle de régression n'est qu'un modèle du résultat de les lois physiques qui régissent le système, qui peuvent en fait ne pas être entièrement capturées par le modèle de régression). Donc, dire qu'il y a une vraie valeur de paramètre fixe dans le monde réel n'est pas nécessairement vrai.

D'un autre côté, je dirais que la plupart des fréquentistes diraient qu'il existe une valeur réelle pour la statistique, mais ils ne savent pas non plus ce que c'est, mais ils ont des estimateurs et des intervalles de confiance pour leurs estimations qui (dans un sens ) quantifie leur incertitude quant à la plausibilité de valeurs différentes (mais la conception fréquentiste d'une probabilité les empêche de l'exprimer directement).

Dans votre analyse principale, dans Bayesian Data Analysis (3 e éd., 93), Gelman écrit également:

Du point de vue de l'analyse bayésienne des données, nous pouvons souvent interpréter les estimations ponctuelles classiques comme des résumés a posteriori exacts ou approximatifs fondés sur un modèle de probabilité implicite. En fait, dans la limite d'un échantillon de grande taille, nous pouvons utiliser la théorie asymptotique pour construire une justification bayésienne théorique de l'inférence classique du maximum de vraisemblance.

Alors peut-être que ce ne sont pas les Bayésiens qui devraient "admettre" qu'il existe, en vérité, de véritables valeurs paramétriques, mais les fréquentistes qui devraient faire appel aux statistiques bayésiennes pour justifier leurs procédures d'estimation! (Je dis cela avec la langue fermement dans la joue.)

$\Pr(\theta|y)$

Mais l'idée qu'il existe des paramètres uniques dans la nature ou dans les systèmes sociaux n'est qu'une hypothèse simplificatrice. Il peut y avoir un processus fastueux générant des résultats observables, mais la découverte de ce système est incroyablement compliquée. en supposant qu'il n'y ait qu'une seule valeur de paramètre fixe, le problème est considérablement simplifié. Je pense que cela touche au cœur de votre question: les bayésiens ne devraient pas avoir à "admettre" cette simplification plus que les frequentists.

Pensez-vous qu'il existe un seul "véritable paramètre fixe" pour quelque chose comme la contribution de la consommation de lait à la croissance d'un enfant? Ou pour la diminution de la taille d'une tumeur en fonction de la quantité de X chimique que vous injectez dans le corps d'un patient? Choisissez le modèle que vous connaissez et demandez-vous si vous croyez réellement qu'il existe une valeur vraie, universelle, précise et fixe pour chaque paramètre, même en théorie.

Ignorer l'erreur de mesure, il suffit de regarder votre modèle comme si toutes les mesures étaient parfaitement précises et infiniment précises. Selon votre modèle, pensez-vous que chaque paramètre a de manière réaliste une valeur en points spécifique?

Le fait que vous ayez un modèle indique que vous omettez certains détails. Votre modèle sera imprécis car vous faites une moyenne sur les paramètres / variables que vous avez omis afin de créer un modèle - une représentation simplifiée de la réalité. (Tout comme vous ne faites pas une carte 1: 1 de la planète, complète avec tous les détails, mais plutôt une carte 1: 10000000, ou une telle simplification. La carte est un modèle.)

Étant donné que vous faites la moyenne entre les variables non renseignées, les paramètres des variables que vous incluez dans votre modèle seront des distributions et non des valeurs ponctuelles.

Ce n'est qu'un aspect de la philosophie bayésienne - j'ignore l'incertitude théorique, l'incertitude de mesure, les a priori, etc. - mais il me semble que l'idée que vos paramètres ont des distributions a un sens intuitif, au même titre que les statistiques descriptives. Distribution.

Mais les Bayésiens reconnaissent-ils théoriquement qu’il existe une véritable valeur de paramètre fixe dans le «monde réel»?

$\theta_0$$\theta_0$

Si nous allons coupler le bayésianisme avec un univers déterministe (avant de dire quoi que ce soit avec le mot 'quantum' dedans, amusez-vous et rappelez-vous que ce n'est pas de la physique. Stackexchange), nous obtiendrons des résultats intéressants.

Rendre nos hypothèses explicites:

1. Nous avons un agent bayésien faisant partie d’un univers déterministe et l’observant.
2. L'agent dispose de ressources informatiques limitées.

L'univers déterministe est peut-être un univers où les atomes sont de petites boules de billard newtoniennes. Cela peut être entièrement non quantique. Disons que c'est.

L'agent lance maintenant une pièce équitable. Pensez-y une seconde, que constitue une pièce de monnaie équitable dans un univers déterministe? Une pièce qui a un rapport de probabilité 50/50?

Mais c'est déterministe! Avec suffisamment de puissance de calcul, vous pouvez calculer exactement comment la pièce va atterrir, simplement en simulant un modèle de pièce retournée de la même manière.

Dans un univers déterministe, une pièce de monnaie serait un disque de métal de densité uniforme. Aucune force ne l’oblige à passer plus de temps avec l’un face cachée que l’autre (réfléchissez à la façon dont les dés pondérés fonctionnent.)

Donc, l'agent lance une pièce équitable. Pourtant, l'agent n'est pas assez puissant. Il n'a pas assez d'yeux pour mesurer la rotation de la pièce, il ne voit qu'un flou.

Et il est donc dit "Cette pièce va atterrir une tête avec une probabilité de 50%." Le manque d'information mène à des probabilités.

Nous pouvons regarder l'espace de phase de la façon dont une pièce de monnaie est lancée. Un grand système de coordonnées multidimensionnel avec des axes relatifs à la direction du lancer, à la force du lancer, à la rotation de la pièce, à la vitesse et à la direction du vent, etc. Un seul point dans cet espace correspond à un seul coinflip possible.

Si nous demandons à l'agent d'avant de colorier dans le système de coordonnées avec un dégradé de niveaux de gris correspondant à l'attribution par l'agent de probabilité de têtes pour chaque projection donnée, il colorera généralement le tout d'une nuance de gris uniforme.

Si nous lui donnons progressivement des ordinateurs internes plus puissants avec lesquels calculer les probabilités de têtes, il sera en mesure de faire de plus en plus de coloris éclairants. Lorsque nous lui donnerons enfin l'ordinateur interne le plus puissant, le rendant omniscient, il peindra efficacement un damier étrange.

Les pièces justes ne sont pas faites de probabilités, elles sont en métal. Les probabilités n'existent que dans les structures de calcul. Ainsi dit le bayésien.

Il y a des a priori inappropriés, par exemple Jeffreys, qui a un certain rapport avec la matrice d'informations de pêcheur. Alors ce n'est pas subjectif.