Comment les données sont-elles générées dans le cadre bayésien et quelle est la nature du paramètre qui génère les données?

J'essayais de réapprendre les statistiques bayésiennes (à chaque fois que je pensais l'avoir enfin, quelque chose d'autre apparaissait que je n'avais pas envisagé plus tôt ...) mais il n'était pas clair (pour moi) quel était le processus de génération de données dans le cadre bayésien est en fait.

Le cadre fréquentiste est clair pour moi. Il y a des "vrais" paramètres$\theta$ et ce paramètre génère les données en fonction de la distribution qu'il paramètre.

Cependant, dans le cadre bayésien, nous modélisons le paramètre comme une variable aléatoire. Cette partie ne me confond pas. Cela a du sens, car un bayésien interprète cette probabilité comme l'incertitude de ses propres croyances. Ils sont d'accord pour attribuer une probabilité aux événements non répétables. Donc, la façon dont j'ai interprété le "Bayésianisme" était que, selon lui, il y a un paramètre générant les données, il est définitivement inconnu mais néanmoins, fixé une fois qu'il a été décidé par la "nature" (et peut-être que la nature a décidé au hasard ce qu'il était supposé être). Néanmoins, il est corrigé et donc sa création était un "événement non reproductible". Même s'il n'était pas reproductible, nous essayons seulement de mettre à jour notre propre croyance$\theta$données données. Par conséquent, les données peuvent avoir été générées par l'un des paramètres pris en compte par notre distribution de probabilité (antérieure), mais néanmoins, le paramètre est fixe et inconnu. Nous y attachons simplement une valeur de probabilité.

Avec ce point de vue, il est logique pour moi de supposer que le processus de génération de données est presque identique au processus fréquentiste. "Nature" sélectionne le paramètre$\theta$ en utilisant la "vraie" distribution "antérieure" $P^*(\theta)$ et une fois que la variable aléatoire prend sa réalisation "vraie" (mais fixe), elle commence à générer les données que nous observons.

Est-ce la manière standard d'interpréter le processus de génération de données dans le cadre bayésien?

La chose principale à mon avis est que le paramètre $\theta$est définitivement fixé (vu comme une réalisation d'un VR), et il génère les données selon$\theta$. Par conséquent, un autre point très important à mon avis est que, pour moi, notre a priori n'est qu'un moyen quantifiable d'exprimer notre incertitude sur l'événement fixe (et non répétable) de création du paramètre$\theta$. Est-ce ainsi que les gens interprètent$P(\theta)$?

Côté humoristique:

J'aimerais pouvoir demander à "Nature" comment elle le fait et régler ça une fois pour toutes ... lol.

C'est assez simple: il n'y a pas de différence entre bayésiens et fréquentistes quant à l'idée du modèle générateur de données.

Pour comprendre cela, considérons d'abord que le modèle générateur de données est codé mathématiquement selon la vraisemblance, qui est la base de l'inférence des Bayésiens et des fréquentistes. Et il n'y a aucune différence entre une probabilité bayésienne et fréquentiste.

Maintenant, vous pourriez dire: cela ne signifie pas que les Bayésiens pensent que les paramètres du processus de génération de données sont fixes. Bien sûr, mais vraiment, cela n'a pas beaucoup de sens de penser autrement - quel serait l'intérêt d'estimer une quantité qui n'est pas fixe? Qu'est-ce que cela signifierait même mathématiquement? Bien sûr, il se pourrait que vous ayez une quantité qui n'est pas une valeur, mais une distribution. Mais ensuite, vous estimez la distribution, elle est donc à nouveau fixée.

La vraie différence, comme le dit @ Xi'an, ne réside pas dans l'hypothèse de la façon dont nos données sont générées, mais dans l'inférence. Alors, quand tu dis

Cependant, dans le cadre bayésien, nous modélisons le paramètre comme une variable aléatoire.

Je ne suis pas d'accord - nous modélisons nos connaissances / incertitudes sur le vrai paramètre comme une variable aléatoire - c'est la différence subtile mais importante - nous traitons le paramètre comme des variables aléatoires pour explorer notre incertitude quant à leur "vraie" valeur.

Les pages 3 et 4 du BDA de Gelman et al., 3e éd., Sont éclairantes. Les statistiques bayésiennes visent à faire des inférences à partir de données en utilisant des modèles de probabilité pour des quantités observables et non observables. Nous désignons les quantités non observables comme des paramètres, même si la distinction n'est pas toujours nette. Dans les statistiques bayésiennes, toute incertitude concernant les variables impliquées dans le modèle est représentée en utilisant la probabilité. Nous devons donc mettre en place un modèle de probabilité complet, c'est-à-dire une probabilité conjointe entre tousles variables impliquées dans notre problème, à la fois observables et non observables, c'est-à-dire les paramètres. Cela signifie que nous utilisons des variables aléatoires pour représenter les deux. Cela ne signifie pas que nous pensons que le paramètre est aléatoire: cela signifie simplement que notre connaissance de la valeur réelle des paramètres est limitée, et nous représentons toutes les connaissances limitées que nous avons avant d'observer les données à travers la distribution de probabilité antérieure. Nous observons ensuite les données et conditionnons sur les données observées en utilisant un modèle pour le processus de génération de données (qui donne lieu à une certaine fonction de vraisemblance) et la règle de Bayes, pour obtenir une distribution de probabilité postérieure, qui quantifie l'incertitude restante dans nos connaissances sur la quantités non observables.

En d'autres termes, nous utilisons des variables aléatoires pour les paramètres non pas parce que nous pensons qu'il n'y a pas de vrais paramètres, mais parce que nous en avons une connaissance limitée, qui s'améliore après avoir observé les données pour les variables mesurables, mais elle ne disparaît pas complètement. En effet, il existe des conditions techniques dans lesquelles la distribution postérieure tend vers un delta de Dirac (donc la variable aléatoire utilisée pour représenter le paramètre devient dégénérée) dans la limite du nombre d'observations qui passe à 0. S'il n'y avait pas valeur "vraie" pour le paramètre, cela n'aurait pas beaucoup de sens. Maintenant, ces conditions ne sont certainement pas toujours valables, mais dans de nombreuses analyses bayésiennes standard (même si elles ne sont pas toutes) nous ne doutons pas de l'existence d'un vrai modèle, et de valeurs vraies ou fixes pour les non observables.

Est-ce la manière standard d'interpréter le processus de génération de données dans le cadre bayésien?

Non, ce n'est pas l'interprétation standard. En fait, vous avez déjà reconnu dans votre question l' interprétation "subjective" de la probabilité , qui est la base standard des statistiques bayésiennes. Dans le cadre de l'interprétation «subjectiviste» (plus exactement appelée interprétation «épistémique»), les distributions de probabilité a priori et postérieure des paramètres sont utilisées pour représenter l'incertitude de l'utilisateur sur les paramètres inconnus dans le modèle. Dans ce récit, il n'y a aucune hypothèse de processus métaphysique correspondant se produisant dans la nature, ni de caractère aléatoire dans la nature. En effet, selon ce point de vue, le paradigme bayésien ne fournit aucune théorie du toutsur le "processus de génération de données" de la nature; il nous donne simplement un moyen mathématique de modéliser notre incertitude sur les choses dans la nature, et donc de former une théorie inférentielle et prédictive .

Votre dernière description est un exemple de la théorie de la propension à la probabilité , qui postule qu'il existe un processus métaphysique qui se produit dans la nature et qui est analogue au calcul des probabilités. Cette interprétation de la probabilité suppose qu'il existe une «propension» métaphysique intégrée dans la nature pour que les résultats se produisent au hasard selon les lois de la probabilité. Comme pour la plupart des Bayésiens, j'ai toujours trouvé les comptes de propension un peu stupides. C'est vraiment un exemple de la propension des êtres humains à projeter nos propres modes de pensée sur la nature et à supposer qu'il existe dans la nature des analogues à nos méthodes et constructions épistémologiques. (En tant que telle, "l'interprétation de la propension" est plus proprement une théorie de la propension des êtres humains qu'une théorie de la probabilité!)

Maintenant, vous pourriez décider d'adopter l'interprétation subjectiviste de la probabilité, ou vous pourriez être en désaccord avec moi et décider d'adopter l'interprétation de la propension. Quoi qu'il en soit, vous allez vous retrouver dans un horrible gâchis si vous équivoquez entre ces deux interprétations différentes. C'est probablement ce qui vous pose des problèmes en ce moment.

Le paramètre $\theta$ne peut être considéré comme fixe mais inconnu que si vous supposez que le modèle sous-jacent avec lequel vous travaillez est une représentation parfaite du vrai système. Cependant, comme la nature est généralement beaucoup plus complexe que n'importe quel modèle mathématique que nous utilisons, cette hypothèse ne peut pas être faite. Par conséquent, il n'y a pas de paramètre «un seul vrai fixe» de votre modèle.

Mathématiquement, à mesure que vous ajoutez de plus en plus de données, vous convergerez vers un certain paramètre $\theta$. Cependant, cela est dû à l'insuffisance de vos hypothèses dans le processus de modélisation. Vous devez être prudent de l'appeler le véritable paramètre fixe du système sous-jacent. Même si un paramètre de votre modèle a une signification physique - ce n'est qu'une supposition que le paramètre postérieur conserve complètement cette interprétation.

Les données dans une vue bayésienne sont générées par le «vrai système» - que vous ne pourrez jamais modéliser correctement. Par conséquent, un vrai paramètre sous-jacent de votre modèle supposé ne peut pas exister.