Les Bayésiens soutiennent-ils jamais qu'il existe des cas dans lesquels leur approche se généralise / recoupe avec l'approche fréquentiste?


12

Les bayésiens soutiennent-ils que leur approche généralise l'approche fréquentiste, parce que l'on peut utiliser des priors non informatifs et donc, récupérer une structure de modèle fréquentiste typique?

Quelqu'un peut-il me référer à un endroit où je pourrai lire cet argument, s'il est effectivement utilisé?

EDIT: Cette question n'est peut-être pas formulée exactement comme je voulais la formuler. La question est: "y a-t-il une référence à la discussion des cas dans lesquels l'approche bayésienne et l'approche fréquentiste se chevauchent / se croisent / ont quelque chose en commun en utilisant un certain a priori?" Un exemple serait d'utiliser le mauvais , mais je suis sûr que ce n'est que la pointe de la pointe de l'iceberg.p(θ)=1


2
Je me souviens de cet argument avancé dans l'introduction de Greenberg à l'économétrie bayésienne, mais je ne suis pas sûr et je ne sais pas s'il existe une meilleure référence. De plus, je crois que ce n'est pas seulement le choix du prieur, mais aussi la confiance en le prieur.
John

3
Il y a un bon argument que les fréquentistes généralisent l'approche Bayes! Cela suit parce que les fréquentistes sont heureux d'utiliser des priors lorsque ceux-ci sont justifiés (par la théorie ou les données) mais utilisent en outre des méthodes que les bayésiens ne toucheraient pas. :-)
whuber

3
Ce sont des approches complètement différentes à partir de la façon dont la probabilité est interprétée (voir par exemple le lien ). De plus, il n'y a pas de définition unique (encore moins acceptée) de prior non informatif simplement parce qu'il n'y a pas de définition unique (ou acceptée) de l' information . Même si les estimateurs sont quantitativement les mêmes, l'interprétation d'un estimateur fréquentiste et d'un estimateur bayésien sont différentes. Comme je l'ai mentionné dans un commentaire précédent "C'est comme dire que les oranges généralisent les pommes."

1
@Procrastinator Je suis tout à fait d'accord pour dire qu'ils ne se croisent pas toujours. Je cherche des arguments dans les cas où ils le font. Permettez-moi de reformuler la question: "y a-t-il une référence à une discussion où les statistiques bayésiennes et les statistiques fréquentistes se chevauchent d'une manière ou d'une autre en utilisant un a priori?" Un exemple serait d'utiliser le mauvais a priori . Mais c'est vraiment la pointe de l'iceberg, je crois. p(θ)=1
singelton

1
@Procrastinator oui, merci! c'est exactement le genre de discussion que je recherche (cependant, je suppose que c'est toujours la pointe de l'iceberg). J'ai juste besoin de trouver un livre qui le fasse à fond, et je n'ai pas pu en trouver un. Je continuerai de chercher. Merci encore. (la plupart des livres se concentrent soit sur l'approche fréquentiste soit sur l'approche bayésienne, mais ne comparez pas les deux comme vous l'avez fait.)
singelton

Réponses:


11

J'ai vu avancer deux arguments selon lesquels l'analyse bayésienne est une généralisation d'une analyse fréquentiste. Les deux étaient quelque peu ironiques, et poussaient davantage les gens à reconnaître les hypothèses sur les modèles de régression en utilisant les a priori comme contexte.

Argument 1: L'analyse fréquentiste est une analyse bayésienne avec un a priori purement informatif centré sur zéro (oui, peu importe où elle est centrée, mais ignorez cela). Cela fournit à la fois le contexte pour lequel un bayésien pourrait extraire les résultats d'une analyse fréquentiste, explique pourquoi vous pouvez vous en tirer en utilisant certaines techniques "bayésiennes" comme MCMC pour extraire des estimations fréquentistes dans des situations où, par exemple, la convergence de probabilité maximale est difficile, et obtient les gens à reconnaître que lorsqu'ils disent «les données parlent d'eux-mêmes» et autres, ce qu'ils disent en fait, c'est qu'auparavant, toutes les valeurs sont également probables.

Argument 2: Tout terme de régression que vous n'incluez pas dans un modèle a, en effet, reçu une priorité centrée sur zéro sans variance. Celui-ci n'est pas tant un argument "L'analyse bayésienne est une généralisation" que l' argument "Il y a des priors partout , même dans vos modèles fréquentistes".


3
+1 L'argument 2 est intéressant. Deux commentaires sur l'argument 1: 1. Je dirais des prieurs plats au lieu de non informatifs (ce dernier est un terme impropre, s'il y en a jamais eu). 2. Il n'est pas nécessaire de parler de prieurs pour motiver l'utilisation du MCMC dans l'analyse fréquentiste - il n'y a rien de intrinsèquement bayésien dans cette technique numérique !
MånsT

merci EpiGrad. Avez-vous des références qui discutent des deux arguments que vous avez mentionnés?
singelton

1
+1 D'accord tant que les gens se rendent compte que c'est de la langue pour jouer un point. Mais ne le prenez pas au sérieux!
Michael R. Chernick

@ MånsT - D'accord sur le fait que MCMC n'a pas besoin d' une justification pour son utilisation, mais je trouve que cela existe dans l'esprit des gens comme quelque chose dans le royaume bayésien, plutôt que comme une technique purement numérique. Cela aide à les repousser.
Fomite

@bayesianOrFrequentist Pas vraiment non.
Fomite

6

La réponse courte est probablement "oui - et vous n'avez même pas besoin d'un plat avant pour que cet argument soit valable."

Par exemple, l' estimation Maximum A Posteriori (MAP) est une généralisation de la probabilité maximale qui comprend un avant, et il y a des approches fréquentistes qui sont analytiquement équivalent à trouver cette valeur. Le fréquentiste rebaptise "le prieur" comme une "contrainte" ou une "pénalité" sur la fonction de vraisemblance, et obtient la même réponse. Les fréquentistes et les bayésiens peuvent donc tous deux indiquer la même chose comme étant leur meilleure estimation des paramètres, même si les philosophies sont différentes. La section 5 de cet article fréquentiste est un exemple où ils sont équivalents.

La réponse la plus longue ressemble plus à «oui, mais il y a souvent d'autres aspects de l'analyse qui distinguent les deux approches. Pourtant, même ces distinctions ne sont pas nécessairement étanches dans de nombreux cas».

Par exemple, bien que les bayésiens utilisent parfois l'estimation MAP (mode postérieur) quand cela est pratique, ils mettent généralement l'accent sur la moyenne postérieure à la place. D'un autre côté, la moyenne postérieure a également un analogue fréquentiste, appelé l'estimation "bagged" (de "bootstrap agrégation") qui peut être presque impossible à distinguer (voir ce pdf pour un exemple de cet argument). Ce n'est donc pas vraiment une distinction "difficile" non plus.

En pratique, tout cela signifie que même lorsqu'un fréquentiste fait quelque chose qu'un bayésien considérerait comme totalement illégal (ou vice versa), il y a souvent (au moins en principe) une approche de l'autre camp qui donnerait presque le même anser.

La principale exception est que certains modèles sont vraiment difficiles à adapter d'un point de vue fréquentiste, mais il s'agit davantage d'un problème pratique que philosophique.


merci David. Votre réponse est utile. Je recherche également une référence qui discute longuement de ce point. Je veux voir quel est l'argument des Bayésiens au sujet des prieurs non informatifs et comment ils peuvent être réduits à l'approche fréquentiste. Je comprends parfaitement le point technique derrière cela (par exemple, si vous multipliez simplement votre probabilité par 1 ... vous allez avoir votre probabilité :-)), mais je recherche une discussion plus décente.
singelton

1
Je constate que de nombreux jeunes ne connaissent pas l'histoire ou ne comprennent pas l'essence du paradigme bayésien. Pour appeler cela une généralisation de l'approche fréquentiste déforme vraiment la comparaison de ces paradigmes. En prenant les commentaires des procrastinateurs et en les présentant d'une manière légèrement différente, je dirais que cela revient à dire qu'une pomme n'est qu'une orange surdimensionnée,
Michael R. Chernick

@DavidJHarris Je n'ai pas aimé votre réponse. Techniquement, les relations que vous signalez sont légitimes, mais dire «oui» dans la réponse courte donne une mauvaise impression. Je ne pense pas que les Bayésiens voudraient appeler leur paradigme une généralisation des statistiques fréquntistes. Les termes sont entièrement bayésiens, bayésiens empiriques et distinguent peut-être les paradigmes liés aux bayésiens, mais je pense que les bayésiens pourraient s'opposer à appeler ces branches du paradigme bayésien.
Michael R. Chernick

2
@MichaelChernick Point pris. Je ne voulais pas laisser entendre que toutes les statistiques et la philosophie bayésienne ont des analogues fréquentistes proches et vice-versa, seulement que l'on peut souvent trouver une méthode qui accomplira le même travail dans l'un ou l'autre camp, et que l'approche bayésienne a tendance à être la plus flexible des deux. J'aurais peut-être dû souligner que, même lorsque les estimations de paramètres que vous obtenez des deux écoles sont identiques, elles devraient toujours être interprétées différemment, comme l'a souligné Procrastinator ailleurs.
David J. Harris

@DavidJHarris. Je suis d'accord avec tout ce que vous dites, mais je ne m'oppose qu'à l'utilisation du terme généralisation.
Michael R. Chernick

3

Edwin Jaynes a été l'un des meilleurs à mettre en évidence les liens entre l'inférence bayésienne et fréquentiste. Ses intervalles de confiance papier vs intervalles bayésiens (la recherche Google le fait apparaître) comme une comparaison très approfondie - et je pense que c'est juste.

L'estimation sur petits domaines est un autre domaine où les réponses ML / REML / EB / HB ont tendance à être proches.


2

Beaucoup de ces commentaires supposent que «fréquentiste» signifie «estimation du maximum de vraisemblance». Certaines personnes ont une définition différente: «fréquentiste» signifie un type d'analyse des propriétés inférentielles à long terme de toute méthode d'inférence - que ce soit bayésien, ou méthode des moments, ou probabilité maximale, ou quelque chose exprimé en termes non probabilistes termes (par exemple SVM), etc.


1

J'aimerais entendre Stéphane ou un autre expert bayésien à ce sujet. Je dirais non parce que c'est une approche différente et non une généralisation. Dans un autre contexte, cela a déjà été expliqué ici. Ne pensez pas que ce n'est pas parce que les a priori plats produisent des résultats proches de la probabilité maximale qu'une méthode bayésienne avec un a priori plat soit fréquentiste! Je pense que ce serait une fausse présomption qui vous amènerait à penser qu'en rendant l'arbitraire préalable vous généralisez à d'autres prieurs possibles. Je ne pense pas de cette façon et je suis sûr que la plupart des Bayésiens non plus.

Donc, certaines personnes le contestent, mais je ne pense pas qu'elles devraient être classées comme Bayésiennes

bien que Stéphane ait souligné la difficulté d'un classement fort. Donc, à strictement parler, si le mot est un jour, je suppose que cela pourrait dépendre de la façon dont vous définissez le bayésien.


(+1) Ce sont des approches complètement différentes. C'est comme dire que les oranges généralisent les pommes.

5
Manger beaucoup d'oranges et pas de pommes le fait penser.
Alfred M.

cela est vrai, bien que la probabilité maximale soit l'une des rares procédures générales pour faire l'inférence fréquentiste. Elle sera donc invariablement surreprésentée dans les discussions générales sur les méthodes fréquentistes. Je suis surpris que l'échantillonnage ne soit pas mentionné comme GREG.
probabilislogic
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.