Qu'est-ce que cela signifie pour quelque chose d'avoir de bonnes propriétés fréquentistes?

J'ai souvent entendu cette phrase, mais je n'ai jamais entièrement compris ce qu'elle signifie. L'expression "bonnes propriétés fréquentistes" compte actuellement environ 2750 visites sur google, 536 sur scholar.google.com et 4 sur stats.stackexchange.com .

La chose la plus proche que j'ai trouvée à une définition claire vient de la dernière diapositive de cette présentation de l'Université de Stanford , qui déclare

[L] a signification de rapporter des intervalles de confiance à 95% est que vous «piègez» le véritable paramètre dans 95% des affirmations que vous faites, même à travers différents problèmes d'estimation. C'est la caractéristique déterminante des procédures d'estimation ayant de bonnes propriétés fréquentistes: elles résistent à l'examen lorsqu'elles sont utilisées à plusieurs reprises.

En y réfléchissant un peu, je suppose que l'expression "bonnes propriétés fréquentistes" implique une évaluation d'une méthode bayésienne, et en particulier d'une méthode bayésienne de construction d'intervalles. Je comprends que les intervalles bayésiens sont censés contenir la vraie valeur du paramètre avec la probabilité . Les intervalles Frequentist sont censés être construits de telle sorte que si le processus de construction d'intervalles if était répété plusieurs fois, environ des intervalles contiendraient la vraie valeur du paramètre. Les intervalles bayésiens ne font en général aucune promesse quant au pourcentage d'intervalles qui couvrira la vraie valeur du paramètre. Cependant, certaines méthodes bayésiennes ont également la propriété que si elles sont répétées plusieurs fois, elles couvrent la vraie valeur d'environ $p$ $p*100\%$ $p*100\%$ du temps. Quand ils ont cette propriété, nous disons qu'ils ont de "bonnes propriétés fréquentistes".

Est-ce correct? Je pense qu'il doit y avoir plus que cela, car l'expression fait référence à de bonnes propriétés fréquentistes , plutôt qu'à une bonne propriété fréquentiste .

bayesian terminology frequentist

— user1205901 - Réintégrer Monica
source

J'aime beaucoup la façon dont vous avez pensé cette question. Au début, Sir Harold Jeffreys a essayé de construire des distributions bayésiennes postérieures qui se comportaient comme des fonctions de vraisemblance et avaient donc de bonnes propriétés fréquentistes. Cela revient donc à construire une distribution a priori "uniforme". L'idée est que l'utilisation d'un tel a priori signifie que l'a priori est neutre et n'influence pas l'inférence. Donc, cela s'applique à plus que simplement faire en sorte que les intervalles crédibles ressemblent à des intervalles de confiance. Mais Jeffreys a eu des ennuis parce qu'il y avait des cas où le prieur "uniforme" n'était pas approprié.

— Michael R. Chernick

Impropre signifie que la densité antérieure ne s'intègre pas à 1. Il semble que Jeffreys croyait que la méthode bayésienne devait être justifiée en approuvant la méthode fréquentiste. Les bayésiens ont finalement rejeté cette notion parce que la valeur de l'approche qu'ils prétendent est qu'il existe des informations préalables qui influencent l'inférence et qu'ils préfèrent donc utiliser des priors «informatifs» appropriés.

— Michael R. Chernick

@MichaelChernick: pouvez-vous fournir une référence précise sur Jeffreys cherchant des propriétés fréquentistes pour les estimateurs de Bayes? Je n'ai jamais entendu parler de cette histoire. Et je doute aussi que Jeffreys se soit inquiété de l'utilisation de prieurs incorrects, ils sont tous sur la théorie de la probabilité .

— Xi'an

J'AIME cette question!

— Alexis

@ Xi'an en fait, pour le modèle bêta-binomial, c'est le prieur Haldane (qui est incorrect) celui qui conduit à l'estimation fréquentiste, pas le prieur Jeffreys (qui est approprié, dans ce cas). Je n'ai jamais entendu dire non plus que Jeffreys recherchait de bonnes propriétés fréquentistes: je pensais qu'il recherchait des prieurs objectifs, et par objectif il voulait dire invariant sous reparamétrisation.

— DeltaIV

Réponses:

Une chose délicate à propos des bonnes propriétés fréquentistes est qu'elles sont des propriétés d'une procédure plutôt que des propriétés d'un résultat ou d'une inférence particulier. Une bonne procédure fréquentiste donne des inférences correctes sur la proportion spécifiée de cas à long terme, mais une bonne procédure bayésienne est souvent celle qui donne des inférences correctes dans le cas individuel en question.

Par exemple, considérons une procédure bayésienne qui est "bonne" dans un sens général car elle fournit une distribution de probabilité postérieure ou un intervalle crédible qui représente correctement la combinaison des preuves (fonction de vraisemblance) avec la distribution de probabilité antérieure. Si le prieur contient des informations exactes (disons, plutôt qu'une opinion vide ou une certaine forme de prieur non informatif), ce postérieur ou cet intervalle pourrait entraîner une meilleure inférence qu'un résultat fréquentiste à partir des mêmes données. Mieux dans le sens de conduire à une inférence plus précise sur ce cas particulier ou à un intervalle d'estimation plus étroit car la procédure utilise un préalable personnalisé contenant des informations précises. À long terme, le pourcentage de couverture des intervalles et l'exactitude des inférences sont influencés par la qualité de chaque a priori.

Notez que la procédure ne spécifie pas comment le prieur doit être obtenu et donc la comptabilisation à long terme de la performance supposerait vraisemblablement n'importe quel ancien plutôt qu'un a priori conçu sur mesure pour chaque cas.

Une procédure bayésienne peut avoir de bonnes propriétés fréquentistes. Par exemple, dans de nombreux cas, une procédure bayésienne avec un a priori non informatif fourni par la recette aura des propriétés fréquentistes assez bonnes à excellentes. Ces bonnes propriétés seraient un accident plutôt qu'une caractéristique de conception, et seraient une conséquence directe d'une telle procédure produisant des intervalles similaires aux procédures fréquentistes.

Ainsi, une procédure bayésienne peut avoir des propriétés inférentielles supérieures dans une expérience individuelle tout en ayant de mauvaises propriétés fréquentistes à long terme. De manière équivalente, les procédures fréquentistes avec de bonnes propriétés fréquentistes à long terme ont souvent de mauvaises performances dans le cas d'expériences individuelles.

— Michael Lew
source

Je ne suis pas. À l'exception des Bayes empiriques, dans toutes les procédures bayésiennes, j'ai vu que le prieur était choisi indépendamment des données. Ainsi, lors de l'application d'une telle procédure à plusieurs ensembles de données provenant du même processus de génération de données (c'est le cadre fréquentiste), le bayésien utilisera la même fonction de vraisemblance (le processus de génération de données est le même) et le même a priori (l'a priori est indépendant des données dans la plupart des procédures Bayes). Bien sûr, puisque les données changent à chaque fois, la valeur de la probabilité change, mais sa forme est la même. Maintenant, si chaque individu [1/2]

— DeltaIV

[2/2] l'estimation est plus précise, comment l'ensemble de la procédure peut-elle être moins précise? Cela n'est possible que si l'estimation bayésienne n'est pas toujours plus précise. Cependant, comme l'a priori n'est pas adapté aux données observées, je ne sais pas ce qui le rend plus ou moins précis pour chaque cas et / ou «en moyenne».

— DeltaIV

@DeltaV Je pense que vous avez affaire à un mauvais ensemble de référence. Les propriétés fréquentistes d'une procédure se rapportent aux performances à long terme de la procédure appliquée dans tous les nouveaux cas, et pas seulement aux répétitions de l'expérience particulière. C'est pourquoi les procédures d'intervalle de confiance pour les proportions binomiales doivent fonctionner pour toutes les valeurs du paramètre, et pas seulement pour la valeur pertinente pour une instance particulière où la procédure est utilisée. Ce type de «long terme» signifie que la priorité personnalisée qui convient au cas en question sera inappropriée à long terme.

— Michael Lew

vous avez raison de dire qu'une procédure de confiance fréquentiste doit avoir la couverture nominale pour toutes les valeurs du paramètre inconnu. Cela a été clairement spécifié par Newman & Pearson, et il est souvent négligé aujourd'hui. Cependant, lorsque vous choisissez l'a priori, vous ne savez pas quelle est la "vraie" valeur du paramètre. Vous n'avez que votre échantillon, et le prieur doit être indépendant de l'échantillon. Ainsi, je ne vois toujours pas clairement comment vous pouvez personnaliser l'a priori en fonction de l'échantillon. Pouvez-vous en faire un exemple pratique?

— DeltaIV

@DeltaIV Si je sais que le paramètre d'intérêt actuel a été estimé dans l'étude précédente, je peux façonner un a priori informatif basé sur cette estimation. Cet a priori sera approprié pour cette analyse actuelle, mais il n'y a pas un a priori informatif approprié équivalent disponible pour l'ensemble théorique d'applications de la méthode à long terme. Ainsi, l'analyse peut avoir des propriétés bien meilleures dans le cas réel isolé qu'elle ne semble en avoir à long terme fréquentiste.

— Michael Lew

Je répondrais que votre analyse est correcte. Pour fournir quelques informations supplémentaires, je mentionnerais les priors correspondants.

Les prieurs correspondants sont généralement des priors conçus pour construire des modèles bayésiens avec une propriété fréquentiste. En particulier, ils sont définis de sorte que les intervalles hpd obtenus satisfassent la couverture fréquentiste de l'intervalle de confiance (donc 95% des hpd 95% contiennent les vraies valeurs à long terme). Notez que, en 1d, il existe des solutions analytiques: les priors de Jeffreys sont des priors correspondants. En dimension supérieure, ce n'est pas nécessairement le cas (à ma connaissance, il n'y a aucun résultat prouvant que ce n'est jamais le cas).

Dans la pratique, ce principe d'appariement est parfois également appliqué pour régler la valeur de certains paramètres d'un modèle: les données de vérité terrain sont utilisées pour optimiser ces paramètres dans le sens où leurs valeurs maximisent la couverture fréquentiste des intervalles crédibles résultants pour le paramètre d'intérêt . D'après ma propre expérience, cela peut être une tâche très subtile.

— peuhp
source

$p$

Maintenant, pour répondre à votre question: non, cela n'implique aucune évaluation de la méthode bayésienne. Ignorer les nuances et se concentrer sur la procédure d'estimation pour rester simple: le fréquentisme en statistique est l'idée d'estimer une quantité fixe inconnue, ou de tester une hypothèse, et d'évaluer cette procédure par rapport à une répétition hypothétique de celle-ci. Vous pouvez adopter de nombreux critères pour évaluer une procédure. Ce qui en fait un critère fréquentiste, c'est que l'on se soucie de ce qui se passe si on adopte encore et encore la même procédure. Si vous le faites, vous vous souciez des propriétés fréquentistes. En d'autres termes: "quelles sont les propriétés fréquentistes?" signifie "que se passe-t-il si nous répétons la procédure encore et encore?" Maintenant, ce qui rend ces propriétés fréquentistes bonnesest une autre couche de critères. Les propriétés fréquentistes les plus courantes qui sont considérées comme de bonnes propriétés sont la cohérence (dans une estimation, si vous continuez à échantillonner, l'estimateur convergera vers la valeur fixe que vous estimez), l' efficacité (si vous continuez à échantillonner, la variance de l'estimateur ira à zéro , vous serez donc de plus en plus précis), probabilité de couverture(dans de nombreuses répétitions de la procédure, un intervalle de confiance à 95% contiendra la vraie valeur 95% du temps). Les deux premières sont appelées propriétés de grand échantillon, la troisième est la propriété véritablement fréquentiste de Neyman en ce sens qu'elle n'a pas nécessairement besoin d'utiliser des résultats asymptotiques. Donc, en somme, dans le cadre fréquentiste, il y a une valeur vraie et inconnue. Vous l'estimez et vous vous trompez toujours (sauf dans un rare accident chanceux) dans l'estimation, mais vous essayez de vous sauver en exigeant qu'au moins sous une répétition hypothétique indéfiniment de votre estimation, vous seriez de moins en moins dans l'erreur ouvous savez que vous auriez raison un certain nombre de fois. Je ne discuterai pas si cela a du sens ou non, ou les hypothèses supplémentaires requises pour le justifier, étant donné que ce n'était pas vos questions. Conceptuellement, c'est à cela que se réfèrent les propriétés fréquentistes , et quel bon moyen en général dans un tel contexte.

Je terminerai en vous montrant cet article, afin que vous jugiez par vous-même si cela a du sens et ce que signifie une procédure bayésienne d'avoir de bonnes propriétés fréquentistes (vous y trouverez plus de références):

Little, R. et autres, (2011). Bayes calibrées, pour les statistiques en général, et les données manquantes en particulier. Science statistique, 26 (2), 162–174.

— Diogo
source