Pourquoi les tests d'hypothèses fréquentistes deviennent-ils biaisés en faveur du rejet de l'hypothèse nulle avec des échantillons suffisamment grands?

Je venais de lire cet article sur le facteur Bayes pour un problème totalement sans rapport lorsque je suis tombé sur ce passage

Les tests d’hypothèses avec des facteurs Bayes sont plus robustes que les tests d’hypothèses fréquentistes, dans la mesure où la forme bayésienne évite les biais de sélection de modèle, évalue les preuves en faveur de l’hypothèse nulle, inclut l’incertitude des modèles et permet la comparaison de modèles non imbriqués avoir la même variable dépendante). De plus, les tests de signification fréquentistes deviennent biaisés en faveur du rejet de l'hypothèse nulle avec une taille d'échantillon suffisamment grande. [emphase ajoutée]

J'ai déjà vu cette affirmation dans l'article de Karl Friston en 2012 dans NeuroImage , où il l'appelle l' erreur de l'inférence classique .

J'ai eu un peu de difficulté à trouver un compte vraiment pédagogique expliquant pourquoi cela devrait être vrai. Plus précisément, je me demande:

1. pourquoi cela se produit
2. comment se prémunir
3. à défaut, comment le détecter

Réponse à la question 1: Cela est dû au fait que la valeur devient arbitrairement petite à mesure que la taille de l'échantillon augmente dans les tests de fréquentation (les tests avec une hypothèse nulle sans différence / avec une forme ou une autre d'égalité) lorsqu'une différence réelle est exactement égale à zéro . contrairement à un arbitraire proche de zéro, ce n’est pas réaliste (voir le commentaire de Nick Stauner au PO). La valeur devient arbitrairement petite car l'erreur des statistiques de test fréquentiste diminue généralement avec la taille de l'échantillon, avec pour résultat que toutes les différences sont significatives à un niveau arbitraire avec une taille d'échantillon suffisamment grande . Cosma Shalizi a très bien écrit à ce sujet .$p$$p$

Réponse à la question 2: Dans un cadre de test d’hypothèses fréquentistes, on peut se protéger de ce fait en ne tirant pas d’inférence uniquement sur la détection d’une différence . Par exemple, on peut combiner des inférences sur la différence et l' équivalence de manière à ne pas favoriser (ou ne pas confondre!) Le fardeau de la preuve sur la preuve de l'effet par rapport à la preuve de l'absence d'effet . La preuve de l'absence d'un effet provient, par exemple:

1. deux tests unilatéraux d'équivalence (TOST),
2. uniformément les tests les plus puissants d'équivalence , et
3. l'approche de l'équivalence par l'intervalle de confiance (c'est-à-dire si l' IC à % de la statistique de test se situe dans la plage d'équivalence / pertinence définie a priori , on conclut alors l'équivalence au niveau de signification ).$1-2\alpha$$\alpha$

Toutes ces approches partagent une décision a priori sur la taille de l'effet qui constitue une différence pertinente et une hypothèse nulle exprimée en termes de différence au moins aussi grande que ce qui est considéré comme pertinent.

La déduction combinée de tests de différence et de tests d'équivalence protège donc contre le biais que vous décrivez lorsque la taille des échantillons est grande (tableau deux par deux montrant les quatre possibilités résultant des tests de différence combinés - hypothèse nulle positiviste, H - et équivalence - hypothèse nulle négativiste, H ):- $_{0}^{+}$$_{0}^{-}$

Remarquez le quadrant supérieur gauche: un test surpuissant est celui où oui vous rejettent l'hypothèse nulle d'absence de différence, mais vous rejetez aussi l'hypothèse nulle de différence pertinente, donc oui il y a une différence, mais vous avez a priori que vous avez décidé ne se soucient pas c'est parce que c'est trop petit.

Réponse à la question 3: Voir la réponse à la question 2.

Les tests Frequentist avec des échantillons volumineux NE montrent PAS de biais pour rejeter l'hypothèse nulle si l'hypothèse nulle est vraie. Si les hypothèses du test sont valides et que l'hypothèse nulle est vraie, il n'y a pas plus de risque qu'un grand échantillon conduise à un rejet de l'hypothèse nulle à un petit échantillon. Si la valeur NULL n’est pas vraie, nous serions certainement ravis de la rejeter. Par conséquent, le fait qu’un grand échantillon rejette plus fréquemment une fausse valeur nulle qu’un petit échantillon n’est pas un «biais», mais un comportement approprié.

La crainte des «expériences surpuissantes» repose sur l'hypothèse qu'il n'est pas bon de rejeter l'hypothèse nulle lorsqu'elle est presque vraie. Mais si ce n'est que presque vrai, alors c'est en réalité faux! Rejetez, mais ne manquez pas de noter (et de signaler clairement) l'ampleur de l'effet observé. Elle est peut-être triviale et ne mérite donc pas d’être sérieusement prise en compte, mais une décision à ce sujet doit être prise après examen des informations fournies en dehors du test d’hypothèse.