Je lis Gelman & Carlin "Au-delà des calculs de puissance: évaluation des erreurs de type S (signe) et de type M (amplitude)" (2014). J'essaie de comprendre l'idée principale, la voie principale, mais je suis confus. Quelqu'un pourrait-il m'aider à distiller l'essence?
Le papier va quelque chose comme ça (si j'ai bien compris).
- Les études statistiques en psychologie sont souvent en proie à de petits échantillons.
- Sous réserve d'un résultat statistiquement significatif dans une étude donnée,
(1) la taille réelle de l'effet est susceptible d'être gravement surestimée et
(2) le signe de l'effet peut être opposé avec une probabilité élevée - sauf si la taille de l'échantillon est suffisamment grande. - Ce qui précède est montré en utilisant une estimation préalable de la taille de l'effet dans la population, et cet effet est généralement considéré comme faible.
Mon premier problème est, pourquoi conditionner le résultat statistiquement significatif? Est-ce pour refléter le biais de publication? Mais cela ne semble pas être le cas. Alors pourquoi alors?
Mon deuxième problème est, si je fais moi-même une étude, dois-je traiter mes résultats différemment de ce à quoi je suis habitué (je fais des statistiques fréquentistes, pas très familier avec le bayésien)? Par exemple, je prendrais un échantillon de données, estimerais un modèle et enregistrerais une estimation ponctuelle pour un certain effet d'intérêt et une confiance liée autour de lui. Dois-je maintenant me méfier de mon résultat? Ou dois-je me méfier de lui s'il est statistiquement significatif? Comment un changement donné avant cela?
Quel est le principal point à retenir (1) pour un "producteur" de recherches statistiques et (2) pour un lecteur d'articles statistiques appliqués?
Les références:
- Gelman, Andrew et John Carlin. "Au-delà des calculs de puissance: évaluation des erreurs de type S (signe) et de type M (amplitude)." Perspectives on Psychological Science 9.6 (2014): 641-651.
PS Je pense que le nouvel élément pour moi ici est l'inclusion d'informations préalables, que je ne sais pas comment traiter (provenant du paradigme fréquentiste).