Compréhension des vues enchâssées sur les valeurs p

Parfois, dans les rapports, j'inclus un avertissement concernant les valeurs de p et d'autres statistiques inférentielles que j'ai fournies. Je dis que puisque l'échantillon n'était pas aléatoire, de telles statistiques ne s'appliqueraient pas strictement. Ma formulation spécifique est généralement donnée dans une note de bas de page:

"Alors que, strictement parlant, les statistiques inférentielles ne sont applicables que dans le contexte de l'échantillonnage aléatoire, nous suivons la convention en rapportant les niveaux de signification et / ou les intervalles de confiance comme des repères pratiques même pour les échantillons non aléatoires. Voir l' inférence statistique de Michael Oakes : un commentaire pour les sciences du comportement (NY: Wiley, 1986).

À quelques reprises - une fois pour un article évalué par les pairs, une ou deux fois dans un cadre non universitaire - le rédacteur en chef ou le critique s'est opposé à cette clause de non-responsabilité, la qualifiant de déroutante, et a estimé que les conclusions inférentielles devraient simplement rester telles qu'elles étaient écrites (et recevoir le manteau de l'autorité). Quelqu'un d'autre a-t-il rencontré ce problème et trouvé une bonne solution? D'une part, la compréhension des gens des valeurs de p est généralement sombre, même dans le contexte de l'échantillonnage aléatoire, donc peut-être peu importe ce que nous disons. De l'autre, contribuer davantage aux malentendus semble constituer une partie du problème. Je dois ajouter que je traite fréquemment des études d'enquêtes, où l'assignation aléatoire ne s'applique pas et où les simulations Monte Carlo échouaient souvent à résoudre le problème de la représentativité.

Il y a en effet un argument à avoir pour ne pas inclure l'avertissement. Franchement, je trouverais un bref traité sur la nature des valeurs p dans un article de journal un peu rebutant, et pendant un moment, je devrais faire une pause et essayer de comprendre si vous aviez fait quelque chose de particulièrement .. .esoteric ... pour justifier de consacrer cet espace à un point de définition.

Fondamentalement, en tant que critique, je l'appellerais inutile car le lecteur devrait déjà savoir ce qu'est une valeur p et ce qu'elle fait. Je pourrais même m'y opposer parce que faire une telle note n'empêche en fait aucun des nombreux crimes d'analyse et d'interprétation qui accompagnent les valeurs p, elle met simplement une cape de "faites-moi confiance, je sais ce que je fais". C'est aussi un peu étrange - "Je vais prendre une position audacieuse contre les valeurs p, mais pas si audacieuse que je ne les rapporte pas".

Quand je considère les "points de vue bien ancrés sur les valeurs p", je suis beaucoup moins préoccupé par quelque chose comme ce que vous avez publié ci-dessus, et beaucoup plus préoccupé par l'insistance des examinateurs sur la signification statistique afin d'être publié ou sur l'objet de l'article (mettre une étoile par une découverte et tout à coup c'est une grosse affaire) ou en mélangeant la signification statistique avec la signification d'une découverte.

L'utilisation de statistiques inférentielles peut être justifiée non seulement sur la base d'un modèle de population, mais également sur la base d'un modèle de randomisation. Ce dernier ne fait aucune hypothèse sur la manière dont l'échantillon a été obtenu. En fait, c'est Fisher qui a suggéré que le modèle de randomisation devrait être la base de l'inférence statistique (par opposition à Neyman et Pearson). Voir par exemple:

Ernst, MD (2004). Méthodes de permutation: une base pour l'inférence exacte. Science statistique, 19, 676-685. [lien (accès libre)]

Ludbrook, J. et Dudley, H. (1998). Pourquoi les tests de permutation sont supérieurs aux tests t et F dans la recherche biomédicale. Statisticien américain, 52, 127-132. [lien (si vous avez accès à JSTOR)]

Je doute cependant que les éditeurs ou les examinateurs en question aient utilisé cela comme raison pour qualifier votre avis de non-responsabilité de "confus".

$p$des valeurs sont en effet nécessaires à rapporter malgré leur invalidité non négligeable dans une étude problématique (une classe dans laquelle se trouvent trop d'articles publiés), on pourrait les minimiser implicitement. Pensez plutôt à concentrer votre narration - peut-être même exclusivement - sur la taille des effets. Si votre étude est suffisamment représentative pour être utilement informative (cela ne devrait pas nécessiter un échantillonnage parfaitement aléatoire, seulement une prudence dans la généralité des interprétations), la taille de vos effets devrait avoir des implications plus larges que simplement indiquer l'existence et les directions des relations ou des différences de toute façon. Concentrer sa discussion sur la taille des effets peut faciliter une compréhension plus approfondie de l'importance des relations ou des différences dans un sens pratique, bien que cela doive encore être considéré dans le contexte du sujet d'étude (par exemple,$r = .03$$p$$p$$p$

Une autre option, potentiellement complémentaire, serait de développer votre note de bas de page. Vos deux descriptions du problème telles que les examinateurs l'ont vécu, et la réponse actuellement acceptée sur cette page, suggèrent que pas assez d'informations sont transmises pour expliquer votre motivation pour inclure la note de bas de page, ni assez pour motiver le lecteur à suivre votre citation à la référence que vous utilisez pour l'expliquer si laconiquement. Une seule phrase supplémentaire, même une brève citation de votre référence, pourrait grandement expliquer la valeur de votre note de bas de page et motiver les lecteurs à lire plus en profondeur. De toute évidence, votre note de bas de page motive plus tôt une réaction simple, négative et dédaigneuse envers votre tentative discrète de perturber leur complaisance à propos de leurs hypothèses incorrectes. Les lecteurs peuvent être un peu moins paresseux intellectuellement si vous leur donnez un ou deux des principaux points sur les problèmes qu'ils négligent probablement régulièrement. De plus, pour de nombreux problèmes particuliers$p$

$p$

• Quelle est la signification des valeurs p et t dans les tests statistiques?
• Comprendre la valeur de p

$p$$p$ Pourquoi les résultats de 0,05 <p <0,95 sont-ils appelés faux positifs? " En discutant de ma réponse, le PO a soulevé Hurlbert et Lombardi ⁽²⁰⁰⁹⁾ , que j'ai évoquée avec mes collègues, dont l'un a ensuite évoqué Nuzzo ⁽²⁰¹⁴⁾ , un tout nouvel article de Nature News qui a généré encore plus de références ^{( Goodman, 2001}$p$

Les références

<sup>- Goodman, SN (1992). Un commentaire sur la réplication, les valeurs P et les preuves. Statistics in Medicine, 11 (7), 875–879.
- Goodman, SN (2001). Des valeurs P et Bayes: une proposition modeste. Epidemiology, 12 (3), 295-297. Extrait de http://swfsc.noaa.gov/uploadedFiles/Divisions/PRD/Programs/ETP_Cetacean_Assessment/Of_P_Values_and_Bayes__A_Modest_Proposal.6.pdf .
- Goodman, S. (2008). Une sale douzaine: douze idées fausses de valeur P. Séminaires d'hématologie, 45 (3), 135-140. Extrait de http://xa.yimg.com/kq/groups/18751725/636586767/name/twelve+P+value+misconceptions.pdf .
- Gorroochurn, P., Hodge, SE, Heiman, GA, Durner, M. et Greenberg, DA (2007). Non-réplication des études d'association: «pseudo-échecs» à répliquer? Genetics in Medicine, 9 (6), 325–331. Extrait de http://www.nature.com/gim/journal/v9/n6/full/gim200755a.html .
- Hurlbert, SH et Lombardi, CM (2009). Effondrement final du cadre théorique de décision Neyman – Pearson et montée du néofisherien. Annales Zoologici Fennici, 46 (5), 311–349. Extrait de http://xa.yimg.com/kq/groups/1542294/508917937/name/HurlbertLombardi2009AZF.pdf .
- Lew, MJ (2013). To P or not to P: Sur la nature probante des valeurs P et leur place dans l'inférence scientifique. arXiv: 1311.0081 [stat.ME]. Récupéré dehttp://arxiv.org/abs/1311.0081 .
- Nuzzo, R. (2014, 12 février). Méthode scientifique: erreurs statistiques. Nature News, 506 (7487). Extrait de http://www.nature.com/news/scientific-method-statistical-errors-1.14700 .
- Rosenthal, R., Rosnow, RL et Rubin, DB (2000). Contrastes et tailles d'effet dans la recherche comportementale: une approche corrélationnelle. La presse de l'Universite de Cambridge.
- Senn, S. (2001). Deux acclamations pour les valeurs P? Journal of Epidemiology and Biostatistics, 6 (2), 193-204. Extrait de http://www.phil.vt.edu/dmayo/conference_2010/Senn%20Two%20Cheers%20Paper.pdf .
- Wagenmakers, EJ (2007). Une solution pratique aux problèmes omniprésents devaleurs p . Psychonomic Bulletin & Review, 14 (5), 779–804. Extrait de http://www.brainlife.org/reprint/2007/Wagenmakers_EJ071000.pdf .</sup>