Des références contenant des arguments contre le test de signification d'une hypothèse nulle?

Au cours des dernières années, j'ai lu un certain nombre d'articles qui plaidaient contre l'utilisation du test de signification des hypothèses nulles en science, mais ne pensaient pas conserver une liste persistante. Un collègue m'a récemment demandé une telle liste, alors j'ai pensé demander à tout le monde ici de l'aider à la construire. Pour commencer, voici ce que j'ai jusqu'à présent:

• Johansson (2011) "Salut à l'impossible: valeurs prédictives, preuves et probabilité".
• Haller & Kraus (2002) "Mauvaise interprétation de l'importance: un problème que les élèves partagent avec leurs enseignants."
• Wagenmakers (2007) "Une solution pratique au problème omniprésent des valeurs de p."
• Rodgers (2010) "L'épistémologie de la modélisation mathématique et statistique: une révolution méthodologique silencieuse."
• Dixon (1998) "Pourquoi les scientifiques valorisent-ils les valeurs p."
• Glover & Dixon (2004) "Ratios de probabilité: une statistique simple et flexible pour les psychologues empiriques."

Chris Fraley a enseigné tout un cours sur l'histoire du débat (le lien semble rompu, même s'il est toujours sur son site officiel; en voici un exemplaire dans Internet Archive ). Son résumé / conclusion est ici (encore une fois, copie archivée ). Selon la page d'accueil de Fraley, la dernière fois qu'il a enseigné ce cours remonte à 2003.

Il préface cette liste par un "parti pris de l'instructeur":

Bien que mon objectif soit de faciliter des discussions animées, profondes et justes sur les questions à l’examen, j’estime qu’il est nécessaire de rendre mon parti pris explicite dès le départ. Paul Meehl a déclaré un jour que "Sir Ronald [Fisher] nous a confondus, nous a fascinés et nous a conduits sur la voie de la primevère. Je pense que le recours quasi universel à la simple réfutation de l'hypothèse nulle comme méthode standard zones est une erreur terrible, est fondamentalement peu judicieuse, une mauvaise stratégie scientifique et l’un des pires événements de l’histoire de la psychologie " Je fais écho au sentiment de Meehl. L'un des objectifs de ce séminaire est d'expliquer clairement pourquoi je pense que c'est le cas. De plus, je vous attends, au moment où vous avez terminé ce séminaire,

Je recopierai la liste de lecture au cas où la page du cours disparaîtrait:

Semaine 1. Introduction: Qu'est-ce qu'un test de signification d'une hypothèse nulle? Faits, mythes et état de notre science

• Lyken, DL (1991). Quel est le problème avec la psychologie? Dans D. Cicchetti & WM Grove (éd.), Penser clairement la psychologie, vol. 1: Questions d'intérêt public, Essais en l'honneur de Paul E. Meehl (pp. 3 - 39). Minneapolis, MN: Presses de l'Université du Minnesota.

Semaine 2. Premières critiques de NHST

• Meehl, PE (1967). Tests théoriques en psychologie et physique: un paradoxe méthodologique. Philosophy of Science, 34, 103-115.

• Meehl, PE (1978). Risques théoriques et astérisques tabulaires: Sir Karl, Sir Ronald et la lenteur des progrès de la psychologie douce. Journal de consultation et de psychologie clinique, 46, 806-834.

• Rozeboom, WW (1960). L'erreur du test de signification de l'hypothèse nulle. Psychological Bulletin, 57, 416-428.

• Bakan, D. (1966). Le test de signification dans la recherche psychologique. Psychological Bulletin, 66, 423-437. [optionnel]

Semaine 3. Critiques contemporaines de NHST

• Cohen, J. (1994). La terre est ronde (p <0,05). American Psychologist, 49, 997-1003.

• Gigerenzer, G. (1993). Le surmoi, l'ego et le ça dans le raisonnement statistique. Dans G. Keren & C. Lewis (Eds.), Un manuel pour l’analyse de données en sciences du comportement: problèmes méthodologiques (pp. 311-339). Hillsdale, NJ: Lawrence Erlbaum Associates.

• Schmidt, FL & Hunter, JE (1997). Huit objections courantes mais fausses à l’abandon du test de signification dans l’analyse des données de recherche. Dans Lisa A. Harlow, Stanley A. Mulaik et James H. Steiger (éd.) Et s'il n'y avait pas de test de signification? (pp. 37-64). Mahwah, NJ: Lawrence Erlbaum Associates.

• Oakes, M. (1986). Inférence statistique: un commentaire pour les sciences sociales et comportementales. New York: Wiley. (Chapitre 2 [Critique des tests de signification]) [facultatif]

Semaine 4. Réfutation: les avocats de NHST prennent sa défense

• Frick, RW (1996). L'utilisation appropriée du test d'hypothèse nulle. Psychological Methods, 1, 379-390.

• Hagen, RL (1997). Éloge du test statistique de l'hypothèse nulle. Psychologue américain, 52, 15-24.

• Wilkinson, L. et le groupe de travail sur l'inférence statistique. (1999). Méthodes statistiques dans les revues de psychologie: lignes directrices et explications. American Psychologist, 54, 594-604.

• Wainer, H. (1999). Encouragez-vous pour le test de signification de l'hypothèse nulle. Psychological Methods, 6, 212-213.

• Mulaik, SA, Raju, NS et Harshman, RA (1997). Il y a un moment et un lieu pour le test de signification. Dans Lisa A. Harlow, Stanley A. Mulaik et James H. Steiger, Eds. Et s'il n'y avait pas de test de signification? (pp. 65-116). Mahwah, NJ: Lawrence Erlbaum Associates. [optionnel]

Semaine 5. Réfutation: les avocats de NHST prennent sa défense

• Abelson, RP (1997). Sur la surprenante longévité des chevaux flagellés: Pourquoi le test de signification a-t-il lieu? Psychological Science, 8, 12-15.

• Krueger, J. (2001). Test de signification de l'hypothèse nulle: Sur la survie d'une méthode imparfaite. American Psychologist, 56, 16-26.

• Scarr, S. (1997). Règles de preuve: Un contexte plus large pour le débat statistique. Psychological Science, 8, 16-17.

• Greenwald, AG, Gonzalez, R., Harris, RJ, et Guthrie, D. (1996). Taille de l'effet et valeurs p: Que faut-il signaler et que faut-il répliquer? Psychophysiologie, 33, 175-183.

• Nickerson, RS (2000). Test de signification de l'hypothèse nulle: examen d'une controverse ancienne et persistante. Psychological Methods, 5, 241-301. [optionnel]

• Harris, RJ (1997). Les tests de signification ont leur place. Psychological Science, 8, 8-11. [optionnel]

Semaine 6. Taille de l'effet

• Rosenthal, R. (1984). Procédures méta-analytiques pour la recherche sociale. Beverly Hills, Californie: Sage. [Ch. 2, Définir les résultats de la recherche]

• Chow, SL (1988). Test de signification ou taille de l'effet? Psychological Bulletin, 103, 105-110.

• Abelson, RP (1985). Un paradoxe d'explication de variance: quand un peu, c'est beaucoup. Psychological Bulletin, 97, 129-133. [optionnel]

Semaine 7. Puissance statistique

• Hallahan, M. et Rosenthal, R. (1996). Puissance statistique: concepts, procédures et applications. Comportement Research and Therapy, 34, 489-499.

• Sedlmeier, P., & Gigerenzer, G. (1989). Les études du pouvoir statistique ont-elles un effet sur le pouvoir des études? Psychological Bulletin, 105, 309-316.

• Cohen, J. (1962). Le pouvoir statistique de la recherche psychologique anormal-social: une revue. Journal de psychologie anormale et sociale, 65, 145-153. [optionnel]

• Maddock, JE, Rossi, JS (2001). Puissance statistique des articles publiés dans trois revues relatives à la psychologie de la santé. Psychologie de la santé, 20, 76-78. [optionnel]

• Thomas, L. et Juanes, F. (1996). L'importance de l'analyse statistique du pouvoir: un exemple tiré de Animal Behavior. Animal Behavior, 52, 856-859. [optionnel]

• Rossi, JS (1990). Puissance statistique de la recherche psychologique: qu'avons-nous gagné en 20 ans? Journal de consultation et de psychologie clinique, 58, 646-656. [optionnel]

• Tukey, JW (1969). Analyse des données: Sanctification ou travail de détective? American Psychologist, 24, 83-91. [optionnel]

Semaine 8. Intervalles de confiance et tests de signification

• Gardner, MJ, et DG Altman. 1986. Intervalles de confiance plutôt que valeurs P: Estimation plutôt que tests d'hypothèses. British Medical Journal, 292, 746-750.

• Cumming, G. et Finch, S. (2001). Notions de base sur la compréhension, l'utilisation et le calcul des intervalles de confiance basés sur des distributions centrales et non centrales. Mesures éducatives et psychologiques, 61, 532-574.

• Loftus, GR, et Masson, MEJ (1994). Utilisation d'intervalles de confiance dans les conceptions intra-sujet. Psychonomic Bulletin and Review, 1, 476-490.

Semaine 9 [note: nous sautons cette section]. Modélisation théorique: développement de modèles formels de phénomènes naturels

• Haefner, JW (1996). Modélisation de systèmes biologiques: principes et applications. New York: éditions internationales Thomson. (Chapitres 1 [Modèles de systèmes] et 2 [Le processus de modélisation])

• Loehlin, JC (1992). Modèles à variables latentes: introduction à l'analyse factorielle, structurale et par chemin. Hillsdale, NJ: Lawrence Erlbaum Associates. (Chapitre 1 [Modèles de trajectoire dans l'analyse factorielle, structurelle et structurelle], p. 1-18]

• Grant, DA (1962). Tester l'hypothèse nulle et la stratégie d'investigation des modèles théoriques. Psychological Review, 69, 54-61. [optionnel]

• Binder, A. (1963). Autres considérations sur le test de l'hypothèse nulle et de la stratégie et des tactiques d'investigation des modèles théoriques. Psychological Review, 70, 107-115. [optionnel]

• Edwards, W. (1965). Note tactique sur les relations entre hypothèses scientifiques et statistiques. Psychological Bulletin, 63, 400-402. [optionnel]

Semaine 10. Quel est le sens de la probabilité? Controverse sur la fréquence relative et la probabilité subjective

• Salsburg, D. (2001). La dégustatrice: comment les statistiques ont révolutionné la science au XXe siècle. New York: WH Freeman. (Chapitres 10, 11 et 12)

• Oakes, M. (1986). Inférence statistique: un commentaire pour les sciences sociales et comportementales. New York: Wiley. (Chapitres 4, 5 et 6)

• Pruzek, RM (1997). Une introduction à l'inférence bayésienne et à ses applications. Dans Lisa A. Harlow, Stanley A. Mulaik et James H. Steiger, Eds. Et s'il n'y avait pas de test de signification? (pp. 287-318). Mahwah, NJ: Lawrence Erlbaum Associates.

• Rindskoph, DM (1997). Test de la "petite" hypothèse non nulle: approches classique et bayésienne. Dans Lisa A. Harlow, Stanley A. Mulaik et James H. Steiger (Eds). Et s'il n'y avait pas de test de signification? (pp. 319-332). Mahwah, NJ: Lawrence Erlbaum Associates.

• Edwards, W., Lindman, H., Savage, LJ (1963). Inférence statistique bayésienne pour la recherche psychologique. Psychological Review, 70, 193-242. [optionnel]

Semaine 11. Évaluation de la théorie: philosophie des sciences et mise à l’essai et modification des théories

• Meehl, PE (1990). Appréciation et modification des théories: La stratégie de la défense Lakatosian et deux principes qui le justifient. Enquête psychologique, 1, 108-141.

• Roberts, S. & Pashler, H. (2000). A quel point un bon ajustement est-il persuasif? Un commentaire sur les tests théoriques. Psychological Review, 107, 358-367.

Semaine 12. Appréciation de la théorie: la philosophie de la science et la mise à l’essai et l’amendement des théories

• Urbach, P. (1974). Progrès et dégénérescence dans le "débat sur le QI" (I). British Journal of Philosophy of Science, 25, 99-125.

• Serlin, RC & Lapsley, DK (1985). La rationalité dans la recherche psychologique: le principe du bien-suffisant. American Psychologist, 40, 73-83.

• Dar, R. (1987). Un autre regard sur Meehl, Lakatos et les pratiques scientifiques des psychologues. American Psychologist, 42,145-151.

• Gholson, B. & Barker, P. (1985). Kuhn, Lakatos & Laudan: Applications dans l'histoire de la physique et de la psychologie. American Psychologist, 40, 755-769. [optionnel]

• Faust, D. et Meehl, PE (1992). Utilisation de méthodes scientifiques pour résoudre des problèmes d’histoire et de philosophie des sciences: Quelques illustrations. Thérapie comportementale, 23, 195-211. [optionnel]

• Urbach, P. (1974). Progrès et dégénérescence dans le "débat sur le QI" (II). British Journal of Philosophy of Science, 25, 235-259. [optionnel]

• Saumon, WC (1973, mai). Confirmation. Scientific American, 228, 75-83. [optionnel]

• Meehl, PE (1993). Philosophie de la science: aide ou obstacle? Psychological Reports, 72, 707-733. [facultatif] Manicas. PT et Secord, PF (1983). Implications pour la psychologie de la nouvelle philosophie des sciences. American Psychologist, 38, 399-413. [optionnel]

Semaine 13. La tradition NHST at-elle mis à mal une base de connaissances cumulative non biaisée en psychologie?

• Cooper, H., DeNeve, K. et Charlton, K. (1997). Trouver la science manquante: le sort des études soumises à l'examen d'un comité de recherche sur des sujets humains. Psychological Methods, 2, 447-452.

• Schmidt, FL (1996). Tests de signification statistique et connaissances cumulatives en psychologie: implications pour la formation des chercheurs. Psychological Methods, 1, 115-129.

• Greenwald, AG (1975). Conséquences des préjugés contre l'hypothèse nulle. Psychological Bulletin, 82, 1-20.

• Berger, JO et Berry, DA (1988). Analyse statistique et illusion d'objectivité. American Scientist, 76, 159-165.

Semaine 14. Réplication et intégrité scientifique

• Smith, NC (1970). Études de réplication: Un aspect négligé de la recherche psychologique. American Psychologist, 25, 970-975.

• Sohn, D. (1998). Signification statistique et reproductibilité: Pourquoi le premier ne présage pas le second. Théorie et psychologie, 8, 291-311.

• Meehl, PE (1990). Pourquoi les résumés de recherches sur les théories psychologiques sont souvent incompréhensibles. Rapports psychologiques, 66, 195-244.

• Platt, JR (1964). Forte inférence. Science, 146, 347-353.

• Feynman, RL (1997). Vous plaisantez sûrement, M. Feynman! New York: WW Norton. (Chapitre: Science de la cargaison).

• Rorer, LG (1991). Quelques mythes de la science en psychologie. Dans D. Cicchetti & WM Grove (éd.), Penser clairement la psychologie, vol. 1: Questions d'intérêt public, Essais en l'honneur de Paul E. Meehl (pp. 61 - 87). Minneapolis, MN: Presses de l'Université du Minnesota. [optionnel]

• Lindsay, RM & Ehrenberg, ASC (1993). La conception des études répétées. Le statisticien américain, 47, 217-228. [optionnel]

Semaine 15. Pensée quantitative: Pourquoi avons-nous besoin de mathématiques (et non de NHST en tant que telles) en sciences psychologiques

• Aiken, LS, West, SG, Sechrest, L. et Reno, RR (1990). Formation supérieure en statistique, méthodologie et mesure en psychologie: une enquête sur les titulaires de doctorat programmes en Amérique du Nord. American Psychologist, 45, 721-734.

• Meehl, PE (1998, mai). Le pouvoir de la pensée quantitative. Allocution invitée en tant que récipiendaire du prix James McKeen Cattell lors de la réunion annuelle de la American Psychological Society, Washington, DC.

Ce sont d'excellentes références. J'ai un document peut-être utile sur http://biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/whyBayesian.pdf

402 citations sur l'utilisation sans discernement des tests de signification de l'hypothèse nulle dans les études d'observation: http://warnercnr.colostate.edu/~anderson/thompson1.html