Existe-t-il des articles très cités sur les statistiques qui ont propagé de mauvaises pratiques statistiques?


13

Il existe évidemment de nombreuses manières d'abuser des méthodes statistiques. Connaissez-vous des exemples de mauvaises pratiques statistiques qui ont été publiés pour la première fois comme des conseils explicites (par exemple, "vous devriez utiliser cette méthode pour ..."), dans des revues universitaires réputées qui ont ensuite été citées à plusieurs reprises?

Un exemple pourrait être les 10 événements par règle de prédicteur qui sont souvent invoqués pour les modèles de régression logistique ou Cox PH ( LINK ).

Pour être clair, je ne veux pas dire des articles très cités qui se sont avérés utiliser des méthodes de statistiques médiocres - malheureusement, elles sont banales.


3
Vous recherchez une publication originale dans des revues statistiques ? Il n'y a pas de fin à une mauvaise pratique statistique qui se propage dans des revues non statistiques (et lorsqu'un critique souligne que quelque chose ne va pas, les auteurs vont généralement arguer de le laisser "pour lier notre article à des recherches antérieures"). Cependant, il peut être difficile de trouver une publication originale pour des choses comme discrétiser les résultats continus, car les mauvaises idées surgissent indépendamment.
Stephan Kolassa

Je veux dire déclaré comme un conseil explicite, par exemple "faites ceci ...". J'ai édité la question pour clarifier. Merci.
DL Dahly du

2
Vous ne voyez pas souvent de commandes explicites "faire cela" dans les journaux de statistiques. Vous le voyez dans certains domaines d'application, en particulier lorsqu'il est écrit par des gens qui critiquent certaines pratiques problématiques (où ils disent parfois «ne faites pas A, faites B» - mais peuvent donner eux-mêmes des conseils assez douteux. le genre de chose que vous recherchez? Je ne lis pas beaucoup les journaux dans d'autres domaines mais j'ai vu des articles comme ça dans le passé (même si je me souviens exactement où, cependant, je ne peux pas dire que je savoir si l'un d'eux a été hautement cité). ... ctd
Glen_b -Reinstate Monica

1
ctd ... Bien qu'il ne s'agisse pas d'un article, je peux signaler quelques conseils douteux dans un manuel qui semble être populaire auprès des personnes qui apprennent à faire des statistiques pour la recherche dans son domaine d'application.
Glen_b -Reinstate Monica

2
Veuillez expliquer ce que vous entendez par «mensonge statistique». Il ne s'agit pas d'un concept standard en statistique, qui concerne plutôt la recommandation de procédures plus ou moins adaptées à une tâche donnée. Oui, certaines procédures sont connues pour être plus pauvres que d'autres, mais il est difficile d'interpréter leur utilisation comme un «mensonge». Par "mensonge", voulez-vous dire une sorte d'interprétation trompeuse, ou des conseils pour utiliser une procédure inadmissible, ou des conseils basés sur une erreur mathématique, ou ... quoi?
whuber

Réponses:


4

RA Fisher, "L'arrangement des expériences sur le terrain". Journal du ministère de l'Agriculture de Grande-Bretagne. 33: 503-513. 1926.

Selon diverses sources sur Internet, cet article est à l'origine de l'utilisation de α=0,05 comme seuil de signification dans un test statistique arbitraire.

... il est commode de tracer la ligne à peu près au niveau auquel nous pouvons dire: "Soit il y a quelque chose dans le traitement, soit une coïncidence s'est produite telle qu'elle ne se produit pas plus d'une fois sur vingt essais."

... Si un sur vingt ne semble pas assez élevé, nous pouvons, si nous le préférons, tracer la ligne à un sur cinquante (le point de 2%) ou un sur cent (le point de 1%). Personnellement, l'écrivain préfère fixer un niveau de signification faible au seuil de 5% et ignorer entièrement tous les résultats qui n'atteignent pas ce niveau. Un fait scientifique ne doit être considéré comme établi expérimentalement que si une expérience correctement conçue échoue rarement à donner ce niveau de signification.


3

En économétrie, vous pouvez certainement trouver un exemple de méthodes propagées par des économétriciens bien connus (et hautement qualifiés) publiés dans des revues décentes. Je n'ai pas connaissance d'un article théorique mais Lalonde (1986) est assez célèbre pour avoir souligné que les méthodes actuellement utilisées ne fonctionnent pas bien: il compare pour le même ensemble de données des méthodes expérimentales avec des méthodes d'observation et trouve de grandes différences dans le domaine du traitement (causal) évaluation . Il existe une grande littérature qui a propagé ces méthodes non expérimentales qui ont été utilisées à l'époque et qui sont souvent encore utilisées aujourd'hui.

Par la suite, il y a eu (et je pense qu'il y a toujours) un débat sur la question de savoir si l' appariement des scores de propension est une solution possible (voir par exemple ici ).

De plus, il y a beaucoup de controverse sur l' estimation des variables instrumentales . Les conclusions des articles originaux très cités ont été contestées. C'est probablement l'exemple le plus proche de votre question. Bound et Jaeger (1996, et articles subséquents) ont remis en question les conclusions de l'article bien connu d' Angrist et Krueger (1991; 2700 citations selon Google Scholar) qui établissaient essentiellement la méthode de la variable instrumentale dans la littérature économétrique appliquée.

Il existe également un large débat sur la pertinence des estimations dites de forme réduite pour établir la causalité, voir par exemple Imbens (2010) .

Un autre grand sujet concerne bien sûr l'erreur standard. On peut peut-être trouver un papier bien connu propageant des valeurs de p. En économétrie, l'erreur standard pour les séries chronologiques plus longues a souvent été mal calculée (dans le plan de la différence en différence ) en raison de mauvaises méthodes existantes, voir ici . Je ne suis cependant pas au courant d'un article original très cité proposant ces méthodes dans ce contexte mais je suis sûr que vous trouverez quelques exemples dans ce domaine.

Sources:

Angrist, Joshua D. et Alan B. Keueger. "La fréquentation scolaire obligatoire affecte-t-elle la scolarité et les revenus?" The Quarterly Journal of Economics 106, no. 4 (1991): 979-1014.

Bertrand, Marianne, Esther Duflo et Sendhil Mullainathan. "Combien devons-nous faire confiance aux estimations des différences dans les différences?" The Quarterly journal of economics 119, no. 1 (2004): 249-275.

Bound, John et David A. Jaeger. On the Validity of Season of Birth as an Instrument in Wage Equations: A Comment on Angrist & Krueger's "Does Compulsory School Attendance Affect Scho. No. w5835. National Bureau of Economic Research, 1996.

Dehejia, Rajeev. "Correspondance pratique du score de propension: une réponse à Smith et Todd." Journal d'économétrie 125, no. 1-2 (2005): 355-364.

Imbens, Guido W. "Mieux vaut tard que rien: quelques commentaires sur Deaton (2009) et Heckman et Urzua (2009)." Journal of Economic literature 48, no. 2 (2010): 399-423.

LaLonde, Robert J. "Évaluer les évaluations économétriques des programmes de formation avec des données expérimentales." La revue économique américaine (1986): 604-620. *


1

Je donne un essai (mais pas si fort):

Le très utile [Cameron, AC, & Miller, DL (2015). Un guide du praticien pour une inférence robuste aux clusters. Journal of Human Resources, 50 (2), 317-372.] // déjà 1900 citations Google scholar // fournit des conseils concernant le niveau approprié de regroupement des erreurs standard:

"Le consensus est d'être conservateur et d'éviter les biais et d'utiliser des clusters plus gros et plus agrégés lorsque cela est possible, jusqu'à et y compris le point où il y a un souci d'avoir trop peu de clusters."

Cependant, [Abadie, A., Athey, S., Imbens, GW, & Wooldridge, J. (2017). Quand devez-vous ajuster les erreurs standard pour le clustering? (N ° w24003). National Bureau of Economic Research.] Montre qu '"il y a en fait du mal à se regrouper à un niveau trop agrégé". Veuillez consulter la page 1 de la dernière: https://economics.mit.edu/files/13927

Peut-être pourriez-vous également être en mesure de faire un cas plus solide à partir des deux idées fausses mises en évidence par Abadie et al (2017).

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.