En ce qui concerne les valeurs p, pourquoi 1% et 5%? Pourquoi pas 6% ou 10%?

En ce qui concerne les valeurs p , je me demande pourquoi % et % semblent être la norme absolue . Pourquoi pas d'autres valeurs, comme % ou %?$1$$5$"statistical significance"$6$$10$

Y a-t-il une raison mathématique fondamentale à cela, ou s'agit-il simplement d'une convention largement répandue?

Si vous vérifiez les références ci-dessous, vous constaterez quelques variations dans l'arrière-plan, bien que certains éléments soient communs.

Ces chiffres sont au moins en partie basés sur certains commentaires de Fisher, où il a dit

(en discutant d'un niveau de 1/20)

Il convient de considérer ce point comme une limite pour déterminer si un écart doit être considéré comme significatif ou non. Les écarts supérieurs à deux fois l'écart type sont donc officiellement considérés comme significatifs.

$\quad$ Fisher, RA (1925) Méthodes statistiques pour les chercheurs , p. 47

Par contre, il était parfois plus large:

Si une chance sur vingt ne semble pas être assez bonne, nous pouvons, si nous le préférons, tracer la ligne à un sur cinquante (le point de 2%) ou à un sur cent (le point de 1%). Personnellement, le rédacteur préfère définir un seuil de signification bas au point de 5% et ignorer totalement tous les résultats qui ne parviennent pas à atteindre ce niveau. Un fait scientifique ne doit être considéré comme établi expérimentalement que si une expérience correctement conçue manque rarement à ce niveau de signification.

$\quad$ Fisher, RA (1926) La disposition des expériences sur le terrain . Journal du Ministère de l'agriculture, p. 504
$\quad$

Fisher a également utilisé 5% pour l'une des tables de son livre - mais la plupart de ses autres tables présentaient une plus grande variété de niveaux de signification.

Certains de ses commentaires ont suggéré des approches plus ou moins strictes (niveaux d'alpha plus ou moins élevés) dans différentes situations.

Ce type de discussion ci-dessus a conduit à une tendance à produire des tableaux mettant en évidence des niveaux de signification de 5% et 1% (et parfois avec d'autres, comme 10%, 2% et 0,5%), faute de toute autre valeur «standard» à utiliser.

Cependant, dans cet article , Cowles et Davis suggèrent que l’utilisation de 5% - ou d’une valeur proche du moins - remonte au-delà du commentaire de Fisher.

En bref, notre utilisation de 5% (et dans une moindre mesure de 1%) est une convention plutôt arbitraire, bien que beaucoup de gens semblent clairement penser que, pour de nombreux problèmes, ils sont dans le bon genre de stade.

Il n'y a aucune raison pour qu'une valeur particulière soit utilisée en général.

Autres références:

Dallal, Gerard E. (2012). Le petit manuel de pratique statistique. - Pourquoi 0,05?

Stigler, Stephen (décembre 2008). "Fisher et le niveau de 5%". Chance 21 (4): 12. disponible ici

(Entre eux, vous avez un peu d’arrière-plan - il semble y avoir de bonnes raisons de penser que les niveaux de signification ont au moins une valeur approximative de 5% - disons entre 2% et 10% - s’étant plus ou moins l'air pendant un moment.)

Je dois donner une non-réponse (comme ici ):

"... sûrement, Dieu aime le .06 presque autant que le .05. Peut-il y avoir un doute sur le fait que Dieu considère la force de la preuve pour ou contre le nul comme une fonction assez continue de la magnitude de p?" (p.1277)

Rosnow, RL et Rosenthal, R. (1989). Procédures statistiques et justification des connaissances en sciences psychologiques. American Psychologist , 44 (10), 1276-1284. pdf

Le document contient plus de discussion sur cette question.

Je crois qu'il existe une certaine psychologie sous-jacente pour les 5%. Je dois dire que je ne me souviens pas de l'endroit où j'ai pris cela, mais voici l'exercice que j'avais l'habitude de faire avec chaque classe de statistiques d'introduction de premier cycle.

Imaginez un étranger qui vous aborde dans un pub et vous dit: "J'ai une pièce biaisée qui produit plus de têtes que de queues. Voulez-vous m'en acheter une pour pouvoir parier avec vos copains et gagner de l'argent?" Vous acceptez avec hésitation de jeter un coup d'œil et lancez la pièce 10 fois. Question : combien de fois faut-il atterrir têtes / queues pour vous convaincre qu'il est partial?

Je prends ensuite la main levée: qui serait convaincu que la pièce est biaisée si la division est de 5/5? 4/6? 3/7? 2/8? 1/9? 0/10? Eh bien, les deux ou trois premiers ne convaincront personne et le dernier convaincra tout le monde. 2/8 et 1/9 convainqueraient la plupart des gens, cependant. Maintenant, si vous regardez la table binomiale, 2/8 correspond à 5,5% et 1/9 correspond à 1%. QED.

Si quelqu'un enseigne actuellement un cours d'introduction au premier cycle, je vous encouragerais également à exécuter cet exercice et à publier vos résultats sous forme de commentaires afin que nous puissions accumuler un grand nombre de résultats de méta-analyses et les publier au moins dans The American. Coin pédagogique des statisticiens . N'hésitez pas à faire varier les conditions et unilatérales par rapport aux conditions bilatérales!$n$

Dans une autre réponse, Glen_b cite Fisher expliquant si ces chiffres magiques doivent être modifiés en fonction de la gravité du problème . Ne le spécifiez pas . 3 mois ou tuez-la en 3 jours, alors retournons quelques pièces "- cela aurait l'air aussi stupide que le fameux comic xkcd que même Andrew Gelman n'a pas aimé.

En parlant de pièces de monnaie et de Gelman, TAS avait écrit un article très curieux de Gelman et Nolan intitulé "Vous pouvez charger un dé, mais vous ne pouvez pas biaiser une pièce de monnaie" , mettant en avant un argument selon lequel la pièce de monnaie, retournée dans les airs ou tournée table, passera environ la moitié du temps en heads-up et l'autre fois en queue de pitre, il est donc difficile de trouver un mécanisme physique pour biaiser sérieusement une pièce de monnaie. (Il s'agissait clairement d'une recherche effectuée dans un pub, car ils ont expérimenté l'utilisation de capsules de bouteilles de bière.) D'autre part, charger un dé est une tâche relativement facile, et j'ai donné à mes étudiants un exercice dans lequel ils mesuraient environ 1 cm / demi. Pouces en bois provenant d'un magasin de loisirs local et papier de verre leur demandant de charger le dé et de me prouver qu'il est chargé - ce qui était un exercice dans le test Pearson pour les proportions et son pouvoir.$\chi^2$

5% semble avoir été arrondi à partir de 4,56% par Fisher, ce qui correspond "aux zones d'extrémité de la courbe au-delà de la moyenne plus trois ou moins trois erreurs probables" (Hurlbert et Lombardi, 2009).

Un autre élément de l’histoire semble être la reproduction de tableaux avec des critiques (Pearson et al., 1990; Lehmann, 1993). Pearson n'a pas autorisé Fisher à utiliser ses tableaux (probablement à cause de la commercialisation par Pearson de sa propre publication (Hurlbert & Lombardi, 2009) et de la nature problématique de leur relation.

Hurlbert, SH et Lombardi, CM (octobre 2009). Effondrement final du cadre théorique de la décision Neyman-Pearson et montée du néo-pêcheur. Dans Annales Zoologici Fennici (Vol. 46, N ° 5, p. 311-349). Publication zoologique et botanique finlandaise

Lehmann, EL (1993). Théories de Fisher, Neyman-Pearson sur la vérification des hypothèses: une théorie ou deux?. Journal de l'Association américaine de statistique, 88 (424), 1242-1249.

Pearson, ES, Gosset, WS, Plackett, RL et Barnard, GA (1990). Étudiant: biographie statistique de William Sealy Gosset. Oxford University Press, États-Unis.

Voir aussi: Gigerenzer, G. (2004). Statistiques stupides. The Journal of Socio-Economics, 33 (5), 587-606.

Hubbard, R. et Lindsay, RM (2008). Pourquoi les valeurs de p ne constituent-elles pas une mesure utile de la preuve dans les tests de signification statistique? Théorie et psychologie, 18 (1), 69-88.

Il me semble que la réponse est plus dans la théorie des jeux de la recherche que dans les statistiques. Avoir 1% et 5% brûlés dans la conscience générale signifie que les chercheurs ne sont pas réellement libres de choisir les niveaux de signification qui conviennent à leurs prédispositions. Supposons que nous ayons vu un papier avec une valeur p de 0,055 et que le seuil de signification ait été fixé à 6% - des questions seraient posées. 1% et 5% fournissent une forme d'engagement crédible.

Mon hypothèse personnelle est que 0,05 (ou 1 sur 20) est associé à la valeur at / z de (très proche de) 2. Utiliser 2 est agréable, car il est très facile de repérer si votre résultat est statistiquement significatif. Il n'y a pas d'autres confluences de nombres arrondis.

Le seul numéro correct est .04284731

... qui est une réponse désinvolte censée signifier que le choix de 0,05 est essentiellement arbitraire. En général, je ne signale que la valeur p, plutôt que ce qui est supérieur ou inférieur à.

La «signification» est une variable continue et, à mon avis, la discrétion fait souvent plus de mal que de bien. Je veux dire, si p = .13, vous avez plus de confiance que si p = .21 et moins que si p = .003

C'est un domaine de test d'hypothèse qui m'a toujours fasciné. Plus précisément parce qu'un jour, quelqu'un a choisi un nombre arbitraire qui dichotomise la procédure de test et depuis lors, il est rare qu'il soit mis en cause.

Je me souviens d’avoir demandé à un conférencier de ne pas trop miser sur le test des variables instrumentales Staiger et Stock (où le F-stat devrait être supérieur à 10 lors de la première régression afin d’éviter les problèmes d’instrument faible) car le nombre 10 était un choix complètement arbitraire. Je me souviens avoir dit "Mais n’est-ce pas ce que nous faisons avec des tests d’hypothèses réguliers ?????"

Pourquoi 1 et 5? Parce qu'ils se sentent bien.

Je suis sûr qu'il existe des études sur la valeur émotionnelle et la saillance cognitive de nombres spécifiques, mais nous pouvons comprendre le choix de 1 et 5 sans avoir à recourir à la recherche.

Les personnes qui ont créé les statistiques d'aujourd'hui sont nées, ont grandi et vivent dans un monde décimal. Bien sûr, il existe des systèmes de comptage non décimaux, et compter jusqu’à douze en utilisant les phalanges est possible et a été fait, mais ce n’est pas évident de la même manière que l’utilisation des doigts (qui sont donc appelés "chiffres", comme les chiffres ). Et tandis que vous (et Fisher) êtes au courant des systèmes de comptage non décimaux, le système décimal est et a été le système de comptage prédominant de votre (et du monde de Fisher) au cours des cent dernières années.

Mais pourquoi les chiffres cinq et un spécial? Parce que les deux sont les divisions les plus naturelles des dix de base: un doigt, une main (ou: demi).

Vous n'avez même pas besoin d'aller jusqu'à conceptualiser des fractions pour passer de dix à un et cinq. Celui-ci est simplement là, tout comme votre doigt est simplement là. Et réduire de moitié quelque chose est une opération beaucoup plus simple que de la diviser en une autre proportion. Tout couper en deux parties ne nécessite aucune réflexion, alors que diviser par trois ou quatre est déjà assez compliqué.

La plupart des systèmes monétaires actuels ont des pièces et des billets de banque avec des valeurs telles que 1, 2, 5, 10, 20, 50, 100, 200, 500, 1000. Certains systèmes monétaires n’ont pas 2, 20 et 200, mais presque tous ont 1 et 5. En même temps, la plupart des systèmes monétaires n’ont pas de pièce de monnaie ou de billet qui commence par 3, 4, 6, 7, 8 ou 9. Intéressant, n’est-ce pas? Mais pourquoi est-ce vrai?

Parce qu'il vous faut toujours dix des 1 ou deux des 5 (ou cinq des 2) pour arriver à la prochaine commande plus importante. Calculer avec de l’argent est très simple: multiplié par dix ou le double. Juste deux types d'opérations. Chaque pièce que vous possédez correspond à la moitié ou au dixième de la pièce suivante. Ces chiffres se multiplient et s’additionnent facilement et bien.

Ainsi, les 1 et 5 ont été profondément enracinés, depuis leur plus tendre enfance, dans Fisher et ceux qui ont choisi les niveaux de signification comme étant les divisions de 10 les plus simples, les plus simples et les plus élémentaires. Tout autre nombre a besoin d'un argument, les chiffres sont simplement là.

En l'absence d'un moyen objectif de calculer le niveau de signification approprié pour chaque ensemble de données, les un et cinq se sentent bien.