Pourquoi les valeurs de p inférieures ne sont-elles pas plus de preuves contre le nul? Arguments de Johansson 2011

Johansson (2011) dans « Hail the impossible: p-values, evidence, and vraisemblability » (voici également un lien vers le journal ) déclare que des valeurs de plus faibles sont souvent considérées comme des preuves plus solides contre le nul. Johansson implique que les gens considéreraient les preuves contre le zéro comme plus fortes si leur test statistique produisait une valeur de p de 0,01 , que si leur test statistique produisait une valeur de p de 0,45 . Johansson énumère quatre raisons pour lesquelles la valeur p ne peut pas être utilisée comme preuve contre le null:$p$$p$$0.01$$p$$0.45$$p$

1. est uniformément distribué sous l'hypothèse nulle et ne peut donc jamais indiquer la preuve de la nullité.$p$
2. est conditionné uniquement à l'hypothèse nulle et n'est donc pas adapté pour quantifier les preuves, car les preuves sont toujours relatives dans le sens d'être des preuves pour ou contre une hypothèse par rapport à une autre hypothèse.$p$
3. $p$ désigne la probabilité d'obtenir des preuves (étant donné la valeur nulle), plutôt que la force des preuves.
4. $p$ dépend de données non observées et d'intentions subjectives et implique donc, étant donné l'interprétation probante, que la force probante des données observées dépend de choses qui ne se sont pas produites et d'intentions subjectives.

Malheureusement, je ne peux pas obtenir une compréhension intuitive de l'article de Johansson. Pour moi, une valeur de de 0,01 indique qu'il y a moins de chance que la valeur nulle soit vraie, qu'une valeur de p de 0,45 . Pourquoi les valeurs p inférieures ne sont-elles pas des preuves plus solides contre null? $p$$0.01$$p$$0.45$$p$

Mon appréciation personnelle de ses arguments:

1. Ici, il parle d'utiliser comme preuve pour le Null, alors que sa thèse est que p ne peut pas être utilisé comme preuve contre le Null. Donc, je pense que cet argument est largement hors de propos.$p$$p$
2. Je pense que c'est un malentendu. Le test pêcheur suit fortement l'idée du rationalisme critique de Popper$p$ qui stipule que vous ne pouvez pas soutenir une théorie mais seulement la critiquer. Donc, dans ce sens, il n'y a qu'une seule hypothèse (la Null) et vous vérifiez simplement si vos données y sont conformes.
3. Je suis en désaccord ici. Cela dépend de la statistique de test mais $p$ est généralement une transformation d'une taille d'effet qui parle contre le Null. Donc, plus l'effet est élevé, plus la valeur de p est faible --- toutes choses égales par ailleurs. Bien sûr, pour différents ensembles de données ou hypothèses, cela n'est plus valable.
4. Je ne suis pas sûr de bien comprendre cette affirmation, mais d'après ce que je peux en déduire, c'est moins un problème de que de personnes qui l'utilisent à tort. p était censé avoir l'interprétation de fréquence à long terme et c'est une fonctionnalité et non un bogue. Mais vous ne pouvez pas blâmer p pour les personnes prenant une seule valeur p comme preuve de leur hypothèse ou pour les personnes ne publiant que p < 0,05 . $p$$p$$p$$p$$p<.05$

Sa suggestion d'utiliser le rapport de vraisemblance comme mesure de la preuve est à mon avis une bonne idée (mais ici l'idée d'un facteur Bayes est plus générale), mais dans le contexte dans lequel il l'apporte est un peu particulier: il part d'abord les motifs des tests de Fisherian où il n'y a pas d'hypothèse alternative pour calculer le rapport de vraisemblance. Mais comme preuve contre le Null est Fisherian. Il confond donc Fisher et Neyman-Pearson. Deuxièmement, la plupart des statistiques de test que nous utilisons sont (fonctions de) le rapport de vraisemblance et dans ce cas p est une transformation du rapport de vraisemblance. Comme le dit Cosma Shalizi :$p$$p$

parmi tous les tests d'une taille donnée , celui qui a la plus faible probabilité de manquer, ou la puissance la plus élevée, a la forme «dire« signal »si q ( x ) / p ( x ) > t ( s ) , sinon dire« bruit » , "et que le seuil t varie inversement avec s . La quantité q ( x ) / p ( x ) est le rapport de vraisemblance; le lemme de Neyman-Pearson dit que pour maximiser la puissance, nous devrions dire «signal» s'il est suffisamment plus probable que le bruit.$s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

Ici est la densité sous l'état "signal" et p ( x ) la densité sous l'état "bruit". La mesure de "suffisamment probable" serait ici P ( q ( X ) / p ( x ) > t o b s ∣ H 0 ) qui est p . Notez que dans les tests Neyman-Pearson corrects, t o b s est remplacé par un t fixe ( s ) tel que $q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$ . $P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

La raison pour laquelle des arguments comme celui de Johansson sont si souvent recyclés semble être liée au fait que les valeurs P sont des indices de la preuve par rapport au nul mais ne sont pas des mesures de la preuve. Les preuves ont plus de dimensions qu'aucun nombre unique ne peut mesurer, et il y a donc toujours des aspects de la relation entre les valeurs P et les preuves que les gens peuvent trouver difficiles.

J'ai passé en revue de nombreux arguments utilisés par Johansson dans un article qui montre la relation entre les valeurs de P et les fonctions de vraisemblance, et donc des preuves: http://arxiv.org/abs/1311.0081 Malheureusement, cet article a maintenant été rejeté trois fois, bien que ses arguments et leurs preuves n'aient pas été réfutés. (Il semble que ce soit désagréable pour les arbitres qui ont des opinions comme Johansson plutôt que fausses.)

Ajout à la belle réponse de @ Momo:

$1$

Johansson parle-t-il des valeurs de p de deux expériences différentes? Si c'est le cas, la comparaison des valeurs p peut être comme comparer des pommes à des côtelettes d'agneau. Si l'expérience "A" implique un grand nombre d'échantillons, même une petite différence sans conséquence peut être statistiquement significative. Si l'expérience "B" ne concerne que quelques échantillons, une différence importante peut être statistiquement non significative. Pire encore (c'est pourquoi j'ai dit des côtelettes d'agneau et non des oranges), les écailles peuvent être totalement incomparables (psi dans l'un et kwh dans l'autre).