Interprétation de la valeur p dans le test d'hypothèse

Je suis récemment tombé sur le document "L'essai de signification de l'hypothèse nulle", Jeff Gill (1999) . L'auteur a soulevé quelques idées fausses sur les tests d'hypothèses et les valeurs p, au sujet desquelles j'ai deux questions spécifiques:

1. La valeur p est techniquement , ce qui, comme le souligne le journal, ne nous dit généralement rien sur , à moins de connaître les distributions marginales, ce qui est rarement le cas dans les tests d'hypothèses "quotidiens". Lorsque nous obtenons une petite valeur p et "rejetons l'hypothèse nulle", quelle est exactement la déclaration probabiliste que nous formulons, puisque nous ne pouvons rien dire à propos de P (H_ {0} | {\ rm observation}) ?$P({\rm observation}|H_{0})$$P(H_{0}|{\rm observation})$$P(H_{0}|{\rm observation})$
2. La deuxième question concerne une déclaration particulière de la page 6 (652) du document:

Étant donné que la valeur p, ou la plage de valeurs p indiquée par les étoiles, n'est pas définie à priori, il ne s'agit pas de la probabilité à long terme de commettre une erreur de type I, mais est généralement traitée comme telle.

Quelqu'un peut-il aider à expliquer le sens de cette déclaration?

(Techniquement, la valeur P est la probabilité d'observer des données au moins aussi extrêmes que celles réellement observées, étant donné l'hypothèse nulle.)

Q1. La décision de rejeter l'hypothèse nulle sur la base d'une petite valeur de p dépend généralement de la «disjonction de Fisher»: soit un événement rare s'est produit, soit l'hypothèse nulle est fausse. En effet, la rareté de l'événement est ce que vous indique la valeur P plutôt que la probabilité que la valeur null soit fausse.

La probabilité que le zéro soit faux ne peut être obtenue à partir des données expérimentales que par l'intermédiaire du théorème de Bayes, qui exige de spécifier la probabilité «préalable» de l'hypothèse nulle (vraisemblablement ce que Gill appelle des «distributions marginales»).

Q2. Cette partie de votre question est beaucoup plus difficile qu'il n'y paraît. Il y a beaucoup de confusion concernant les valeurs P et les taux d'erreur, ce qui est vraisemblablement ce à quoi Gill fait référence avec "mais qui est généralement traité comme tel". La combinaison des valeurs p de Fisherian avec des taux d'erreur Neyman-Pearsoniens a été qualifiée de méli-mélo incohérent et est malheureusement très répandue. Aucune réponse brève ne sera tout à fait adéquate ici, mais je peux vous indiquer quelques bons articles (oui, l’un est le mien). Les deux vous aideront à comprendre le papier de Gill.

Hurlbert, S. et Lombardi, C. (2009). Effondrement final du cadre théorique de la décision Neyman-Pearson et montée du néo-pêcheur. Annales Zoologici Fennici, 46 (5), 311–349. (Lien vers le papier)

Lew, MJ (2012). Mauvaise pratique statistique en pharmacologie (et dans d'autres disciplines biomédicales de base): vous ne savez probablement pas P. British Journal of Pharmacology, 166 (5), 1559-1567. doi: 10.1111 / j.1476-5381.2012.01931.x (Lien vers le document)

+1 à @MichaelLew, qui vous a fourni une bonne réponse. Peut-être que je peux toujours contribuer en fournissant une façon de penser à la Q2. Considérez la situation suivante:

• L'hypothèse nulle est vraie. (Notez que si l'hypothèse nulle n'est pas vraie, aucune erreur de type I n'est possible et la signification de la valeur n'est pas claire .) $p$
• a été fixé de manière conventionnelle à 0,05 . $\alpha$$0.05$
• La valeur calculée est 0,01 . $p$$0.01$

Maintenant, la probabilité d'obtenir des données aussi extrême ou plus extrême que vos données est de 1% (c'est ce que les -value$p$ moyens). Vous avez rejeté l'hypothèse nulle, ce qui rend une erreur de type I . Est-il vrai que le taux d'erreur à long terme de type I dans cette situation est également de 1%, ce que de nombreuses personnes pourraient conclure intuitivement? La réponse est non . La raison en est que si vous aviez obtenu une de 0.02 , vous auriez quand même rejeté la valeur null. En fait, vous auriez rejeté la valeur null même si p était égal à 0,04 9 et, à long terme, les p seront aussi importants$p$$0.02$$p$$0.04\bar{9}$$p$ 5% du temps et tous ces rejets seront des erreurs de type I. Ainsi, le taux d'erreur à long terme de type I est de 5% (où vous avez défini α ). $\approx$$\alpha$

(Divulgation: je n’ai pas lu le papier de Gill, je ne peux donc pas garantir que c’est ce qu’il voulait dire, mais cela donne un sens à l’affirmation selon laquelle la n’est pas [nécessairement] identique au taux d’erreur de type I à long terme. )$p$

J'aimerais faire un commentaire sur "l'insignifiance du test de signification de l'hypothèse nulle" mais qui ne répond pas à la question du PO.

$p$$H_0$$H_0\colon\{\theta=0\}$$\theta=\epsilon$$\epsilon$$\epsilon$$0$$\epsilon$$0$