La valeur de p est-elle également le taux de fausses découvertes?

Dans http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing), il indique

Par exemple, si nous avons une valeur de p de 0,05 et que nous concluons qu'elle est significative, la probabilité d'une fausse découverte est, par définition, de 0,05.

Ma question: j'ai toujours pensé que la fausse découverte est une erreur de type I, qui est égale aux niveaux de signification choisis dans la plupart des tests. La valeur P est la valeur calculée à partir de l'échantillon. En effet, Wikipedia déclare

La valeur de p ne doit pas être confondue avec le niveau de signification dans l'approche de Neyman – Pearson ou le taux d'erreur de type I [taux de faux positifs] " $\alpha$

Alors, pourquoi l'article lié affirme-t-il que le taux d'erreur de type I est donné par la valeur p?

— Bonjour le monde
source

La valeur de de Fisher et le taux d'erreur de type I sont incompatibles selon l'article suivant: Hubbard, Bayarri (2012): Confusion sur les mesures des preuves ( ) par rapport aux erreurs ( ) dans les tests statistiques classiques . Jetez également un œil à cet article ici sur le site.

p

$p$

α

$\alpha$

p

$p$

α

$\alpha$

— COOLSerdash

@COOL C'est un document terriblement controversé à citer. Jetez un œil au début de la discussion qui suit à la dernière page. Il me semble que les auteurs - volontairement ou inconsciemment - interprètent de manière erronée nombre des statisticiens qu'ils critiquent pour leur ignorance et leur erreur.

— whuber

@whuber C'était aussi mon impression quand j'ai lu le journal. Connaissez-vous un article, un livre ou une publication qui offre un traitement plus bénin de ce sujet?

— COOLSerdash

@COOL Il y en a tellement que je ne peux même plus les suivre.

— whuber

L'article lié sur surveyanalysis.org est une ordure, et la citation est complètement fausse.

— amoeba

Réponses:

Votre taux de fausses découvertes dépend non seulement du seuil de valeur p, mais aussi de la vérité. En fait, si votre hypothèse nulle est en réalité fausse, il vous est impossible de faire une fausse découverte.

Peut-être qu'il est utile de penser comme ça: le seuil de valeur p est la probabilité de faire de fausses découvertes quand il n'y a pas de vraies découvertes à faire (ou de le dire différemment, si l'hypothèse nulle est vraie).

Fondamentalement,

Taux d'erreur de type 1 = "Probabilité de rejeter la valeur nulle si elle est vraie" = seuil de valeur p

Taux d'erreur de type 1 = taux de fausses découvertes SI l'hypothèse nulle est vraie

est correct, mais notez le conditionnel sur le vrai null. Le taux de fausses découvertes n'a pas cette condition et dépend donc de la vérité inconnue du nombre de vos hypothèses nulles qui sont réellement correctes ou non.

Il est également utile de considérer que lorsque vous contrôlez le taux de fausses découvertes à l'aide d'une procédure comme Benjamini-Hochberg, vous ne pouvez jamais estimer le taux de fausses découvertes, mais vous le contrôlez en estimant une limite supérieure. Pour en faire plus, vous devez en fait pouvoir détecter que l'hypothèse nulle est vraie à l'aide de statistiques, lorsque vous ne pouvez détecter que des violations d'une certaine ampleur (en fonction de la puissance de votre test).

— Erik
source

"Une fausse découverte, une erreur de type I et un faux positif sont tous équivalents. Alors que le taux de faux positifs et le taux d'erreur de type I sont égaux, le taux de fausses découvertes est une quantité entièrement différente." Une définition du FDR peut être trouvée ici .

— Randel

Certes, lorsque l'hypothèse nulle est vraie (ou toutes les hypothèses nulles sont vraies), le FDR est par définition de 100% (100% de toutes les hypothèses nulles rejetées sont rejetées à tort).

— Björn

@ Björn Le FDR est un choix de chercheur, tout comme le FWER. Si le FDR = 0,05 et que toutes les hypothèses nulles sont vraies, alors le nombre attendu de fausses découvertes est de . Nulle part dans la littérature séminale sur le FDR vous ne verrez une méthode proposée pour rejeter toutes les vraies hypothèses nulles. Je soupçonne que vous confondez les idées « toutes les vraies hypothèses nulles rejetées sont de fausses découvertes» et «le FDR rejette toutes les vraies hypothèses nulles».

m

$m$

0.05 m

$0.05m$

— Alexis

La différence entre les valeurs P et le taux de faux positifs (ou taux de fausses découvertes) est expliquée, j'espère clairement, dans http://rsos.royalsocietypublishing.org/content/1/3/140216

Bien que cet article utilise le terme False Discovery Rate, je préfère maintenant False Positive Rate, car l'ancien terme est souvent utilisé dans le contexte des corrections pour les comparaisons multiples. C'est un problème différent. Le document souligne que pour un seul test non biaisé, le taux de faux positifs est beaucoup plus élevé que la valeur P dans presque toutes les circonstances.

Il existe également une description qualitative de la logique sous-jacente sur https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant

— David Colquhoun
source