Le taux de fausses découvertes (Benjamini-Hochberg) est généralement utilisé sur les «Big Data», comme les études génétiques utilisant des centaines de tests. Mais peut-il également être utilisé sur un plus petit nombre de tests? Par exemple, en examinant les résultats de deux groupes (hommes vs femmes) sur, disons, 10-20 questionnaires différents. La procédure FDR perd-elle de la valeur / signification / puissance dans ces cas?
Réponses:
Je vois des gens qui confondent cela tout le temps, également dans ce forum. Je pense que cela est causé dans une large mesure parce que dans la pratique, la procédure de Benjamini-Hochberg est utilisée comme synonyme de False Discovery Rate (et comme boîte noire pour "ajuster" les valeurs de p, comme demandé par les examinateurs pour leurs articles). Il faut clairement séparer le concept FDR de la méthode de Benjamini-Hochberg. Le premier est une erreur de type I généralisée, tandis que le second est une procédure de test multiple qui contrôle cette erreur. Ceci est très analogue par exemple à la procédure de FWER et Bonferroni.
En effet, il n'y a aucune raison immédiate pour laquelle le nombre d'hypothèses devrait être important lorsque vous souhaitez utiliser des méthodes de contrôle FDR. Cela dépend simplement de votre objectif. Supposons en particulier que vous testez hypothèses et que votre procédure en rejette avec faux rejets.
Maintenant , vous utilisez un FWER ( ) procédure de contrôle si vous voulez faire aucune erreur de type I. En revanche, vous utilisez le , quand il est acceptable de faire quelques erreurs, tant qu'elles sont relativement peu nombreuses par rapport à tous les rejets vous avez faits, c'est-à-dire
Ainsi, la réponse à votre question dépend complètement de ce que vous voulez réaliser et il n'y a aucune raison intrinsèque pour laquelle un petit serait problématique. Juste pour illustrer un peu plus loin: L'exemple d'analyse de données dans l'article séminal de Benjamini-Hochberg de 1995 ne comprenait que hypothèses, et bien sûr, il est également valable pour ce cas!
Bien sûr, il y a une mise en garde à ma réponse: la procédure BH n'est devenue populaire qu'après que les ensembles de données "massifs" (par exemple les microréseaux) ont commencé à être disponibles. Et comme vous le mentionnez, il est généralement utilisé pour une telle application "Big data". Mais c'est simplement parce que dans de tels cas, le tant que critère a plus de sens, par exemple parce qu'il est évolutif et adaptatif et facilite la recherche exploratoire. Par contre, le FWER est très strict, comme l'exigent les études cliniques, etc. et vous punit trop pour avoir exploré trop d'options simultanément (c'est-à-dire qu'il n'est pas bien adapté aux travaux exploratoires).
Supposons maintenant que vous avez décidé que le FDR est le critère approprié pour votre application. Benjamini Hochberg est-il le bon choix pour contrôler le FDR lorsque le nombre d'hypothèses est faible? Je dirais que oui, car il est également valable pour les faibles . Mais pour low vous pouvez par exemple également utiliser une autre procédure, à savoir la procédure de Benjamini et Liu , qui contrôle également le FDR. En fait, les auteurs suggèrent son utilisation (sur Benjamini-Hochberg) lorsqueet la plupart des hypothèses devraient être fausses. Vous voyez donc qu'il existe des choix alternatifs pour le contrôle FDR! En pratique, j'utiliserais toujours la BH simplement parce qu'elle est si bien établie et parce que les avantages de l'utilisation de Benjamini-Liu seront marginaux dans la plupart des cas, voire inexistants.
Sur une note connexe finale, il existe en effet certaines procédures de contrôle du FDR que vous ne devriez pas utiliser pour un faible ! Celles-ci incluent toutes les procédures locales basées sur fdr, par exemple telles qu'elles sont implémentées dans les packages R "fdrtool" et "locfdr".