Comment les procédures FDR estiment un taux de fausses découvertes sans modèle de taux de base?

9

Quelqu'un peut-il expliquer comment les procédures de FDR sont capables d'estimer un FDR sans modèle / hypothèse du taux de base des vrais positifs?

false-discovery-rate

— user4733
source

5

Je pense que c'est une très bonne question; trop de gens utilisent la procédure Benjamini-Hochberg (en abrégé BH; peut-être la procédure la plus populaire pour contrôler le FDR) comme boîte noire. En effet, il existe une hypothèse sous-jacente qu'il fait sur les statistiques et il est bien caché dans la définition des valeurs de p!

Pour une valeur de p bien définie, considère que est uniformément distribué ( ) sous l'hypothèse nulle. Parfois, il se peut même que , c'est-à-dire que soit stochastiquement plus petit qu'uniforme, mais cela ne fait que rendre les procédures plus conservatrices (et donc toujours valables). Ainsi, en calculant vos valeurs de p, en utilisant un test t ou vraiment n'importe quel test de votre choix, vous fournissez les informations sur la distribution sous l'hypothèse nulle. $P$ $P$ $P\sim U[0,1]$ $\Pr[P\leq t] \leq t$ $P$

Mais remarquez ici que j'ai continué à parler de l'hypothèse nulle; donc ce que vous avez mentionné sur la connaissance du taux de base des vrais positifs n'est pas nécessaire, vous avez seulement besoin de connaître le taux de base des faux positifs! Pourquoi est-ce?

Soit le nombre de toutes les hypothèses (positives) rejetées et les faux positifs, puis: $R$ $V$

FDR = E [\frac{V}{max (R, 1)}] \approx \frac{E [V]}{E [R]}

$\text{FDR} = \mathbb E\left[\frac{V}{\max(R,1)}\right] \approx \frac{\mathbb E[V]}{\mathbb E[R]}$

Donc, pour estimer le FDR, vous avez besoin d'un moyen d'estimer , . Nous allons maintenant examiner les règles de décision qui rejettent toutes les valeurs de p . Pour que cela soit clair dans la notation, j'écrirai également pour les quantités / variables aléatoires correspondantes d'une telle procédure. $\mathbb E[R]$ $\mathbb E[V]$ $\leq t$ $FDR(t),R(t),V(t)$

Étant donné que est juste l'attente du nombre total de rejets, vous pouvez l'estimer sans biais par le nombre de rejets que vous observez, donc , c'est-à-dire simplement en comptant combien de vos valeurs p sont . $\mathbb E[R(t)]$ $\mathbb E[R(t)] \approx R(t)$ $\leq t$

Qu'en est-il maintenant de ? Supposons bien que de vos hypothèses totales soient des hypothèses nulles, puis par l'uniformité (ou la sous-uniformité) des valeurs de p sous la valeur nulle que vous obtenez: $\mathbb E[V]$ $m_0$ $m$

E [V (t)] = \sum_{i null} Pr [P_{i} \leq t] \leq m_{0} t

$\mathbb E[V(t)] = \sum_{i \text{ null}} \Pr[P_i \leq t] \leq m_0 t$

Mais nous ne connaissons toujours pas , mais nous savons que , donc une borne supérieure conservatrice ne serait que . Par conséquent, comme nous avons juste besoin d'une limite supérieure sur le nombre de faux positifs, il suffit que nous connaissions leur distribution! Et c'est exactement ce que fait la procédure BH. $m_0$ $m_0 \leq m$ $\mathbb E[V(t)] \leq m t$

Ainsi, alors que le commentaire d'Aarong Zeng selon lequel "la procédure BH est un moyen de contrôler le FDR au niveau donné Q. Il ne s'agit pas d'estimer le FDR" n'est pas faux, il est également très trompeur! La procédure BH effectivement fait estimer le FDR pour chaque seuil . Et puis il choisit le plus grand seuil, de telle sorte que le FDR estimé soit inférieur à . En effet, la "valeur p ajustée" de l'hypothèse n'est essentiellement qu'une estimation du FDR au seuil (jusqu'à l'isotonisation). Je pense que l'algorithme BH standard cache un peu ce fait, mais il est facile de montrer l'équivalence de ces deux approches (également appelées "théorème d'équivalence" dans la littérature de tests multiples). $t$ $\alpha$ $i$ $t=p_i$

Enfin, il existe des méthodes telles que la procédure de Storey qui estiment même partir des données; cela peut augmenter la puissance d'un tout petit peu. Aussi en principe vous avez raison, on pourrait aussi modéliser la distribution sous l'alternative (votre vrai taux de base positif) pour obtenir des procédures plus puissantes; mais jusqu'à présent, la recherche sur les tests multiples s'est principalement concentrée sur le maintien du contrôle des erreurs de type I plutôt que sur la maximisation de la puissance. Une difficulté serait également que dans de nombreux cas, chacune de vos vraies alternatives aura une distribution alternative différente (par exemple, une puissance différente pour différentes hypothèses), tandis que sous la valeur NULL, toutes les valeurs p ont la même distribution. Cela rend la modélisation du véritable taux positif encore plus difficile. $m_0$

— air
source

3

+1 Vraisemblablement, "BH" fait référence à Benjamini-Hochberg . (C'est toujours une bonne idée d'épeler les acronymes, de peur que les gens ne se méprennent.) Bienvenue sur notre site!

— whuber

1

Merci! Aussi oui, vous avez raison, j'ai édité mon article pour refléter cela.

— diffusion

4

Comme suggéré par @air, la procédure Benjamini-Hochberg (BH) garantit le contrôle du FDR. Il ne vise pas à l'estimer. Il nécessite donc une simple hypothèse de faible dépendance entre les statistiques de test. [1,2]

Les méthodes qui visent à estimer le FDR [par exemple 3,4,5] nécessitent certaines hypothèses sur le processus de génération pour l’estimer. Ils supposent généralement que les statistiques de test sont indépendantes. Ils supposeront également quelque chose sur la distribution nulle des statistiques de test. Les écarts par rapport à cette distribution nulle, ainsi que l'hypothèse d'indépendance, peuvent donc être attribués à des effets, et le FDR peut être estimé.

Notez que ces idées réapparaissent dans la littérature semi-supervisée sur la détection de nouveautés. [6].

[1] Benjamini, Y. et Y. Hochberg. "Contrôler le taux de fausses découvertes: une approche pratique et puissante de tests multiples." JOURNAL-ROYAL STATISTICAL SOCIETY SERIES B 57 (1995): 289-289.

[2] Benjamini, Y., et D. Yekutieli. «Le contrôle du taux de fausses découvertes dans plusieurs tests sous dépendance.» ANNALES DE STATISTIQUES 29, no. 4 (2001): 1165–88.

[3] Storey, JD «Une approche directe des taux de fausses découvertes». Journal de la Royal Statistical Society, série B 64, no. 3 (2002): 479–98. doi: 10.1111 / 1467-9868.00346.

[4] Efron, B. «Microarrays, Empirical Bayes and the Two-Groups Model». Science statistique 23, no. 1 (2008): 1–22.

[5] Jin, Jiashun et T. Tony Cai. "Estimation du Null et de la proportion des effets Nullull dans des comparaisons multiples à grande échelle." Journal de l'American Statistical Association 102, no. 478 (1er juin 2007): 495–506. doi: 10.1198 / 016214507000000167.

[6] Claesen, Marc, Jesse Davis, Frank De Smet et Bart De Moor. "Évaluation des classificateurs binaires en utilisant uniquement des données positives et sans étiquette." arXiv: 1504.06837 [cs, Stat], 26 avril 2015. http://arxiv.org/abs/1504.06837 .

— JohnRos
source

1

+1 si mon point principal de ce paragraphe est que la procédure BH effectivement ne suggère une façon d'estimer le FDR (quoique un peu conservatrice) et en fait ne l' estimer pour arriver au seuil de rejet final. Sa définition algorithmique en tant que procédure de renforcement dans la référence [1] obscurcit cela, mais à la fin de la journée, l'estimation du FDR est exactement ce que fait la procédure BH !! (Efron fait souvent valoir ce point, mais voir également la section 4. "Une connexion entre les deux approches" dans votre référence [3].)

— air

2

Vous avez raison: après [3, Eq.2.5], on peut voir la procédure BH comme utilisant une estimation prudente du FDR avec .

p_{0} = 1

$p_0=1$

— JohnRos

0

Lorsque le véritable modèle sous-jacent est inconnu, nous ne pouvons pas calculer le FDR, mais pouvons estimer la valeur du FDR par test de permutation . Fondamentalement, la procédure de test de permutation fait simplement le test d'hypothèse plusieurs fois en modifiant le vecteur variable de résultat avec ses permutations. Il peut également être effectué sur la base des permutations des échantillons, mais pas aussi commun que l'ancien.

Le document ici examine la procédure de permutation standard pour l' estimation du FDR et a également proposé un nouvel estimateur de FDR. Il devrait pouvoir répondre à votre question.

— Aaron Zeng
source

3

La procédure la plus courante comme BH n'utilise pas de test de permutation. À quoi ça sert? De plus, les tests de permutation fournissent généralement une distribution sous le zéro, une estimation du FDR ne nécessite-t-elle pas des modèles à la fois nul et alternatif ainsi que la proportion relative sous-jacente de chacun?

— user4733

Premièrement, la procédure BH est un moyen de contrôler le FDR au niveau donné . Il ne s'agit pas d'estimer le FDR. Deuxièmement, les tests de permutation sont effectués sous la valeur nulle de toutes les hypothèses. Je ne sais pas trop ce que vous entendez par "exiger des modèles à la fois nuls et alternatifs ainsi que la proportion relative sous-jacente de chacun". Mais lorsque vous configurez vos hypothèses, vous avez déjà vos paires nulles et alternatives. Est-ce que ça a du sens?

q

$q$

— Aaron Zeng