Benjamini et Hochberg ont mis au point la première méthode (et toujours la plus largement utilisée, selon moi) pour contrôler le taux de fausses découvertes (FDR).

Je veux commencer par un groupe de valeurs P, chacune pour une comparaison différente, et décider quelles sont suffisamment basses pour être appelées une "découverte", en contrôlant le FDR à une valeur spécifiée (par exemple 10%). Une des hypothèses de la méthode habituelle est que les comparaisons sont soit indépendantes, soit "dépendantes", mais je ne peux pas comprendre exactement ce que cette phrase signifie dans le contexte de l'analyse d'un ensemble de valeurs P.

De votre question , et en particulier vos commentaires à d' autres réponses, il me semble que vous êtes surtout confus au sujet de la « grande image » ici: à savoir, qu'est - ce que la « dépendance positive » se réfèrent dans ce contexte du tout - contrairement à ce que est la signification technique de la condition PRDS. Je vais donc parler de la grande image.

La grande image

Imaginez que vous testez hypothèses nulles et que toutes sont vraies. Chacune des N valeurs p est une variable aléatoire; répéter l'expérience encore et encore générerait une p-valeur différente à chaque fois, de sorte que l'on peut parler d'une distribution de p- valeurs (sous la valeur nulle). Il est bien connu que pour tout test, une distribution de p- valeurs sous le zéro doit être uniforme; ainsi dans le cas du test de multiplte, toutes les N distributions marginales de valeurs p seront uniformes.$N$$N$ $p$$p$$p$$p$$N$$p$

Si toutes les données et tous tests sont indépendants l'un de l'autre, ladistribution N- dimensionnelleconjointedesvaleurs p sera également uniforme. Ce sera le cas, par exemple, dans une situation classique de "jelly-haricot" où un ensemble d'éléments indépendants est testé:$N$$N$$p$

Cependant, il n'est pas nécessaire que ce soit comme ça. Toute paire de valeurs peut en principe être corrélée, positivement ou négativement, ou dépendre de manière plus compliquée. Envisagez de tester toutes les différences de moyenne par paire entre quatre groupes; ceci est N = 4 ⋅ trois / 2 = $p$$N=4\cdot 3/2=6$ tests. Chacune des six valeurs est distribuée uniformément. Mais ils sont tous positivement corrélés: si (sur une tentative donnée) le groupe A a par hasard une moyenne particulièrement basse, alors la comparaison A-vs-B pourrait donner une faible valeur p (ce serait un faux positif). Mais dans cette situation, il est probable que A-vs-C, ainsi que A-vs-D, produiront également un faible $p$$p$$p$-valeurs. Donc, les valeurs sont évidemment non indépendantes et de plus, elles sont positivement corrélées les unes aux autres.$p$

C’est, de manière informelle, à quoi "dépendance positive" se réfère.

Cela semble être une situation courante dans les tests multiples. Un autre exemple consisterait à tester les différences entre plusieurs variables corrélées les unes aux autres. Obtenir une différence significative dans l’un d’eux augmente les chances d’obtenir une différence significative dans un autre.

Il est difficile de trouver un exemple naturel dans lequel les valeurs seraient "dépendantes négativement". @ user43849 a remarqué dans les commentaires ci-dessus que, pour les tests unilatéraux, il est facile:$p$

Imaginez que je teste si A = 0 et aussi si B = 0 par rapport à des alternatives unilatérales (A> 0 et B> 0). Imaginez en outre que B dépend de A. Par exemple, imaginez que je veuille savoir si une population contient plus de femmes que d’hommes et également si elle contient plus d’ovaires que de testicules. Connaître clairement la valeur p de la première question modifie notre attente de la valeur p pour la seconde. Les deux valeurs de p changent dans le même sens et il s'agit de PRD. Mais si je teste plutôt la deuxième hypothèse selon laquelle la population 2 a plus de testicules que d'ovaires, nos attentes pour la deuxième valeur p diminuent à mesure que la première valeur p augmente. Ce n'est pas PRD.

Mais j’ai été jusqu’à présent incapable de trouver un exemple naturel avec un point nul.

Maintenant, la formulation mathématique exacte de "dépendance positive" garantissant la validité de la procédure de Benjamini-Hochberg est plutôt délicate. Comme mentionné dans d'autres réponses, la référence principale est Benjamini & Yekutieli 2001 ; ils montrent que la propriété de PRDS ("dépendance de régression positive pour chacun d'un sous-ensemble") implique une procédure de Benjamini-Hochberg. C'est une forme détendue de la propriété PRD ("dépendance de régression positive"), ce qui signifie que PRD implique PRDS et implique donc également la procédure de Benjamini-Hochberg.

Pour les définitions de PRD / PRDS, voir la réponse de +1 utilisateur43849 (+1) et le papier de Benjamini & Yekutieli. Les définitions sont plutôt techniques et je n’en ai pas une bonne compréhension intuitive. En fait, B & Y mentionne également plusieurs autres concepts connexes: positivité totale à plusieurs variables d'ordre 2 (MTP2) et association positive. Selon B & Y, ils sont liés comme suit (le diagramme est le mien):

$\hskip{10em}$

MTP2 implique un PRD qui implique un PRDS qui garantit l'exactitude de la procédure BH. PRD implique également PA, mais PA PRDS.$\ne$

Bonne question! Faisons un pas en arrière et comprenons ce que Bonferroni a fait et pourquoi il était nécessaire que Benjamini et Hochberg développent une alternative.

Il est devenu nécessaire et obligatoire au cours des dernières années d’effectuer une procédure appelée correction d’essais multiples. Cela est dû au nombre croissant de tests effectués simultanément avec les sciences à haut débit, notamment en génétique avec l'avènement des études d'association du génome entier (GWAS). Excusez ma référence à la génétique, car c’est mon domaine de travail. Si nous effectuons des tests 1.000.000 simultanément à , nous nous attendons à 50 , 000 faux positifs. C'est ridiculement grand, et nous devons donc contrôler le niveau auquel l'importance est évaluée. La correction de bonferroni, c'est-à-dire la division du seuil d'acceptation (0,05) par le nombre de tests indépendants ( 0,05 /$P = 0.05$$50,000$$(0.05/M)$corrige le taux d'erreur de la famille ( $FWER$ ).

Ceci est vrai parce que le FWER est lié au taux d'erreur de test sage ( ) par l'équation F W E R = 1 - ( 1 - T W E R ) M . C'est-à-dire que 100% moins 1 soustrait le taux d'erreur de test indiqué à la puissance du nombre de tests indépendants effectués. En supposant que ( 1 - 0,05 ) 1 / M = 1 - $TWER$$FWER = 1 - (1 - TWER)^M$ donneTWER≈$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$ , qui est la valeur d'acceptation P ajustée pour M des tests complètement indépendants.$TWER \approx \frac{0.05}{M}$

Le problème que nous rencontrons maintenant, de même que Benjamini et Hochberg, est que tous les tests ne sont pas complètement indépendants. Ainsi, la correction de Bonferroni, bien que robuste et flexible, est une surcorrection . Prenons le cas de la génétique où deux gènes sont liés dans un cas appelé déséquilibre de liaison; c'est-à-dire que lorsqu'un gène a une mutation, un autre est plus susceptible d'être exprimé. Ce ne sont évidemment pas des tests indépendants, bien que dans la correction de bonferroni ils soient supposés être . C’est ici que nous commençons à voir que la division de la valeur P par M crée un seuil artificiellement bas en raison de tests supposés indépendants qui s’influencent réellement, créant par conséquent un M trop grand pour notre situation réelle, où les choses ne se pas indépendant.

La procédure suggérée par Benjamini et Hochberg, et complétée par Yekutieli (et bien d’autres) est plus libérale que Bonferroni et, en fait, la correction de Bonferroni n’est utilisée que dans la très vaste des études. En effet, dans le FDR, nous supposons une certaine interdépendance des tests et donc un M trop grand et irréaliste et qui supprime les résultats qui nous intéressent en réalité. Par conséquent, dans le cas de 1000 tests qui ne sont pas indépendants, le vrai M ne serait pas 1000, mais quelque chose de plus petit à cause des dépendances. Ainsi, quand on divise 0,05 par 1000, le seuil est trop strict et évite certains tests qui pourraient être intéressants.

Je ne sais pas si vous vous souciez de la mécanique derrière le contrôle de la dépendance, mais si vous le faites, j'ai lié le document Yekutieli à titre de référence. Je vais également attacher quelques autres choses pour votre information et votre curiosité.

J'espère que cela a aidé d'une certaine manière, si j'ai mal interprété quelque chose, s'il vous plaît faites le moi savoir.

~ ~ ~ ~

Les références

Article de Yekutieli sur les dépendances positives - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(voir 1.3 - Le problème.)

Explication de Bonferroni et autres sujets d'intérêt - Revues de Nature Genetics. Tests de puissance et de signification statistiques dans les études génétiques à grande échelle - Pak C Sham et Shaun M Purcell

(voir encadré 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

MODIFIER:

Dans ma réponse précédente, je ne définissais pas directement la dépendance positive, ce qui était ce qui était demandé. Dans l'article de Yekutieli, la section 2.2s'intitule Dépendance positive, et je le suggère car elle est très détaillée. Cependant, je pense que nous pouvons le rendre un peu plus succinct.

Dans un premier temps, le document commence par parler de dépendance positive, en l’utilisant comme un terme vague interprétable mais non spécifique. Si vous lisez les preuves, ce qui est mentionné en tant que dépendance positive est appelé PRSD, défini précédemment par "Dépendance de régression positive pour chacune à partir d'un sous-ensemble ". I 0 est le sous-ensemble de tests qui prend en charge correctement l'hypothèse nulle (0). Le PRDS est alors défini comme suit.$I_0$$I_0$

est notre ensemble complet de statistiques de test et I 0 est notre ensemble de statistiques de test qui prennent correctement en charge la valeur null. Ainsi, pour que X soit PRDS (positivement dépendant) de I 0 , la probabilité que X soit un élément de I 0 (nul) augmente dans un ensemble non décroissant de statistiques de test x (éléments de X ).$X$$I_0$$X$$I_0$$X$$I_0$$x$$X$

En interprétant cela, lorsque nous ordonnons nos valeurs du plus bas au plus élevé, la probabilité de faire partie de l'ensemble nul de statistiques de test est la plus faible à la plus petite valeur P et augmente à partir de ce point. Le FDR définit une limite sur cette liste de statistiques de test de telle sorte que la probabilité de faire partie de l'ensemble nul soit de 0,05. C'est ce que nous faisons lorsque nous contrôlons le FDR.$P$

En résumé, la propriété de dépendance positive est réellement la propriété de dépendance de régression positive de l'ensemble de nos statistiques de test par rapport à notre ensemble de statistiques de test nuls vrais, et nous contrôlons un FDR de 0,05; ainsi, à mesure que les valeurs P vont de bas en haut (procédure d’intensification), elles augmentent en probabilité pour faire partie de l’ensemble nul.

Ma réponse précédente dans les commentaires sur la matrice de covariance n'était pas incorrecte, mais un peu vague. J'espère que cela aide un peu plus.

J'ai trouvé cette pré-impression utile pour comprendre le sens. Il faut dire que je propose cette réponse non pas en tant qu'expert du sujet, mais en tant que tentative de compréhension pour être contrôlée et validée par la communauté.

Merci à Amoeba pour ses observations très utiles sur la différence entre PRD et PRDS, voir les commentaires.

$p$$C$$p$$C$

1. $q$$C$
2. $r$$q$$r$$q$$r_i < q_i$$i$
3. $r$$C$

$C$

$p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

$p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

$p_1 ... p_n$

$p_n$$p_n < B$$B$$p_n < B$$p_n < B$$B$

Édité pour ajouter:

Voici un exemple putatif d'un système qui n'est pas PRDS (code R ci-dessous). La logique est que lorsque les échantillons a et b sont très similaires, il est plus probable que leur produit sera atypique. Je suppose que cet effet (et non la non-uniformité des valeurs p sous le zéro pour la (a*b), (c*d)comparaison) entraîne la corrélation négative dans les valeurs p, mais je ne peux pas en être sûr. Le même effet apparaît si nous effectuons un test t pour la deuxième comparaison (plutôt qu'un test de Wilcoxon), mais la distribution des valeurs p n'est toujours pas uniforme, probablement en raison de violations de l'hypothèse de normalité.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

Benjamini et Yekutieli donnent dans leur article quelques exemples de la différence de dépendance à la régression positive (PRD) et de la simple association positive. La procédure de contrôle du FDR repose sur une forme plus faible de PRD qu’ils appellent PRDS (c’est-à-dire PRD sur chacun d’eux à partir d’un sous-ensemble de variables).

Lehmann a initialement proposé la dépendance positive dans une configuration bivariée , mais la version multivariée de ce concept, appelée dépendance de régression positive, est ce qui convient aux tests multiples.

Voici un extrait pertinent de la page 6

$\mathbf{X}$$(\mathbf{X}_1, \mathbf{X}_2)$$\mathbf{X}$$h(\mathbf{X}_1)$$\mathbf{X}_2$$h(\mathbf{X}_1)$

$$\ldots$$

La dépendance positive dans ce cas signifie que l'ensemble des tests est corrélé positivement. L'idée est donc que si les variables de l'ensemble de tests pour lesquelles vous avez des valeurs P sont corrélées positivement, chacune des variables n'est pas indépendante .

Si vous pensez à une correction de valeur p de Bonferroni, par exemple, vous pouvez garantir que le taux d'erreur de type 1 est inférieur à 10% par rapport à 100 tests statistiquement indépendants en réglant votre seuil de signification sur 0.1 / 100 = 0.001. Mais que se passe-t-il si chacun de ces 100 tests est corrélé? Ensuite, vous n'avez pas vraiment effectué 100 tests distincts.

En RAD, l’idée est légèrement différente de la correction de Bonferroni. L'idée est de garantir que seul un certain pourcentage (disons 10%) des éléments que vous déclarez importants sont faussement déclarés comme tels. Si vous avez des marqueurs corrélés (dépendance positive) dans votre jeu de données, la valeur FDR est choisie en fonction du nombre total de tests que vous effectuez (mais le nombre réel de tests statistiquement indépendants est plus petit). De cette manière, il est plus sûr de conclure que le taux de fausse découverte déclare faussement 10% ou moins des tests de votre ensemble de valeurs P.

Veuillez consulter ce chapitre du livre pour une discussion sur la dépendance positive.