La correction de Bonferroni est-elle trop anti-conservatrice / libérale pour certaines hypothèses dépendantes?

J'ai souvent lu que la correction de Bonferroni fonctionne également pour les hypothèses dépendantes. Cependant, je ne pense pas que ce soit vrai et j'ai un contre-exemple. Quelqu'un peut-il me dire (a) où est mon erreur ou (b) si j'ai raison sur ce point.

Configuration de l'exemple de compteur

Supposons que nous testons deux hypothèses. Soit la première hypothèse est fausse et sinon. Définissez même manière. Soit les valeurs de p associées aux deux hypothèses et que Dénote la fonction d'indicateur pour l'ensemble spécifié entre crochets. $H_{1}=0$ $H_{1}=1$ $H_{2}$ $p_{1},p_{2}$ $[\![\cdot]\!]$

Pour fixe définir qui sont évidemment des densités de probabilité sur . Voici un tracé des deux densités $\theta\in [0,1]$

\begin{array}{rcl} P (p_{1}, p_{2} | H_{1} = 0, H_{2} = 0) & = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] + \frac{1}{2 θ} [[0 \leq p_{2} \leq θ]] \\ P (p_{1}, p_{2} | H_{1} = 0, H_{2} = 1) & = & P (p_{1}, p_{2} | H_{1} = 1, H_{2} = 0) \\ = & \frac{1}{{(1 - θ)}^{2}} [[θ \leq p_{1} \leq 1]] \cdot [[θ \leq p_{2} \leq 1]] \end{array}

$\begin{eqnarray*} P\left(p_{1},p_{2}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2\theta}[\![0\le p_{2}\le\theta]\!]\\ P\left(p_{1},p_{2}|H_{1}=0,H_{2}=1\right) & = & P\left(p_{1},p_{2}|H_{1}=1,H_{2}=0\right)\\ & = & \frac{1}{\left(1-\theta\right)^{2}}[\![\theta\le p_{1}\le1]\!]\cdot[\![\theta\le p_{2}\le1]\!] \end{eqnarray*}$

[0, 1]^{2}

$[0,1]^{2}$

entrez la description de l'image ici

La marginalisation donne et de même pour .

\begin{array}{rcl} P (p_{1} | H_{1} = 0, H_{2} = 0) & = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] + \frac{1}{2} \\ P (p_{1} | H_{1} = 0, H_{2} = 1) & = & \frac{1}{(1 - θ)} [[θ \leq p_{1} \leq 1]] \end{array}

$\begin{eqnarray*} P\left(p_{1}|H_{1}=0,H_{2}=0\right) & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]+\frac{1}{2}\\ P\left(p_{1}|H_{1}=0,H_{2}=1\right) & = & \frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!] \end{eqnarray*}$

p_{2}

$p_{2}$

De plus, laissons Cela implique que

\begin{array}{rcl} P (H_{2} = 0 | H_{1} = 0) & = & P (H_{1} = 0 | H_{2} = 0) = \frac{2 θ}{1 + θ} \\ P (H_{2} = 1 | H_{1} = 0) & = & P (H_{1} = 1 | H_{2} = 0) = \frac{1 - θ}{1 + θ} . \end{array}

$\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)=\frac{2\theta}{1+\theta}\\ P\left(H_{2}=1|H_{1}=0\right) & = & P\left(H_{1}=1|H_{2}=0\right)=\frac{1-\theta}{1+\theta}. \end{eqnarray*}$

\begin{array}{rcl} P (p_{1} | H_{1} = 0) & = & \sum_{h_{2} \in {0, 1}} P (p_{1} | H_{1} = 0, h_{2}) P (h_{2} | H_{1} = 0) \\ = & \frac{1}{2 θ} [[0 \leq p_{1} \leq θ]] \frac{2 θ}{1 + θ} + \frac{1}{2} \frac{2 θ}{1 + θ} + \frac{1}{(1 - θ)} [[θ \leq p_{1} \leq 1]] \frac{1 - θ}{1 + θ} \\ = & \frac{1}{1 + θ} [[0 \leq p_{1} \leq θ]] + \frac{θ}{1 + θ} + \frac{1}{1 + θ} [[θ \leq p_{1} \leq 1]] \\ = & U [0, 1] \end{array}

$\begin{eqnarray*} P\left(p_{1}|H_{1}=0\right) & = & \sum_{h_{2}\in\{0,1\}}P\left(p_{1}|H_{1}=0,h_{2}\right)P\left(h_{2}|H_{1}=0\right)\\ & = & \frac{1}{2\theta}[\![0\le p_{1}\le\theta]\!]\frac{2\theta}{1+\theta}+\frac{1}{2}\frac{2\theta}{1+\theta}+\frac{1}{\left(1-\theta\right)}[\![\theta\le p_{1}\le1]\!]\frac{1-\theta}{1+\theta}\\ & = & \frac{1}{1+\theta}[\![0\le p_{1}\le\theta]\!]+\frac{\theta}{1+\theta}+\frac{1}{1+\theta}[\![\theta\le p_{1}\le1]\!]\\ & = & U\left[0,1\right] \end{eqnarray*}$ est uniforme comme requis pour les valeurs de p sous l'hypothèse Null. Il en va de même pour raison de la symétrie.

p_{2}

$p_{2}$

Pour obtenir la distribution conjointe nous calculons $P\left(H_{1},H_{2}\right)$

\begin{array}{rcl} P (H_{2} = 0 | H_{1} = 0) P (H_{1} = 0) & = & P (H_{1} = 0 | H_{2} = 0) P (H_{2} = 0) \\ \Leftrightarrow \frac{2 θ}{1 + θ} P (H_{1} = 0) & = & \frac{2 θ}{1 + θ} P (H_{2} = 0) \\ \Leftrightarrow P (H_{1} = 0) & = & P (H_{2} = 0) := q \end{array}

$\begin{eqnarray*} P\left(H_{2}=0|H_{1}=0\right)P\left(H_{1}=0\right) & = & P\left(H_{1}=0|H_{2}=0\right)P\left(H_{2}=0\right)\\ \Leftrightarrow\frac{2\theta}{1+\theta}P\left(H_{1}=0\right) & = & \frac{2\theta}{1+\theta}P\left(H_{2}=0\right)\\ \Leftrightarrow P\left(H_{1}=0\right) & = & P\left(H_{2}=0\right):=q \end{eqnarray*}$ Par conséquent, la distribution conjointe est donnée par ce qui signifie que .

\begin{array}{rcl} P (H_{1}, H_{2}) & = & \begin{array}{ccc} H_{2} = 0 & H_{2} = 1 \\ H_{1} = 0 & \frac{2 θ}{1 + θ} q & \frac{1 - θ}{1 + θ} q \\ H_{1} = 1 & \frac{1 - θ}{1 + θ} q & \frac{1 + θ - 2 q}{1 + θ} \end{array} \end{array}

$\begin{eqnarray*} P\left(H_{1},H_{2}\right) & = & \begin{array}{ccc} & H_{2}=0 & H_{2}=1\\ H_{1}=0 & \frac{2\theta}{1+\theta}q & \frac{1-\theta}{1+\theta}q\\ H_{1}=1 & \frac{1-\theta}{1+\theta}q & \frac{1+\theta-2q}{1+\theta} \end{array} \end{eqnarray*}$

0 \leq q \leq \frac{1 + θ}{2}

$0\le q\le\frac{1+\theta}{2}$

Pourquoi c'est un contre-exemple

Soit maintenant pour le niveau de signification intéresse. La probabilité d'obtenir au moins un faux positif avec le niveau de signification corrigé étant donné que les deux hypothèses sont fausses (ie ) est donnée par car toutes les valeurs de et sont inférieures à étant donné que et $\theta=\frac{\alpha}{2}$ $\alpha$ $\frac{\alpha}{2}$ $H_{i}=0$

\begin{array}{rcl} P ((p_{1} \leq \frac{α}{2}) \lor (p_{2} \leq \frac{α}{2}) | H_{1} = 0, H_{2} = 0) & = & 1 \end{array}

$\begin{eqnarray*} P\left(\left(p_{1}\le\frac{\alpha}{2}\right)\vee\left(p_{2}\le\frac{\alpha}{2}\right)|H_{1}=0,H_{2}=0\right) & = & 1 \end{eqnarray*}$

p_{1}

$p_{1}$

p_{2}

$p_{2}$

\frac{α}{2}

$\frac{\alpha}{2}$

H_{1} = 0

$H_1=0$

H_{2} = 0

$H_2=0$ par construction. La correction de Bonferroni, cependant, prétendrait que le FWER est inférieur à .

α

$\alpha$

— fabee
source

Très bonne question. J'aimerais que quelqu'un réponde

L'opposé du conservateur est anticonservateur dans le monde statistique!

— AdamO

Je ne le savais pas. J'ai cru lire libéral quelques fois.

— fabee

voir stats.stackexchange.com/questions/235856/…

Merci, mais c'est quelque chose de différent. Vous avez besoin d'une hypothèse supplémentaire (la dépendance n'est pas le problème, voir ma réponse ci-dessous).

— fabee

Réponses:

Bonferroni ne peut pas être libéral, indépendamment de la dépendance, si vos valeurs p sont calculées correctement.

Soit A l'événement d'une erreur de type I dans un test et B l'événement d'une erreur de type I dans un autre test. La probabilité que A ou B (ou les deux) se produisent est:

P (A ou B) = P (A) + P (B) - P (A et B)

Parce que P (A et B) est une probabilité et ne peut donc pas être négatif, cette équation n'a aucun moyen de produire une valeur supérieure à P (A) + P (B). La valeur la plus élevée que l'équation peut produire est lorsque P (A et B) = 0, c'est-à-dire lorsque A et B dépendent parfaitement négativement. Dans ce cas, vous pouvez remplir l'équation comme suit, en supposant que les valeurs nulles sont vraies et un niveau alpha ajusté par Bonferroni de 0,025:

P (A ou B) = P (A) + P (B) - P (A et B) = .025 + .025 - 0 = .05

Sous toute autre structure de dépendance, P (A et B)> 0, l'équation produit donc une valeur encore plus petite que 0,05. Par exemple, sous une dépendance positive parfaite, P (A et B) = P (A), auquel cas vous pouvez remplir l'équation comme suit:

P (A ou B) = P (A) + P (B) - P (A et B) = .025 + .025 - .025 = .025

Autre exemple: sous indépendance, P (A et B) = P (A) P (B). Par conséquent:

P (A ou B) = P (A) + P (B) - P (A et B) = .025 + .025 - .025 * .025 = .0494

Comme vous pouvez le voir, si un événement a une probabilité de 0,025 et qu'un autre événement a également une probabilité de 0,025, il est impossible que la probabilité d'un ou des deux événements soit supérieure à 0,05, car il est impossible pour P ( A ou B) doit être supérieur à P (A) + P (B). Toute affirmation contraire est logiquement absurde.

"Mais cela suppose que les deux valeurs nulles sont vraies", pourrait-on dire. "Et si le premier nul est vrai et le second est faux?" Dans ce cas, B est impossible car vous ne pouvez pas avoir d'erreur de type I lorsque l'hypothèse nulle est fausse. Ainsi, P (B) = 0 et P (A et B) = 0. Remplissons donc notre formule générale pour le FWER de deux tests:

P (A ou B) = P (A) + P (B) - P (A et B) = .025 + 0 - 0 = .025

Donc, encore une fois, le FWER est <0,05. Notez que la dépendance n'est pas pertinente ici parce que P (A et B) est toujours 0. Un autre scénario possible est que les deux valeurs nulles sont fausses, mais il devrait être évident que le FWER serait alors 0, et donc <0,05.

— Bonferroni
source

Merci d'avoir répondu. J'ai lu des dérivations comme la vôtre plusieurs fois et elles ont du sens. Cependant, je ne vois toujours pas l'erreur dans mon exemple. Si c'est absurde, où est mon erreur? J'ai le sentiment que le problème est que vous prenez

P (A)

$P(A)$ être

P (A | H_{0}^{1} = T r u e)

$P(A|H_0^{1}=True)$ , mais pour le FWER qui vous intéresse réellement

P (A \lor B | H_{0}^{(1)} = T r u e \land H_{0}^{(2)} = T r u e)

$P(A\vee B|H_0^{(1)}=True\wedge H_0^{(2)}=True)$ . Vous pouvez toujours avoir

P (A | H_{0}^{(1)} = T r u e) = α

$P(A|H_0^{(1)}=True)=\alpha$ mais

P (A | H_{0}^{(1)} = T r u e \land H_{0}^{(2)} = T r u e) > α

$P(A|H_0^{(1)}=True\wedge H_0^{(2)}=True)>\alpha$ . C'est ce que j'ai construit dans mon exemple. Votre exemple est correct si l'erreur de type I est indépendante de l'autre hypothèse.

— fabee

Le calcul du FWER suppose que les deux valeurs nulles sont vraies, donc P (A) signifie la même chose que P (A | null 1 est vrai) et P (B) signifie la même chose que P (B | null 2 est vrai). Les probabilités conditionnelles sont donc inutiles. Vous devriez peut-être réécrire votre exemple sans eux. Notez que si "toutes les valeurs de p1 et p2 sont inférieures à α / 2 étant donné que H1 = 0 et H2 = 0 par construction", alors vous avez simplement construit un scénario dans lequel les valeurs de p ne sont pas calculées correctement. Si chaque p est testé à α / 2, chaque p doit avoir une chance de signification α / 2 par définition, mais vous avez apparemment donné à chaque p 100% de chance de signification.

— Bonferroni

Je ne pense pas que tu aies raison. Si le taux d'erreur FWER suppose que les deux valeurs nulles sont vraies, alors je veux calculer P (A ou B | null 1 et 2 sont vrais). La décomposition que vous avez écrite dans votre réponse nécessite donc la même condition sur le côté droit. Ce n'est qu'en utilisant des probabilités conditionnelles que cela devient clair. Mes valeurs de p sont calculées correctement car P (A | null 1 est vrai) est toujours

α

$\alpha$ Comme il se doit. Mais notez que P (A | null 1 est vrai) n'est généralement pas identique à P (A | null 1 et null 2 sont vrais).

— fabee

Dessinez un grand carré sur une feuille de papier représentant l'espace total de l'échantillon des résultats possibles. Ensuite, dessinez un cercle qui occupe 2,5% de l'aire du carré et étiquetez-le A. Ensuite, dessinez un autre cercle qui occupe 2,5% de l'aire du carré et étiquetez-le B. Faites en sorte que A et B se chevauchent aussi peu ou autant comme vous le souhaitez (c'est à dire jouer avec la dépendance entre A et B). Vous constaterez qu'il n'y a aucun moyen que la zone combinée de A et B soit supérieure à 2,5% + 2,5% = 5%.

— Bonferroni

Il semble que vous soyez confus au sujet de la probabilité à un niveau très fondamental et que vous n'êtes pas encore prêt à vous attaquer aux mathématiques. Nous supposons que les deux valeurs nulles sont vraies car c'est la situation qui produit le FWER maximal. Si les deux valeurs nulles sont fausses, il ne peut évidemment y avoir aucune erreur de type I. Et si un nul est vrai et un nul est faux, le taux d'erreur est tout simplement le niveau alpha que vous utilisez pour tester le vrai.

— Bonferroni

Je pense que j'ai enfin la réponse. J'ai besoin d'une exigence supplémentaire sur la distribution de $P(p_1,p_2|H_1=0, H_2=0)$ . Avant, je demandais seulement que $P(p_1|H_1=0)$ est uniforme entre 0 et 1. Dans ce cas mon exemple est correct et Bonferroni serait trop libéral. Cependant, si j’exige en outre l’uniformité des $P(p_1|H_1=0, H_2=0)$ alors il est facile de déduire que Bonferroni ne peut jamais être trop conservateur. Mon exemple viole cette hypothèse. En termes plus généraux, l'hypothèse est que la distribution de toutes les valeurs de p étant donné que toutes les hypothèses nulles sont vraies doit avoir la forme d'une copule : conjointement, elles n'ont pas besoin d'être uniformes, mais marginalement elles le font.

Commentaire: Si quelqu'un peut me pointer vers une source où cette hypothèse est clairement énoncée (manuel, papier), j'accepterai cette réponse.

— fabee
source