Une méta-analyse d'études qui ne sont pas toutes «statistiquement significatives» peut-elle conduire à une conclusion «significative»?

Une méta-analyse comprend un tas d'études, qui ont toutes rapporté une valeur P supérieure à 0,05. Est-il possible que la méta-analyse globale rapporte une valeur P inférieure à 0,05? Dans quelles circonstances?

(Je suis presque sûr que la réponse est oui, mais j'aimerais une référence ou une explication.)

statistical-significance meta-analysis combining-p-values

— Harvey Motulsky
source

Je ne connais pas grand-chose à la méta-analyse, mais j'avais l'impression qu'elle n'implique aucun test d'hypothèse, juste une estimation de l'effet sur la population, auquel cas il n'y a aucune notion de signification à proprement parler.

— Kodiologist

Eh bien, une méta-analyse - à la fin de la journée - n'est qu'une moyenne pondérée. Et vous pouvez certainement mettre en place un test d'hypothèse pour cette moyenne pondérée. Voir, par exemple, Borenstein, Michael et al. "Une introduction de base aux modèles à effets fixes et à effets aléatoires pour la méta-analyse." Research Synthesis Methods 1.2 (2010): 97-111.

— boscovich

Les autres réponses sont également bonnes, mais un cas simple: deux études sont significatives à p = 0,9 mais pas p = 0,95. La probabilité que deux études indépendantes montrent toutes les deux p> = 0,9 n'est que de 0,01, donc votre méta-analyse pourrait montrer une signification à p = 0,99

— barrycarter

Prenez la limite: aucune mesure ne peut fournir suffisamment de preuves pour / contre une hypothèse (non triviale) pour avoir une petite valeur

p

$p$ , mais une collection de mesures suffisamment grande le peut.

— Eric Towers

Les valeurs de p n'indiquent pas d'effet "statistiquement significatif" ou insignifiant. Que pourrions-nous comprendre d'une conclusion significative? Est-ce une conclusion méta-analytique?

— Subhash C. Davar

Réponses:

En théorie, oui ...

Les résultats des études individuelles peuvent être insignifiants mais considérés ensemble, les résultats peuvent être significatifs.

En théorie, vous pouvez procéder en traitant les résultats $y_i$ de l'étude $i$ comme toute autre variable aléatoire.

Soit une variable aléatoire (par exemple, l'estimation de l'étude ). Alors si sont indépendants et $y_i$ $i$ $y_i$ $E[y_i]=\mu$ , vous pouvez constamment estimer la moyenne avec:

\hat{μ} = \frac{1}{n} \sum_{i} y_{i}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

En ajoutant plus d'hypothèses, soit la variance de l'estimation . Ensuite, vous pouvez estimer efficacement $\sigma^2_i$ $y_i$ $\mu$ avec une pondération de variance inverse:

\hat{μ} = \sum_{i} w_{i} y_{i} w_{i} = \frac{1 / σ_{i}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

Dans ces deux peut être statistiquement significative à un certain niveau de confiance , même si les estimations individuelles ne sont pas. $\hat{\mu}$

MAIS il peut y avoir de gros problèmes, des problèmes à prendre en compte ...

Si la méta-analyse peut ne pas converger vers (c.- à-d. la moyenne de la méta-analyse est un estimateur incohérent). $E[y_i] \neq \mu$ $\mu$

Par exemple, s'il existe un biais contre la publication de résultats négatifs, cette simple méta-analyse peut être horriblement incohérente et biaisée! Ce serait comme estimer la probabilité qu'un lancer de pièce tombe en tête en observant uniquement les tours où il n'a pas atterri la queue!
et peuvent ne pas être indépendants. Par exemple, si deux études et étaient basées sur les mêmes données, alors traiter et $y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$ comme indépendants dans la méta-analyse peut largement sous-estimer les erreurs standard et surestimer la signification statistique. Vos estimations seraient toujours cohérentes, mais les erreurs-types doivent raisonnablement tenir compte de la corrélation croisée dans les études.
La combinaison de (1) et (2) peut être particulièrement mauvaise.

Par exemple, la méta-analyse de la moyenne des sondages ensemble a tendance à être plus précise que tout sondage individuel. Mais la moyenne des sondages ensemble est toujours vulnérable aux erreurs corrélées. Quelque chose qui est apparu lors des dernières élections est que les jeunes travailleurs des bureaux de vote peuvent avoir tendance à interroger d'autres jeunes plutôt que des personnes âgées. Si tous les sondages de sortie font la même erreur, alors vous avez une mauvaise estimation qui peut être considérée comme une bonne estimation (les sondages de sortie sont corrélés car ils utilisent la même approche pour effectuer des sondages de sortie et cette approche génère la même erreur).

Sans aucun doute, les personnes plus familières avec la méta-analyse peuvent trouver de meilleurs exemples, des problèmes plus nuancés, des techniques d'estimation plus sophistiquées, etc., mais cela touche à certaines des théories les plus élémentaires et à certains des plus gros problèmes. Si les différentes études font une erreur aléatoire indépendante, la méta-analyse peut être incroyablement puissante. Si l'erreur est systématique dans toutes les études (par exemple, tout le monde sous-estime les électeurs plus âgés, etc.), alors la moyenne des études sera également erronée. Si vous sous-estimez la corrélation des études ou la corrélation des erreurs, vous surestimez effectivement la taille globale de votre échantillon et sous-estimez vos erreurs standard.

Il y a aussi toutes sortes de problèmes pratiques de définitions cohérentes, etc.

— Matthew Gunn
source

Je critique une méta-analyse pour ignorer les dépendances entre les tailles d'effet (c'est-à-dire que de nombreuses tailles d'effet étaient basées sur les mêmes participants, mais traitées comme indépendantes). Les auteurs disent non biggie, nous sommes de toute façon intéressés par les modérateurs. Je fais valoir ce que vous avez dit ici: les traiter «comme indépendants dans la méta-analyse peut largement sous-estimer les erreurs standard et surestimer la signification statistique». Existe-t-il une étude de preuve / simulation montrant pourquoi c'est le cas? J'ai beaucoup de références disant que les erreurs corrélées signifient une SE sous-estimée ... mais je ne sais pas pourquoi?

— Mark White

@MarkWhite L'idée de base n'est pas plus compliquée que

. Si pour tout

nous avons

pour

alors

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

et votre erreur standard est

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

. D'un autre côté, si les termes de covariance sont positifs et importants, l'erreur standard sera plus grande.

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— Matthew Gunn

@MarkWhite Je ne suis pas un expert méta-analyse, et honnêtement , je ne sais pas ce qui est une grande source de la façon dont on devrait faire moderne, une méta-analyse. Sur le plan conceptuel, la réplication de l'analyse sur les mêmes données est certainement utile (tout comme l'étude intensive de certains sujets), mais ce n'est pas la même chose que la reproduction d'une découverte sur de nouveaux sujets indépendants.

— Matthew Gunn

Ah, donc en mots: la variance totale d'une taille d'effet vient de (a) sa variance et (b) de sa covariance avec d'autres tailles d'effet. Si la covariance est 0, l'estimation d'erreur standard est correcte; mais si elle coïncide avec d'autres tailles d'effet, nous devons tenir compte de cette variance, et l'ignorer signifie que nous sous-estimons la variance. C'est comme si la variance est composée de deux parties A et B, et ignorer les dépendances suppose que la partie B est 0 alors qu'elle ne l'est pas?

— Mark White

En outre, cela semble être une bonne source (voir en particulier l'encadré 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

Oui. Supposons que vous ayez valeurs p issues de études indépendantes. $N$ $N$

Test de Fisher

(EDIT - en réponse au commentaire utile de @ mdewey ci-dessous, il est pertinent de faire la distinction entre différents méta-tests. J'expose le cas d'un autre méta-test mentionné par mdewey ci-dessous)

Le méta-test classique de Fisher (voir Fisher (1932), "Méthodes statistiques pour les chercheurs" ) statistique a une distribution nulle , comme pour un rv uniforme .

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Soit le quantile de la distribution nulle. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Supposons que toutes les valeurs de p soient égales à , où, éventuellement, . Alors, et lorsque $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$ Par exemple, pouret, lesvaleursindividuellesdoivent seulement être inférieures à

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Bien sûr, ce que la méta-statistique teste est "seulement" le null "agrégé" que tous les nulls individuels sont vrais, ce qui doit être rejeté dès qu'un seul des nulls est faux. $N$

MODIFIER:

Voici un tracé des valeurs de p "admissibles" par rapport à , ce qui confirme que croît dans , bien qu'il semble se stabiliser à . $N$ $c$ $N$ $c\approx0.36$

Je trouve une limite supérieure pour les quantiles de la de distribution $\chi^2$ ici, suggérant quesorte que

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

est borné par le haut par

comme

. Comme

, cette limite semble raisonnablement nette.

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Test normal inverse (Stouffer et al., 1949)

La statistique de test est donnée par

Z = \frac{1}{\sqrt{N}} \sum_{i = 1}^{N} Φ^{- 1} (p_{i})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Christoph Hanck
source

1 / e

$1/e$

Merci :-). Je ne m'y attendais pas non plus avant d'avoir vu l'intrigue ...

— Christoph Hanck

Fait intéressant, la méthode due à Fisher est la seule des méthodes couramment utilisées qui possède cette propriété. Pour la plupart des autres, ce que vous appelez F augmente avec N si $ c> 0,5) et diminue sinon. Cela s'applique à la méthode de Stouffer et à la méthode d'Edgington ainsi qu'aux méthodes basées sur des logits et sur la moyenne de p. Les différentes méthodes qui sont des cas particuliers de la méthode de Wilkinson (p minimum, p maximum, etc.) ont à nouveau des propriétés différentes.

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2]} \dots p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

It is easy to see the since the $k$ th root of a number less than unity is closer to unity the last term is greater than $\alpha_*$ and hence the overall result will be non-significant unless $p_{[1]}$ is already less than $\alpha_*$ .

It is possible to work out the critical value and for example if we have ten primary studies each with a $p$ -values of 00.05 so as close to significant as can be then the overall critical value is 0.40. The method can be seen as a special case of Wilkinson's method which uses $p_{[r]}$ for $1\le r\le k$ and in fact for the particular set of primary studies even $r=2$ is not significant ( $p=0.09$ )

L H C Tippett's method is described in a book The methods of statistics. 1931 (1st ed) and Wilkinson's method is here in an article "A statistical consideration in psychological research"

— mdewey
source

Thanks. But note that most meta-analysis methods combine effect sizes (accounting for any difference in sample size), and do not combine P values.

— Harvey Motulsky

@HarveyMotulsky agreed, combining p-values is a last resort but the OP did tag his question with the combining-p-values tag so I responded in that spirit

— mdewey

I think that your answer is correct.

— Subhash C. Davar