Pourquoi la recherche de petits effets dans les grandes études indique-t-elle un biais de publication?

Plusieurs documents méthodologiques (par exemple Egger et al 1997a, 1997b) traitent du biais de publication révélé par les méta-analyses, en utilisant des graphiques en entonnoir tels que celui ci-dessous.

Le document de 1997b poursuit en indiquant que "si un biais de publication est présent, il est prévu que, parmi les études publiées, les plus grandes rapporteront les effets les plus minimes". Mais pourquoi ça? Il me semble que tout ce que cela prouverait est ce que nous savons déjà: les petits effets ne sont détectables que sur des échantillons de grande taille ; en ne disant rien sur les études qui sont restées inédites.

En outre, les travaux cités affirment qu'une asymétrie évaluée visuellement dans un graphique en entonnoir "indique qu'il y a eu non-publication sélective d'essais de moindre envergure offrant un bénéfice moins important". Mais, encore une fois, je ne comprends pas comment les caractéristiques des études qui ont été publiées peuvent éventuellement nous dire quoi que ce soit (nous permettre de tirer des conclusions) sur les travaux qui ont été pas publiés!

Références
Egger, M., Smith, GD et Phillips, AN (1997). Méta-analyse: principes et procédures . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, M. Schneider, et Minder, C. (1997). Biais dans la méta-analyse détecté par un simple test graphique . BMJ , 315 (7109), 629-634.

Les réponses ici sont bonnes, +1 à tous. Je voulais juste montrer à quoi cet effet pourrait ressembler en termes d'entonnoir dans un cas extrême. Ci-dessous, je simule un petit effet sous la forme $N(.01, .1)$ et prélève des échantillons entre 2 et 2 000 observations de taille.

Les points gris de l’intrigue ne seraient pas publiés sous un strict $p < .05$ . La ligne grise est une régression de la taille de l'effet sur la taille de l'échantillon, y compris les études sur la "valeur p incorrecte", tandis que la ligne rouge les exclut. La ligne noire montre le véritable effet.

Comme vous pouvez le constater, sous l’effet de biais lié à la publication, les petites études ont tendance à surestimer la taille des effets et les plus grandes à rendre les tailles d’effets plus proches de la réalité.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Créé le 2019-02-20 par le package reprex (v0.2.1)}

Premièrement, nous devons réfléchir à ce qu'est le "biais de publication" et à la manière dont il affectera ce qui en fait réellement partie.

$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ est en fait considérablement plus petit que ce que nous voyons généralement dans les expériences plus petites qui en font réellement une publication.

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Lisez cette déclaration d'une manière différente:

En l'absence de biais de publication, la taille de l'effet doit être indépendante de la taille de l'étude.

En d’autres termes, si vous étudiez un phénomène, la taille de l’effet est une propriété du phénomène et non l’échantillon / l’étude.

Les estimations de la taille de l'effet peuvent (et vont) varier selon les études, mais si la taille de l'effet diminue systématiquement avec l'augmentation de la taille de l'étude , cela suggère qu'il existe un biais. En réalité, cette relation suggère que de petites études supplémentaires montrant une taille d'effet faible n'ont pas été publiées et que si elles étaient publiées et pouvaient donc être incluses dans une méta-analyse, l'impression globale serait que la taille de l'effet est plus petite. que ce qui est estimé à partir du sous-ensemble publié d’études.

La variance des estimations de la taille d'effet d'une étude à l'autre dépendra de la taille de l'échantillon, mais vous devriez observer un nombre égal d'estimations sous-estimées et excessives pour des échantillons de taille réduite en l'absence de biais.