Avantages et inconvénients des méta-analyses

J'ai envisagé de faire une méta-analyse pour un domaine d'étude particulier en évolution, mais avant d'aller plus loin, j'aimerais savoir; quels sont les points positifs et négatifs du processus? Par exemple, pas besoin d'une expérience pratique n'est un avantage (temps et argent) mais il y aura un biais de publication (des résultats plus excitants seront publiés) qui serait un inconvénient.

Quels articles dans des revues statistiques discutent des avantages et des inconvénients de la méta-analyse?

Introduction à la méta-analyse par Borenstein, Hedges, Higgins et Rothstein fournit une discussion détaillée des avantages et des inconvénients de la méta-analyse. Voir par exemple le chapitre " Critique de la méta-analyse " où les auteurs répondent à diverses critiques de la méta-analyse. Je note les en-têtes de section de ce chapitre, puis je fais quelques observations de mémoire qui se rapportent à ce point:

• "un nombre ne peut pas résumer un domaine de recherche": une bonne méta-analyse modélisera la variabilité de la taille réelle des effets et modélisera l'incertitude des estimations.
• "le problème du tiroir de fichiers invalide la méta-analyse": les graphiques en entonnoir et les outils associés vous permettent de voir si la taille de l'échantillon est liée à la taille de l'effet afin de vérifier le biais de publication. De bonnes méta-analyses s'efforcent d'obtenir des études non publiées. Cette question est partagée avec des études narratives.
• "Mélange de pommes et d'oranges": de bonnes méta-analyses fournissent un système de codage rigoureux pour classer les études incluses et justifier l'inclusion et l'exclusion des études dans la méta-analyse. Une fois les études classées, une analyse du modérateur peut être effectuée pour voir si la taille des effets varie selon le type d'étude.
• "Les études importantes sont ignorées": vous pouvez coder pour la qualité évaluée des études. Les grands échantillons peuvent recevoir une plus grande pondération.
• "la méta-analyse peut être en désaccord avec les essais randomisés":
• "les méta-analyses sont mal réalisées": ce n'est qu'un argument pour améliorer les standards des méthodes méta-analytiques.
• "Une revue narrative est-elle meilleure?": De nombreuses critiques de la méta-analyse (par exemple, le biais de publication) sont partagées par les critiques narratives. C'est juste que les méthodes d'inférence sont moins explicites et moins rigoureuses dans les revues narratives.

D'après mon expérience, si elles ne l'ont pas été auparavant, comme si vous ne fournissez pas votre propre touche sur un domaine, les bonnes revues n'ont pas de parti pris contre elles. Une méta-analyse n'entrera pas dans la science, mais dans votre domaine, les bonnes revues sont généralement bien avec de nouvelles méta-analyses.

Le temps et l'argent économisés en ne faisant pas d'expérimentation sont souvent consommés en faisant autre chose. L'un des gros problèmes est que de nombreux articles ne rapportent pas suffisamment d'informations à analyser. Vous devez souvent contacter les auteurs pour récupérer cela et malheureusement, tous trop souvent ne peuvent ou ne veulent pas se conformer aux demandes. C'est le plus grand puits de temps du processus.

Vous avez également raté certains avantages comme les taux de citation élevés. Si vous êtes le premier et le seul méta-analyse, les nouveaux chercheurs citeront très souvent votre article. Un autre pro est des études de suivi relativement faciles. Dans un an ou deux, dans un domaine d'études dynamique, il suffit d'ajouter les deux prochaines années de recherche aux méta-analyses de suivi. Il est relativement facile de coopter des méta-analyses dans un domaine d'étude si vous êtes le premier à bouger. Elle conduit alors à des taux de citation relativement élevés.

Si vous craignez que les résultats que vous récupérez dans la littérature présentent un biais de publication, il existe des techniques statistiques telles que les graphiques en entonnoir (taille de l'étude (souvent -se) sur l'axe des y et effet sur le x) qui peuvent être utilisés pour détecter de tels. Une littérature impartiale sur un sujet aura tendance à avoir des résultats symétriques dans un graphique en entonnoir, mais un effet dû au biais de publication ressemblera beaucoup plus à la moitié d'une distribution. Et contrairement à la réalisation d'expériences, la constatation que les données entrant dans une méta-analyse sont biaisées est publiable.

J'ai pensé que je ferais une critique de la "Critique de la méta-analyse" avec des excuses à Michael Borenstein et ses collègues.

• "un nombre ne peut pas résumer un domaine de recherche": une bonne méta-analyse modélisera la variabilité de la taille réelle des effets et modélisera l'incertitude des estimations.

! La variance n'est qu'un autre résumé potentiellement trompeur, tout comme l'incertitude, et les deux seront très trompeurs si les biais qui y sont presque sûrement ne sont pas explicitement traités.

• "le problème du tiroir de fichiers invalide la méta-analyse": les graphiques en entonnoir et les outils associés vous permettent de voir si la taille de l'échantillon est liée à la taille de l'effet afin de vérifier le biais de publication. De bonnes méta-analyses s'efforcent d'obtenir des études non publiées. Cette question est partagée avec des études narratives.

! Comme Box l'a dit un jour - comme envoyer un bateau à rames pour voir si les mers sont assez calmes pour que le Queen Mary puisse s'y rendre. Processus de censure de très faible puissance et presque sûrement mal spécifié .

• "Mélange de pommes et d'oranges": de bonnes méta-analyses fournissent un système de codage rigoureux pour classer les études incluses et justifier l'inclusion et l'exclusion des études dans la méta-analyse. Une fois les études classées, une analyse du modérateur peut être effectuée pour voir si la taille des effets varie selon le type d'étude.

! Encore une fois, un pouvoir désespéré et généralement un biais d'agrégation.

• "Les études importantes sont ignorées": vous pouvez coder pour la qualité évaluée des études. Les grands échantillons peuvent recevoir une plus grande pondération.

! Désormais, la puissance désespérée, la spécification erronée du modèle et le biais ne sont pas toujours correctement pris en compte.Voir Sur le biais produit par les scores de qualité dans la méta-analyse

• "la méta-analyse peut être en désaccord avec les essais randomisés":

! Entièrement d'accord et aussi la seule source sur leur réelle incertitude.

• "les méta-analyses sont mal réalisées": ce n'est qu'un argument pour améliorer les standards des méthodes méta-analytiques.

! Entièrement d'accord.

• "Une revue narrative est-elle meilleure?": De nombreuses critiques de la méta-analyse (par exemple, le biais de publication) sont partagées par les critiques narratives. C'est juste que les méthodes d'inférence sont moins explicites et moins rigoureuses dans les revues narratives.

! Entièrement d'accord.

Je ne sais pas pourquoi une grande partie de la littérature de méta-analyse maintient de tels verres de couleur rose - des méta-analyses doivent être effectuées Méta-analyse dans la recherche médicale: un fort encouragement pour une meilleure qualité dans les efforts de recherche individuels , mais doit être fait de manière critique en toute les moûts.

Et, comme j'oublie presque toujours, je dois clarifier ce que je veux dire exactement par méta-analyse car ce que les autres considèrent comme varié au fil du temps et du lieu et peut-être la signification la plus courante aujourd'hui - juste les méthodes quantitatives utilisées sur les nombres extraits obtenus dans une revue systématique - n'est pas ce que je veux dire. Je veux parler de l'ensemble du processus d'examen systématique, même s'il est décidé de ne pas réellement utiliser de méthodes quantitatives. Ou en une seule phrase comme cité dans le wiki

En statistique, une méta-analyse fait référence à des méthodes axées sur le contraste et la combinaison des résultats de différentes études, dans l'espoir d'identifier des modèles parmi les résultats de l'étude, des sources de désaccord entre ces résultats ou d'autres relations intéressantes qui peuvent apparaître dans le contexte de plusieurs études.