Comment détecter laquelle est la meilleure étude quand ils vous donnent des résultats contradictoires?

Vous rencontrez si souvent dans la presse diverses études qui concluent à des résultats opposés. Ceux-ci peuvent être liés au test d'un nouveau médicament sur ordonnance ou au mérite d'un nutriment spécifique ou de toute autre chose d'ailleurs.

Lorsque deux de ces études arrivent à des résultats contradictoires, comment pouvez-vous savoir laquelle des deux est la plus proche de la vérité?

Je pense que la réponse de Jeromy est suffisante si vous examinez deux études expérimentales ou une méta-analyse réelle. Mais souvent, nous sommes confrontés à l'examen de deux études non expérimentales et sommes chargés d'évaluer la validité de ces deux résultats disparates.

Comme le suggère la liste d'épicerie de Cyrus , le sujet lui-même ne se prête pas à une réponse courte, et des livres entiers visent essentiellement à répondre à une telle question. Pour toute personne intéressée à mener des recherches sur des données non expérimentales, je vous suggère fortement de lire

Plans expérimentaux et quasi-expérimentaux pour l'inférence causale généralisée par William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (J'ai également entendu dire que les anciennes versions de ce texte sont tout aussi bonnes).

Jeromy a fait référence à plusieurs éléments (des échantillons plus grands et une plus grande rigueur méthodologique), et tout ce que Cyrus mentionne serait considéré comme ce que Campbell et Cook appellent la «validité interne». Il s'agit notamment d'aspects de la conception de la recherche et des méthodes statistiques utilisées pour évaluer la relation entre X et Y. En particulier, en tant que critiques, nous sommes préoccupés par les aspects de l'un ou de l'autre qui pourraient biaiser les résultats et diminuer la fiabilité des résultats. Comme il s'agit d'un forum consacré à l'analyse statistique, la plupart des réponses sont centrées sur des méthodes statistiques pour garantir des estimations impartiales de la relation que vous évaluez. Mais ce sont d'autres aspects de la conception de la recherche sans rapport avec l'analyse statistique qui diminuent la validité des résultats, quelle que soit la longueur rigoureuse à laquelle on va dans leur analyse statistique (comme la mention par Cyrus de plusieurs aspects de la fidélité à l'expérience peut être abordée mais pas résolue avec méthodes statistiques, et si elles se produisent, cela diminuera toujours la validité des résultats des études). Il existe de nombreux autres aspects de la validité interne qui deviennent cruciaux à évaluer dans la comparaison des résultats d'études non expérimentales qui ne sont pas mentionnés ici, et des aspects des modèles de recherche qui peuvent distinguer la fiabilité des résultats. Je ne pense pas qu'il soit tout à fait approprié d'entrer dans trop de détails ici,

Campbell et Cook font également référence à la «validité externe» des études. Cet aspect de la conception de la recherche a souvent une portée beaucoup plus petite et ne mérite pas autant d'attention que sa validité interne. La validité externe traite essentiellement de la généralisation des résultats, et je dirais que les profanes peuvent souvent évaluer la validité externe raisonnablement bien tant qu'ils connaissent le sujet. Longue histoire, lisez le livre de Shadish, Cook et Campbell.

La littérature de méta-analyse est pertinente pour votre question. En utilisant des techniques méta-analytiques, vous pouvez générer une estimation de l'effet d'intérêt mis en commun dans les études. Ces techniques pondèrent souvent les études en fonction de leur taille d'échantillon.

Dans le contexte de la méta-analyse, les chercheurs parlent de modèles à effets fixes et à effets aléatoires (voir Hunter et Schmidt, 2002 ). Un modèle à effet fixe suppose que toutes les études estiment le même effet sur la population. Un modèle à effets aléatoires suppose que les études diffèrent dans l'effet sur la population estimé. Un modèle à effets aléatoires est généralement plus approprié.

À mesure que davantage d'études s'accumulent sur une relation particulière, des approches plus sophistiquées deviennent possibles. Par exemple, vous pouvez coder les études en fonction de diverses propriétés, telles que la qualité perçue, puis examiner empiriquement si la taille de l'effet varie avec ces caractéristiques d'étude. Au-delà de la qualité, il peut y avoir des différences théoriquement pertinentes entre les études qui modéreraient la relation (par exemple, caractéristique de l'échantillon, niveaux de dosage, etc.).

En général, j'ai tendance à faire confiance aux études avec:

• de plus grands échantillons
• une plus grande rigueur méthodologique
• une orientation confirmatoire (par exemple, pas une étude où ils ont testé des corrélations entre 100 nutriments différents et 50 résultats pour la santé)
• absence de conflit d'intérêts (par exemple, pas par une entreprise ayant un intérêt commercial à montrer une relation; pas par un chercheur qui est incité à trouver un résultat significatif)

Mais cela dit, vous devez conserver un échantillonnage aléatoire et des différences théoriquement significatives entre les études comme explication plausible des résultats d'études contradictoires.

Je m'abstiendrais de considérer la méta-analyse jusqu'à ce que vous ayez examiné les sources en cas de biais ou de variation potentiels dans les populations cibles. S'il s'agit d'études sur les effets du traitement, le traitement a-t-il été attribué au hasard? Y a-t-il eu des écarts par rapport au protocole? Y a-t-il eu non-conformité? Y a-t-il des données de résultats manquantes? Les échantillons ont-ils été tirés du même cadre? Y a-t-il eu refus de participer? Erreurs d'implémentation? Les erreurs standard ont-elles été calculées correctement, tenant compte du regroupement et robustes à diverses hypothèses paramétriques? Ce n'est qu'après avoir répondu à ces questions que les problèmes de méta-analyse commencent à apparaître. Il doit être rare que pour deux études, une méta-analyse soit appropriée, sauf si vous êtes prêt à faire des hypothèses héroïques.