La pondération basée sur la précision (c.-à-d. La variance inverse) fait-elle partie intégrante de la méta-analyse?

La pondération basée sur la précision est-elle au cœur de la méta-analyse? Borenstein et al. (2009) écrivent que pour qu'une méta-analyse soit possible, il suffit que:

1. Les études rapportent une estimation ponctuelle qui peut être exprimée sous la forme d'un nombre unique.
2. La variance peut être calculée pour cette estimation ponctuelle.

Je ne comprends pas immédiatement pourquoi (2) est strictement nécessaire. Mais, en effet, toutes les méthodes de méta-analyse largement acceptées reposent sur des schémas de pondération basés sur la précision (c'est-à-dire la variance inverse), qui nécessitent une estimation de la variance pour la taille de l'effet de chaque étude. Il convient de noter que, bien que la méthode de Hedges (Hedges et Olkin, 1985; Hedges et Vevea, 1998) et la méthode de Hunter et Schmidt (Hunter et Schmidt, 2004) utilisent toutes deux essentiellement une pondération de la taille de l'échantillon, ces méthodes s'appliquent uniquement aux différences moyennes normalisées, et nécessitent donc un écart type ailleurs. Il est logique que les pondérations inversement proportionnelles à la variance dans chaque étude minimisent la variance dans l'estimateur de la taille de l'effet global, donc ce schéma de pondération est-il une caractéristique requise de toutes les méthodes?

Est-il possible de mener une revue systématique sans avoir accès à la variance pour chaque ampleur d'effet tout en appelant le résultat une méta-analyse? La taille de l'échantillon semble avoir un potentiel comme indicateur de précision lorsque la variance n'est pas disponible. Peut-on, par exemple, utiliser la pondération de la taille de l'échantillon dans une étude où la taille de l'effet était définie comme la différence moyenne brute? Comment cela affecterait-il la cohérence et l'efficacité de la taille d'effet moyenne résultante?

La question est difficile à répondre, car elle est tellement révélatrice d'une confusion générale et d'un état de choses confus dans une grande partie de la littérature méta-analytique (le PO n'est pas à blâmer ici - c'est la littérature et la description des méthodes , modèles et hypothèses qui est souvent un gâchis).

Mais pour faire court: non, si vous voulez combiner un ensemble d'estimations (qui quantifient une sorte d'effet, un degré d'association ou un autre résultat jugé pertinent) et qu'il est judicieux de combiner ces chiffres, alors vous pourriez simplement prendre leur moyenne (non pondérée) et ce serait parfaitement bien. Rien de mal à cela et selon les modèles que nous supposons généralement lorsque nous effectuons une méta-analyse, cela vous donne même une estimation non biaisée (en supposant que les estimations elles-mêmes sont non biaisées). Donc, non, vous n'avez pas besoin des variances d'échantillonnage pour combiner les estimations.

Alors, pourquoi la pondération par variance inverse est-elle presque synonyme de faire une méta-analyse? Cela a à voir avec l'idée générale que nous accordons plus de crédibilité aux grandes études (avec des variances d'échantillonnage plus petites) qu'aux études plus petites (avec des variances d'échantillonnage plus importantes). En fait, selon les hypothèses des modèles habituels, l'utilisation de la pondération de variance inverse conduit à l' estimateur sans biais de variance minimale uniforme(UMVUE) - enfin, en quelque sorte, en supposant à nouveau des estimations non biaisées et en ignorant le fait que les variances d'échantillonnage ne sont en fait souvent pas exactement connues, mais sont estimées elles-mêmes et dans les modèles à effets aléatoires, nous devons également estimer la composante de variance pour l'hétérogénéité, mais ensuite nous l'avons traité comme une constante connue, ce qui n'est pas tout à fait correct non plus ... mais oui, nous obtenons en quelque sorte l'UMVUE si nous utilisons la pondération à variance inverse si nous plissons les yeux très fort et ignorons certains d'entre eux problèmes.

C'est donc l'efficacité de l'estimateur qui est en jeu ici, et non l'impartialité elle-même. Mais même une moyenne non pondérée ne sera souvent pas beaucoup moins efficace que l'utilisation d'une moyenne pondérée à variance inverse, en particulier dans les modèles à effets aléatoires et lorsque le degré d'hétérogénéité est important (auquel cas le schéma de pondération habituel conduit à des poids presque uniformes en tous cas!). Mais même dans les modèles à effets fixes ou avec peu d'hétérogénéité, la différence n'est souvent pas écrasante.

Et comme vous le mentionnez, on peut également facilement envisager d'autres schémas de pondération, tels que la pondération par taille d'échantillon ou une fonction de celui-ci, mais encore une fois, ce n'est qu'une tentative pour obtenir quelque chose de proche des poids de variance inverse (puisque les variances d'échantillonnage sont, pour dans une large mesure, déterminée par la taille de l'échantillon d'une étude).

Mais en réalité, on peut et doit «découpler» complètement la question des poids et des écarts. Ce sont vraiment deux pièces distinctes auxquelles il faut penser. Mais ce n'est tout simplement pas ainsi que les choses sont généralement présentées dans la littérature.

Cependant, le point ici est que vous devez vraiment penser aux deux. Oui, vous pouvez prendre une moyenne non pondérée comme estimation combinée et ce serait, en substance, une méta-analyse, mais une fois que vous voulez commencer à faire des inférences basées sur cette estimation combinée (par exemple, effectuer un test d'hypothèse, construire un intervalle de confiance ), vous devez connaître les variances d'échantillonnage (et le degré d'hétérogénéité). Pensez-y de cette façon: si vous combinez un tas d'études de petite taille (et / ou très hétérogènes), votre estimation ponctuelle sera beaucoup moins précise que si vous combinez le même nombre de très grandes (et / ou homogènes) études - quelle que soit la façon dont vous avez pondéré vos estimations lors du calcul de la valeur combinée.

En fait, il existe même des moyens de ne pas connaître les variances d'échantillonnage (et la quantité d'hétérogénéité) lorsque nous commençons à faire des statistiques inférentielles. On peut envisager des méthodes basées sur le rééchantillonnage (par exemple, bootstrap, tests de permutation) ou des méthodes qui produisent des erreurs standard cohérentes pour l'estimation combinée même lorsque nous spécifions mal des parties du modèle - mais la façon dont ces approches peuvent fonctionner doit être soigneusement évaluée sur un au cas par cas.

Si vous connaissez certaines des erreurs standard mais pas toutes, voici une solution:

(1) supposer que le SE inconnu est tiré au hasard de la même distribution que les SE connus ou laisser la distribution du SE des estimations des articles avec SE inconnue être une variable libre. Si vous voulez être fantaisiste, vous pouvez utiliser la moyenne du modèle sur ces options.

(2) estimation via le maximum de vraisemblance

Si votre étude avec une SE inconnue est une «valeur aberrante», le modèle expliquera l'anomalie de plusieurs façons:

(a) l'étude avait probablement une SE élevée pour son estimation (l'étude a probablement une faible puissance)

(b) l'étude a probablement une grande composante d'effet aléatoire (le chercheur a choisi un ensemble de données ou une méthode, etc. qui donne un résultat atypique)

En effet, ce modèle réduira la précision effective de l'estimation avec une SE inconnue à mesure qu'elle devient plus anormale. À cet égard, il résiste fortement à l'inclusion de «valeurs aberrantes». Dans le même temps, si vous ajoutez beaucoup d'études avec une variance inconnue mais avec des résultats typiques, l'ES ou votre estimation finale chutera.