Morey et al (2015) soutiennent que les intervalles de confiance sont trompeurs et qu'il existe de multiples biais liés à leur compréhension. Entre autres, ils décrivent l'erreur de précision comme suit:
L'erreur de précision
La largeur d'un intervalle de confiance indique la précision de nos connaissances sur le paramètre. Des intervalles de confiance étroits montrent des connaissances précises, tandis que des erreurs de confiance larges montrent des connaissances imprécises.Il n'y a pas de lien nécessaire entre la précision d'une estimation et la taille d'un intervalle de confiance. Une façon de voir cela est d'imaginer que deux chercheurs - un chercheur principal et un doctorant - analysent les données de participants d'une expérience. En tant qu'exercice au profit du doctorant, le chercheur principal décide de diviser au hasard les participants en deux ensembles de afin qu'ils puissent chacun analyser séparément la moitié de l'ensemble de données. Lors d'une réunion ultérieure, les deux partagent entre eux les intervalles de confiance de Student pour la moyenne. L' IC à doctorant est de et l' IC à du chercheur principal est de .25 t 95 % 52 ± 2 95 % 53 ± 4
Le chercheur principal note que leurs résultats sont globalement cohérents et qu'ils pourraient utiliser la moyenne également pondérée de leurs deux estimations ponctuelles respectives, , comme estimation globale de la vraie moyenne.
La doctorante soutient cependant que leurs deux moyennes ne devraient pas être pondérées de manière égale: elle note que son IC est deux fois moins large et soutient que son estimation est plus précise et devrait donc être pondérée plus fortement. Son conseiller note que cela ne peut pas être correct, car l'estimation d'une pondération inégale des deux moyennes serait différente de l'estimation de l'analyse de l'ensemble de données complet, qui doit être . L'erreur du doctorant est de supposer que les IC indiquent directement la précision post-données.
L'exemple ci-dessus semble trompeur. Si nous divisons au hasard un échantillon en deux, en deux échantillons, nous nous attendrions à ce que les moyennes des échantillons et les erreurs standard soient proches. Dans ce cas, il ne devrait pas y avoir de différence entre l'utilisation de la moyenne pondérée (par exemple pondérée par des erreurs inverses) et l'utilisation de la moyenne arithmétique simple. Cependant, si les estimations diffèrent et que les erreurs dans l'un des échantillons sont sensiblement plus importantes, cela pourrait suggérer des "problèmes" avec cet échantillon.
Évidemment, dans l'exemple ci-dessus, les tailles d'échantillon sont les mêmes, donc "relier" les données en prenant la moyenne des moyennes équivaut à prendre la moyenne de l'échantillon entier. Le problème est que l'exemple entier suit la logique mal définie selon laquelle l'échantillon est d'abord divisé en parties, puis à nouveau joint pour l'estimation finale.
L'exemple peut être reformulé pour conduire exactement à la conclusion opposée:
Le chercheur et l'étudiant ont décidé de diviser leur ensemble de données en deux moitiés et de les analyser de manière indépendante. Par la suite, ils ont comparé leurs estimations et il est apparu que l'échantillon signifie qu'ils ont calculé qu'ils étaient très différents, de plus l'erreur-type de l'estimation de l'élève était beaucoup plus grande. L'élève avait peur que cela puisse suggérer des problèmes avec la précision de son estimation, mais le chercheur a laissé entendre qu'il n'y a aucun lien entre les intervalles de confiance et la précision, de sorte que les deux estimations sont également dignes de confiance et peuvent publier n'importe laquelle d'entre elles, choisies au hasard, comme estimation finale.
En termes plus formels, les intervalles de confiance «standard», comme le de Student , sont basés sur des erreurs
où est une constante. Dans ce cas, ils sont directement liés à la précision, n'est-ce pas ...?
Ma question est donc la suivante:
l'erreur de précision est-elle vraiment une erreur? Que disent les intervalles de confiance de la précision?
Morey, R., Hoekstra, R., Rouder, J., Lee, M. et Wagenmakers, E.-J. (2015). L'illusion de placer la confiance dans les intervalles de confiance. Bulletin et revue psychonomiques, 1–21. https://learnbayes.org/papers/confidenceIntervalsFallacy/