Bonferroni ou Tukey? Quand le nombre de comparaisons devient-il important?

Reading Field's Discovering Statistics Using SPSS (3rd Edition) J'ai été un peu frappé par les tests post-hoc en ANOVA. Pour ceux qui souhaitent contrôler le taux d'erreur de type I, il suggère Bonferroni ou Tukey et dit (p. 374):

Bonferroni a plus de puissance lorsque le nombre de comparaisons est petit, tandis que Tukey est plus puissant lorsqu'il teste un grand nombre de moyennes.

Où tracer la ligne entre un petit et un grand nombre de moyens?

— Parbury
source

Au bas de la page Web suivante de NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , il est recommandé que les deux tests soient préformés et que le plus petit des deux intervalles soit pris. J'ai trouvé des commentaires similaires dans Johnson and Wichern sur la fabrication de MANOVA.

— schenectady

@schenectady Bonne réponse! Pourquoi ne le collez-vous pas dans une réponse? BTW, le lien est corrompu dans votre commentaire; le bon est itl.nist.gov/div898/handbook/prc/section4/prc473.htm .

— whuber

Premier petit point: la puissance est directement liée au taux d'erreur de type II, pas au type I. Maintenant, pardonnez-moi, mais je vais vous faire part de certaines opinions. Est-ce que ce que vous faites pourrait être vu comme "jouer avec le système", essayer de le truquer pour que plus de résultats soient classés comme sig. ou non.? Ces jugements binaires sont tellement moins informatifs et potentiellement beaucoup plus trompeurs que les rapports sur la taille réelle des effets - dans votre cas, concernant les différences de groupe dans les moyens. J'aime voir les gens utiliser des valeurs p pour garnir les résultats plutôt que de les structurer. Fin de l'éditorial - argumentez!

— rolando2

"Au bas de la page Web suivante de NIST / Sematech, itl.nist.gov/div898/handbook/prc/section4/prc473.htm , il est recommandé que les deux tests soient préformés et que le plus petit des deux intervalles soit pris . - J'ai trouvé des commentaires similaires dans Johnson and Wichern sur la réalisation de MANOVA. - @schenectady 11 avril 11 à 12:31 "Ceci est considéré comme une exploration de données et ne devrait pas être fait. Le choix de tukey vs Bonferroni doit être fait avant l'analyse.

La documentation en ligne de Minitab semble offrir des conseils similaires support.minitab.com/en-us/minitab/17/topic-library/…

— N Brouwer

En plus du lien utile mentionné dans les commentaires de @schenectady.

J'ajouterais également que la correction de Bonferroni s'applique à une classe plus large de problèmes. Pour autant que je sache, le HSD de Tukey n'est appliqué qu'aux situations où vous souhaitez examiner toutes les comparaisons par paires possibles, tandis que la correction de Bonferroni peut être appliquée à n'importe quel ensemble de tests d'hypothèse.

En particulier, la correction de Bonferroni est utile lorsque vous disposez d'un petit ensemble de comparaisons planifiées et que vous souhaitez contrôler le taux d'erreur de type I de la famille. Cela permet également des comparaisons de composés. Par exemple, vous avez une ANOVA à 6 voies et vous voulez comparer la moyenne des groupes 1, 2 et 3 avec le groupe 4, et vous voulez comparer le groupe 5 avec 6.

Pour illustrer davantage, vous pouvez appliquer la correction de Bonferroni à l'évaluation de la signification des corrélations dans une matrice de corrélation, ou de l'ensemble des effets principaux et d'interaction dans une ANOVA. Cependant, une telle correction n'est généralement pas appliquée, probablement pour la raison que la réduction du taux d'erreur de type I entraîne une réduction inacceptable de la puissance.

— Jeromy Anglim
source

juste curieux si vous avez une citation pour: "Cependant, une telle correction n'est généralement pas appliquée, probablement pour la raison que la réduction du taux d'erreur de type I entraîne une réduction inacceptable de la puissance." Merci beaucoup!

Bienvenue sur le site. Cela devrait être publié sous forme de commentaire et non de réponse.

— Peter Flom - Réintègre Monica

@Jessica. Non, je n'ai pas de citation pour cette affirmation. Mais il est assez facile de montrer à travers la simulation, les formules ou même simplement une connaissance de base des facteurs qui affectent la puissance statistique (c'est-à-dire que ces facteurs incluent l'alpha).

— Jeromy Anglim