Avons-nous besoin d'un test global avant les tests post hoc?

J'entends souvent dire que les tests post-hoc après une ANOVA ne peuvent être utilisés que si celle-ci était significative.

• Cependant, les tests post-hoc ajustent les valeurs pour maintenir le taux d'erreur global de type I à 5%, n'est-ce pas?$p$
• Alors pourquoi avons-nous besoin du test global en premier?

• Si nous n'avons pas besoin d'un test global, la terminologie "post hoc" est-elle correcte?

• Ou existe-t-il plusieurs types de tests post-hoc, certains supposant un résultat de test global significatif et d'autres sans cette hypothèse?

Étant donné que les tests de comparaison multiples sont souvent appelés "post-tests", on pourrait penser qu'ils suivent logiquement l'ANOVA à sens unique. En fait, ce n'est pas le cas.

" Une pratique courante malheureuse consiste à rechercher plusieurs comparaisons lorsque l'hypothèse d'homogénéité de la coque est rejetée " ( Hsu, page 177 ).

Les résultats des tests ultérieurs seront-ils valides si la valeur P globale de l'ANOVA est supérieure à 0,05?

Par surprise, la réponse est oui. À une exception près, les tests ultérieurs sont valides même si l’analyse globale de variance n’a révélé aucune différence significative entre les moyennes.

L'exception est le premier test de comparaison multiple inventé, le test protégé de différence la moins significative (LSD) de Fisher. La première étape du test LSD protégé consiste à vérifier si l’Anova globale n’a pas rejeté l’hypothèse nulle de moyens identiques. Si ce n'est pas le cas, les comparaisons individuelles ne doivent pas être faites. Mais ce test LSD protégé est obsolète et n'est plus recommandé.

Est-il possible d'obtenir un résultat «significatif» à partir d'un test de comparaisons multiples même lorsque l'ANOVA globale n'était pas significative?

Oui c'est possible. L'exception est le test de Scheffe. Il est étroitement lié au test F global. Si l'ANOVA globale a une valeur P supérieure à 0,05, le test de Scheffe ne détectera aucun post-test significatif. Dans ce cas, effectuer des tests ultérieurs à la suite d’une analyse de variance globale non significative est une perte de temps, mais ne permet pas de tirer des conclusions erronées. Mais d'autres tests de comparaisons multiples peuvent trouver des différences significatives (parfois) même lorsque l'analyse de la variance globale ne montre aucune différence significative entre les groupes.

Comment puis-je comprendre la contradiction apparente entre un ANOVA disant, en fait, que toutes les moyennes de groupe sont identiques et un post-test constatant des différences?

L'ANOVA globale à une voie teste l'hypothèse nulle que tous les groupes de traitement ont des valeurs moyennes identiques. Toute différence constatée est due à un échantillonnage aléatoire. Chaque post-test teste l'hypothèse nulle selon laquelle deux groupes particuliers ont des moyennes identiques.

Les post-tests sont plus ciblés et ont donc le pouvoir de trouver des différences entre les groupes même lorsque l’ANOVA globale indique que les différences entre les moyennes ne sont pas statistiquement significatives.

Les résultats de l'ANOVA globale sont-ils utiles?

ANOVA teste l'hypothèse nulle globale selon laquelle toutes les données proviennent de groupes dont les moyennes sont identiques. Si telle est votre question expérimentale - les données fournissent-elles une preuve convaincante du fait que les moyens ne sont pas tous identiques - alors l'ANOVA est exactement ce que vous voulez. Le plus souvent, vos questions expérimentales sont plus ciblées et répondent à de multiples tests de comparaison (post-tests). Dans ces cas, vous pouvez en toute sécurité ignorer les résultats généraux de l'ANOVA et passer directement aux résultats du post-test.

Notez que tous les calculs de comparaison utilisent tous le résultat carré moyen de la table ANOVA. Ainsi, même si vous ne vous souciez pas de la valeur de F ou de la valeur de P, les post-tests exigent toujours que la table ANOVA soit calculée.

(1) Les tests post-hoc peuvent ou non permettre d’atteindre le taux nominal global d’erreurs de type I, selon (a) si l’analyste ajuste le nombre de tests et (b) dans quelle mesure les tests post-hoc sont indépendants d’un un autre. Appliquer d'abord un test global constitue une protection assez solide contre le risque de découverte (même par inadvertance) de résultats faux "significatifs" issus d' une surveillance de données post-hoc .

(2) Il y a un problème de pouvoir. Il est bien connu qu'un test global ANOVA F peut détecter une différence de moyen même dans les cas où aucun test t individuel de l'une des paires de moyennes ne donnera un résultat significatif. En d' autres termes, dans certains cas , les données peuvent révéler que le vrai moyen diffèrent probable , mais il ne peut pas identifier avec suffisamment de confiance qui paires de moyens diffèrent.