Le LSD de Fisher est-il aussi mauvais qu'on le dit?

Lorsque nous effectuons des expériences (sur de petits échantillons (généralement la taille de l'échantillon par groupe de traitement est d'environ 7 à 8)) sur deux groupes, nous utilisons un test t pour tester la différence. Cependant, lorsque nous effectuons une ANOVA (évidemment pour plus de deux groupes), nous utilisons quelque chose comme Bonferroni (LSD / # de comparaisons par paires) ou Tukey's en tant que post-hoc, et en tant qu'étudiant, j'ai été averti de en utilisant la différence la moins significative de Fisher (LSD).

Maintenant, le fait est que le LSD est similaire au test t par paire (ai-je raison?), Et donc la seule chose qu'il ne tient pas compte est que nous faisons des comparaisons multiples. Dans quelle mesure est-ce important lorsque l'on traite de 6 groupes, si l'ANOVA est elle-même significative?

Ou en d'autres termes, existe-t-il une raison scientifique / statistique d'utiliser le LSD de Fisher?

Le LSD de Fisher est en effet une série de tests t par paire, chaque test utilisant l'erreur quadratique moyenne de l'ANOVA significative comme estimation de sa variance groupée (et prenant naturellement les degrés de liberté associés). Que l'ANOVA soit significative est une contrainte supplémentaire de ce test.

Il limite le taux d'erreur familial à alpha dans le cas spécial de 3 groupes seulement. Howell a une très bonne et relativement simple explication de la façon dont il le fait dans le chapitre 16 de son livre Fundamental Statistics for the Behavioral Sciences, 8ème édition, David C. Howell .

Au-dessus de 3 groupes alpha se gonfle rapidement (comme @Alexis l'a noté ci-dessus). Il n'est certainement pas approprié pour 6 groupes. Je crois que c'est cette applicabilité limitée qui amène la plupart des gens à suggérer de l'ignorer en option.

Quelle est l'importance des comparaisons multiples lorsqu'il s'agit de 6 groupes? Eh bien ... avec six groupes, vous traitez avec un maximum de comparaisons par pairespost hocpossibles. Je vais laisser l'inestimable Randall Munroe aborder l'importance des comparaisons multiples:$\frac{6(6-1)}{2} = 15$

Et je vais ajouter que si, dans votre première phrase, vous suggérez que , parfois , vous avez sept groupes, le nombre maximum de post hoc des tests est par paires $\frac{7(7-1)}{2} = 21$

Le test de Fisher est aussi mauvais que tout le monde le dit du point de vue de Neyman-Pearson et si vous faites ce que votre question implique --- après un test ANOVA significatif, chaque différence individuelle. Vous pouvez le voir dans de nombreux articles publiés . Mais, tester toutes les différences après une ANOVA, ou l'une d'entre elles, n'est ni nécessaire ni recommandé. Et, le test de Fisher n'a pas été conçu selon une théorie de Neyman-Pearson de l'inférence statistique.

Il est important de garder à l'esprit que, lorsque Fisher a proposé le LSD, il n'a pas vraiment considéré les tests multiples comme un problème important, car il ne considérait pas la valeur seuil comme une règle stricte pour décider si les résultats étaient importants ou non. On pourrait construire un LSD comme un moyen facile de parcourir les données pour savoir où il pourrait y avoir des résultats significatifs mais pas l'arbitre de ce qui était significatif. Rappelez-vous, c'est Fisher qui a dit que vous devriez simplement exécuter plus de sujets si p > 0,05.

Et pourquoi pensez-vous que tout tester est une bonne idée? Considérez pourquoi vous exécutez une ANOVA en premier lieu. On vous a probablement appris que c'est parce que l'exécution de plusieurs tests t est problématique, comme vous l'intimez dans votre question. Alors pourquoi les lancez-vous, ou leur équivalent par la suite? Je sais que cela arrive, mais je n'ai pas encore eu besoin de faire un test après une ANOVA. Une ANOVA vous indique que votre modèle de données n'est pas un ensemble de valeurs égales, qu'il peut y avoir un sens à cela. Beaucoup de gens sont suspendus à la prudence selon laquelle le test ne vous dit pas où sont les bits significatifs, mais ils oublient que les données et les théories vous le disent.

Le raisonnement derrière le LSD de Fisher peut être étendu aux cas au-delà de N = 3.

Je vais discuter en détail du cas de quatre groupes. Pour maintenir le taux d'erreur de type I au niveau familial à 0,05 ou moins, un facteur de correction à comparaisons multiples de 3 (c'est-à-dire un alpha par comparaison de 0,05 / 3) suffit, bien qu'il y ait six comparaisons post-hoc entre les quatre groupes. Ceci est dû au fait:

• dans le cas où les quatre vraies moyennes sont égales, l'omnibus Anova sur les quatre groupes limite le taux d'erreur par famille à 0,05;
• dans le cas où trois des vraies moyennes sont égales et que la quatrième en diffère, il n'y a que trois comparaisons qui pourraient potentiellement produire une erreur de type I;
• dans le cas où deux des vraies moyennes sont égales et diffèrent des deux autres, qui sont égales l'une à l'autre, il n'y a que deux comparaisons qui pourraient potentiellement produire une erreur de type I.

Cela épuise les possibilités. Dans tous les cas, la probabilité de trouver une ou plusieurs valeurs p inférieures à 0,05 pour les groupes dont les moyennes moyennes sont égales, reste égale ou inférieure à 0,05 si le facteur de correction pour les comparaisons multiples est de 3, et c'est la définition du taux d'erreur familial.

Ce raisonnement pour quatre groupes est une généralisation de l'explication de Fisher pour sa méthode des différences les moins significatives en trois groupes. Pour N groupes, le facteur de correction, si le test Anova omnibus est significatif, est ( N -1) ( N -2) / 2. La correction de Bonferroni, d'un facteur N ( N -1) / 2, est donc trop forte. Il suffit d'utiliser un facteur de correction alpha de 1 pour N = 3 (c'est pourquoi le LSD de Fisher fonctionne pour N = 3), un facteur de 3 pour N = 4, un facteur de 6 pour N = 5, un facteur de 10 pour N = 6, etc.