Post-hocs pour les tests intra-sujets?

20

Quelle est la méthode préférée pour effectuer des post-hocs pour les tests intra-sujets? J'ai vu des travaux publiés où le HSD de Tukey est utilisé, mais un examen de Keppel et Maxwell & Delaney suggère que la violation probable de la sphéricité dans ces conceptions rend le terme d'erreur incorrect et cette approche problématique. Maxwell & Delaney fournissent une approche du problème dans leur livre, mais je ne l'ai jamais vu de cette façon dans aucun package de statistiques. L'approche qu'ils proposent est-elle appropriée? Une correction de Bonferroni ou Sidak sur plusieurs tests t d'échantillons appariés serait-elle raisonnable? Une réponse acceptable fournira un code R général qui peut effectuer des post-hocs sur des conceptions simples, à plusieurs voies et mixtes telles que produites par la ezANOVAfonction dans le ezpackage, et des citations appropriées qui sont susceptibles de passer par les examinateurs.

— russellpierce
source

1

Cet article de David Howell explique les problèmes et plusieurs solutions.

— Harvey Motulsky

comme vous avez accepté la réponse en utilisant le package multcomp, pourriez-vous nous expliquer un peu comment vous avez finalement utilisé multcomp. Utilisez - vous avec la lmeou lmerfonction ou avec des méthodes plus traditionnelles comme test t ou ANOVA (comme je suis en train d' essayer de l' utiliser avec ANOVA).

— Henrik

J'ai accepté la réponse multcomp principalement parce que je ne suis pas du tout satisfait des techniques d'ajustement de la valeur de p que la communauté a choisies comme «bonne» réponse. Je l'ai regardé et cela semblait prometteur, mais je n'ai pas enquêté davantage. Je serais intéressé à en savoir plus sur ce que vous essayez et ce que vous découvrez.

— russellpierce

J'ai trouvé un moyen de spécifier une ANOVA à mesures répétées en utilisant lme, voir les commentaires de la réponse acceptée: stats.stackexchange.com/q/14088/442 Avec un objet de classe que lmevous pouvez utiliser multcomppour des effets intra-sujet. Il propose différents types d'ajustement des erreurs alpha, mais surtout ceux que vous n'aimez pas particulièrement (comme celui que j'ai proposé qui a été voté le "bon" par la communauté). Outre la vignette, il y a aussi un livre sur multcompqui explique toutes les méthodes. Si vous voulez des post-hocs sans ajustement, utilisez à fit.contrastpartir de gmodelou le nouveau contrastpackage.

— Henrik

Êtes-vous toujours intéressé par une solution pour la ezANOVAfonction? Si c'est le cas, je pense que je peux répondre à cette Q mais le A s'appuierait sur des tests pour des modèles univariés pour lesquels la sphéricité est une hypothèse critique. Si vous n'avez pas besoin que le A soit contraint aux calculs ANOVA du ezpackage, je pourrais donner un A qui utilise des modèles multivariés pour les tests post-hoc.

— statmerkur

7

Jetez un œil au paquetage multi - comp et à sa vignette Inférence simultanée dans les modèles paramétriques généraux . Je pense qu'il devrait faire ce qui ne veut pas et la vignette contient de très bons exemples et de nombreuses références.

— Matti Pastell
source

21

J'écris actuellement un article dans lequel j'ai le plaisir de mener des comparaisons entre et au sein des sujets. Après discussion avec mon superviseur, nous avons décidé d'exécuter des tests t et d'utiliser le très simple Holm-Bonferroni method( wikipedia ) pour corriger le cumul des erreurs alpha. Il contrôle le taux d'erreur familier mais a une puissance supérieure à la procédure Bonferroni ordinaire. Procédure:

Vous exécutez les t- tests pour toutes les comparaisons que vous souhaitez faire.
Vous commandez les valeurs p en fonction de leur valeur.
Vous testez la plus petite valeur p contre alpha / k , la deuxième plus petite contre alpha / ( k - 1), et ainsi de suite jusqu'à ce que le premier test se révèle non significatif dans cette séquence de tests.

Cite Holm (1979) qui peut être téléchargé via le lien sur wikipedia .

— Henrik
source

1

peut-être une ANOVA avant plusieurs tests?

— stan

2

Je pense que cela était sous-entendu dans la réponse. Vous effectuez les tests post-hoc après l'ANOVA signifiante.

— Henrik

2

@Henrik: J'espère que je ne bat pas un cheval mort ici ... en publiant sur un vieux post. J'ai donc une question sur la façon dont vous avez exécuté les tests t. Avez-vous utilisé la variance regroupée (de l'ANOVA) ou avez-vous simplement fait des tests t par paires indépendants? La raison pour laquelle je pose cette question est parce que j'ai essayé d'utiliser pairwise.t.test()pour faire des comparaisons par paires en utilisant la méthode Bonferroni ou la méthode Holm-Bonf, mais les résultats diffèrent considérablement selon que j'utilise le sd groupé ou que je traite chaque comparaison comme un t séparé et indépendant -tester. Merci!

— Alex

2

@Alex: L'utilisation d'une approche «protégée» où les tests t ne sont effectués qu'après une ANOVA significative implique l'utilisation du terme d'erreur groupé. Cependant, comme ce n'est pas une option fréquemment fournie par les logiciels statistiques, les gens ont tendance à ne pas le faire. De plus, dans la mesure où la sphéricité est violée, c'est une chose discutable à faire en premier lieu.

— russellpierce

5

Je me souviens d'une discussion à ce sujet dans le passé; Je ne suis au courant d'aucune implémentation de l'approche de Maxwell & Delaney, même si cela ne devrait pas être trop difficile à faire. Jetez un œil à " Mesures répétées ANOVA utilisant R " qui montre également une méthode pour résoudre le problème de sphéricité dans le HSD de Tukey .

Vous pouvez également trouver cette description du test d'intérêt de Friedman .

— Shane
source

Merci, je pense que le test de Friedman est intéressant, mais je n'arrive pas à comprendre comment il fait cet ajustement pour l'erreur de type I dans le post-hoc. Les commentaires disent qu'il s'agit d'un "test de Wilcoxon-Nemenyi-McDonald-Thompson" mais je n'en ai jamais entendu parler auparavant. Pouvez-vous l'expliquer?

— russellpierce

@Shane Le premier lien est mort :-(

— Adam Ryczkowski

2

Il existe DEUX options pour les tests F déductifs dans SPSS. Multivariée n'assume PAS la sphéricité, adn utilise donc une corrélation par paire différente pour chaque paire de variables. Les «tests des effets intra-sujets», y compris les tests post hoc, supposent la sphéricité et apportent quelques corrections pour utiliser une corrélation commune à tous les tests. Ces procédures sont un héritage de l'époque où le calcul était coûteux et sont une perte de temps avec les installations informatiques modernes.

Ma recommandation est de prendre l'omnibus MULTIVARIATE F pour toute mesure répétée. Ensuite, effectuez un suivi avec un test t par paires post hoc ou une ANOVA avec seulement 2 niveaux dans chaque comparaison de mesures répétées s'il y a également des facteurs sujets. Je ferais la simple correction bon ferroni de diviser le niveau alpha par le nombre de tests.

Assurez-vous également de regarder la taille de l'effet [disponible dans la boîte de dialogue des options]. De grandes tailles d'effets qui sont «proches» de significatives peuvent être plus dignes d'attention [et d'expériences futures] que de petits effets, mais significatifs.

Une approche plus sophistiquée est disponible dans la procédure SPSS MIXTE, ainsi que dans des packages moins conviviaux [mais gratuits] tels que R.

Résumé, dans SPSSS, F multivarié suivi de post-hocs par paire avec Bon Ferroni avec Bonferroni devrait être suffisant pour la plupart des besoins.

0

J'utiliserai la fonction R qtukey (1-alpha, moyennes, df) pour faire des CI famille.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

$S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} {T u k e y_{k, ré F} \leq t u k e y_{0,05, 4, 16}} \\ = {\frac{M une X_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

$MS_{Error}$ ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} T u k e y_{k, d f} = \frac{M a x_{j = 1, 2, \dots, k} {z_{j}} - M i n_{j = 1, 2, \dots, k} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {\frac{M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j} + ε_{i, j}} - M e a n_{1 \leq i \leq n} {{\tilde{X}}_{i, j}}}{σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}}}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}} / σ_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - (μ_{j} + M e a n_{1 \leq i \leq n} {v_{i}})}}{{\hat{σ}}_{M e a n_{1 \leq i \leq n} {ε_{i, j}}}} \\ = \frac{R a n g e_{j = 1, 2, \dots, k} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
source