1. Un exemple célèbre de psychologie et de linguistique est décrit par Herb Clark (1973; d'après Coleman, 1964): «L'erreur du langage comme effet fixe: une critique des statistiques linguistiques dans la recherche psychologique».
Clark est un psycholinguiste qui discute d'expériences psychologiques dans lesquelles un échantillon de sujets de recherche réagit à un ensemble de matériaux de stimulation, généralement divers mots tirés de certains corpus. Il souligne que la procédure statistique standard utilisée dans ces cas, basée sur des mesures répétées ANOVA, et désignée par Clark comme , traite les participants comme un facteur aléatoire mais (peut-être implicitement) traite les matériaux de stimulation (ou "langage") comme fixe. Cela conduit à des problèmes d'interprétation des résultats des tests d'hypothèse sur le facteur de condition expérimental: naturellement, nous voulons supposer qu'un résultat positif nous dit quelque chose à la fois sur la population à partir de laquelle nous avons prélevé notre échantillon de participants ainsi que sur la population théorique à partir de laquelle nous avons puisé. les supports linguistiques. Mais FF1 , en traitant les participants comme aléatoires et les stimuli comme fixes, ne nous dit que l'effet du facteur de condition sur d'autres participants similaires répondantexactement aux mêmes stimuli. La réalisation de l'analyse F 1 lorsque les participants et les stimuli sont mieux perçus comme aléatoires peut conduire à des taux d'erreur de type 1 qui dépassent considérablement leniveau α nominal- généralement 0,05 - dont l'étendue dépend de facteurs tels que le nombre et la variabilité des stimuli et la conception de l'expérience. Dans ces cas, l'analyse la plus appropriée, au moins dans le cadre classique de l'ANOVA, est d'utiliser ce qu'on appelle desstatistiquesquasi- F basées sur des ratios decombinaisons linéaires deF1F1αF carrés moyens.
L'article de Clark a fait sensation dans la psycholinguistique à l'époque, mais n'a pas réussi à percer la littérature psychologique plus large. (Et même dans le domaine de la psycholinguistique, les conseils de Clark se sont quelque peu déformés au fil des ans, comme le démontrent Raaijmakers, Schrijnemakers et Gremmen, 1999.) dans les modèles à effets mixtes, dont le modèle mixte classique ANOVA peut être considéré comme un cas particulier. Certains de ces articles récents incluent Baayen, Davidson et Bates (2008), Murayama, Sakaki, Yan et Smith (2014) et ( ahem ) Judd, Westfall et Kenny (2012). Je suis sûr qu'il y en a que j'oublie.
2. Pas exactement. Il existe des méthodes pour déterminer si un facteur est mieux inclus en tant qu'effet aléatoire ou non dans le modèle (voir par exemple, Pinheiro et Bates, 2000, p. 83-87; cependant, voir Barr, Levy, Scheepers et Tily, 2013). Et bien sûr, il existe des techniques classiques de comparaison de modèles pour déterminer si un facteur est mieux inclus en tant qu'effet fixe ou pas du tout (par exemple, lestests ). Mais je pense qu'il est généralement préférable de déterminer si un facteur est considéré comme fixe ou aléatoire comme une question conceptuelle, à laquelle il faut répondre en considérant la conception de l'étude et la nature des conclusions à en tirer.F
Un de mes instructeurs diplômés en statistique, Gary McClelland, aimait à dire que la question fondamentale de l'inférence statistique est peut-être: "Par rapport à quoi?" Après Gary, je pense que nous pouvons formuler la question conceptuelle que j'ai mentionnée ci-dessus comme suit: à quelle classe de référence de résultats expérimentaux hypothétiques je veux comparer mes résultats réels observés? En restant dans le contexte psycholinguistique et en considérant un plan expérimental dans lequel nous avons un échantillon de sujets répondant à un échantillon de mots qui sont classés dans l'une des deux conditions (le plan particulier discuté longuement par Clark, 1973), je me concentrerai sur deux possibilités:
- L'ensemble des expériences dans lesquelles, pour chaque expérience, nous tirons un nouvel échantillon de sujets, un nouvel échantillon de mots et un nouvel échantillon d'erreurs du modèle génératif. Dans ce modèle, les sujets et les mots sont tous deux des effets aléatoires.
- L'ensemble d'expériences dans lequel, pour chaque expérience, nous tirons un nouvel échantillon de sujets et un nouvel échantillon d'erreurs, mais nous utilisons toujours le même ensemble de mots . Dans ce modèle, les sujets sont des effets aléatoires mais les mots sont des effets fixes.
Pour rendre cela totalement concret, voici quelques tracés de (ci-dessus) 4 ensembles de résultats hypothétiques de 4 expériences simulées sous le modèle 1; (ci-dessous) 4 ensembles de résultats hypothétiques de 4 expériences simulées sous le modèle 2. Chaque expérience affiche les résultats de deux façons: (panneaux de gauche) regroupés par sujets, avec les moyennes sujet par condition tracées et liées ensemble pour chaque sujet; (panneaux de droite) regroupés par mots, avec des diagrammes en boîte résumant la distribution des réponses pour chaque mot. Toutes les expériences impliquent 10 sujets répondant à 10 mots, et dans toutes les expériences, «l'hypothèse nulle» d'aucune différence de condition est vraie dans la population concernée.
Sujets et mots aléatoires: 4 expériences simulées
Notez ici que dans chaque expérience, les profils de réponse pour les sujets et les mots sont totalement différents. Pour les sujets, nous obtenons parfois des réponses globales faibles, parfois des réponses élevées, parfois des sujets qui ont tendance à montrer de grandes différences de condition, et parfois des sujets qui ont tendance à montrer une petite différence de condition. De même, pour les mots, nous obtenons parfois des mots qui ont tendance à susciter des réponses faibles, et parfois des mots qui ont tendance à susciter des réponses élevées.
Sujets aléatoires, Mots fixes: 4 expériences simulées
Notez ici qu'à travers les 4 expériences simulées, les sujets semblent différents à chaque fois, mais les profils de réponse pour les mots sont essentiellement les mêmes, ce qui est cohérent avec l'hypothèse que nous réutilisons le même ensemble de mots pour chaque expérience sous ce modèle.
Notre choix de savoir si nous pensons que le modèle 1 (sujets et mots tous les deux aléatoires) ou le modèle 2 (sujets aléatoires, mots fixes) fournit la classe de référence appropriée pour les résultats expérimentaux que nous avons réellement observés peut faire une grande différence dans notre évaluation du fait que la manipulation de la condition "travaillé." Nous nous attendons à plus de variations aléatoires dans les données du modèle 1 que du modèle 2, car il y a plus de «pièces mobiles». Donc, si les conclusions que nous souhaitons tirer sont plus cohérentes avec les hypothèses du modèle 1, où la variabilité des chances est relativement plus élevée, mais nous analysons nos données sous les hypothèses du modèle 2, où la variabilité des chances est relativement plus faible, alors notre erreur de type 1 Le taux de test de la différence de condition va être gonflé dans une certaine mesure (peut-être assez importante). Pour plus d'informations, consultez les références ci-dessous.
Les références
Baayen, RH, Davidson, DJ et Bates, DM (2008). Modélisation à effets mixtes avec effets aléatoires croisés pour les sujets et les objets. Journal of memory and language, 59 (4), 390-412. PDF
Barr, DJ, Levy, R., Scheepers, C., et Tily, HJ (2013). Structure des effets aléatoires pour les tests d'hypothèse de confirmation: Gardez-la maximale. Journal of Memory and Language, 68 (3), 255-278. PDF
Clark, HH (1973). L'erreur du langage comme effet fixe: une critique des statistiques linguistiques dans la recherche psychologique. Journal of verbal learning and verbal behavior, 12 (4), 335-359. PDF
Coleman, EB (1964). Généralisation à une population linguistique. Rapports psychologiques, 14 (1), 219-226.
Judd, CM, Westfall, J., et Kenny, DA (2012). Traiter les stimuli comme un facteur aléatoire en psychologie sociale: une solution nouvelle et complète à un problème omniprésent mais largement ignoré. Journal de personnalité et psychologie sociale, 103 (1), 54. PDF
Murayama, K., Sakaki, M., Yan, VX et Smith, GM (2014). L'inflation d'erreur de type I dans l'analyse traditionnelle par participant à la précision de la métamémoire: une perspective généralisée du modèle à effets mixtes. Journal of Experimental Psychology: Learning, Memory, and Cognition. PDF
Pinheiro, JC et Bates, DM (2000). Modèles à effets mixtes en S et S-PLUS. Springer.
Raaijmakers, JG, Schrijnemakers, J., et Gremmen, F. (1999). Comment faire face à «l'erreur du langage en tant qu'effet fixe»: idées fausses courantes et solutions alternatives. Journal of Memory and Language, 41 (3), 416-426. PDF