Quels critères doivent être remplis pour conclure qu'un «effet plafond» se produit?

Selon l' Encyclopédie SAGE des méthodes de recherche en sciences sociales …

[un] effet de plafond se produit lorsqu'une mesure possède une limite supérieure distincte pour les réponses potentielles et qu'une forte concentration de participants obtient un score égal ou proche de cette limite. L'atténuation de l'échelle est un problème méthodologique qui se produit chaque fois que la variance est limitée de cette manière. … Par exemple, un effet de plafond peut se produire avec une mesure des attitudes dans laquelle un score élevé indique une attitude favorable et la réponse la plus élevée ne parvient pas à saisir l'évaluation la plus positive possible. … La meilleure solution au problème des effets de plafond est le test pilote, qui permet d'identifier rapidement le problème . Si un effet plafond est trouvé , [et] la mesure du résultat est la performance de la tâche, la tâche peut être rendue plus difficile pour augmenter la gamme de réponses potentielles. ¹ [non souligné dans l'original]

Il semble y avoir beaucoup de conseils et de questions ( et ici ) traitant de l'analyse des données qui montrent des effets de plafond similaires à ceux décrits dans la citation ci-dessus.

Ma question peut être simple ou naïve, mais comment peut-on réellement détecter qu'un effet de plafond est présent dans les données? Plus précisément, disons qu'un test psychométrique est créé et est soupçonné de conduire à un effet de plafond (examen visuel uniquement), puis le test est révisé pour produire une plus grande gamme de valeurs. Comment peut-on montrer que le test révisé a supprimé l'effet plafond des données qu'il génère? Existe-t-il un test qui montre qu'il existe un effet de plafond dans l'ensemble de données a mais aucun effet de plafond dans l'ensemble de données b ?

Mon approche naïve serait de simplement examiner le biais de distribution et si ce n'est pas le cas, de conclure qu'il n'y a pas d'effet plafond. Est-ce trop simpliste?

Éditer

Pour ajouter un exemple plus concret, disons que je développe un instrument qui mesure un trait latent x qui augmente avec l'âge mais finit par se stabiliser et commence à décliner dans la vieillesse. Je fais la première version, qui a une plage de 1 à 14, je fais un peu de pilotage, et je trouve qu'il semble y avoir un effet de plafond (un grand nombre de réponses à 14 ou près, le maximum .. Je conclus ceci juste en en regardant les données. Mais pourquoi? Existe-t-il une méthode rigoureuse pour étayer cette affirmation?

Ensuite, je révise la mesure pour avoir une plage de 1 à 20 et recueillir plus de données. Je vois que la tendance correspond mieux à mes attentes, mais comment savoir que la plage de mesure est suffisamment large. Dois-je le réviser à nouveau? Visuellement, cela semble correct, mais existe-t-il un moyen de le tester pour confirmer mes soupçons?

entrez la description de l'image ici

Je veux savoir comment je peux détecter cet effet de plafond dans les données plutôt que de simplement le regarder. Les graphiques représentent des données réelles et non théoriques. L'élargissement de la gamme de l'instrument a créé une meilleure diffusion des données, mais est-ce suffisant? Comment puis-je tester cela?

¹ Hessling, R., Traxel, N., et Schmidt, T. (2004). Effet plafond. Dans Michael S. Lewis-Beck, A. Bryman et Tim Futing Liao (éd.), The SAGE Encyclopedia of Social Science Research Methods . (p. 107). Thousand Oaks, Californie: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

— plafond
source

Pour progresser, il faudrait trouver une définition opérationnelle de «l'effet plafond». Faire cela en général pourrait être problématique: après tout, presque toutes les quantités mesurées ne peuvent raisonnablement pas dépasser une valeur, comme 100% dans un score de test ou une concentration chimique, la limite supérieure de ce qu'un instrument peut lire, et ainsi de suite, donc sans doute presque toutes les données sont soumises à une limite supérieure inhérente. Ainsi, bien que la signification voulue de "effet de plafond" ressorte intuitivement de vos beaux exemples, vous pouvez nous aider en clarifiant exactement ce qui doit être "supprimé" de vos données, et pourquoi.

— whuber

@quand vous avez raison, le terme est utilisé de plusieurs manières différentes, mais dans ce cas, je parle de créer une règle assez longue pour dépasser toutes les choses que je veux mesurer. Lors de la création de tests, vous voulez sûrement inclure suffisamment d'éléments d'une gamme de difficultés pour que personne n'obtienne 100%, sinon vous ne saurez pas si la capacité de cette personne est réellement la limite du test ou plus. Rien ne doit être supprimé des données, mais l'instrument doit être révisé jusqu'à ce qu'il ne produise pas de points de données censurés.

— plafond

Je vous remercie. Je ne sais toujours pas ce que vous entendez par "effet de plafond", car aucune de vos illustrations ne montre des preuves manifestes de toute sorte de censure - du moins pas avec des limites de censure fixes du type de celles obtenues avec un test. En fait, le changement de gauche à droite ressemble plus à une ré-expression non linéaire un à un de l'axe vertical, ce qui n'aurait aucun effet sur aucun plafond des données. Cela me fait me demander si vous êtes vraiment préoccupé par quelque chose de complètement différent, comme l'asymétrie des résidus de régression.

— whuber

La gigue @whuber a été ajoutée car la plupart des points se chevauchent. Si les graphiques ne semblent pas se rapporter à ma question, alors évidemment je n'ai aucune idée de quoi je parle. Pour moi, il semble qu'il y ait un effet de plafond tel que décrit par Hessling, Traxel et Schmidt, mais sur la base de vos commentaires et du manque total d'intérêt pour cette question, je vois peut-être un problème où il n'y en a pas. Merci cependant de vos suggestions et de vos idées. Je vous en suis reconnaissant.

— plafond

@Johan je vois. Dans l'esprit de votre question, il me semble qu'une légère modification de votre idée pourrait être une bonne idée. À moins que nous ayons des raisons de supposer que les résidus doivent être normalement distribués, nous pourrions chercher à trouver une transformation monotone de la réponse dans laquelle les distributions résiduelles sont homoscédastiques où la réponse est faible et peuvent éventuellement être tronquées lorsque la réponse est élevée. En d'autres termes, le test ne devrait peut-être pas viser la normalité mais devrait chercher une forme et une échelle cohérentes à la réponse.

— whuber

Réponses:

Tout d'abord, je voudrais dire que les deux graphiques m'apportent une preuve claire de la présence d'un effet de plafond. La façon dont j'essaierais de mesurer cet effet plutôt que simplement visuellement serait d'observer que tant qu'une partie non triviale des observations se trouve près de la limite supérieure de la plage de l'instrument. En règle générale, un effet de plafond existera toujours tant qu'il y aura une partie non négligeable de candidats qui obtiendront le score maximum au test.

Cependant, cela dit, la technologie d'analyse de test a beaucoup progressé car nous devions interpréter directement les scores sur un instrument basé sur le score correct. Nous pouvons maintenant utiliser la théorie de la réponse des objets pour estimer les paramètres des objets individuels et utiliser ces objets pour identifier la capacité du sujet. Bien sûr, il peut y avoir des effets de plafond sur un test si nous rendons le test trop facile. Cependant, en raison des pouvoirs de la théorie de la réponse aux items, nous devrions être en mesure de mettre au moins quelques items de difficulté suffisamment élevée dans l'instrument afin d'empêcher seulement mais une portion insignifiante de la population d'atteindre le plafond.

Merci pour la question. C'est très intéressant!

— Francis Smart
source

Je suppose qu'une méthode approximative et prête serait simplement de mesurer la variance à mesure que l'échelle augmente. Si cela montre une réduction, c'est la preuve d'un effet de plafond et sinon il n'y a pas d'effet de plafond. Vous pouvez faire une homogénéité du graphique de variance. Le test de Levene pourrait être utile pour déterminer si la variance est significative à différents points de l'échelle.

— user45114
source

merci pour l'idée. Je vais l'essayer, mais je m'attends à ce que la variance diminue naturellement avec l'âge dans ce cas.

— plafond

Plafond, cette réponse et votre commentaire semblent confondre deux concepts distincts. La variance d' échelle refléterait la dispersion de mesures indépendantes répétées d'un sujet; il est supposé ne pas dépendre du sujet mais éventuellement varier avec la réponse moyenne du sujet. La variance à laquelle vous et cette réponse faites référence est la variance des résidus de régression. Bien qu'ils soient liés, ce n'est pas la même chose.

— whuber

@whuber merci de l'avoir signalé. au fait, vous ne voyez toujours aucune preuve d'un effet de plafond avec le graphique de mise à jour et les informations? Je suis assez surpris que cette question n'ait suscité presque aucun intérêt étant donné les multiples questions et réponses sur l'analyse des données avec des effets de plafond présents.

— plafond

Salut. Tant que vous traitez la variance entre les sujets à mesure que l'échelle augmente, plutôt qu'à l'intérieur des sujets, cela ne vous dira-t-il pas quelque chose sur les effets de plafond? - pouvez-vous toujours utiliser le test de Levene pour tester un changement significatif de variance à mesure que l'échelle augmente? ou est-ce uniquement conçu pour tester au sein d'un sujet des changements de variance? Devrions-nous utiliser un terme différent pour décrire la variation des scores de différentes personnes à mesure que l'échelle augmente autre que la «variance d'échelle», telle que «variance des résidus»? Le test de Levene peut-il être utilisé pour montrer que la "variance des résidus" est uniforme sur toute l'échelle

— user45114

Le problème critique pour décider si un regroupement autour du point le plus haut ou le plus bas est dû à un effet plafond / plancher est de savoir si les valeurs des cas "représentent" réellement la valeur. Lorsque des effets de plafond / plancher se produisent, certains des cas, bien qu'ils supposent la valeur maximale ou minimale, sont en réalité supérieurs / inférieurs à la valeur maximale ou minimale (imaginez qu'un adulte et un enfant terminent tous les deux un test mathématique extrêmement simple censé mesurer sa capacité en mathématiques, et les deux ont obtenu 100%). Ici, les données sont censurées.

Un autre scénario est également possible lorsque nous utilisons des échelles bornées telles qu'une échelle de type Likert qui a des limites supérieures et inférieures inhérentes. Il est tout à fait possible que ceux qui ont obtenu le score le plus élevé valent effectivement ce score et aucune différence (comme l'exemple mathématique ci-dessus) n'existe parmi tous ceux qui ont obtenu le score le plus élevé. Dans un tel cas, les données sont tronquées aux limites, pas censurées.

Sur la base du raisonnement ci-dessus, je pense que l'on devrait concevoir une procédure pour adapter tout ensemble de données donné à la troncature et à la censure des données. Si le modèle de censure correspond le mieux aux données, je pense que l'on peut alors conclure qu'un effet plafond / plancher est présent.

— wuy3814
source