Validation d'un questionnaire dans une nouvelle population

J'ai 400 réponses à un questionnaire de 20 éléments qui vise à mesurer une constriction attitudinale chez les étudiants en médecine. L'instrument a été validé aux États-Unis pour une seule année d'étudiants en médecine et les données publiées sont très "propres" - toutes les valeurs ritc> 0,3, alpha 0,84, PCA avec une structure stable à quatre facteurs, etc. Dans mon échantillon, j'ai trouvé 5 des 20 éléments doivent avoir ritc <0,2 et dans une sous-population culturelle (n = 70) ces valeurs ritc sont nulles / négatives. Si je retiens tous les articles, ceux qui ont un mauvais rituel ne chargent sur aucun facteur ou trient ensemble un facteur à 2 éléments (facteur 4). Je pense que (et je voudrais enquêter) cela est dû soit (i) à une petite sous-population culturelle pour laquelle le concept peut être mal saisi, ou (ii) parce que j'ai des réponses des étudiants à toutes les étapes d'un programme et qu'il y a un aspect de développement dans la construction mal saisi par les items de l'échelle. Existe-t-il un test statistique qui me permettra d'enquêter?

Les éléments avec ritc doivent-ils être supprimés de l'échelle et si oui, je le fais de manière séquentielle en commençant par le plus bas et à quel moment dois-je arrêter de supprimer les éléments / ai-je perdu quelque chose du questionnaire? Si je veux comparer la structure factorielle de l'échelle entre les sous-populations majeures et mineures, comment dois-je procéder ou le sous-échantillon mineur est-il trop petit pour tirer des conclusions? Toute référence serait grandement appréciée.

Enfin, le but de la validation de l'échelle est de l'utiliser pour déterminer l'efficacité d'une intervention en utilisant un score pré et post intervention - si un élément a un faible ritc, je suppose qu'il peut avoir un impact sur la fiabilité de l'échelle dans un cadre expérimental, ou suis-je incorrect? Existe-t-il un moyen statistique de déterminer l'utilité d'une échelle conçue pour mesurer les constructions qui ont un aspect développemental - c.-à-d. Que tous les éléments fonctionnent correctement lorsque l'élève développe «davantage» la construction attitudinale?

@suzi L'une des propriétés sur lesquelles repose l'analyse de Rasch est que les mesures sont invariantes aux sous-groupes. Cette propriété prend en charge le développement de tests adaptatifs informatiques et de l'équation des tests. Si cette invariance de mesure est vraie dans une population, alors il n'y a pas de fonctionnement différentiel par élément (DIF). Pour vous aider avec votre échantillon, vous pouvez exécuter une analyse Rasch pour chaque sous-groupe et comparer le fonctionnement de chaque élément pour chaque sous-groupe. Si les mesures de l'élément diffèrent de plus de 0,50 logit (ou plus que les intervalles de confiance à 95% des mesures), alors DIF est présent et l'élément n'est pas invariant. Tant que vos sous-groupes ne comptent pas moins de 70 sujets, vous devriez être d'accord.

Un excellent article sur l'application de ce principe est «Rasch Fit Statistics as a Test of the Invariance of Item Parameter Estimates», Smith, Richard M. et Suh, Kyunghee, Journal of Applied Measurement 4 (2) 153-163.

Comme indiqué dans les commentaires, il s'agit d'un grand champ et vous pourriez avoir besoin d'aide. Si un document est possible, vous pouvez demander de l'aide auprès du Rasch SIG . Le logiciel comprendrait Winsteps, Facets, RUMM, eRm et d'autres programmes dans R.

J'espère que cela t'aides.