Validation des questionnaires


12

Je conçois un questionnaire pour ma thèse. Je suis en train de valider le questionnaire J'ai appliqué un test alpha de Cronbach au groupe d'échantillons initial. Les réponses au questionnaire sont sur une échelle de Likert; quelqu'un peut-il suggérer d'autres tests à appliquer pour aider à tester sa validité. Je ne suis pas un expert en statistiques donc toute aide serait appréciée.

J'ai fait des recherches et il semble que je puisse faire une analyse Rasch. Quelqu'un a-t-il des sites de logiciels gratuits pour appliquer ce test et ces conseils?

Réponses:


22

Je suppose que votre questionnaire doit être considéré comme une seule échelle unidimensionnelle (sinon l'alpha de Cronbach n'a pas beaucoup de sens). Il vaut la peine d'effectuer une analyse factorielle exploratoire pour vérifier cela. Il vous permettra également de voir comment les articles sont liés à l'échelle (c'est-à-dire à travers leurs chargements).

Les étapes de base pour valider vos articles et votre balance doivent inclure:

  • un rapport complet sur les statistiques de base des éléments (fourchette, quartiles, tendance centrale, effets de plafond et de plancher, le cas échéant);
  • vérifier la cohérence interne comme vous l'avez fait avec votre alpha (mieux, donnez des intervalles de confiance à 95%, car il dépend de l'échantillon);
  • décrire votre mesure récapitulative (par exemple, score total ou moyen, aka score d'échelle) avec les statistiques habituelles (histogramme + densité, quantiles, etc.);
  • vérifiez vos réponses sommaires par rapport à des covariables spécifiques qui sont censées être liées à la construction que vous évaluez - c'est ce qu'on appelle la validité de groupe connu;
  • si possible, comparez vos réponses sommaires à des instruments connus qui prétendent mesurer la même construction ( validité concurrente ou convergente).

Si votre échelle n'est pas unidimensionnelle, ces étapes doivent être effectuées pour chaque sous-échelle, et vous pouvez également factoriser la matrice de corrélation de vos facteurs pour évaluer la structure factorielle du second ordre (ou utiliser la modélisation d'équations structurelles ou l'analyse factorielle confirmatoire, ou tout ce que vous voulez). Vous pouvez également évaluer la validité convergente et discriminante en utilisant la mise à l'échelle multi-trait ou la modélisation multi-méthode multi-trait (basée sur les corrélations inter-éléments à l'intérieur et entre les échelles), ou, encore une fois, les SEM.

Ensuite, je dirais que la théorie de la réponse aux éléments n'aiderait pas beaucoup à moins que vous ne souhaitiez raccourcir votre questionnaire, filtrer certains éléments qui montrent le fonctionnement différentiel des éléments ou utiliser votre test dans une sorte de test adaptatif informatique .

Dans tous les cas, le modèle Rasch est destiné aux éléments binaires. Pour les articles commandés polytomiques, les modèles les plus couramment utilisés sont:

  • le modèle de réponse graduée
  • le modèle de crédit partiel
  • le modèle d'échelle de notation.

Seuls les deux derniers sont de la famille Rasch, et ils utilisent essentiellement une formulation de cotes adjacente, avec l'idée que le sujet doit «passer» plusieurs seuils pour approuver une catégorie de réponse donnée. La différence entre ces deux modèles est que le PCM n'impose pas que les seuils soient également espacés sur l' échelle thêta ( capacité ou emplacement du sujet sur le trait latent). Le modèle de réponse graduée repose sur une formulation de cotes cumulatives. Sachez que ces modèles supposent tous que l'échelle est unidimensionnelle; c'est-à-dire qu'il n'y a qu'un seul trait latent. Il existe des hypothèses supplémentaires comme, par exemple, l'indépendance locale (c.-à-d. Que les corrélations entre les réponses s'expliquent par la variation de l'échelle des capacités).

Quoi qu'il en soit, vous trouverez une documentation très complète et des indices utiles pour appliquer des méthodes psychométriques en R dans le volume 20 du Journal of Statistical Software: Volume spécial: psychométrie en R . Fondamentalement, les packages R les plus intéressants que j'utilise dans mon travail quotidien sont: ltm , eRm , psych , psy . D'autres sont référencés sur la vue de tâche CRAN Psychométrie . D'autres ressources intéressantes sont:

Un bon examen de l'utilisation de l'AF par rapport à l'IRT dans le développement de l'échelle se trouve dans Construction et évaluation d'échelle dans la pratique: un examen de l'analyse factorielle par rapport aux applications de la théorie de la réponse aux éléments , par ten Holt et al (Psychological Test and Assessment Modeling (2010) 52 (3): 272-297).


11

Tout en soutenant tout ce qui précède, je vous suggère de faire ce qui suit (dans un ordre assez similaire)

Premièrement, vous devriez utiliser R, sinon vous devriez commencer. Les conseils suivants sont basés sur l'utilisation de R.

Je suppose que vous avez, à ce stade, calculé les statistiques descriptives et al. Sinon, le paquet psych a une fonction describe () qui devrait vous donner les statistiques dont vous avez besoin.

Installez le paquet psych de CRAN. Chargez le paquet psych. Utilisez la routine fa.parallel sur vos données. Cela devrait vous donner un certain nombre de facteurs à retenir. Ensuite, utilisez le VSS (routine). Cela calcule le critère MAP qui vous donne un nombre différent (normalement) de facteurs à conserver. Utilisez une forme d'analyse factorielle (et non des composantes principales) et une rotation oblique pour chaque nombre de facteurs. Si vos facteurs ne semblent pas être corrélés après une rotation oblique, passez en rotation orhogonale. C'est comme une structure orthogonale peut être déterminée à partir d'une rotation oblique, mais pas vice versa.

Extraire toutes les solutions factorielles entre le critère MAP et le critère d'analyse parallèle. Déterminez lequel d'entre eux a les meilleurs indices d'ajustement et est le plus logique. C'est celui que vous devez conserver.

Sur IRT, ayant utilisé à la fois ltm et eRm, je suggère de commencer par eRm. Il a de meilleures fonctions graphiques pour vos modèles et la prise en charge des modèles polytomiques est plus importante. Cela étant dit, cela ne correspond qu'aux modèles de Rasch, et souvent les données des questionnaires psychologiques ne répondent pas à leurs exigences. Bonne chance! La psychométrie est très amusante, comme vous le découvrirez sans aucun doute.


1
(+1) Cela sonne bien. Merci de partager votre expérience avec la modélisation IRT et FA. Hormis les fonctionnalités graphiques, l'approche conditionnelle dans eRm est plus en ligne avec la pensée initiale de thêta par Rasch (comme paramètre fixe).
chl

1

Valider un questionnaire signifie prouver qu'il mesure ce qu'il est censé mesurer. Je dirais donc que ce n'est généralement pas une question statistique et qu'il est impossible d'y répondre sans connaître le contenu spécifique de votre questionnaire. Cronbach alpha n'est pas sur la validité, mais de la cohérence interne, ce qui est quelque peu liée à la fiabilité (ou l' on peut dire qu'il est la fiabilité présumant vos questions sont interchangeables - mais ils ne sont pas).

Que pourriez-vous faire pour valider votre questionnaire? Vous pouvez étudier quels processus psychologiques donnent lieu à un schéma de résultats spécifique (par exemple en essayant d'induire de tels schémas avec des manipulations expérimentales ou en utilisant une procédure de réflexion à voix haute ["analyse de protocole", Ericsson & Simon, 1992]). Ou comparez certains groupes contrastés (par exemple, les patients avec des contrôles) qui devraient avoir des scores différents. Ou corrélez-le avec un critère externe qui devrait être corrélé avec le trait que vous mesurez. Ou mesurer le trait par le Psychoscope (TM) et l'utiliser comme critère.

Les autres réponses sont plus utiles pour souligner ce que vous pouvez probablement faire de manière réaliste - même si la plupart ne sont pas à proprement parler de validité (sauf les références de Chi à la «validité de groupe connue» et à la validité externe).

Voir également Markus et Borsboom (2013) pour une approche moderne de la validité (ceci et quelques autres références utiles sur la page d'accueil de Borsboom ).

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.