Évaluer la fiabilité d'un questionnaire: dimensionnalité, éléments problématiques et utiliser l'alpha, le lambda6 ou un autre indice?

J'analyse les scores donnés par les participants à une expérience. Je souhaite estimer la fiabilité de mon questionnaire qui est composé de 6 items visant à estimer l'attitude des participants envers un produit.

J'ai calculé l'alpha de Cronbach en traitant tous les éléments comme une seule échelle (l'alpha était d'environ 0,6) et en supprimant un élément à la fois (l'alpha max était d'environ 0,72). Je sais que l'alpha peut être sous-estimé et surestimé en fonction du nombre d'éléments et de la dimensionnalité de la construction sous-jacente. J'ai donc également effectué un PCA. Cette analyse a révélé qu'il y avait trois composantes principales expliquant environ 80% de la variance. Donc, mes questions portent sur la façon de procéder maintenant?

• Dois-je effectuer un calcul alpha sur chacune de ces dimensions?
• Dois-je supprimer les éléments affectant la fiabilité?

De plus, en cherchant sur le web, j'ai trouvé qu'il y avait une autre mesure de fiabilité: le lambda6 de guttman.

• Quelles sont les principales différences entre cette mesure et l'alpha?
• Qu'est-ce qu'une bonne valeur de lambda?

Je pense que @Jeromy a déjà dit l'essentiel, je vais donc me concentrer sur les mesures de fiabilité.

L'alpha de Cronbach est un indice dépendant de l'échantillon utilisé pour déterminer une limite inférieure de la fiabilité d'un instrument. Il ne s'agit que d'un indicateur de variance partagé par tous les éléments pris en compte dans le calcul d'un score d'échelle. Par conséquent, il ne doit pas être confondu avec une mesure absolue de fiabilité, ni s'appliquer à un instrument multidimensionnel dans son ensemble. En effet, les hypothèses suivantes sont formulées: (a) aucune corrélation résiduelle, (b) les articles ont des chargements identiques, et (c) l'échelle est unidimensionnelle. Cela signifie que le seul cas où alpha sera essentiellement le même que la fiabilitéest le cas de charges factorielles uniformément élevées, sans covariances d'erreur, et instrument unidimensionnel (1). Comme sa précision dépend de l'erreur standard des intercorrélations d'articles, elle dépend de la propagation des corrélations d'articles, ce qui signifie que l'alpha reflétera cette plage de corrélations quelle que soit la ou les sources de cette plage particulière (par exemple, erreur de mesure ou multidimensionnalité). Ce point est largement discuté dans (2). Il convient de noter que lorsque alpha est de 0,70, un seuil de fiabilité largement référencé à des fins de comparaison de groupe (3,4), l'erreur-type de mesure sera supérieure à la moitié (0,55) d'un écart-type. De plus, Cronbach alpha est une mesure de cohérence interne, ce n'est pas une mesure d'unidimensionnalité et ne peut pas être utilisé pour inférer unidimensionnalité (5). Enfin, nous pouvons citer LJ Cronbach lui-même,

Les coefficients sont un appareil brut qui n'apporte pas à la surface de nombreuses subtilités impliquées par les composantes de la variance. En particulier, les interprétations faites dans les évaluations actuelles sont mieux évaluées en utilisant une erreur de mesure standard. --- Cronbach & Shavelson, (6)

Il existe de nombreux autres pièges qui ont été largement discutés dans plusieurs articles au cours des 10 dernières années (par exemple, 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Les références

1. Raykov, T. (1997). Fiabilité de l'échelle, coefficient alpha de Cronbach et violations de l'équivalence tau essentielle pour les composants congénériques fixes. Recherche comportementale multivariée , 32, 329-354.
2. Cortina, JM (1993). Qu'est-ce que le coefficient alpha? Un examen de la théorie et des applications . Journal of Applied Psychology , 78 (1), 98-104.
3. Nunnally, JC et Bernstein, IH (1994). Théorie psychométrique . McGraw-Hill Series in Psychology, troisième édition.
4. De Vaus, D. (2002). Analyser les données des sciences sociales . Londres: Sage Publications.
5. Danes, JE et Mann, OK. (1984). Modèles de mesure unidimensionnelle et d'équation structurelle avec variables latentes. Journal of Business Research , 12, 337-352.
6. Cronbach, LJ et Shavelson, RJ (2004). Mes réflexions actuelles sur le coefficient alpha et les procédures successives . Mesures éducatives et psychologiques , 64 (3), 391-418.
7. Schmitt, N. (1996). Utilisations et abus du coefficient alpha . Évaluation psychologique , 8 (4), 350-353.
8. Iacobucci, D. et Duhachek, A. (2003). Faire progresser Alpha: mesurer la fiabilité en toute confiance . Journal of Consumer Psychology , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO et Walker, S. (2000). Coefficient alpha: un indicateur utile de fiabilité? Personnalité et différences individuelles , 28, 229-237.
10. Fong, DYT, Ho, SY et Lam, TH (2010). Évaluation de la fiabilité interne en présence de réponses incohérentes . Résultats en matière de santé et de qualité de vie , 8, 27.
11. Guttman, L. (1945). Une base pour analyser la fiabilité test-retest. Psychometrika , 10 (4), 255-282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. et Zinbarg, RE (2009) Coefficients alpha, bêta, oméga et glb: commentaires sur Sijtsma . Psychometrika , 74 (1), 145-154

Voici quelques commentaires généraux:

• PCA : L'analyse PCA ne "révèle pas qu'il existe trois composantes principales". Vous avez choisi d'extraire trois dimensions ou vous vous êtes appuyé sur une règle empirique par défaut (généralement des valeurs propres supérieures à 1) pour décider du nombre de dimensions à extraire. De plus, les valeurs propres sur une seule extraient souvent plus de dimensions qu'il n'est utile.
• Évaluation de la dimensionnalité des articles: je suis d'accord que vous pouvez utiliser PCA pour évaluer la dimensionnalité des articles. Cependant, je trouve que regarder le tracé d'éboulis peut fournir une meilleure orientation pour le nombre de dimensions. Vous pouvez consulter cette page de William Revelle sur l'évaluation de la dimensionnalité de l'échelle .
• La façon de procéder?
  • Si l'échelle est bien établie , vous voudrez peut-être la laisser telle quelle (en supposant que ses propriétés sont au moins raisonnables; bien que dans votre cas, 0,6 soit relativement médiocre selon la plupart des normes).
  • Si l'échelle n'est pas bien établie , vous devez alors considérer en théorie ce que les éléments sont censés mesurer et dans quel but vous souhaitez utiliser l'échelle résultante. Étant donné que vous n'avez que six articles, vous n'avez pas beaucoup de place pour créer plusieurs échelles sans tomber dans un nombre inquiétant d'articles par échelle. Simultanément, il est judicieux de vérifier s'il existe des éléments problématiques en raison de problèmes de sol, de plafond ou de faible fiabilité. Vous pouvez également vérifier si des éléments doivent être inversés.
  • J'ai mis en place quelques liens vers des ressources générales sur le développement d'échelle qui pourraient vous être utiles

Ce qui suit répond à vos questions spécifiques:

• Dois-je effectuer un calcul alpha sur chacune de ces dimensions?
  • Comme vous pouvez le constater à partir de la discussion ci-dessus, je ne pense pas que vous devriez traiter vos données comme si vous aviez trois dimensions. Il existe une gamme d'arguments que vous pouvez faire en fonction de vos objectifs et des détails, il est donc difficile de dire exactement quoi faire. Dans la plupart des cas, je chercherais à créer au moins une bonne échelle (peut-être en supprimant un élément) plutôt que trois échelles non fiables.
• Dois-je supprimer les éléments affectant la fiabilité?
  • C'est à vous. Si l'échelle est établie, vous pouvez choisir de ne pas le faire. Si la taille de votre échantillon est petite, il peut s'agir d'une anomalie d'échantillonnage aléatoire. Cependant, en général, je serais enclin à supprimer un élément s'il faisait vraiment chuter votre alpha de 0,72 à 0,60. Je vérifierais également si cet élément problématique n'est pas censé être inversé.

Je vais laisser la discussion de lambda 6 ( discutée par William Revelle ici ) à d'autres.