Conseils sur la construction d'une échelle scientifiquement solide

J'ai reçu un ensemble de 20 articles de Likert (allant de 1 à 5, taille d'échantillon n = 299) dans le domaine de la recherche organisationnelle. Les articles sont destinés à mesurer un concept latent qui est multidimensionnel, multiforme et hétérogène dans sa nature même. Le but est de créer une ou des échelles qui peuvent être bien utilisées pour analyser différentes organisations et être utilisées dans la régression logistique. À la suite de l'association américaine de psychologie, une échelle devrait être (1) unidimensionnelle, (2) fiable et (3) valide.

Par conséquent, nous avons décidé de sélectionner quatre dimensions ou sous-échelles avec 4/6/6/4 articles chacune; qui sont supposés représenter le concept.

Les éléments ont été construits en utilisant l'approche réflexive (générant de nombreux éléments possibles et supprimant de manière itérative les éléments en utilisant la représentation alpha et conceptuelle de Cronbach (validité) dans trois groupes ultérieurs).

En utilisant les données disponibles, une analyse factorielle explicative parallèle préliminaire basée sur des corrélations polychoriques et utilisant la rotation varimax a révélé que les éléments se chargent sur d'autres facteurs que prévu. Il y a au moins 7 facteurs latents, contre quatre hypothétiques. La corrélation inter-items moyenne est assez faible (r = 0,15) bien que positive. Le coefficient cronbach-alpha est également très faible (0,4-0,5) pour chaque échelle. Je doute qu'une analyse factorielle confirmatoire donnerait un bon ajustement du modèle.

Si deux dimensions étaient supprimées, le cronbachs alpha serait acceptable (0,76,0,7 avec 10 éléments par échelle, qui pourrait encore être agrandi en utilisant la version ordinale de cronbachs alpha) mais les échelles elles-mêmes seraient toujours multidimensionnelles!

Comme je suis nouveau dans les statistiques et que je n'ai pas les connaissances appropriées, je ne sais pas comment aller plus loin. Comme j'hésite à abandonner complètement la ou les échelles et à me résigner à une approche descriptive uniquement, j'ai différentes questions:

I) Est-ce mal d'utiliser des échelles fiables, valides mais pas unidimensionnelles?

II) Serait-il approprié d'interpréter le concept par la suite comme formateur et d'utiliser le test de tétrade disparaissante pour évaluer la spécification du modèle et utiliser les moindres carrés partiels (PLS) pour arriver à une solution possible? Après tout, le concept semble être plus formatif que réflexif.

III) L'utilisation des modèles de réponse aux items (Rasch, GRM, etc.) serait-elle utile? Comme je l'ai lu, les modèles rasch etc. ont également besoin de l'hypothèse d'unidimensionnalité

IV) Serait-il approprié d'utiliser les 7 facteurs comme de nouvelles "sous-échelles"? Jeter simplement l'ancienne définition et en utiliser une nouvelle en fonction des charges factorielles?

J'apprécierais toute réflexion sur celui-ci :)

EDIT: ajout de charges factorielles et corrélations

> fa.res$fa
Factor Analysis using method =  ml
Call: fa.poly(x = fl.omit, nfactors = 7, rotate = "oblimin", fm = "ml") 

Charges factorielles calculées à partir de la matrice de modèle de facteur et de la matrice d'intercorrélation de facteur, seules les valeurs supérieures à 0,2 sont affichées

je suppose que le but de votre analyse est d'obtenir des preuves de la validité de votre balance / instrument. Donc, tout d'abord, votre instrument a été conçu sur la base de 4 constructions hypothétiques, par conséquent, vous devez l'approche à l'aide de l'analyse factorielle confirmatoire (CFA). l'analyse factorielle exploratoire (EPT) est appropriée lorsqu'il n'y a pas de théorie a priori décrivant la relation entre les variables observées (c'est-à-dire les éléments) et les constructions et peut entraîner des facteurs ininterprétables, comme vous le voyez ici.

examinez ensuite les résultats de votre modèle CFA. les diverses statistiques d'ajustement (par exemple, X ^ 2, RMSEA, indices de modification, statistiques de test wald) peuvent vous guider dans le perfectionnement de votre modèle.

si vous préférez une approche plus exploratoire, envisagez également la «recherche en arrière»: Chou CP, Bentler, PM (2002). Modification de modèle dans la modélisation d'équations structurelles en imposant des contraintes, Computational Statistics & Data Analysis, 41, (2), 271-287.

Une situation difficile. Les facteurs 6, 4 et 7 semblent assez bien mesurés, mais pas les autres, et je parie que la cohérence interne sera faible pour les facteurs 1, 3 et 5. Est-il possible d'évaluer la fiabilité par une autre méthode, telle que comme rel. inter-évaluateur? Ou pour évaluer la validité par une autre méthode que la validité de construction par l'analyse factorielle? Même si différentes échelles (ou éléments individuels) sont validées de différentes manières - parfois, vous devez prendre tout ce que vous pouvez.

En tout cas, je pouvais voir utiliser v6 et v17 individuellement. Pourquoi les forcer dans une échelle multi-éléments lorsque les chargements et les corrélations ressemblent à ceci.

Et même compte tenu de ce que j'ai dit ci-dessus à propos de la couverture impliquant la validité, je conviens que vous voulez garder vos prédicteurs de régression éventuels à peu près unidimensionnels - d'autant plus que vous avez un grand nombre de prédicteurs, comme avec les variables multidimensionnelles, les eaux deviendront très, très boueuses . Ceci est particulièrement pertinent car vous semblez adopter beaucoup plus un mode explicatif qu'un mode purement prédictif (vous vous souciez de la causalité).