Que faire lorsque CFA adapté à une échelle multi-articles est mauvais?

Je ne sais pas comment procéder avec ce CFA im faire dans la lave. J'ai un échantillon de 172 participants (je sais que ce n'est pas beaucoup pour un CFA) et 28 articles avec des échelles de Likert à 7 points qui devraient se charger sur sept facteurs. J'ai fait un CFA avec des estimateurs «mlm», mais l'ajustement du modèle était vraiment mauvais (χ2 (df = 329) = 739,36; indice d'ajustement comparatif (CFI) = 0,69; résidu quadratique moyen normalisé (SRMR) =. 10; erreur quadratique moyenne d'approximation (RMSEA) =. 09; RMSEA 90% intervalle de confiance (IC) = [.08, .10]).

J'ai essayé ce qui suit:

• modèle bifacteur avec un facteur de méthode générale -> n'a pas convergé.

• estimateurs pour les données ordinales («WLSMV») -> Ajustement du modèle: (χ2 (df = 329) = 462; indice d'ajustement comparatif (CFI) = 0,81; résidu quadratique moyen standardisé (SRMR) = 0,09; erreur quadratique moyenne d'approximation (RMSEA) =. 05; RMSEA 90% intervalle de confiance (IC) = [.04, .06])

• réduire le modèle par des éléments qui se chargent peu d'un facteur et ajoutent des covariances entre des éléments spécifiques -> Ajustement du modèle: χ2 (df = 210) = 295; indice d'ajustement comparatif (CFI) = 0,86; résidu quadratique moyen normalisé (SRMR) = 0,08; erreur quadratique moyenne d'approximation (RMSEA) =. 07; RMSEA 90% intervalle de confiance (IC) = [.06, .08].

Maintenant mes questions:

• Que dois-je faire avec un tel modèle?

• Qu'est-ce qui serait statistiquement correct à faire?

• Signaler qu'il convient ou qu'il ne convient pas? Et lequel de ces modèles?

Je serais heureux d'avoir une discussion avec vous à ce sujet.

Voici la sortie lavaan du CFA du modèle original:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Retournez à l'analyse factorielle exploratoire

Si vous obtenez de très mauvais ajustements CFA, c'est souvent un signe que vous avez sauté trop rapidement vers CFA. Vous devriez revenir à l'analyse factorielle exploratoire pour en savoir plus sur la structure de votre test. Si vous avez un grand échantillon (dans votre cas, vous n'en avez pas), vous pouvez diviser votre échantillon pour avoir un échantillon exploratoire et un échantillon de confirmation.

• Appliquer des procédures d'analyse factorielle exploratoire pour vérifier si le nombre théorisé de facteurs semble raisonnable. Je vérifierais l'intrigue pour voir ce qu'elle suggère. Je vérifierais ensuite la matrice de charge factorielle pivotée avec le nombre théorisé de facteurs ainsi qu'avec un ou deux facteurs de plus et un ou deux de moins. Vous pouvez souvent voir des signes d'extraction insuffisante ou excessive de facteurs en examinant ces matrices de chargement de facteurs.
• Utilisez l'analyse factorielle exploratoire pour identifier les éléments problématiques. En particulier, les articles qui se chargent le plus sur un facteur non théorisé, les articles avec des chargements croisés importants, les articles qui ne se chargent pas fortement sur aucun facteur.

Les avantages de l'EFA sont qu'il donne beaucoup de liberté, vous en apprendrez donc beaucoup plus sur la structure du test que vous en regardant uniquement les indices de modification CFA.

Quoi qu'il en soit, j'espère que ce processus vous a permis d'identifier quelques problèmes et solutions. Par exemple, vous pouvez déposer quelques éléments; vous pouvez mettre à jour votre modèle théorique du nombre de facteurs, etc.

2. Améliorer l'ajustement de l'analyse du facteur de confirmation

Il y a de nombreux points à souligner ici:

Le CFA sur des balances avec de nombreux articles par balance fonctionne souvent mal selon les normes traditionnelles. Cela conduit souvent les gens (et notez que je pense que cette réponse est souvent malheureuse) à former des colis d'articles ou à n'utiliser que trois ou quatre articles par échelle. Le problème est que les structures CFA généralement proposées ne parviennent pas à capturer les petites nuances dans les données (par exemple, petits chargements croisés, éléments d'un test qui sont un peu plus corrélés que d'autres, facteurs de nuisance mineurs). Ceux-ci sont amplifiés avec de nombreux éléments par échelle.

Voici quelques réponses à la situation ci-dessus:

• Faire SEM exploratoire qui permet diverses petites charges croisées et termes connexes
• Examiner les indices de modification et incorporer certaines des plus grandes modifications raisonnables; par exemple, quelques résidus corrélés à l'intérieur de l'échelle; quelques chargements croisés. voir modificationindices(fit)dans lavaan.
• Utilisez le regroupement d'articles pour réduire le nombre de variables observées

Observations générales

Donc, en général, si votre modèle CFA est vraiment mauvais, revenez à EFA pour en savoir plus sur votre échelle. Alternativement, si votre AGE est bon et que votre CFA semble un peu mauvais en raison de problèmes bien connus d'avoir de nombreux articles par échelle, alors les approches CFA standard mentionnées ci-dessus sont appropriées.

Je voudrais essayer de faire converger le modèle bifactor. Essayez d'ajuster les valeurs de départ ... cela peut être une approche louche, alors gardez cela à l'esprit et interprétez avec prudence. Lisez les dangers d'interpréter des modèles qui résistent à la convergence si vous voulez être vraiment prudent - j'avoue que je n'ai pas encore fait grand-chose moi-même dans mon étude de SEM, donc je suggère de faire ce que vous devez faire pour obtenir le modèle convergent principalement à votre avantage. Je ne sais pas s'il sera plus adapté à la publication, mais si ce n'est clairement pas le cas parce que le modèle bifacteur ne convient pas non plus, cela pourrait être bon pour vous de le savoir.

Sinon, il semble que vous en ayez fait autant que possible avec les données dont vous disposez. AFAIK (J'ai étudié en profondeur ces derniers temps un projet méthodologique, alors corrigez-moi si je me trompe !!), L'estimation WLSMV lavaanutilise des seuils de corrélations polychoriques, ce qui est le meilleur moyen d'obtenir un bon ajustement indices sur un CFA de données ordinales. En supposant que vous ayez spécifié votre modèle correctement (ou au moins de manière optimale), c'est à peu près tout ce que vous pouvez faire. Supprimer des articles avec de faibles charges et estimer librement les covariances inter-articles va même un peu loin, mais vous avez essayé aussi.

Votre modèle ne correspond pas bien aux normes conventionnelles, comme vous le savez probablement. Bien sûr, vous ne devriez pas dire que ça va bien quand ce n'est pas le cas. Cela s'applique à tous les ensembles de statistiques d'ajustement que vous signalez ici, malheureusement (je suppose que vous espériez que cela conviendrait). Certaines de vos statistiques d'ajustement ne sont que assez médiocres, pas carrément mauvaises (la RMSEA = .05 est acceptable), mais dans l'ensemble, ce n'est pas une bonne nouvelle, et vous avez la responsabilité d'être honnête à ce sujet si vous allez publier ces résultats. J'espère que vous le pouvez, FWIW.

Dans les deux cas, vous pourriez envisager de collecter plus de données si vous le pouvez; cela pourrait aider, selon ce que vous recherchez. Si votre objectif est un test d'hypothèse de confirmation, eh bien, vous avez "jeté un œil" à vos données et gonflerez votre taux d'erreur si vous les réutilisez dans un échantillon étendu, donc à moins que vous ne puissiez simplement mettre cet ensemble de données de côté et répliquer un tout, frais, plus grand, vous avez un scénario difficile à gérer. Si vous êtes surtout intéressé par l'estimation des paramètres et le rétrécissement des intervalles de confiance, je pense qu'il pourrait être raisonnable de simplement regrouper autant de données que vous pouvez collecter, y compris celles que vous avez déjà utilisées ici. Si vous pouvez obtenir plus de données, vous obtiendrez peut-être de meilleurs indices d'ajustement, ce qui rendrait vos estimations de paramètres plus fiables. J'espère que c'est assez bon.