Complications d'avoir un très petit échantillon dans un modèle d'équation structurelle

J'utilise un modèle d'équation structurelle (SEM) à Amos 18. Je cherchais 100 participants pour mon expérience (utilisée de manière lâche), qui a été jugée probablement insuffisante pour mener à bien une SEM. On m'a dit à plusieurs reprises que SEM (avec EFA, CFA) est une procédure statistique "à large échantillon". Pour faire court, je n'ai pas atteint 100 participants (quelle surprise!), Et je n'en ai que 42 après avoir exclu deux points de données problématiques. Par intérêt, j'ai quand même essayé le modèle, et à ma grande surprise, il semblait très bien s'adapter! CFI> .95, RMSEA <.09, SRMR <.08.

Le modèle n'est pas simple, en fait, je dirais qu'il est relativement complexe. J'ai deux variables latentes, une avec deux observées et l'autre avec 5 variables observées. J'ai également quatre variables supplémentaires observées dans le modèle. Il existe de nombreuses relations entre les variables, indirectes et directes, certaines variables étant endogènes à quatre autres, par exemple.

Je suis un peu nouveau au SEM; cependant, deux personnes que je connais qui connaissent assez bien le SEM me disent que tant que les indices d'ajustement sont bons, les effets sont interprétables (tant qu'ils sont significatifs) et il n'y a rien de vraiment "mauvais" avec le modèle. Je sais que certains indices d'ajustement sont biaisés pour ou contre de petits échantillons en termes de suggestion d'un bon ajustement, mais les trois que j'ai mentionnés plus tôt semblent corrects, et je ne pense pas qu'ils soient également biaisés. Pour tester les effets indirects, j'utilise le bootstrap (environ 2000 échantillons), confiance corrigée de 90%, monte carlo. Une note supplémentaire est que j'exécute trois SEM différents pour trois conditions différentes.

J'ai deux questions que j'aimerais que certains d'entre vous examinent et veuillez répondre si vous avez quelque chose à apporter:

1. Y a-t-il des faiblesses importantes dans mon modèle qui ne sont pas démontrées par les indices d'ajustement? Le petit échantillon sera mis en évidence comme une faiblesse de l'étude, mais je me demande s'il y a un énorme problème statistique auquel je suis complètement inconscient. J'ai l'intention d'obtenir 10 à 20 participants supplémentaires à l'avenir, mais cela me laissera encore un échantillon relativement petit pour de telles analyses.

2. Y a-t-il des problèmes avec mon utilisation du bootstrapping étant donné mon petit échantillon ou le contexte dans lequel je l'utilise?

J'espère que ces questions ne sont pas trop "basiques" pour ce forum. J'ai lu un certain nombre de chapitres sur SEM et des sujets connexes, mais je trouve que les gens sont très dispersés en termes d'opinions dans ce domaine!

À votre santé

Un point: il n'y a pas de "question de base", vous ne savez que ce que vous savez, et non ce que vous ne savez pas. poser une question est souvent le seul moyen de le savoir.

Chaque fois que vous voyez de petits échantillons, vous découvrez qui a vraiment "foi" en ses modèles et qui ne l'a pas. Je dis cela parce que les petits échantillons sont généralement ceux où les modèles ont le plus d'impact.

Étant moi-même un modéliste passionné (psycho?), Je dis: allez-y! Vous semblez adopter une approche prudente, et vous avez reconnu un biais potentiel, etc. en raison du petit échantillon. Une chose à garder à l'esprit lors de l'ajustement des modèles aux petites données est que vous avez 12 variables. Maintenant, vous devriez penser - dans quelle mesure un modèle à 12 variables pourrait-il être déterminé par 42 observations? Si vous aviez 42 variables, alors n'importe quel modèle pourrait être parfaitement adapté à ces 42 observations (en gros), donc votre cas n'est pas trop loin d'être trop flexible. Que se passe-t-il lorsque votre modèle est trop flexible? Il a tendance à s'adapter au bruit - c'est-à-dire aux relations qui sont déterminées par des choses autres que celles que vous supposez.

Vous avez également la possibilité de mettre votre ego là où se trouve votre modèle en prédisant quels seront les futurs échantillons 10-20 de votre modèle. Je me demande comment vos critiques réagiront à un modèle dit "douteux" qui donne les bonnes prédictions. Notez que vous obtiendrez un "Je vous l'avais dit" similaire si votre modèle ne prédit pas bien les données.

Une autre façon de vous assurer que vos résultats sont fiables est d'essayer de les casser. Gardez vos données d'origine intactes, créez un nouvel ensemble de données et voyez ce que vous devez faire pour ce nouvel ensemble de données afin de rendre vos résultats SEM ridicules. Ensuite, regardez ce que vous aviez à faire et réfléchissez: est-ce un scénario raisonnable? Mes données "ridicules" ressemblent-elles à une possibilité réelle? Si vous devez amener vos données sur un territoire ridicule afin de produire des résultats ridicules, cela donne une certaine assurance (heuristique et non formelle) que votre méthode est solide.

Le principal problème que je vois avec cela est le manque de puissance. Le facteur de confirmation et les tests SEM cherchent à accepter la valeur nulle - vous voulez voir une valeur p non significative - donc le manque de puissance peut être un problème. La puissance du test dépend de la taille de l'échantillon (42) et des degrés de liberté. AMOS vous donne les degrés de liberté. Vous ne l'avez pas cité, mais il ne sera pas important dans ce cas. Avec 12 variables, vous commencez avec 66 DF et soustrayez 1 pour chaque paramètre que vous estimez. Je ne sais pas combien cela serait, mais vous dites que vous avez plusieurs facteurs et corrélations entre diverses constructions.

Je ne suis pas entièrement d'accord avec Rolando2. En SEM, vous gagnez en ayant beaucoup de variables, en supposant qu'elles sont des indicateurs fiables des constructions sous-jacentes. Ne réduisez donc pas le nombre de variables. Pour la même raison, je ne suis pas entièrement d'accord avec @probabilityislogic. En SEM, vous n'essayez pas de modéliser 12 variables avec 42 observations. Vous essayez de modéliser les constructions à travers 12 indicateurs, renforcés par 42 répétitions. Un modèle factoriel très simple - 1 facteur avec 12 indicateurs - pourrait éventuellement être testé avec 42 personnes.

La RMSEA et les autres mesures de la qualité de l'ajustement auront tendance à s'améliorer à mesure que vous approchez de la saturation du modèle, donc encore une fois, vous courez le risque d'un résultat trompeur.

Cela étant dit, j'ai vu de petits ensembles de données rejeter un modèle factoriel. Cela signifie probablement quelque chose que l'ajustement semble être bon.

Remarque: Vous pouvez également vérifier les résidus d'un modèle SEM. Ce sont les différences entre la matrice de covariance estimée et la matrice de covariance du modèle. AMOS vous les remettra si vous en faites la demande. L'examen des résidus pourrait indiquer s'ils sont uniformément répartis ou si certaines covariances sont très mal ajustées.