Comparaison de l'importance de différents ensembles de prédicteurs

13

Je conseillais un étudiant-chercheur ayant un problème particulier et je souhaitais obtenir l'avis des autres sur ce site.

Le contexte:

Le chercheur avait trois types de variables prédictives. Chaque type contenait un nombre différent de variables prédictives. Chaque prédicteur était une variable continue:

Social: S1, S2, S3, S4 (c.-à-d. Quatre prédicteurs)
Cognitif: C1, C2 (c.-à-d. Deux prédicteurs)
Comportemental: B1, B2, B3 (c.-à-d. Trois prédicteurs)

La variable de résultat était également continue. L'échantillon comprenait environ 60 participants.

Le chercheur a voulu commenter le type de prédicteurs les plus importants pour expliquer la variable de résultat. Cela était lié à des préoccupations théoriques plus larges concernant l'importance relative de ces types de prédicteurs.

Des questions

Quelle est la bonne façon d'évaluer l'importance relative d'un ensemble de prédicteurs par rapport à un autre ensemble?
Quelle est une bonne stratégie pour gérer le fait qu'il existe différents nombres de prédicteurs dans chaque ensemble?
Quelles mises en garde d'interprétation pourriez-vous suggérer?

Toute référence à des exemples ou discussion de techniques serait également la bienvenue.

regression predictor importance

— Jeromy Anglim
source

7

Supposons que le premier ensemble de prédicteurs nécessite un degré de liberté (a 4 permettant des termes non linéaires), le deuxième ensemble nécessite b et le troisième nécessite c (c 3) permettant des termes non linéaires. Calculer le rapport du rapport de vraisemblance pour les effets partiels combinés de chaque ensemble, donnant . La valeur attendue d'une variable aléatoire avec d degrés de liberté est d, donc soustrayez d pour égaliser les chances. C'est-à-dire, calculer $\geq$ $\geq$ $\chi^2$ $L_{1}, L_{2}, L_{3}$ $\chi^2$ échelle . $L_{1}-a, L_{2}-b, L_{3}-c$ . Si vous utilisez des tests F, multipliez F par son numérateur df pour obtenir le $\chi^2$

— Frank Harrell
source

Pour confirmer, votre approche est de calculer L1 comme la réduction de la déviance (-2 *) résultant de l'inclusion des quatre variables sociales, ajustée par le df de ces quatre variables? Et de même pour L2 et L3?

— B_Miner

Je n'ai pas utilisé la meilleure notation. Je veux dire la statistique du rapport de vraisemblance

, qui est la variation de la probabilité de -2 log lors de la suppression de l'ensemble des variables testées.

χ^{2}

$\chi^2$

— Frank Harrell

Accepteriez-vous également qu'il existe un risque, en concevant une solution purement statistique, de passer à côté d'un éventuel problème global selon lequel les 3 groupes de prédicteurs pourraient mesurer des caractéristiques / comportements se produisant en même temps. Sans une sorte de base causale plus ancienne pour une chaîne causale, pourrait-il être impossible de démêler définitivement les relations causales dans cette situation - quels que soient nos calculs? (J'essaie de penser comme James Davis dans The Logic of Causal Order.)

— rolando2

Pour sûr. La chaîne causale doit être comprise avant même que la modélisation ne commence.

— Frank Harrell

@FrankHarrell Ces résultats s'appliquent-ils également à la probabilité pénalisée? La probabilité pénalisée a-t-elle des propriétés qui la différencient de la probabilité en ce qui concerne cette mesure d'importance variable? Pourriez-vous suggérer des articles qui décrivent cela plus en détail? Merci.

— julieth

7

Suggestions

Vous pouvez effectuer des régressions multiples individuelles pour chaque type de prédicteur et comparer entre plusieurs régressions, le carré r ajusté, le carré r généralisé ou une autre mesure de variance ajustée parcimonieuse expliquée.
Vous pouvez également explorer la littérature générale sur l' importance variable ( voir ici pour une discussion avec des liens ). Cela encouragerait à se concentrer sur l'importance des prédicteurs individuels.
Dans certaines situations régression hiérarchique peut fournir un cadre utile. Vous devez entrer un type de variable dans un bloc (par exemple, les variables cognitives) et dans le deuxième bloc un autre type (par exemple, les variables sociales). Cela aiderait à répondre à la question de savoir si un type de variable prédit au-delà d'un autre type.
En tant qu'examen parallèle, vous pouvez exécuter une analyse factorielle sur les variables de prédicteur pour déterminer si les corrélations entre les variables de prédicteur correspondent à l'affectation de variables aux types.

Avertissements

Les types de variables telles que cognitives, sociales et comportementales sont de larges classes de variables. Une étude donnée ne comprendra toujours qu'un sous-ensemble des variables possibles, et généralement un tel sous-ensemble est petit par rapport aux variables possibles. De plus, les variables mesurées ne sont peut-être pas le moyen le plus fiable ou le plus valide de mesurer la construction prévue. Ainsi, vous devez être prudent lorsque vous faites l'inférence plus large sur l'importance relative d'un type donné de variable au-delà de ce qui a été réellement mesuré.
Vous devez également tenir compte de tout biais dans la façon dont la variable dépendante a été mesurée. En particulier dans les études psychologiques, les mesures d'auto-évaluation ont tendance à bien corréler avec l'auto-évaluation, la capacité avec la capacité, l'autre rapport avec un autre rapport, etc. Le problème est que le mode de mesure a un effet important au-delà de la construction réelle qui nous intéresse. Ainsi, si la variable dépendante est mesurée d'une manière particulière (par exemple, l'auto-évaluation), alors ne surinterprétez pas les corrélations plus importantes avec un type de prédicteur si ce type utilise également l'auto-évaluation.

— Jeromy Anglim
source

J'ai aimé lire cette réponse claire et utile et je vais la partager avec un collègue.

— rolando2

6

Importance

La première chose à faire est de rendre opérationnelle «l'importance des prédicteurs». Je suppose que cela signifie quelque chose comme «la sensibilité du résultat moyen aux changements de valeurs des prédicteurs». Étant donné que vos prédicteurs sont regroupés, la sensibilité du résultat moyen à des groupes de prédicteurs est plus intéressante qu'une analyse variable par variable. Je laisse ouverte si la sensibilité est comprise de façon causale. Ce problème est repris plus tard.

Trois version d'importance

Beaucoup de variance expliquée : Je suppose que le premier port d'escale des psychologues est probablement une décomposition de variance conduisant à une mesure de la variance des résultats expliquée par la structure variance-covarance dans chaque groupe de prédicteurs. N'étant pas expérimentaliste, je ne peux pas suggérer grand-chose ici, sauf pour noter que tout le concept de `` variance expliquée '' est un peu sans fondement à mon goût, même sans le problème `` quelle somme de quels carrés ''. D'autres sont invités à ne pas être d'accord et à le développer.

Grands coefficients standardisés : SPSS propose la version bêta (mal nommée) pour mesurer l'impact d'une manière comparable d'une variable à l'autre. Il y a plusieurs raisons de ne pas l'utiliser, discutées dans le manuel de régression de Fox, ici et ailleurs. Tous s'appliquent ici. Il ignore également la structure du groupe.

D'un autre côté, j'imagine que l'on pourrait standardiser les prédicteurs dans les groupes et utiliser les informations de covariance pour juger de l'effet d'un mouvement d'écart type sur chacun d'eux. Personnellement, la devise: "si une chose ne vaut pas la peine d'être faite, ça ne vaut pas la peine de bien le faire" atténue mon intérêt à le faire.

Grands effets marginaux : L'autre approche consiste à rester à l'échelle des mesures et à calculer les effets marginaux entre des points d'échantillonnage soigneusement choisis. Parce que vous êtes intéressé par les groupes, il est utile de choisir des points pour faire varier les groupes de variables plutôt que les seuls, par exemple en manipulant les deux variables cognitives à la fois. (Beaucoup d'opportunités pour des parcelles cool ici). Papier de base ici . Le effectspackage en R le fera très bien.

Il y a deux mises en garde ici:

Si vous faites cela, vous voudrez faire attention à ne pas choisir deux variables cognitives qui, bien que individuellement plausibles, par exemple les médianes, sont conjointement loin de toute observation de sujet.
Certaines variables ne sont même pas théoriquement manipulables, de sorte que l'interprétation des effets marginaux comme causaux est plus délicate, bien que toujours utile.

Différents prédicteurs

Des problèmes surviennent en raison de la structure de covariance des variables groupées, que nous essayons normalement de ne pas craindre mais pour cette tâche.

En particulier lors du calcul des effets marginaux (ou des coefficients standardisés d'ailleurs) sur des groupes plutôt que sur des variables uniques, la malédiction de la dimensionnalité pour les grands groupes facilitera les comparaisons dans les régions où il n'y a pas de cas. Plus de prédicteurs dans un groupe conduisent à un espace plus peu peuplé, donc toute mesure d'importance dépendra plus des hypothèses du modèle et moins des observations (mais ne vous le dira pas ...) Mais ce sont les mêmes problèmes que dans la phase d'ajustement du modèle vraiment. Certainement les mêmes que ceux qui se poseraient dans une évaluation d'impact causal basée sur un modèle.

— conjugateprior
source

2

Une méthode consiste à combiner les ensembles de variables en variables de faisceau. Cette méthode a été largement utilisée en sociologie et dans des domaines connexes.

Réfs:

Whitt, Hugh P. 1986. "The Sheaf Coefficient: A Simplified and Expanded Approach". Recherche en sciences sociales 15: 174-189.

— GaryMarks
source