Comparer les coefficients de régression logistique entre les modèles?

11

J'ai développé un modèle logit à appliquer à six ensembles différents de données transversales. Ce que j'essaie de découvrir, c'est s'il y a des changements dans l'effet substantiel d'une variable indépendante donnée (IV) sur la variable dépendante (DV) contrôlant d'autres explications à différents moments et dans le temps.

Mes questions sont:

Comment est-ce que j'évalue la taille augmentée / diminuée dans l'association entre IV et DV?
Puis-je simplement regarder les différentes magnitudes (tailles) des coefficients à travers les modèles ou dois-je suivre un autre processus?
Si j'ai besoin de faire autre chose, qu'est-ce que cela peut-il être et comment le faire dans SPSS?

De plus, au sein d'un modèle unique,
Puis-je comparer la taille relative des variables indépendantes sur la base de scores non standardisés si tous sont codés 0-1 ou dois-je les convertir en scores standardisés?
Y a-t-il des problèmes liés aux scores normalisés?

logistic spss

— Ejs
source

2

Cet article peut être intéressant, dx.doi.org/10.1093/esr/jcp006 , apparemment comparer les effets entre les modèles logistiques est considérablement plus compliqué que dans le cas OLS!

— Andy W

13

Je me concentrerai principalement sur vos trois premières questions. Les réponses brèves sont: (1) vous devez comparer l'effet du IV sur le DV pour chaque période de temps mais (2) seule la comparaison des amplitudes peut conduire à des conclusions erronées, et (3) il existe de nombreuses façons de le faire, mais aucun consensus sur lequel est correct.

Ci-dessous, je décris pourquoi vous ne pouvez pas simplement comparer les amplitudes des coefficients et vous indique certaines solutions qui ont été envisagées jusqu'à présent.

Selon Allison (1999), contrairement à l'OLS, les coefficients de régression logistique sont affectés par une hétérogénéité non observée même lorsque cette hétérogénéité n'est pas liée à la variable d'intérêt.

Lorsque vous ajustez une régression logistique comme:

(1)

\ln (\frac{1}{1 - p_{i}}) = β_{0} + β_{1} x_{1 i}

$\ln\bigg(\frac{1}{1-p_i}\bigg) = \beta_{0} + \beta_{1}x_{1i}$

Vous ajustez en fait une équation prédisant la valeur d'une variable latente qui représente la propension sous-jacente de chaque observation à prendre la valeur dans la variable dépendante binaire, que se passe-t-il si est au-dessus d'un certain seuil. L'équation pour cela est (Williams, 2009): $y^*$ $1$ $y^*$

(2)

y^{*} = α_{0} + α_{1} x_{1 i} + σ ε

$y^* =\alpha_{0} + \alpha_{1}x_{1i} + \sigma \varepsilon$

Le terme est supposé être indépendant des autres termes et suivre une distribution logistique - ou une distribution normale dans le cas de probit et une distribution log-logistique en cas de log-log complémentaire et une distribution de cauchy dans le cas de cauchit. $\varepsilon$

Selon Williams (2009), les coefficients dans l' équation 2 sont liés aux coefficients dans l' équation 1 par: $\alpha$ $\beta$

(3)

β_{j} = \frac{α_{j}}{σ} j = 1, . . ., J .

$\beta_{j} = \frac{\alpha_{j}}{\sigma}\;\;j=1,...,J.$

Dans les équations 2 et 3, est le facteur d'échelle de la variation non observée, et nous pouvons voir que la taille des coefficients estimés dépend de , ce qui n'est pas observé. Sur cette base, Allison (1999), Williams (2009) et Mood (2009), entre autres, affirment que vous ne pouvez pas naïvement comparer les coefficients entre les modèles logistiques estimés pour différents groupes, pays ou périodes. $\sigma$ $\beta$ $\sigma$

En effet, les comparaisons peuvent produire des conclusions incorrectes si la variation non observée diffère entre les groupes, les pays ou les périodes. Les deux comparaisons utilisant des modèles différents et utilisant des termes d'interaction dans le même modèle souffrent de ce problème. Outre logit, cela s'applique également à ses cousins probit, clog-log, cauchit et, par extension, aux modèles d'aléa temporels discrets estimés à l'aide de ces fonctions de liaison. Les modèles logit commandés en sont également affectés.

Williams (2009) soutient que la solution consiste à modéliser la variation non observée à travers un modèle de choix hétérogène (aka, un modèle à l'échelle de l'emplacement), et fournit un complément Stata appelé oglm pour cela (Williams 2010). Dans R, les modèles de choix hétérogènes peuvent être adaptés à la hetglm()fonction du glmxpackage, qui est disponible via CRAN. Les deux programmes sont très faciles à utiliser. Enfin, Williams (2009) mentionne la PLUMroutine de SPSS pour le montage de ces modèles, mais je ne l'ai jamais utilisée et je ne peux pas commenter sa facilité d'utilisation.

Cependant, il existe au moins un document de travail montrant que les comparaisons utilisant des modèles de choix hétérogènes peuvent être encore plus biaisées si l'équation de variance est mal spécifiée ou s'il y a une erreur de mesure.

Mood (2010) énumère d'autres solutions qui n'impliquent pas la modélisation de la variance, mais utilisent des comparaisons des changements de probabilité prévus.

Apparemment, c'est une question qui n'est pas réglée et je vois souvent des articles dans des conférences de mon domaine (sociologie) qui proposent différentes solutions. Je vous conseillerais de regarder ce que font les gens de votre domaine et de décider ensuite comment y faire face.

Les références

Allison, PD (1999). Comparaison des coefficients Logit et Probit entre les groupes. Sociological Methods & Research, 28 (2), 186–208.
Mood, C. (2010). Régression logistique: pourquoi nous ne pouvons pas faire ce que nous pensons pouvoir faire et ce que nous pouvons faire à ce sujet. Revue sociologique européenne, 26 (1), 67–82.
Williams, R. (2009). Utilisation de modèles de choix hétérogènes pour comparer les coefficients Logit et Probit entre les groupes. Sociological Methods & Research, 37 (4), 531–559.
Williams, R. (2010). Ajustement de modèles de choix hétérogènes avec oglm. The Stata Journal, 10 (4), 540–567.

— Kenji
source

J'essaie d'implémenter la solution Williams (2009) dans R et il semble que les nouvelles versions du paquet glmx n'aient plus la fonction hetprob (). Je voulais juste vérifier si vous connaissiez des alternatives pour cela?

— AliCivil

1

Je n'ai pas utilisé glmx depuis un moment et je ne savais pas qu'il avait changé. Maintenant, il est disponible via CRAN, et la fonction utilisée pour probit hereroskedastic est appelée hetglm (), apparemment. Je mettrai à jour cette réponse pour en tenir compte plus tard (il s'agit de l'heure du coucher ici). J'espère que cela aide pour l'instant.

— Kenji

3

Y a-t-il des changements entre les ensembles de données? Je peux répondre à cela sans voir les données! Oui. Il y a. À quel point sont-ils gros? C'est la clé. Pour moi, la façon de voir est de regarder. Vous aurez des rapports de cotes pour chaque variable indépendante pour chaque ensemble de données - sont-ils différents d'une manière que les gens trouveraient intéressante? Maintenant, il est vrai que chacun aura une erreur standard et ainsi de suite, et il existe probablement des moyens de voir s'ils sont statistiquement significativement différents les uns des autres, mais est-ce vraiment une question intéressante? Si tel est le cas, une façon de le tester facilement avec un logiciel serait de combiner toutes les études et d'inclure «étude» comme autre variable indépendante. Vous pouvez alors même tester les interactions, si vous le souhaitez. La décision de le faire dépend de vos questions de fond.

En ce qui concerne la comparaison des variables au sein d'un modèle, le principal problème des scores standardisés est qu'ils sont standardisés sur votre échantillon particulier. Ainsi, les estimations des paramètres et ainsi de suite sont alors en termes d'écarts types des variables de votre échantillon particulier. Même si votre échantillon est vraiment un échantillon aléatoire d'une population donnée, il aura (légèrement) des écarts-types différents des autres échantillons aléatoires. Cela rend les choses déroutantes.

L'autre problème est ce que signifie même la question de la "taille relative". Si vos IV sont des choses qui sont bien comprises, vous pouvez comparer les OR à travers des plages qui signifient quelque chose.

— Peter Flom - Réintégrer Monica
source

C'est utile, merci Peter. La raison pour laquelle j'ai posé la première question est parce que j'ai vu exactement cela - des comparaisons de coefficients entre les modèles d'un échantillon et des comparaisons entre les modèles de différents échantillons - dans des articles avec comité de lecture. Je ne pensais pas que c'était la bonne approche et, évidemment, j'ai raison. En ce qui concerne les détails techniques, ne puis-je pas simplement estimer un modèle sur les six échantillons et un terme d'interaction entre le prédicteur clé que je veux comparer et une variable spécifiant chaque échantillon (représentant une période différente)? C'est bien ce que vous disiez?

— Ai

Salut @ejs. Vous auriez besoin de coder "échantillon" de la même manière que toute autre variable catégorielle - codage fictif ou codage d'effet ou autre.

— Peter Flom - Réintègre Monica

Concernant les interactions .... oui, elles peuvent être difficiles à interpréter. J'aime une approche graphique pour montrer ce qu'ils signifient.

— Peter Flom - Réintègre Monica

3

Guilherme est sur l'argent ici. Bien que les autres réponses soient utiles, veuillez noter que la régression logistique (et toutes les régressions non linéaires comme Poisson, d'ailleurs) sont fondamentalement différentes de la régression linéaire. Il peut y avoir de graves problèmes avec le facteur d'échelle logit lors de l'exécution de la même analyse sur six ensembles de données différents, puis de l'exécution de cette analyse sur l'ensemble de données combiné. Les changements de coefficients peuvent n'avoir rien à voir avec des différences significatives (même si statistiquement significatives ou substantiellement importantes). Ils pourraient avoir tout à voir avec l'hétérogénéité non observée entre les échantillons. Vous devez absolument tester cela. Beaucoup (sinon la plupart) de chercheurs dans les domaines des sciences sociales et des politiques l'ignorent. Guilherme donne les articles fondamentaux à ce sujet que je recommande à tout le monde de regarder. Les suggestions de Peters sont pratiques, mais le simple codage d'une variable fictive pour l'échantillon dont proviennent les données ne résoudra pas cette hétérogénéité du facteur d'échelle. Vous pouvez le faire en régression linéaire et l'hétérogénéité ne devrait pas affecter vos coefficients, mais ici c'est possible.

Un autre aspect de l'effet de l'hétérogénéité non observée propre à la régression logit vs linéaire est l'effet de différents régresseurs dans chaque ensemble de données. Si vous n'avez pas les mêmes variables, ou probablement si elles sont mesurées différemment, vous avez une forme de biais de variable omis. Contrairement à la régression linéaire, une variable orthogonale omise par rapport à votre régresseur clé peut toujours biaiser votre estimation. Comme le dit Cramer:

Même avec des régresseurs orthogonaux, les variables omises abaissent donc vers zéro, relativement à sa valeur dans l'équation complète. En d'autres termes, le des modèles discrets varie inversement avec l'étendue de l'hétérogénéité non observée. La conséquence pratique est que les estimations d'échantillons qui diffèrent à cet égard ne sont pas directement comparables. ( http://dare.uva.nl/document/2/96199 ) $\hat β$ $\hat β$

Cramer souligne également que si les estimations des coefficients sont biaisées à la baisse lors de l'omission d'une variable, les dérivées partielles ne le sont pas. C'est assez compliqué et vous devriez lire l'article pour une explication plus lucide - le point global est, ne regardez pas exclusivement les log-odds ou odds ratios. Tenez compte des probabilités et des dérivés prévus; voir la commande margins dans Stata pour plus de détails. JD Long a un document qui va ici en détail.

Enfin, il existe un certain nombre d'articles pour lesquels Google peut discuter des termes d'interaction dans les modèles logit. Ma compréhension a été de prendre le coefficient logit d'une interaction comme guide mais non définitif, surtout si vous préférez voir les coefficients comme des rapports de cotes exponentiels. Il est préférable de regarder les probabilités prédites et l'effet marginal moyen (encore une fois, consultez la documentation sur la commande de marge de Stata pour logit, même si vous utilisez SPSS, cela sera toujours utile).

Je ne connais pas suffisamment SPSS pour savoir comment ce package peut résoudre ces problèmes, mais je dirai ceci: lorsque vous abordez des problèmes statistiques plus profonds comme celui-ci, cela indique qu'il est temps pour vous de passer à un autre package flexible et sophistiqué comme Stata ou R.

— robin.datadrivers
source

+1 pour avoir recommandé des effets marginaux et pour avoir recommandé d'emménager dans R.

— Kenji

1

Un autre outil qui peut être utile est le coefficient de régression standardisé, ou au moins une pseudo-version approximative. Vous pouvez obtenir une telle version en multipliant le coefficient obtenu par l'écart type du prédicteur. (Il existe d'autres versions et certains débats sur la meilleure, par exemple, voir Menard 2002, Applied Logistic Regression Analysis ( Google books )). Cela vous donnera un moyen d'évaluer la force de l'effet à travers les études.

— rolando2
source