Alternatives au modèle logit multinomial

J'essaie d'estimer un modèle de choix professionnel avec trois choix. Existe-t-il des alternatives à l'utilisation de la régression logistique multinomiale lors de la gestion de ces résultats catégoriels non ordonnés?

Lorsqu'il s'agit de variables dépendantes binaires, il semble y avoir plusieurs choix tels que le modèle LPM ainsi que le modèle probit binaire et le modèle logit. Lorsqu'elle traite de variables catégorielles non ordonnées, la littérature continue cependant de recommander le modèle logit multinomial sans le comparer à des alternatives.

— Thor
source

Demandez-vous simplement s'il existe des fonctions de liaison alternatives (autres que le logit) disponibles pour le cas multinomial? Ou vous posez des questions sur différents types de modèles (comme les modèles de chariot )? Ou peut-être autre chose? (Remarque, si c'est le premier, cela pourrait vous aider à lire ma réponse ici: modèles de différence entre logit et probit , pour des informations générales sur ce problème, bien qu'il ait été écrit dans un contexte légèrement différent.)

— gung - Réintégrer Monica

Merci beaucoup pour le commentaire. Je vais certainement lire le lien. Je me demande principalement s'il existe des alternatives qui utilisent la régression linéaire ordinaire (OLS) pour gérer les résultats catégoriels non ordonnés. Connaissez-vous de telles alternatives? En ce qui concerne les résultats binaires, il semble y avoir toute une discussion sur l'utilisation des modèles OLS ou logit / probit binaires.

— Thor

En première approximation, OLS ne doit jamais être utilisé pour les résultats binaires. Je suis sûr qu'il existe, ou pourrait exister, des algorithmes de régression multinomiaux qui utilisent des fonctions de liaison alternatives, mais je ne sais pas si un logiciel majeur les prend en charge.

— gung - Réintégrer Monica

Je ne sais pas ce que vous entendez par première approximation (désolé, je suis novice). Mais il semble que certains économétriciens éminents soutiennent que l'utilisation d'un modèle LPM fonctionne ainsi que le modèle logit pour estimer les résultats binaires. Au moins Angrist et Pischke le font dans leur livre «Economies inoffensives pour la plupart» (2009). Avez-vous une astuce sur où je peux lire sur ces fonctions de lien alternatives? Encore une fois, merci pour vos commentaires!

— Thor

"En première approximation ... jamais ..." signifie que 99% du temps, vous ne devez pas utiliser OLS avec un résultat binaire. Je suis conscient qu'il y a des cas où cela fait moins de différence et que certaines personnes ne sont pas d'accord avec les conseils standard - c'est pourquoi je n'ai pas simplement dit «jamais» sans les haies. Malheureusement, je ne connais pas de bon endroit pour lire sur l'utilisation de fonctions de lien alternatives avec régression multinomiale.

— gung - Réintégrer Monica

Réponses:

Il existe une variété de modèles disponibles pour modéliser des modèles multinomiaux.

Je recommande Cameron & Trivedi Microeconometrics Using Stata pour une introduction facile et excellente ou jetez un œil aux diapositives de la conférence Imbens & Wooldridge ou ici qui sont disponibles en ligne.

Les modèles largement utilisés comprennent:

régression logistique multinomiale ou mlogit dans Stata

logit conditionnel multinomial (permet d'inclure facilement non seulement des prédicteurs spécifiques à l'individu mais aussi au choix) ou un asclogit dans Stata

logit imbriqué (assouplissez l' indépendance vis-à-vis des hypothèses alternatives non pertinentes (IIA) en regroupant / classant les choix de manière hiérarchique) ou nlogit dans Stata

Logit mixte (assouplit l'hypothèse IIA en supposant, par exemple, des paramètres distribués normaux) ou Mixlogit dans Stata.

modèle probit multinomial (peut assouplir davantage l'hypothèse IIA mais vous devriez avoir des prédicteurs spécifiques à choix disponibles) logit mixte (assouplit l'hypothèse IIA en supposant par exemple des paramètres normaux distribués), l' utilisation asmprobit dans Stata (mprobit ne permet pas d'utiliser des prédicteurs spécifiques au choix mais vous devez les utiliser pour assouplir l’assomption IIA )

— Arne Jonas Warnke
source

puis-je demander pourquoi le logit mixte détend IIA? il me semble logit mixte est juste logit bayésien dans lequel la distribution postérieure de

β

$\beta$ est un mélange (nombre de modes == nombre d'individus)

— ElleryL

Oui bien sûr, merci, voir Wikipedia pour une explication: https://en.wikipedia.org/wiki/Mixed_logit

— Arne Jonas Warnke

Si vous voulez des options très différentes d'une régression logistique, vous pouvez utiliser un réseau neuronal. Par exemple, le nnetpackage de R a une multinomfonction. Ou vous pouvez utiliser une forêt aléatoire ( randomForestpackage R , et autres). Et il existe plusieurs autres alternatives de Machine Learning, bien que les options comme un SVM aient tendance à ne pas être bien calibrées, ce qui rend leurs sorties inférieures - à mon avis - à une régression logistique.

[En fait, un logit est probablement utilisé sous le capot par les neurones du réseau neuronal. C'est donc assez différent, mais pas tout à fait différent en même temps.]

— Wayne
source

+1. Juste pour développer quelques points ... Les SVM peuvent être calibrés après la formation pour produire de bonnes probabilités (par exemple en utilisant une échelle de Platt ou une régression isotonique, au prix d'une étape supplémentaire). Les réseaux neuronaux avec des sorties softmax (et tout type de fonction d'activation non linéaire dans les couches cachées) peuvent être considérés comme apprenant simultanément une cartographie non linéaire dans un espace caractéristique et effectuant une régression logistique multinomiale dans cet espace caractéristique.

— user20160

@Wayne; Je me demande que puisque le logit multinomial nécessite l'hypothèse IIA; mais sur le réseau neuronal avec activation softmax? Exige-t-il également la même hypothèse?

— ElleryL

En outre, pensez que les réseaux neuronaux (avec activation softmax), les arbres de décision (ou les forêts aléatoires) ne nécessitent pas que l'hypothèse IIA soit satisfaite compte tenu du manque de fiabilité de ces tests concernant la vérification de l'hypothèse IIA. Cela pourrait donc être un avantage par rapport à la logistique multinomiale si nous ne sommes concernés que par des prédictions.

Alternativement, plusieurs modèles logistiques peuvent être construits pour les catégories K-1 avec la Kème catégorie comme référence. Cela permet également de brancher différents prédicteurs pour chacune des équations contrairement au multinomial

— SrikanthRaja
source

Il s'agit plutôt d'un commentaire que d'une réponse. Nous pouvons soit convertir votre réponse dans un commentaire, soit étendre votre réponse.

— Ferdi

pourriez-vous expliquer pourquoi les réseaux neuronaux (avec activation softmax) ne nécessitent pas l'hypothèse IIA. selon cela, en.wikipedia.org/wiki/Luce%27s_choice_axiom Je pense que les réseaux neuronaux (avec activation softmax) ont la même restriction

— ElleryL