Existe-t-il des hypothèses particulières concernant les erreurs de régression logistique telles que la variance constante des termes d'erreur et la normalité des résidus?
En règle générale, lorsque vous avez des points dont la distance du cuisinier est supérieure à 4 / n, les supprimez-vous? Si vous les supprimez, comment savoir si le modèle avec les points supprimés est meilleur?
Réponses:
Je ne sais pas si je peux vous donner une réponse complète, mais je peux vous donner quelques réflexions qui pourraient être utiles. Premièrement, tous les modèles / tests statistiques ont des hypothèses. Cependant, la régression logistique ne suppose pas beaucoup que les résidus soient normalement distribués ni que la variance est constante. On suppose plutôt que les données sont distribuées sous la forme d'un binôme, , c'est-à-dire avec un nombre d'essais de Bernoulli égal au nombre d'observations à cet ensemble exact de valeurs de covariable et avec le probabilité associée à cet ensemble de valeurs de covariable. Rappelez-vous que la variance d'un binôme est n p ( . Ainsi, si les n varient à différents niveaux de la covariable, les variances le seront également. De plus, si l'une des covariables est liée à la variable de réponse, les probabilités varieront, et donc les variances aussi. Ce sont des faits importants sur la régression logistique.
s et les distributions jackknifed, car vous avez sélectionné ces données à exclure en raison du fait qu'elles semblent extrêmes.
1) Existe-t-il des hypothèses particulières concernant les erreurs de régression logistique telles que la variance constante des termes d'erreur et la normalité des résidus?
Les modèles de régression logistique ne comportent pas d '"erreurs" au sens traditionnel. Il est à la fois contre-intuitif et méthodologiquement incohérent. Les sorties du modèle sont des probabilités ou des risques ajustés tandis que les résultats observés sont des indicateurs d'événement 0/1. Méthodologiquement, vous auriez tendance à sous-estimer les domaines de probabilités ajustées très élevées ou très faibles (contribuant très peu à la distance résiduelle) alors que l'algorithme d'ajustement du modèle accorde une importance considérablement plus élevée à ces régions. La distance au carré est généralement une mauvaise façon d'étalonner un modèle de régression logistique.
Un autre test de qualité de l'ajustement est le test de Hosmer-Lemeshow, dans lequel les valeurs ajustées sont utilisées pour créer des partitions combinées basées sur des déciles de risque ajusté. Vous pouvez lire ce test dans Alan Agresti's Categorical Data Analysis ou dans le livre Logistic Regression de Hosmer et Lemeshow. Un autre processus consiste à utiliser les résidus Studentized où la relation de variance moyenne est utilisée pour repondérer les résidus par leur variance inverse ajustée . Pour la régression logistique, c'est
2) En règle générale, lorsque vous avez des points dont la distance du cuisinier est supérieure à 4 / n, les supprimez-vous? Si vous les supprimez, comment savoir si le modèle avec les points supprimés est meilleur?
Je ne supprime jamais de points sur la base d'analyses de sensibilité. Si je fais un échantillon aléatoire de 100 personnes et que leur revenu et 1 personne se trouve être un milliardaire, alors mon hypothèse la plus sûre est que ce milliardaire représente 1 / 100e de la population.
Je suis d'accord avec le commentaire d'AdamO ci-dessus en général - en supposant que 1 milliardaire représente 1 / 100e de la population est tout à fait bien. Cependant, si la présence du milliardaire fausse tellement les données que la prédiction pour les 99 autres personnes est affectée, je supprimerais le milliardaire. Je préfère avoir tort de prédire une valeur aberrante que tout le monde.
Cela dit, si vous supprimez des points de données en utilisant les valeurs D de Cook (c.-à-d., Tout ce qui est> 4 / df), vous pouvez utiliser l'aire sous les courbes ROC pour les deux modèles pour vérifier l'amélioration.