Biais variable omis dans la régression logistique vs biais variable omis dans la régression des moindres carrés ordinaires

J'ai une question sur le biais variable omis dans la régression logistique et linéaire.

Supposons que j'omet certaines variables d'un modèle de régression linéaire. Imaginez que ces variables omises ne sont pas corrélées avec les variables que j'ai incluses dans mon modèle. Ces variables omises ne biaisent pas les coefficients de mon modèle.

Mais dans la régression logistique, je viens d'apprendre que ce n'est pas vrai. Les variables omises biaiseront les coefficients des variables incluses même si les variables omises ne sont pas corrélées avec les variables incluses. J'ai trouvé un article sur ce sujet, mais je ne peux pas en faire la tête ni la queue.

Voici le document et quelques diapositives PowerPoint.

Apparemment, le biais est toujours vers zéro. Quelqu'un peut-il expliquer comment cela fonctionne?

— ConfusedEconometricsUndergrad
source

Connaissez-vous la façon dont le modèle de régression logistique émerge d'un modèle de régression linéaire "variable latente" sous-jacent?

— Alecos Papadopoulos

@AlecosPapadopoulos Je ne le suis pas pour ma part. Quel est le plat?

— Alexis

Il y a d'autres articles qui en discutent, mais celui auquel vous avez lié est le plus simple que je connaisse. Je ne pense donc pas pouvoir l'améliorer.

— Maarten Buis

Cher M. Papadopoulos: J'ai lu sur l'idée de variable latente. Pourquoi demandez-vous?

— ConfusedEconometricsUndergrad

@ Alexis Voir par exemple ce post, stats.stackexchange.com/questions/80611/… , et l'article wikipedia, en.wikipedia.org/wiki/… . Cette approche précise également que c'est l'hypothèse que nous faisons sur le terme d'erreur du modèle sous-jacent qui détermine le modèle que nous obtiendrons au niveau des probabilités. Pour un autre exemple, si nous supposons que l'erreur sous-jacente suit un uniforme, nous obtenons le modèle de probabilité linéaire, voir, stats.stackexchange.com/questions/81789

— Alecos Papadopoulos

Le cas du «biais d'atténuation» peut être présenté plus clairement si nous examinons le modèle «probit» - mais le résultat est également reporté à la régression logistique.

Sous les modèles de probabilité conditionnelle (modèles logistiques (logit), "probit" et "probabilité linéaire"), nous pouvons postuler un modèle de régression linéaire latente (non observable):

y^{*} = X β + u

$y^* = X\beta + u$

où $y^*$ est une variable continue non observable (et est la matrice de régresseur). Le terme d'erreur est supposé être indépendant des régresseurs, et suivre une distribution qui a une densité symétrique autour de zéro , et dans notre cas, la distribution normale standard . $X$ $F_U(u)= \Phi(u)$

Nous supposons que ce que nous observons, c'est-à-dire la variable binaire , est une fonction indicatrice de l'inobservable : $y$ $y^*$

y = 1 si y^{*} > 0, y = 0 si y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

$y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

la dernière égalité due à la propriété "réfléchissante" de la fonction de distribution cumulative standard, qui provient de la symétrie de la fonction de densité autour de zéro. Notez que bien que nous ayons supposé que $u$ $X$ $X$ $X\beta$

Si nous supposons que $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

$X_2$ $X_1$

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

en raison de la fermeture-sous-addition de la distribution normale (et de l'hypothèse d'indépendance). Appliquant la même logique qu'auparavant, nous avons ici

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

$\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

$(1)$ $(2)$

$b_1$ va converger, car il reste un estimateur cohérent, dans le sens où il convergera vers la quantité théorique qui existe réellement dans le modèle (et bien sûr, pas dans le sens où il trouvera de toute façon la "vérité"):

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

qui est le résultat du "biais vers zéro".

$\epsilon$ . La distribution logistique n'est pas fermée en cours d'ajout. Cela signifie que si nous omettons une variable pertinente dans la régression logistique, nous créons également des erreurs de distribution, car le terme d'erreur (qui inclut désormais la variable omise) ne suit plus une distribution logistique. Mais cela ne change pas le résultat du biais (voir la note de bas de page 6 du document lié par le PO).

— Alecos Papadopoulos
source