Est-il judicieux d'utiliser la régression logistique avec un résultat binaire et un prédicteur?

J'ai une variable de résultat binaire {0,1} et une variable prédictive {0,1}. Je pense qu'il n'est pas logique de faire de la logistique à moins que j'inclue d'autres variables et que je calcule le rapport de cotes.

Avec un seul prédicteur binaire, le calcul de la probabilité ne suffirait-il pas par rapport au rapport de cotes?

Dans ce cas, vous pouvez réduire vos données pour où est le nombre d'instances pour et avec . Supposons qu'il y ait globalement observations. Sijx=iy=ji,j∈{0,1}

$$\begin{array}{c|cc} X \backslash Y & 0 & 1 \\ \hline 0 & S_{00} & S_{01} \\ 1 & S_{10} & S_{11} \end{array}$$ $S_{ij}$$x = i$$y =j$$i,j \in \{0,1\}$$n$

Si nous ajustons le modèle (où est notre fonction de lien), nous ' ll trouvera que est le logit de la proportion de succès quand et est le logit de la proportion de succès quand . En d'autres termes, et g β 0 x i = 0 β 0 + β 1 x i = 1 β 0 = g ( S $p_i = g^{-1}(x_i^T \beta) = g^{-1}(\beta_0 + \beta_1 1_{x_i = 1})$$g$$\hat \beta_0$$x_i = 0$$\hat \beta_0 + \hat \beta_1$$x_i = 1$ β 0+ β 1=g(S

$$\hat \beta_0 = g\left(\frac{S_{01}}{S_{00} + S_{01}}\right)$$ $$\hat \beta_0 + \hat \beta_1 = g\left(\frac{S_{11}}{S_{10} + S_{11}}\right).$$

Vérifions que c'est R.

n <- 54
set.seed(123)
x <- rbinom(n, 1, .4)
y <- rbinom(n, 1, .6)

tbl <- table(x=x,y=y)

mod <- glm(y ~ x, family=binomial())

# all the same at 0.5757576
binomial()$linkinv( mod$coef[1])
mean(y[x == 0])
tbl[1,2] / sum(tbl[1,])

# all the same at 0.5714286
binomial()$linkinv( mod$coef[1] + mod$coef[2])
mean(y[x == 1])
tbl[2,2] / sum(tbl[2,])

Les coefficients de régression logistique sont donc exactement des transformations de proportions provenant du tableau.

Le résultat est que nous pouvons certainement analyser cet ensemble de données avec une régression logistique si nous avons des données provenant d'une série de variables aléatoires de Bernoulli, mais cela ne diffère pas de l'analyse directe du tableau de contingence résultant.

---

Je veux expliquer pourquoi cela fonctionne d'un point de vue théorique. Lorsque nous ajustons une régression logistique, nous utilisons le modèle que . Nous décidons ensuite de modéliser la moyenne comme une transformation d'un prédicteur linéaire en , ou en symboles . Dans notre cas, nous n'avons que deux valeurs uniques de , et donc il n'y a que deux valeurs uniques de , disons et . En raison de notre hypothèse d'indépendance, nous avons et $Y_i | x_i \stackrel{\perp}{\sim} \text{Bern}(p_i)$$x_i$$p_i = g^{-1}\left( \beta_0 + \beta_1 x_i\right)$$x_i$$p_i$$p_0$$p_1$

$$\sum \limits_{i : x_i = 0} Y_i = S_{01} \sim \text{Bin} \left(n_0, p_0\right)$$ $$\sum \limits_{i : x_i = 1} Y_i = S_{11} \sim \text{Bin} \left(n_1, p_1\right).$$ Notez comment nous utilisons le fait que les , et à leur tour et , ne sont pas aléatoires: si ce n'était pas le cas, ceux-ci ne seraient pas nécessairement binomiaux.$x_i$$n_0$$n_1$

Cela signifie que

$$S_{01} / n_0 = \frac{S_{01}}{S_{00} + S_{01}} \to_p p_0 \hspace{2mm} \text{ and } \hspace{2mm} S_{11} / n_1 = \frac{S_{11}}{S_{10} + S_{11}} \to_p p_1.$$

L'aperçu clé ici: nos VR Bernoulli sont tandis que nos VR binomiaux sont , mais les deux ont la même probabilité de succès. C'est la raison pour laquelle ces proportions du tableau de contingence estiment la même chose qu'une régression logistique au niveau de l'observation. Ce n'est pas seulement une coïncidence avec le tableau: c'est une conséquence directe des hypothèses de distribution que nous avons faites.$Y_i | x_i = j \sim \text{Bern}(p_j)$$S_{j1} \sim \text{Bin}(n_j, p_j)$

Lorsque vous avez plusieurs prédicteurs et que tous les prédicteurs sont des variables binaires, vous pouvez ajuster un modèle à l'aide de la régression logique [1] (notez que c'est "Logique" et non "Logistique"). C'est utile lorsque vous pensez que les effets d'interaction entre vos prédicteurs sont importants. Il y a une implémentation dans R ( LogicRegpackage).

[1] Ruczinski, I., Kooperberg, C., et LeBlanc, M. (2003). Régression logique. Journal of Computational and graphical Statistics, 12 (3), 475-511.