Calcul des intervalles de confiance pour une régression logistique

J'utilise une régression logistique binomiale pour identifier si l'exposition à has_xou has_yaffecte la probabilité qu'un utilisateur clique sur quelque chose. Mon modèle est le suivant:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

Voici la sortie de mon modèle:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

Comme chaque coefficient est significatif, en utilisant ce modèle, je peux dire quelle est la valeur de l'une de ces combinaisons en utilisant l'approche suivante:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

Je ne comprends pas comment je peux faire rapport sur le Std. Erreur de prédiction.

1. Dois-je simplement utiliser $1.96*SE$ ? Ou dois-je convertir le $SE$ utilisant une approche décrite ici ?

2. Si je veux comprendre l'erreur standard pour les deux variables, comment puis-je considérer cela?

Contrairement à cette question , je suis intéressé à comprendre quelles sont les limites supérieure et inférieure de l'erreur en pourcentage. Par exemple, ma prédiction montre une valeur de 37% car True,Truepuis-je calculer que c'est pour un 95 % C I ? (0,3% choisi pour illustrer mon propos)$+/- 0.3%$$95\% CI$

Votre question peut provenir du fait que vous traitez avec les rapports de cotes et les probabilités, ce qui prête à confusion au début. Puisque le modèle logistique est une transformation non linéaire de calculant les intervalles de confiance ne sont pas aussi simples.$\beta^Tx$

Contexte

Rappelons que pour le modèle de régression logistique

• Probabilité de : p = e α + β 1 x 1 + β 2 x $(Y = 1)$$p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$

• Chances de : ( $(Y = 1)$$\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$

• Log Odds of : log ( $(Y = 1)$$\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

Considérons le cas où vous avez une augmentation d'une unité dans la variable , c'est-à-dire x 1 + 1 , alors les nouvelles cotes sont$x_1$$x_1 + 1$

$$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$$

• Les rapports de cotes (OR) sont donc

$$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$$

• Log Odds Ratio = $\beta_1$

• Risque relatif ou (rapport de probabilité) = $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

Interprétation des coefficients

Comment interpréteriez-vous la valeur du coefficient $\beta_j$ ? En supposant que tout le reste reste fixe:

• Pour chaque augmentation unitaire de le log-odds ratio augmente de β $x_j$$\beta_j$ .
• Pour chaque augmentation unitaire de le rapport de cotes augmente de e β $x_j$$e^{\beta_j}$ .
• Pour chaque augmentation de de k à k + Δ, le rapport de cotes augmente de e β j$x_j$$k$$k + \Delta$$e^{\beta_j \Delta}$
• Si le coefficient est négatif, une augmentation de entraîne une diminution du rapport de cotes.$x_j$

Intervalles de confiance pour un seul paramètre $\beta_j$

Dois-je simplement utiliser ? Ou dois-je convertir le SE en utilisant une approche décrite ici?$1.96∗SE$

Étant donné que le paramètre est estimé à l'aide de l'estimation du maximum de vraisemblance, la théorie MLE nous dit qu'il est asymptotiquement normal et que nous pouvons donc utiliser l' intervalle de confiance Wald à grand échantillon pour obtenir l'habituel$\beta_j$

$$\beta_j \pm z^* SE(\beta_j)$$

Ce qui donne un intervalle de confiance sur le log-odds ratio. L'utilisation de la propriété d'invariance du MLE permet d'exponentier pour obtenir

$$e^{\beta_j \pm z^* SE(\beta_j)}$$

qui est un intervalle de confiance sur le rapport de cotes. Notez que ces intervalles ne concernent qu'un seul paramètre.

Si je veux comprendre l'erreur standard pour les deux variables, comment puis-je considérer cela?

Si vous incluez plusieurs paramètres, vous pouvez utiliser la procédure de Bonferroni, sinon pour tous les paramètres, vous pouvez utiliser l'intervalle de confiance pour les estimations de probabilité

Procédure de Bonferroni pour plusieurs paramètres

$g$$1 - \alpha$

$$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$$

Intervalles de confiance pour les estimations de probabilité

The logistic model outputs an estimation of the probability of observing a one and we aim to construct a frequentist interval around the true probability $p$ such that $Pr(p_{L} \leq p \leq p_{U}) = .95$

One approach called endpoint transformation does the following:

• Compute the upper and lower bounds of the confidence interval for the linear combination $x^T\beta$ (using the Wald CI)
• Apply a monotonic transformation to the endpoints $F(x^T\beta)$ to obtain the probabilities.

Since $Pr(x^T\beta) = F(x^T\beta)$ is a monotonic transformation of $x^T\beta$

$$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$$

Concretely this means computing $\beta^Tx \pm z^* SE(\beta^Tx)$ and then applying the logit transform to the result to get the lower and upper bounds:

$$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$$

The estimated approximate variance of $x^T\beta$ can be calculated using the covariance matrix of the regression coefficients using

$$Var(x^T\beta) = x^T \Sigma x$$

The advantage of this method is that the bounds cannot be outside the range $(0,1)$

There are several other approaches as well, using the delta method, bootstrapping etc.. which each have their own assumptions, advantages and limits.

---

Sources and info

My favorite book on this topic is "Applied Linear Statistical Models" by Kutner, Neter, Li, Chapter 14

Otherwise here are a few online sources:

• https://mheaton.byu.edu/Courses/Stat330/InClassAnalyses/8%20-%20Tennis/LectureNotes/LogisticRegression.pdf
• Plotting confidence intervals for the predicted probabilities from a logistic regression
• /programming/47414842/confidence-interval-of-probability-prediction-from-logistic-regression-statsmode
• http://www.indiana.edu/~jslsoc/stata/ci_computations/xulong-prvalue-23aug2005.pdf
• http://courses.education.illinois.edu/EdPsy589/lectures/5logreg_beamer-online.pdf

To get the 95% confidence interval of the prediction you can calculate on the logit scale and then convert those back to the probability scale 0-1. Here is an example using the titanic dataset.

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

The mean and low/high 95% CI.

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243 

And the output from just using type='response', which only gives the mean

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556