Comment calculer le pseudo-

L' écriture de Christopher Manning sur la régression logistique dans R montre une régression logistique dans R comme suit:

ced.logr <- glm(ced.del ~ cat + follows + factor(class), 
  family=binomial)

Quelques sorties:

> summary(ced.logr)
Call:
glm(formula = ced.del ~ cat + follows + factor(class),
    family = binomial("logit"))
Deviance Residuals:
Min            1Q    Median       3Q      Max
-3.24384 -1.34325   0.04954  1.01488  6.40094

Coefficients:
              Estimate Std. Error z value Pr(>|z|)
(Intercept)   -1.31827    0.12221 -10.787 < 2e-16
catd          -0.16931    0.10032  -1.688 0.091459
catm           0.17858    0.08952   1.995 0.046053
catn           0.66672    0.09651   6.908 4.91e-12
catv          -0.76754    0.21844  -3.514 0.000442
followsP       0.95255    0.07400  12.872 < 2e-16
followsV       0.53408    0.05660   9.436 < 2e-16
factor(class)2 1.27045    0.10320  12.310 < 2e-16
factor(class)3 1.04805    0.10355  10.122 < 2e-16
factor(class)4 1.37425    0.10155  13.532 < 2e-16
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 958.66 on 51 degrees of freedom
Residual deviance: 198.63 on 42 degrees of freedom
AIC: 446.10
Number of Fisher Scoring iterations: 4

Il explique ensuite comment interpréter les coefficients, comparer différents modèles, etc. Plutôt utile.

Cependant, quelle variance le modèle prend-il en compte? Une page Stata sur la régression logistique dit:

Techniquement, ne peut pas être calculée de la même manière dans la régression logistique telle qu'elle est en régression OLS. Le pseudo- R 2 , dans la régression logistique, est défini par 1 - L $R^2$$R^2$ , oùL0représente la probabilité de log pour le modèle "à constante uniquement" etL1,la log de vraisemblance pour le modèle complet avec constantes et prédicteurs.$1 - \frac{L1}{L0}$$L0$$L1$

Je comprends cela au plus haut niveau. Le modèle à constante uniquement serait dépourvu de l'un des paramètres (uniquement le terme d'interception). La vraisemblance du journal est une mesure de l'adéquation des paramètres aux données. En fait, Manning sorte de conseils que la déviance pourrait être . La déviance nulle est peut-être uniquement constante et la déviance résiduelle est - 2 log L du modèle? Cependant, je ne suis pas limpide à ce sujet.$-2 \log L$$-2 \log L$

Quelqu'un peut -il vérifier comment on calcule en fait le pseudo- à R en utilisant cet exemple?$R^2$

N'oubliez pas le package rms , de Frank Harrell. Vous trouverez tout ce dont vous avez besoin pour adapter et valider les GLM.

Voici un exemple de jouet (avec un seul prédicteur):

set.seed(101)
n <- 200
x <- rnorm(n)
a <- 1
b <- -2
p <- exp(a+b*x)/(1+exp(a+b*x))
y <- factor(ifelse(runif(n)<p, 1, 0), levels=0:1)
mod1 <- glm(y ~ x, family=binomial)
summary(mod1)

Cela donne:

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)   0.8959     0.1969    4.55 5.36e-06 ***
x            -1.8720     0.2807   -6.67 2.56e-11 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 258.98  on 199  degrees of freedom
Residual deviance: 181.02  on 198  degrees of freedom
AIC: 185.02

Maintenant, en utilisant la lrmfonction,

require(rms)
mod1b <- lrm(y ~ x)

$R^2$print(mod1b)

Logistic Regression Model

lrm(formula = y ~ x)

                      Model Likelihood     Discrimination    Rank Discrim.    
                         Ratio Test            Indexes          Indexes       

Obs           200    LR chi2      77.96    R2       0.445    C       0.852    
 0             70    d.f.             1    g        2.054    Dxy     0.705    
 1            130    Pr(> chi2) <0.0001    gr       7.801    gamma   0.705    
max |deriv| 2e-08                          gp       0.319    tau-a   0.322    
                                           Brier    0.150                     


          Coef    S.E.   Wald Z Pr(>|Z|)
Intercept  0.8959 0.1969  4.55  <0.0001 
x         -1.8720 0.2807 -6.67  <0.0001 

$R^2=0.445$$\left(1-\exp(-\text{LR}/n)\right)/\left(1-\exp(-(-2L_0)/n)\right)$$\chi^2$$R^2$$\text{LR}=2L_0$$R^2=1$

Par la main,

> mod0 <- update(mod1, .~.-x)
> lr.stat <- lrtest(mod0, mod1)
> (1-exp(-as.numeric(lr.stat$stats[1])/n))/(1-exp(2*as.numeric(logLik(mod0)/n)))
[1] 0.4445742
> mod1b$stats["R2"]
       R2 
0.4445742 

$R^2$$R^2$$c$

$R^2$

$R^2$

$R^2$$R^2_M=1- \frac{ln\hat{L}_{full}}{ln\hat{L}_{null}}$$ln\hat{L}_{full}$$ln\hat{L}_{full}$

$R^2$

1. $deviance = -2*ln(L_{full})$$null.deviance = -2*ln(L_{null})$

   pR2 = 1 - mod$deviance / mod$null.deviance # works for glm

Mais l'approche ci-dessus ne fonctionne pas pour le pseudo hors échantillon$R^2$

2. Utilisez la fonction "logLik" dans R et la définition (fonctionne également pour dans l'échantillon)

   mod_null <- glm(y~1, family = binomial, data = insample) 1- logLik(mod)/logLik(mod_null)

Ceci peut être légèrement modifié pour calculer le pseudo échantillon$R^2$

Exemple:

pseudo-R hors échantillon

$R^2$

Codes:

pred.out.link <- predict(mod, outSample, type = "link") mod.out.null <- gam(Default~1, family = binomial, data = outSample) pR2.out <- 1 - sum(outSample$y * pred.out.link - log(1 + exp(pred.out.link))) / logLik(mod.out.null)

si déviance était proportionnelle au log de vraisemblance, et que l’on utilise la définition (voir par exemple McFadden ici )

pseudo R^2 = 1 - L(model) / L(intercept)

$R^2$$1 - \frac{198.63}{958.66}$

La question qui se pose est la suivante: la déviance rapportée est-elle proportionnelle au log de vraisemblance?

$R^2$$R^2=1-\frac{ll_{full}}{ll_{constant}}$$ll_{full}$$ll_{constant}$

$R^2$$R^2=1-\frac{\sum_{i}(y_{i}-\hat{y}_i)^2}{\sum_{i}(y_{i}-\overline{y}_{train})^2}$$\sum_{i}(y_{i}-\overline{y}_{train})^2$$\overline{y}_{train}$$\sum_{i}(y_i-\beta_0)^2$$\hat{\beta}_0=\overline{y}_{train}$$R^2$$R^2$