Comment calculer les erreurs types des coefficients d'une régression logistique

J'utilise scikit-learn de Python pour former et tester une régression logistique.

scikit-learn renvoie les coefficients de régression des variables indépendantes, mais il ne fournit pas les erreurs standard des coefficients. J'ai besoin de ces erreurs standard pour calculer une statistique de Wald pour chaque coefficient et, à son tour, comparer ces coefficients les uns aux autres.

J'ai trouvé une description de la façon de calculer les erreurs standard pour les coefficients d'une régression logistique ( ici ), mais elle est quelque peu difficile à suivre.

Si vous connaissez une explication simple et succincte de la façon de calculer ces erreurs standard et / ou pouvez m'en fournir une, j'apprécierais vraiment! Je ne parle pas d'un code spécifique (bien que n'hésitez pas à publier tout code qui pourrait être utile), mais plutôt une explication algorithmique des étapes impliquées.

Votre logiciel vous donne-t-il une matrice de covariance des paramètres (ou variance-covariance)? Si c'est le cas, les erreurs standard sont la racine carrée de la diagonale de cette matrice. Vous voudrez probablement consulter un manuel (ou google pour les notes de cours universitaires) pour savoir comment obtenir la matrice pour les modèles linéaires et linéaires généralisés.$V_\beta$

Les erreurs standard des coefficients du modèle sont les racines carrées des entrées diagonales de la matrice de covariance. Considérer ce qui suit:

• Matrice de conception:

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$$i$

(REMARQUE: cela suppose un modèle avec une interception.)

• $\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

La matrice de covariance peut s'écrire:

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

Cela peut être implémenté avec le code suivant:

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

Tout cela étant dit, ce statsmodelssera probablement un meilleur package à utiliser si vous voulez accéder à BEAUCOUP de diagnostics "prêts à l'emploi".

Si vous êtes intéressé à faire de l'inférence, alors vous voudrez probablement jeter un œil aux modèles de statistiques . Des erreurs standard et des tests statistiques communs sont disponibles. Voici un exemple de régression logistique .