12

J'étudie comment construire un intervalle de confiance à 95% pour l'odds ratio à partir des coefficients obtenus dans la régression logistique. Donc, compte tenu du modèle de régression logistique,

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

tels que $x = 0$ pour le groupe témoin et $x = 1$ pour le groupe de cas.

J'ai déjà lu que le moyen le plus simple est de construire un IC à 95% pour $\beta$ puis nous avons appliqué la fonction exponentielle, c'est-à-dire,

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

Mes questions sont:

Quelle est la raison théorique qui justifie cette procédure? Je sais que $\mbox{odds ratio} = \exp\{\beta\}$ et les estimateurs du maximum de vraisemblance sont invariants. Cependant, je ne connais pas le lien entre ces éléments.
La méthode delta devrait-elle produire le même intervalle de confiance à 95% que la procédure précédente? En utilisant la méthode delta,

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
Alors,

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
Sinon, quelle est la meilleure procédure?

— Márcio Augusto Diniz
source

1

J'aime aussi le bootstrap pour CI, si j'ai des valeurs de paramètres ou des données d'entraînement de taille suffisante.

— EngrStudent

2

Il y a une meilleure façon de le faire, voir stats.stackexchange.com/questions/5304/… pour plus de détails

— mdewey

7

La justification de la procédure est la normalité asymptotique du MLE pour et résulte d'arguments impliquant le théorème de limite centrale. $\beta$
La méthode Delta provient d'une expansion linéaire (c'est-à-dire Taylor de premier ordre) de la fonction autour du MLE. Par la suite, nous faisons appel à la normalité asymptotique et à l'impartialité du MLE.

Asymptotiquement, les deux donnent la même réponse. Mais en pratique, vous préféreriez celui qui semble plus proche de la normale. Dans cet exemple, je privilégierais le premier car ce dernier est susceptible d'être moins symétrique.

— Amir
source

3

Une comparaison des méthodes d'intervalles de confiance sur un exemple d'ISL

Le livre "Introduction to Statistical Learning" de Tibshirani, James, Hastie fournit un exemple à la page 267 d'intervalles de confiance pour le degré de régression logistique polynomiale 4 sur les données salariales . Citant le livre:

Nous modélisons le événement binaire utilisant la régression logistique avec un polynôme de degré 4. La probabilité postérieure ajustée de salaire supérieur à 250 000 $ est indiquée en bleu, avec un intervalle de confiance estimé à 95%. $wage>250$

Vous trouverez ci-dessous un bref récapitulatif de deux méthodes de construction de tels intervalles ainsi que des commentaires sur la façon de les implémenter à partir de zéro

Intervalles de transformation Wald / Endpoint

Calculer les limites supérieure et inférieure de l'intervalle de confiance pour la combinaison linéaire (en utilisant le CI de Wald) $x^T\beta$
Appliquez une transformation monotone aux points d'extrémité pour obtenir les probabilités. $F(x^T\beta)$

Puisque est une transformation monotone de $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

Concrètement, cela signifie calculer puis appliquer la transformation logit au résultat pour obtenir les bornes inférieure et supérieure: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

Calcul de l'erreur standard

La théorie du maximum de vraisemblance nous dit que la variance approximative de peut être calculée en utilisant la matrice de covariance des coefficients de régression en utilisant $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

Définissez la matrice de conception et la matrice comme $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

où est la valeur de la ème variable pour les ème observations et représente la probabilité prédite pour l'observation . $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

La matrice de covariance peut alors être trouvée comme: et l'erreur standard comme $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

Les intervalles de confiance à 95% pour la probabilité prédite peuvent alors être tracés comme

Intervalles de confiance de la méthode Delta

L'approche consiste à calculer la variance d'une approximation linéaire de la fonction et à l'utiliser pour construire de grands intervalles de confiance d'échantillon. $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

Où est le gradient et la matrice de covariance estimée. Notez que dans une dimension: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

Où est la dérivée de . Cela se généralise dans le cas multivarié $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

Dans notre cas F est la fonction logistique (que nous noterons ) dont la dérivée est $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

Nous pouvons maintenant construire un intervalle de confiance en utilisant la variance calculée ci-dessus.

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

Sous forme vectorielle pour le cas multivarié

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

Notez que représente un seul point de données dans , c'est-à-dire une seule ligne de la matrice de conception $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

Une conclusion ouverte

Un examen des tracés QQ normaux pour les probabilités et les cotes log négatives montre qu'aucun des deux n'est normalement distribué. Cela pourrait-il expliquer la différence?

La source:

— Xavier Bourret Sicotte
source

1

Dans la plupart des cas, le moyen le plus simple est probablement le meilleur, comme indiqué dans le contexte d'une transformation de journal sur cette page . Considérez votre variable dépendante comme étant analysée dans l'échelle logit, avec des tests statistiques effectués et des intervalles de confiance (IC) définis sur cette échelle logit. La transformation de retour à l'odds ratio consiste simplement à mettre ces résultats dans une échelle qu'un lecteur pourrait plus facilement saisir. Cela se fait également, par exemple, dans l'analyse de survie de Cox, où les coefficients de régression (et l'IC à 95%) sont exponentiels pour obtenir les ratios de risque et leur IC.

— EdM
source

Différentes façons de produire un intervalle de confiance pour le rapport de cotes à partir de la régression logistique

Une comparaison des méthodes d'intervalles de confiance sur un exemple d'ISL

Intervalles de transformation Wald / Endpoint

Calcul de l'erreur standard

Intervalles de confiance de la méthode Delta

Une conclusion ouverte