Comment gérer des estimations

Stabilité bêta en régression linéaire avec multi-colinéarité élevée?

Disons que dans une régression linéaire, les variables et ont une multi-colinéarité élevée (la corrélation est d'environ 0,9). $x_1$ $x_2$

Nous sommes préoccupés par la stabilité du coefficient , nous devons donc traiter la multi-colinéarité. $\beta$

La solution du manuel serait de simplement jeter une des variables.

Mais nous ne voulons pas perdre des informations utiles en jetant simplement des variables.

Aucune suggestion?

regression multicollinearity

— Luna
source

Avez-vous essayé une sorte de schéma de régularisation (par exemple, régression de crête)?

— Néstor

Réponses:

Vous pouvez essayer l' approche de régression de crête dans le cas où la matrice de corrélation est proche du singulier (c'est-à-dire que les variables ont des corrélations élevées). Il vous fournira une estimation robuste de . $\beta$

La seule question est de savoir comment choisir le paramètre de régularisation . Ce n'est pas un problème simple, bien que je suggère d'essayer différentes valeurs. $\lambda$

J'espère que cela t'aides!

— Paul
source

La validation croisée est la chose habituelle à faire pour choisir

;-).

λ

$\lambda$

— Néstor

en effet (+1 pour la réponse et le commentaire de Nestor), et si vous effectuez les calculs sous "forme canonique" (en utilisant une décomposition propre de

, vous pouvez trouver le

minimisant l'erreur de validation croisée sans laisser de La méthode de Newton à très bon marché

X^{T} X

$X^TX$

λ

$\lambda$

— Dikran Marsupial

Merci beaucoup! Un tutoriel / des notes sur la façon de le faire, y compris la validation croisée dans R?

— Luna

Consultez le chapitre 3 de ce livre: stanford.edu/~hastie/local.ftp/Springer/ESLII_print5.pdf . La mise en œuvre de la régression des crêtes est effectuée en R par certains auteurs (Google est votre ami!).

— Néstor

Vous pouvez utiliser la lm.ridgeroutine dans le package MASS. Si vous lui passez une plage de valeurs pour

, par exemple, un appel comme , vous récupérerez les statistiques de validation croisée généralisées dans , et pourrez les tracer par rapport à

: pour choisir le minimum.

λ

$\lambda$ foo <- lm.ridge(y~x1+x2,lambda=seq(0,10,by=0.1))foo

λ

$\lambda$ plot(foo$GCV~foo$lambda)

— jbowman

Eh bien, il y a une méthode ad hoc que j'ai utilisée auparavant. Je ne sais pas si cette procédure a un nom mais elle a un sens intuitivement.

Supposons que votre objectif soit d'adapter le modèle

{Oui}_{je} = β_{0} + β_{1} X_{je} + β_{2} Z_{je} + ε_{je}

$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$

où les deux prédicteurs - - sont fortement corrélés. Comme vous l'avez souligné, les utiliser tous les deux dans le même modèle peut faire des choses étranges pour les estimations de coefficient et les valeurs de . Une alternative est d'adapter le modèle $X_i, Z_i$ $p$

Z_{je} = α_{0} + α_{1} X_{je} + η_{je}

$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$

Alors le résidu ne sera pas corrélé avec et peut, dans un certain sens, être considéré comme la partie de qui n'est pas subsumée par sa relation linéaire avec . Ensuite, vous pouvez procéder à l'ajustement du modèle $\eta_i$ $X_i$ $Z_i$ $X_i$

{Oui}_{je} = θ_{0} + θ_{1} X_{je} + θ_{2} η_{je} + ν_{je}

$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$

qui capturera tous les effets du premier modèle (et aura, en effet, exactement le même que le premier modèle) mais les prédicteurs ne sont plus colinéaires. $R^2$

Edit: L'OP a demandé une explication de la raison pour laquelle les résidus n'ont pas, par définition, une corrélation d'échantillon de zéro avec le prédicteur lorsque vous omettez l'interception comme ils le font lorsque l'interception est incluse. C'est trop long pour poster dans les commentaires donc j'ai fait une modification ici. Cette dérivation n'est pas particulièrement éclairante (malheureusement je n'ai pas pu trouver d'argument intuitif raisonnable) mais elle montre ce que l'OP a demandé :

Lorsque l'ordonnée à l' origine est omis dans la régression linéaire simple , , donc $\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ . La corrélation d'échantillon entreetest proportionnelle à où représente la moyenne de l'échantillon de la quantité sous la barre. Je vais maintenant montrer que ce n'est pas nécessairement égal à zéro. $e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$ $x_i$ $e_i$

\bar{X e} - \bar{X} \bar{e}

$\overline{xe} - \overline{x}\overline{e}$

\bar{\cdot}

$\overline{\cdot}$

Nous avons d'abord

\bar{X e} = \frac{1}{n} (\sum X_{je} y_{je} - X_{je}^{2} \cdot \frac{\sum X_{je} y_{je}}{\sum X_{je}^{2}}) = \bar{X y} (1 - \frac{\sum X_{je}^{2}}{\sum X_{je}^{2}}) = 0

$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$

mais

\bar{X} \bar{e} = \bar{X} (\bar{y} - \frac{\bar{X} \cdot \bar{X y}}{\bar{X^{2}}}) = \bar{X} \bar{y} - \frac{{\bar{X}}^{2} \cdot \bar{X y}}{\bar{X^{2}}}

$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$

$e_i$ $x_i$ $\overline{x}\overline{e}$ $0$

\bar{y} = \frac{\bar{X} \cdot \bar{X y}}{\bar{X^{2}}}

$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$

$x, y$

— Macro
source

Cela me rappelle les graphiques de régression partielle .

— Andy W

(X, Z)

$(X, Z)$

X

$X$

Z

$Z$

Salut Macro, Merci pour l'excellente preuve. Ouais maintenant je le comprends. Lorsque nous parlons de la corrélation d'échantillon entre x et les résidus, il faut que le terme d'interception soit inclus pour que la corrélation d'échantillon soit 0. En revanche, lorsque nous parlons d'orthogonalité entre x et les résidus, cela ne nécessite pas le terme d'interception à inclure, pour que l'orthogonalité tienne.

— Luna

@Luna, je ne suis pas particulièrement en désaccord avec l'utilisation de la régression de crête - c'est exactement ce qui m'est venu à l'esprit (j'ai répondu avant que cela ne soit suggéré). Une chose que je peux dire est que l'estimation de la régression de crête est biaisée, donc, dans un certain sens, vous estimez en fait une quantité légèrement différente (rétrécie) que vous ne le faites avec la régression ordinaire, ce qui rend l'interprétation des coefficients peut-être plus difficile (comme le gung Fait allusion à). De plus, ce que j'ai décrit ici ne nécessite qu'une compréhension de la régression linéaire de base et peut être plus intuitif pour certains.

— Macro

J'aime les deux réponses données jusqu'à présent. Permettez-moi d'ajouter quelques éléments.

Une autre option est que vous pouvez également combiner les variables. Cela se fait en standardisant les deux (c'est-à-dire en les transformant en z-scores), en les faisant la moyenne, puis en ajustant votre modèle avec uniquement la variable composite. Ce serait une bonne approche lorsque vous croyez qu'il s'agit de deux mesures différentes du même concept sous-jacent. Dans ce cas, vous avez deux mesures contaminées par une erreur. La vraie valeur la plus probable pour la variable que vous avez vraimentles soins se situent entre eux, leur moyenne donne donc une estimation plus précise. Vous les standardisez d'abord pour les mettre sur la même échelle, afin que les problèmes nominaux ne contaminent pas le résultat (par exemple, vous ne voudriez pas faire la moyenne de plusieurs mesures de température si certaines sont en Fahrenheit et d'autres en Celsius). Bien sûr, si elles sont déjà sur la même échelle (par exemple, plusieurs sondages d'opinion hautement corrélés), vous pouvez sauter cette étape. Si vous pensez qu'une de vos variables pourrait être plus précise que l'autre, vous pourriez faire une moyenne pondérée (peut-être en utilisant les inverses des erreurs de mesure).

$r>.98$ les ont combinés, mais pourquoi s'embêter? Cependant, cela dépend de façon critique du fait que vos variables sont corrélées car ce sont deux versions différentes de la même chose; s'il y a une raison différente pour laquelle ils sont corrélés, cela pourrait être totalement inapproprié.

$X_1\rightarrow X_2\rightarrow Y$ $X$ $Z$ $X$ $x_1$ $x_2$ $X$ $Z$

Je conviens que la régression de crête est sans doute meilleure, car elle vous permet d'utiliser les variables que vous aviez initialement prévues et est susceptible de produire des bêtas très proches de leurs vraies valeurs (bien qu'elles soient biaisées - voir ici ou ici pour plus d'informations ). Néanmoins, je pense qu'il a également deux inconvénients potentiels: il est plus compliqué (nécessitant plus de sophistication statistique), et le modèle résultant est plus difficile à interpréter, à mon avis.

Je suppose que l'approche ultime serait peut-être d'adapter un modèle d'équation structurelle. En effet, cela vous permettrait de formuler l'ensemble exact de relations que vous pensez être opérationnelles, y compris les variables latentes. Cependant, je ne connais pas assez bien SEM pour en parler ici, à part pour mentionner la possibilité. (Je soupçonne également que ce serait exagéré dans la situation que vous décrivez avec seulement deux covariables.)

— gung - Réintégrer Monica
source

X_{1}

$X_1$

e

$e$

X_{1}

$X_1$

X_{2} = X_{1} + e

$X_2=X_1+e$

X_{1}

$X_1$

Y = e

$Y=e$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

X_{1}

$X_1$

X_{2}

$X_2$

Y = X_{2} - X_{1}

$Y=X_2-X_1$

X_{1}

$X_1$

X_{2}

$X_2$

Y

$Y$

Y

$Y$

Merci beaucoup Gung! Q1. Pourquoi cette approche fonctionne-t-elle: "Cela se fait en standardisant les deux (c'est-à-dire en les transformant en z-scores), en les faisant la moyenne, puis en ajustant votre modèle avec uniquement la variable composite."? Q2. Pourquoi la régression Ridge serait-elle meilleure? Q3. Pourquoi SEM serait-il meilleur? Quelqu'un pourrait-il faire la lumière là-dessus? Je vous remercie!

— Luna

Salut Luna, ravie de t'aider. Je vais en fait rééditer ceci; @whuber avait plus raison que je ne l'avais imaginé initialement. J'essaierai d'en ajouter plus pour répondre à vos questions supplémentaires, mais cela prendra beaucoup de temps, donc cela pourrait prendre un certain temps. Nous verrons comment ça se passe.

— gung - Rétablir Monica