X et Y ne sont pas corrélés, mais X est un prédicteur significatif de Y dans la régression multiple. Qu'est-ce que ça veut dire?

X et Y ne sont pas corrélés (-.01); Cependant, lorsque je place X dans une régression multiple prédisant Y, aux côtés de trois autres variables (liées) (A, B, C), X et deux autres variables (A, B) sont des prédicteurs significatifs de Y. Notez que les deux autres ( Les variables A, B) sont significativement corrélées avec Y en dehors de la régression.

Comment dois-je interpréter ces résultats? X prédit une variance unique dans Y, mais comme elles ne sont pas corrélées (Pearson), il est en quelque sorte difficile à interpréter.

Je connais des cas opposés (c’est-à-dire que deux variables sont corrélées mais la régression n’est pas significative) et qu’il est relativement plus simple à comprendre d’un point de vue théorique et statistique. Notez que certains des prédicteurs sont assez corrélés (par exemple, 0,70) mais pas dans la mesure où je m'attendrais à une multicolinéarité importante. Peut-être que je me trompe, cependant.

NOTE: J'ai déjà posé cette question et elle était fermée. Le raisonnement était que cette question est redondante avec la question " Comment une régression peut-elle être significative alors que tous les prédicteurs sont non significatifs?"". Peut-être que je ne comprends pas l’autre question, mais j’estime qu’il s’agit de questions tout à fait distinctes, tant sur le plan mathématique que théorique. Ma question est totalement indépendante de si" une régression est significative ". En outre, plusieurs prédicteurs sont significatifs, tandis que implique que les variables ne sont pas significatives, donc je ne vois pas le chevauchement. Si ces questions sont redondantes pour des raisons que je ne comprends pas, veuillez insérer un commentaire avant de clore cette question. J'espérais aussi envoyer un message au modérateur qui a clôturé l'autre question pour éviter des questions identiques, mais je ne pouvais pas trouver une option pour le faire.

La théorie causale offre une autre explication sur la manière dont deux variables pourraient être indépendantes sans condition mais dépendantes de manière conditionnelle. Je ne suis pas un expert en théorie de la causalité et je suis reconnaissant pour toute critique qui corrigera toute erreur de guidage ci-dessous.

Pour illustrer cela, je vais utiliser des graphes acycliques dirigés (DAG). Dans ces graphiques, les arêtes ( $-$ ) entre les variables représentent des relations de causalité directes. Les têtes de flèche ( $\leftarrow$ ou $\rightarrow$ ) indiquent la direction des relations de causalité. Ainsi, $A \rightarrow B$ déduit que $A$ provoque directement$B$ et$A \leftarrow B$ infère que$A$ est directement causé par$B$ . $A \rightarrow B \rightarrow C$ est un lien causal qui en déduit que$A$ cause indirectement$C$ à$B$. Par souci de simplicité, supposons que toutes les relations de cause à effet soient linéaires.

Commençons par un exemple simple de biais de confusion :

Ici, une simple régression bivariable suggérera une dépendance entre $X$ et $Y$ . Cependant, il n’existe pas de relation de cause à effet directe entre $X$ et $Y$ . Au lieu de cela, les deux sont directement causés par $Z$ , et dans la simple régression bivariable, l'observation de $Z$ induit une dépendance entre $X$ et $Y$ , ce qui entraîne un biais par confusion. Cependant, un conditionnement de régression multivariable de $Z$ va supprimer le biais et suggérer aucune dépendance entre $X$ et $Y$ .

Deuxièmement, prenons un exemple de biais de collisionneur (également appelé biais de Berkson ou biais berksonien, dont le biais de sélection est un type spécial):

Ici, une simple régression bivariée ne suggèrera aucune dépendance entre $X$ et$Y$ . Ceciaccord avec le DAG, qui infère aucune relation de causeeffet direct entre$X$ et$Y$ . Cependant, un conditionnement de régression multivariable sur$Z$ induira une dépendance entre$X$ et$Y$ suggérant ainsi l'existence possible d'une relation de cause à effet directe entre les deux variables, alors qu'il n'en existe aucune. L'inclusion de$Z$ dans la régression multivariable entraîne un biais de collisionneur.

Troisièmement, considérons un exemple d’annulation fortuite:

Supposons que $\alpha$ , $\beta$ et $\gamma$ sont des coefficients de chemin et que $\beta = -\alpha\gamma$ . Une simple régression bivariable suggérera pas depenence entre $X$ et $Y$ . Bien que $X$ est en fait une cause directe de $Y$ , l'effet confondant de $Z$ sur $X$ et $Y$ annule incidemment l'effet de $X$ sur $Y$ . Un conditionnement de régression multivariable sur $Z$ supprimera l’effet confondant de $Z$ sur $X$ et$Y$ , permettant l'estimation de l'effet direct de $X$ sur $Y$ , en supposant que le DAG du modèle causal est correct.

Résumer:

Exemple de confusion: $X$ et$Y$ dépendent de régression bivariable et indépendant dansconditionnement de régression multivariable de facteurconfusion$Z$ .

Exemple de collisionneur: $X$ et$Y$ sont indépendants dansrégression bivariable et dépendante de plusieurs variables de conditionnement surrégressioncollisionneur$Z$ .

Exemple d'annulation Inicdental: $X$ et $Y$ sont indépendants dans la régression bivariable et dépendante de plusieurs variables de conditionnement sur la régression de facteur de confusion $Z$ .

Discussion:

Les résultats de votre analyse ne sont pas compatibles avec l'exemple de confusion, mais avec l'exemple du collisionneur et celui de l'annulation incidente. Ainsi, une explication potentielle est que vous avez incorrectement conditionné une variable de collisionneur dans votre régression multivariable et que vous avez induit une association entre $X$ et$Y$ , même si$X$ n'est pas une cause de$Y$ et$Y$ ne sont pas une cause de$X$ . Sinon, vous avez peut-être correctement conditionné un facteur de confusion dans votre régression à plusieurs variables qui annulait accidentellement le véritable effet de$X$ sur$Y$ dans votre régression bivariable.

J’estime que l’utilisation des connaissances de base pour construire des modèles de causalité est utile pour déterminer les variables à inclure dans les modèles statistiques. Par exemple, si les études précédentes menées aléatoire de haute qualité a conclu que $X$ provoque $Z$ et $Y$ provoque $Z$ , je pourrais faire une hypothèse forte que $Z$ est un collisionneur de$X$ et$Y$ et non surcondition dans un modèle statistique. Cependant, si j'avais simplement l'intuition que$X$ est à l'origine de$Z$ , et que$Y$ est à l'origine de$Z$ , mais qu'aucune preuve scientifique solide ne corroborait mon intuition, je ne pouvais que faire une hypothèse faible selon laquelle$Z$est un collisionneur de $X$ et $Y$ , sans autres enquêtes sur leurs relations de cause à effet avec Z . Outre les connaissances de base, il existe également des algorithmes conçus pour déduire des modèles causaux à partir des données à l'aide d'une série de tests d'association (par exemple, algorithme PC et algorithme FCI, voir Implémentation de TETRAD for Java, PCalg., comme l’intuition humaine a une histoire d’être égarée. Par la suite, je serais sceptique quant à la conclusion de relations de cause à effet entre $X$ et $Y$$Z$pour la mise en œuvre de R). Ces algorithmes sont très intéressants, mais je ne recommanderais pas de les utiliser sans une compréhension approfondie de la puissance et des limites du calcul causal et des modèles causaux dans la théorie causale.

Conclusion:

La contemplation de modèles causaux n'exempte pas le chercheur de traiter les considérations statistiques discutées dans d'autres réponses ici. Cependant, j'estime que les modèles de causalité peuvent néanmoins fournir un cadre utile pour la réflexion sur les explications possibles de la dépendance statistique et de l'indépendance observées dans les modèles statistiques, notamment lors de la visualisation de facteurs de confusion et de collisionneur potentiels.

Lectures complémentaires:

Gelman, Andrew. 2011. " Causality and Statistical Learning ." Un m. J. Sociology 117 (3) (novembre): 955–966.

Groenland, S, J Pearl et JM Robins. 1999. « Diagrammes de causalité pour la recherche épidémiologique» . Epidemiology (Cambridge, Mass.) 10 (1) (janvier): 37–48.

Groenland, Sander. 2003. “ Quantification des biais dans les modèles causaux: biais classiques de confusion entre le collisionneur et le stratificateur .» Epidemiology 14 (3) (1er mai): 300-306.

Pearl, Judée. 1998. Pourquoi il n’existe pas de test statistique contre la confusion, pourquoi beaucoup pensent qu’il en existe et pourquoi ils ont presque raison .

Pearl, Judée. 2009. Causalité: modèles, raisonnement et inférence . 2e éd. La presse de l'Universite de Cambridge.

Spirtes, Peter, Clark Glymour et Richard Scheines. 2001. Causation, Prediction, and Search , Deuxième édition. Un livre de Bradford.

Mise à jour: Judea Pearl discute de la théorie de l'inférence causale et de la nécessité d'incorporer l'inférence causale dans les cours d'introduction aux statistiques dans l' édition de novembre 2012 d'Amstat News . Sa conférence sur le prix Turing , intitulée "La mécanisation de l'inférence causale: un" mini "test de Turing et au-delà" présente également un intérêt.

Je pense que l'approche de @ jthetzel est la bonne (+1). Pour interpréter ces résultats, vous devrez réfléchir à une théorie sur la raison pour laquelle les relations se manifestent comme elles se manifestent. En d’autres termes, vous devrez réfléchir au type de relations de cause à effet qui sous-tend vos données. Comme le souligne @jthetzel, vous devez reconnaître que vos résultats sont cohérents avec plusieurs processus de génération de données différents. Je ne pense pas qu'une quantité de tests statistiques supplémentaires sur le même ensemble de données vous permettra de distinguer ces possibilités (bien que de nouvelles expériences le puissent certainement). Il est donc vital de réfléchir sérieusement à ce que l’on sait de ce sujet.

Je tiens à signaler une autre situation sous-jacente possible qui pourrait générer des résultats tels que le vôtre: suppression . C'est plus difficile à illustrer en utilisant les diagrammes en flèche, mais si je peux les augmenter légèrement, on pourrait penser à ça:

Ce qui est important dans cette situation est que l’ est composée de deux parties, une partie non liée ( U ) et une partie liée ( R ). Le suppresseur ne sera pas corrélé avec Y , mais pourrait très bien être «significatif» dans un modèle de régression multiple. De plus, la variable «autre variable» peut ou non être corrélée «de manière significative» avec le suppresseur ou Y seul. De plus, votre variable X pourrait jouer le rôle de $\text{Other Variable}$$\text{U}$$\text{R}$$\text{Suppressor}$$\text{Y}$$\text{Other Variable}$$\text{Suppressor}$$\text{Y}$$\text{Suppressor}$ ou d’ $\text{Other Variable}$ dans cette situation (et donc, encore une fois, vous devez réfléchir à ce que le modèle sous-jacent pourrait être basé sur votre connaissance de la région).

Je ne sais pas si vous pouvez lire le code R, mais voici un exemple que j'ai élaboré. (Cet exemple particulier convient mieux à X jouant le rôle de , mais les deux ne sont pas corrélés «significativement» avec Y ; il devrait être possible d'obtenir une corrélation proche de 0 entre l' autre variable et Y et d'apparier les autres descriptifs avec les bons réglages.) $\text{Suppressor}$$\text{Y}$$\text{Other Variable}$$\text{Y}$

set.seed(888)                            # for reproducibility

S  =         rnorm(60, mean=0, sd=1.0)   # the Suppressor is normally distributed
U  = 1.1*S + rnorm(60, mean=0, sd=0.1)   # U (unrelated) is Suppressor plus error
R  =         rnorm(60, mean=0, sd=1.0)   # related part; normally distributed
OV = U + R                               # the Other Variable is U plus R
Y  = R +     rnorm(60, mean=0, sd=2)     # Y is R plus error

cor.test(S, Y)                           # Suppressor uncorrelated w/ Y
# t = 0.0283, df = 58, p-value = 0.9775
# cor 0.003721616 

cor.test(S, OV)                          # Suppressor correlated w/ Other Variable
# t = 8.655, df = 58, p-value = 4.939e-12
# cor 0.7507423

cor.test(OV,Y)                           # Other Var not significantly cor w/ Y
# t = 1.954, df = 58, p-value = 0.05553
# cor 0.2485251

summary(lm(Y~OV+S))                      # both Suppressor & Other Var sig in mult reg
# Coefficients:
#              Estimate Std. Error t value Pr(>|t|)   
# (Intercept)   0.2752     0.2396   1.148  0.25557   
# OV            0.7232     0.2390   3.026  0.00372 **
# S            -0.7690     0.3415  -2.251  0.02823 * 

Mon point ici n'est pas que cette situation est celle qui sous-tend vos données. Je ne sais pas si cela est plus ou moins probable que les options suggérées par @jthetzel. Je propose seulement ceci comme davantage de matière à réflexion. Pour interpréter vos résultats actuels, vous devez réfléchir à ces possibilités et décider de ce qui a le plus de sens. Pour confirmer votre choix, une expérimentation minutieuse sera nécessaire.

Juste une visualisation que c'est possible.

La photo (a) montre une situation régressive "normale" ou "intuitive". Cette photo est la même que celle trouvée par exemple (et expliquée) ici ou ici .

Les variables sont dessinées sous forme de vecteurs. Les angles entre eux (leurs cosinus) sont les corrélations des variables. désigne ici la variable des valeurs prédites (plus souvent notée comme$Y'$$\hat Y$$b$ - est proportionnelle au coefficient de régression de ce prédicteur.

Le pic (a), les trois variables sont en corrélation positive, et à la fois et b 2 sont des coefficients de régression aussi positifs. $b_1$$b_2$$X_1$$X_2$

$X_1$$Y$$Y'$$X_1$$Y'$$X_2$ , ce qui signifie que les valeurs prédites sont en corrélation absolue avec cet autre prédicteur.

$X_1$$Y$$X_1$

Données et analyses correspondant approximativement à la photo (b):

       y       x1       x2
1.644540 1.063845  .351188
1.785204 1.203146  .200000
-1.36357 -.466514 -.961069
 .314549 1.175054  .800000
 .317955  .100612  .858597
 .970097 2.438904 1.000000
 .664388 1.204048  .292670
-.870252 -.993857 -1.89018
1.962192  .587540 -.275352
1.036381 -.110834 -.246448
 .007415 -.069234 1.447422
1.634353  .965370  .467095
 .219813  .553268  .348095
-.285774  .358621  .166708
1.498758 -2.87971 -1.13757
1.671538 -.310708  .396034
1.462036  .057677 1.401522
-.563266  .904716 -.744522
 .297874  .561898 -.929709
-1.54898 -.898084 -.838295

Données et analyses correspondant approximativement à la photo (c):

       y       x1       x2
1.644540 1.063845  .351188
1.785204 -1.20315  .200000
-1.36357 -.466514 -.961069
 .314549 1.175054  .800000
 .317955 -.100612  .858597
 .970097 1.438904 1.000000
 .664388 1.204048  .292670
-.870252 -.993857 -1.89018
1.962192 -.587540 -.275352
1.036381 -.110834 -.246448
 .007415 -.069234 1.447422
1.634353  .965370  .467095
 .219813  .553268  .348095
-.285774  .358621  .166708
1.498758 -2.87971 -1.13757
1.671538 -.810708  .396034
1.462036 -.057677 1.401522
-.563266  .904716 -.744522
 .297874  .561898 -.929709
-1.54898 -1.26108 -.838295

$X_1$$Y$$-.224$$X_2$$.419$$.538$

Je suis d’accord avec la réponse précédente, mais j’espère pouvoir apporter ma contribution en donnant plus de détails.

$X$$Y$$x$$y$ écarts types:

$Y = a + \beta x + u$

où $\hat \rho_{yx} = \hat \beta \hat\sigma_x/\hat\sigma_y$

But what happens if $Y$ is generated by other variables as well, thus the real model is something like:

$Y = a + \beta x + \sum_j\alpha_jz_j + u$

Under this real model, it becomes obvious that estimating the first one (only with x) will yield a biased $\beta$ estimate as that model is omitting the $z_j$ regressors(this implies that $\rho$ is also biased !). So your results are in line with the fact that the omitted variables are relevant. To deal with this issue , theory on correlation analysis provides the partial correlation coefficient (I'm sure you will find references on this) which basically calculates $\rho_{xy|z}$ from the latter estimating equation that controls for $z_j$.