Corrélation significative dans chaque groupe mais non significative dans l'ensemble?

9

Supposons que l' on teste la corrélation de Pearson entre les variables et dans les groupes et . Est-il possible que la corrélation soit significative dans chacun de et , mais non significative lorsque les données des deux groupes sont combinées? Dans ce cas, pourriez-vous s'il vous plaît fournir une explication à cela. $x$ $y$ $A$ $B$ $(x,y)$ $A$ $B$

correlation

— qed
source

21

Oui, c'est possible et cela pourrait se produire de toutes sortes de façons. Un exemple évident est lorsque l'appartenance à A et B est choisie d'une manière qui reflète les valeurs de x et y. D'autres exemples sont possibles, par exemple le commentaire de @ Macro suggère une possibilité alternative.

Considérez l'exemple ci-dessous, écrit en R. x et y sont des variables normales standard iid, mais si je les alloue à des groupes en fonction des valeurs relatives de x et y, j'obtiens la siutation que vous nommez. Au sein du groupe A et du groupe B, il existe une forte corrélation statistiquement significative entre x et y, mais si vous ignorez la structure de regroupement, il n'y a pas de corrélation.

entrez la description de l'image ici

> library(ggplot2)
> x <- rnorm(1000)
> y <- rnorm(1000)
> Group <- ifelse(x>y, "A", "B")
> cor.test(x,y)

        Pearson's product-moment correlation

data:  x and y 
t = -0.9832, df = 998, p-value = 0.3257
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 -0.09292  0.03094 
sample estimates:
     cor 
-0.03111 

> cor.test(x[Group=="A"], y[Group=="A"])

        Pearson's product-moment correlation

data:  x[Group == "A"] and y[Group == "A"] 
t = 11.93, df = 487, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.4040 0.5414 
sample estimates:
   cor 
0.4756 

> cor.test(x[Group=="B"], y[Group=="B"])

        Pearson's product-moment correlation

data:  x[Group == "B"] and y[Group == "B"] 
t = 9.974, df = 509, p-value < 2.2e-16
alternative hypothesis: true correlation is not equal to 0 
95 percent confidence interval:
 0.3292 0.4744 
sample estimates:
   cor 
0.4043 
> qplot(x,y, color=Group)

— Peter Ellis
source

+1. Ceci est un exemple très intelligent qui ne m'était pas venu à l'esprit.

— Macro

13

Une possibilité est que les effets vont dans des directions différentes dans chaque groupe et soient annulés lorsque vous les agrégez . Cela est également lié à la façon dont, lorsque vous omettez un terme d'interaction important dans un modèle de régression, les principaux effets peuvent être trompeurs.

$\rm A$ $y_i$ $x_i$

E (y_{je} | X_{je}, g r o u p UNE) = 1 + X_{je}

$E(y_i|x_i, {\rm Group \ A}) = 1 + x_i$

$\rm B$

E (y_{je} | X_{je}, g r o u p B) = 1 - X_{je}

$E(y_i|x_i, {\rm Group \ B}) = 1 - x_i$

P (g r o u p UNE) = 1 - P (g r o u p B) = p

$P({\rm Group \ A}) = 1-P( {\rm Group \ B}) = p$

E (y_{i} | x_{i})

$E(y_i|x_i)$

\begin{aligned} E (y_{je} | X_{je}) = E (E (y_{je} | X_{je}, g r o u p)) & = p (1 + X_{je}) + (1 - p) (1 - X_{je}) \\ = p + p X_{je} + 1 - X_{je} - p + p X_{je} \\ = 1 - X_{je} (2 p - 1) \end{aligned}

$\begin{align*} E(y_i | x_i) = E( E(y_i|x_i,{\rm Group}) ) &= p(1+ x_i) + (1-p)(1-x_i) \\ &= p + px_i + 1 - x_i - p + px_i \\ &= 1 - x_i(2p-1) \end{align*}$

$p = 1/2$ $E(y_i | x_i) = 1$ $x_i$ $x_i$ $y_i$

$p$

Remarque: Avec des erreurs normales, la signification d'un coefficient de régression linéaire est équivalente à la signification de la corrélation de Pearson, donc cet exemple met en évidence une explication de ce que vous voyez.

— Macro
source