Pourquoi le coefficient de corrélation entre les variables aléatoires X et XY a-t-il tendance à être de 0,7?

Tiré de Statistiques pratiques pour la recherche médicale où Douglas Altman écrit à la page 285:

... pour deux quantités quelconques X et Y, X sera corrélé à XY. En effet, même si X et Y sont des échantillons de nombres aléatoires, on s’attendrait à ce que la corrélation de X et XY soit de 0,7

J'ai essayé cela en R et cela semble être le cas:

x <- rnorm(1000000, 10, 2)
y <- rnorm(1000000, 10, 2)
cor(x, x-y)

xu <- sample(1:100, size = 1000000, replace = T)
yu <- sample(1:100, size = 1000000, replace = T)
cor(xu, xu-yu)

Pourquoi donc? Quelle est la théorie derrière cela?

Si et sont des variables aléatoires non corrélées de variance égale , alors nous avons Par conséquent,Y σ 2 var ( X - Y $X$$Y$$\sigma^2$ρX,X-Y=cov(X,X-Y

$$\begin{align} \operatorname{var}(X-Y) &= \operatorname{var}(X) + \operatorname{var}(-Y)\\ &= \operatorname{var}(X) + \operatorname{var}(Y)\\ &=2\sigma^2,\\ \operatorname{cov}(X, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) & \text{bilinearity of covariance operator}\\ &= \operatorname{var}(X) - 0 & 0 ~\text{because}~X ~\text{and}~ Y ~\text{are uncorrelated}\\ &= \sigma^2. \end{align}$$ Σ n i = 1 (xi- ˉ x )((xi-yi)-( ˉ x - ˉ y ) $$\rho_{X,X-Y} = \frac{\operatorname{cov}(X, X-Y)}{\sqrt{\operatorname{var}(X)\operatorname{var}(X-Y)}}= \frac{\sigma^2}{\sqrt{\sigma^2\cdot2\sigma^2}} = \frac{1}{\sqrt{2}}.$$ Donc, quand vous trouvez l'échantillon de corrélation de et pour un ensemble de données volumineux tiré d'une population avec ces propriétés, qui inclut les "nombres aléatoires" comme cas spécial, le résultat a tendance à être proche de la valeur de corrélation de la population xx-y{(xi,yi):1≤i≤n} $$\frac{\sum_{i=1}^n\left(x_i - \bar{x}\right) \left((x_i-y_i) - (\bar{x}-\bar{y})\right)}{ \sqrt{\sum_{i=1}^n\left(x_i - \bar{x}\right)^2 \sum_{i=1}^n\left((x_i-y_i) - (\bar{x}-\bar{y})\right)^2}}$$ $x$$x-y$$\{(x_i,y_i)\colon 1 \leq i \leq n\}$$\frac{1}{\sqrt{2}} \approx 0.7071\ldots$

Une explication géométrique-statistique.

Imaginez que vous fassiez un diagramme de dispersion "à l'envers" où les sujets sont les axes et les variables et les points . C'est ce qu'on appelle une parcelle d' espace sujet (par opposition à la parcelle d' espace variable habituelle ). Comme il n’ya que 2 points à tracer, toutes les dimensions d’un tel espace, à l’exception de deux dimensions quelconques pouvant supporter les 2 points plus l’origine, sont redondantes et peuvent être supprimées en toute sécurité. Et nous nous retrouvons avec un avion. Nous dessinons des flèches vectorielles de l'origine aux points: ce sont nos variables et tant que vecteurs dans l'espace sujet des données.2 X Y X $n$ $2$ $X$$Y$$X$$Y$

Or, si les variables étaient centrées dans un espace sujet, le cosinus de l'angle entre leurs vecteurs est leur coefficient de corrélation . Sur l'image ci-dessous , les vecteurs et sont orthogonaux: leur . L'absence de corrélation était un préalable requis par @Dilip dans sa réponse.Y r = $X$$Y$$r=0$

Également pour les variables centrées, leurs longueurs vectorielles dans un sujet sont leurs écarts-types . Sur la photo, et sont de longueur égale, des variances égales étaient également une condition préalable créée par @Dilip.$X$$Y$

Pour dessiner la variable ou la variable nous utilisons simplement l’addition ou la soustraction vectorielle que nous avons oubliée depuis l’école (déplacez le vecteur Y jusqu’à la fin du vecteur X et inversez la direction en cas de soustraction, - ceci est indiqué par des flèches grises sur la photo, - tracez ensuite un vecteur à l'endroit indiqué par la flèche grise).X + $X-Y$$X+Y$

Il devient très clair que la longueur des vecteurs ou (l'écart type de ces variables) est, d'après le théorème de Pythagore, et que l'angle entre et ou est 45 degrés, qui cosinus - la corrélation - vautX + Y $X-Y$$X+Y$ XX-YX+Y$\sqrt{2\sigma^2}$$X$$X-Y$$X+Y$$0.707...$

Je crois qu’il ya aussi une simple intuition basée sur la symétrie. Puisque X et Y ont les mêmes distributions et une covariance de 0, la relation X ± Y avec X devrait "expliquer" la moitié de la variation de X ± Y; l'autre moitié doit être expliquée par Y. Donc, R ² doit être égal à 1/2, ce qui signifie que R est 1 / √2 ≈ 0,707.

Voici un moyen simple de réfléchir à la raison pour laquelle il existe une corrélation.

Imaginez ce qui se passe lorsque vous soustrayez deux distributions. Si la valeur de x est basse, alors, en moyenne, x - ysera une valeur inférieure à celle obtenue si la valeur de x est élevée. Lorsque x augmente x - y, augmente en moyenne, et donc, une corrélation positive.