Lié pour la corrélation de trois variables aléatoires

28

Il existe trois variables aléatoires, $x,y,z$ . Les trois corrélations entre les trois variables sont les mêmes. C'est,

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

Quelle est la limite la plus stricte que vous pouvez donner pour $\rho$ ?

correlation correlation-matrix

— user1352399
source

1

Vraisemblablement par "pho", vous voulez dire rho (

ρ

$\rho$ ). Cependant, votre question n'est pas claire. Que voulez-vous dire par "quelle est la limite la plus stricte que vous pouvez donner"?

— gung - Rétablir Monica

Eh bien, le nom de la variable n'est qu'un mannequin. Par borne la plus serrée, je veux dire quelque chose comme [-1, 1] pour une corrélation, mais ce n'est clairement pas la borne la plus serrée possible.

— user1352399

Voulez-vous dire que rho = cor (x, y) = cor (x, z) = cor (y, z), et quelles sont les limites de rho?

— user31264

Oui, je veux dire que rho = cor (x, y) = cor (x, z) = cor (y, z) et quelles sont les limites de rho. Dilip, pouvez-vous étendre cela pour dire que rho doit être non négatif, c'est-à-dire> = 0?

— user1352399

1

Un manuel à citer pour cela est Seber & Lee "Linear Regression Analysis" (Au moins, c'était dans la première édition ...)

— kjetil b halvorsen

29

La corrélation commune peut avoir la valeur mais pas . Si , alors ne peut pas être égal à mais est en fait . La plus petite valeur de la corrélation commune de trois variables aléatoires est . Plus généralement, la corrélation commune minimale de variables aléatoires est lorsque, considérées comme vecteurs, elles se trouvent aux sommets d'un simplexe (de dimension ) dans un espace à dimensions. $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ $-\frac{1}{2}$ $n$ $-\frac{1}{n-1}$ $n-1$ $n$

Considérons la variance de la somme de variables aléatoires de variance unitaire . Nous avons cela où est la moyenne valeur des coefficients de corrélation . Mais depuis , nous obtenons facilement de ce $n$ $X_i$

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

Ainsi, la valeur moyenne d'un coefficient de corrélation est au moins . Si tous les coefficients de corrélation ont la même valeur , alors leur moyenne est également égale à et nous avons donc cela Est-il possible d'avoir des variables aléatoires pour lesquelles la valeur de corrélation commune est égale à ? Oui. Supposons que les sont des variables aléatoires de variance unitaire non corrélées et définissons . Alors, , tandis que $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ et donnant Ainsi, les sont des variables aléatoires atteignant la valeur de corrélation commune minimale de . Notez, incidemment, que , et donc, considérées comme des vecteurs, les variables aléatoires se trouvent dans un hyperplan dimensionnel de

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ -espace dimensionnel.

— Dilip Sarwate
source

25

La limite la plus étroite possible est . $-1/2 \le \rho \le 1$ Toutes ces valeurs peuvent réellement apparaître - aucune n'est impossible.

Pour montrer qu'il n'y a rien de particulièrement profond ou de mystérieux dans le résultat, cette réponse présente d'abord une solution complètement élémentaire, ne nécessitant que le fait évident que les variances - étant les valeurs attendues des carrés - doivent être non négatives. Vient ensuite une solution générale (qui utilise des faits algébriques légèrement plus sophistiqués).

Solution élémentaire

La variance de toute combinaison linéaire de doit être non négative. $x,y,z$ Soit les variances de ces variables respectivement et . Tous sont différents de zéro (sinon, certaines corrélations ne seraient pas définies). En utilisant les propriétés de base des variances, nous pouvons calculer $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

pour tous les nombres réels . $(\alpha, \beta, \gamma)$

En supposant , une petite manipulation algébrique implique que cela équivaut à $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

Le terme carré sur le côté droit est le rapport de deux moyennes de puissance de . L' inégalité élémentaire moyenne de puissance (avec des poids ) affirme que le rapport ne peut pas dépasser (et sera égal à lorsque ). Un peu plus d'algèbre implique alors $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

L'exemple explicite de ci-dessous (impliquant des variables normales trivariées ) montre que toutes ces valeurs, , surviennent en fait sous forme de corrélations. Cet exemple utilise uniquement la définition de normales multivariées, mais n'invoque autrement aucun résultat de calcul ou d'algèbre linéaire. $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

Solution générale

Présentation

Toute matrice de corrélation est la matrice de covariance des variables aléatoires standardisées, d'où - comme toutes les matrices de corrélation - elle doit être semi-définie positive. De manière équivalente, ses valeurs propres sont non négatives. Cela impose une condition simple à : elle ne doit pas être inférieure à (et bien sûr ne peut pas dépasser ). Inversement, un tel correspond en fait à la matrice de corrélation d'une distribution trivariée, prouvant que ces bornes sont les plus serrées possibles. $\rho$ $-1/2$ $1$ $\rho$

Dérivation des conditions sur $\rho$

Considérons la matrice de corrélation par avec toutes les valeurs hors diagonale égales à(La question concerne le cas mais cette généralisation n'est pas plus difficile à analyser.) Appelons-la Par définition, est une valeur propre de à condition qu'il existe un vecteur non nul tel que $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

Ces valeurs propres sont faciles à trouver dans le cas présent, car

Laisser , calculer que $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
Laisser avec un uniquement à la place (pour ), calculer que $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

Parce que les vecteurs propres trouvés jusqu'à présent couvrent tout l' espace dimensionnel (preuve: une réduction de ligne facile montre la valeur absolue de leur déterminant égal à , qui est non nul), ils constituent une base de tous les vecteurs propres. Nous avons donc trouvé toutes les valeurs propres et déterminé qu'elles sont soit ou (ce dernier avec la multiplicité ). En plus de l'inégalité bien connue satisfaite par toutes les corrélations, la non-négativité de la première valeur propre implique en outre $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

tandis que la non-négativité de la deuxième valeur propre n'impose pas de nouvelles conditions.

Preuve de suffisance des conditions

Les implications fonctionnent dans les deux sens: à condition que la matrice soit définie de façon non négative et soit donc une matrice de corrélation valide. C'est, par exemple, la matrice de corrélation pour une distribution multinormale. Plus précisément, écrivez $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

pour l'inverse de lorsque Par exemple, lorsque $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

Laissons le vecteur de variables aléatoires avoir une fonction de distribution $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

où . Par exemple, lorsque cela équivaut à $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

La matrice de corrélation pour ces variables aléatoires est $n$ $\mathbb{C}(\rho, n).$

Contours des fonctions de densité De gauche à droite, . Notez comment la densité passe d'une concentration près du plan à une concentration près de la ligne . $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

Les cas particuliers et peuvent également être réalisés par des distributions dégénérées ; Je n'entrerai pas dans les détails, sauf pour souligner que dans le premier cas, la distribution peut être considérée comme prise en charge sur l'hyperplan , où il s'agit d'une somme de moyennes réparties de manière identique - Distribution normale , alors que dans ce dernier cas (corrélation positive parfaite), elle est supportée sur la ligne générée par , où elle a une distribution moyenne normale. $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

En savoir plus sur la non-dégénérescence

Un examen de cette analyse montre clairement que la matrice de corrélation a un rang et a un rang de (car un seul vecteur propre a une valeur propre non nulle). Pour , cela fait dégénérer la matrice de corrélation dans les deux cas. Sinon, l'existence de son inverse prouve qu'il n'est pas dégénéré. $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— whuber
source

20

Votre matrice de corrélation est

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

La matrice est semi-définie positive si les principaux mineurs principaux ne sont pas tous négatifs. Les principaux mineurs sont les déterminants des blocs "nord-ouest" de la matrice, soit 1, le déterminant de

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

et le déterminant de la matrice de corrélation elle-même.

1 est évidemment positif, le second mineur principal est , ce qui n'est pas négatif pour toute corrélation admissible . Le déterminant de la matrice de corrélation entière est $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

Le graphique montre le déterminant de la fonction sur la plage des corrélations admissibles . $[-1,1]$ entrez la description de l'image ici

Vous voyez que la fonction est non négative sur la plage donnée par @stochazesthai (que vous pouvez également vérifier en trouvant les racines de l'équation déterminante).

— Christoph Hanck
source

Ne supposons-nous pas dans votre réponse que ? Pourquoi le pouvons-nous?

V a r () = 1

$Var( )=1$

— Un vieil homme dans la mer.

1

@Anold Vous semblez lire "covariance" où "corrélation" est écrite.

— whuber

6

Il existe des variables aléatoires , et avec des corrélations par paires si et seulement si la matrice de corrélation est semi-définie positive. Cela se produit uniquement pour . $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— stochazesthai
source

2

pouvez-vous expliquer cela en termes très simples.

— Elizabeth Susan Joseph

1

Je ne pense pas qu'il existe une explication qui ne nécessite pas la connaissance de l'algèbre matricielle. Je vous suggère de regarder la page Wikipedia ( en.wikipedia.org/wiki/… ).

— stochazesthai

4

J'ai trouvé une explication qui ne nécessite que l'algèbre de base (niveau secondaire) et l'ai incluse dans ma réponse.