Analogie de la corrélation de Pearson pour 3 variables

Je voudrais savoir si une "corrélation" de trois variables est quelque chose, et si quoi, qu'est-ce que ce serait?

Coefficient de corrélation du moment du produit de Pearson

Maintenant, la question pour 3 variables: Est

n'importe quoi?

Dans R, cela semble être quelque chose d'interprétable:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Nous examinons normalement la corrélation entre 2 variables étant donné la valeur d'une troisième variable fixe. Quelqu'un pourrait-il clarifier?

Il est en effet quelque chose. Pour le savoir, nous devons examiner ce que nous savons de la corrélation elle-même.

1. La matrice de corrélation d'une variable aléatoire à valeur vectorielle est la matrice de variance-covariance, ou simplement "variance", de la version standardisée de . Autrement dit, chaque est remplacé par sa version recadrée et redimensionnée.X X $\mathbf{X}=(X_1,X_2,\ldots,X_p)$$\mathbf{X}$$X_i$

2. La covariance de et est l'attente du produit de leurs versions centrées. Autrement dit, en écrivant et , nous avonsX j X ′ i = X i - E [ X i ] X ′ j = X j - E [ X j$X_i$$X_j$$X^\prime_i = X_i - E[X_i]$$X^\prime_j = X_j - E[X_j]$

   $$\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$$

3. La variance de , que j'écrirai , n'est pas un nombre unique. Il s'agit du tableau de valeurs Var ( X ) Var ( X ) i j = Cov ( X i , X j ) $\mathbf{X}$$\operatorname{Var}(\mathbf{X})$

   $$\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$$

4. La façon de penser la covariance de la généralisation envisagée est de la considérer comme un tenseur . Cela signifie que c'est une collection entière de quantités , indexées par et allant de à , dont les valeurs changent de manière particulièrement simple et prévisible lorsque subit une transformation linéaire. Plus précisément, soit une autre variable aléatoire de valeur vectorielle définie par i j 1 p X Y = ( Y 1 , Y 2 , … , Y q$v_{ij}$$i$$j$$1$$p$$\mathbf{X}$$\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

   $$Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$$

   Les constantes ( et sont des index - n'est pas une puissance) forment un tableau , et . La linéarité de l'attente implique ijjq×pA=($a_i^{\,j}$$i$$j$$j$$q\times p$j=1,…,pi=1,…,$\mathbb{A} = (a_i^{\,j})$$j=1,\ldots, p$$i=1,\ldots, q$

   $$\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$$

   En notation matricielle,

   $$\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$$

5. Tous les composants de sont en fait des variances univariées, en raison de l' identité de polarisation$\operatorname{Var}(\mathbf{X})$

   $$4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$$

   Cela nous dit que si vous comprenez les variances des variables aléatoires univariées, vous comprenez déjà les covariances des variables bivariées: ce sont "juste" des combinaisons linéaires de variances.

L'expression dans la question est parfaitement analogue: les variables ont été normalisées comme dans . Nous pouvons comprendre ce que cela représente en considérant ce que cela signifie pour toute variable, standardisée ou non. Nous remplacerions chaque par sa version centrée, comme dans , et formerions des quantités ayant trois indices, ( 1 ) X i ( 2 $X_i$$(1)$$X_i$$(2)$

Ce sont les moments centraux (multivariés) du degré$3$ . Comme dans , ils forment un tenseur: quand , alorsY = A $(4)$$\mathbf{Y} = \mathbb{A}\mathbf{X}$

Les indices dans cette gamme de somme triple sur toutes les combinaisons d'entiers de à .$1$$p$

L'analogue de l'identité de polarisation est

Sur le côté droit, fait référence au troisième moment central (univarié): la valeur attendue du cube de la variable centrée. Lorsque les variables sont normalisées, ce moment est généralement appelé asymétrie . En conséquence, nous pouvons penser que est l' asymétrie multivariée de . Il s'agit d'un tenseur de rang trois (c'est-à-dire à trois indices) dont les valeurs sont des combinaisons linéaires des asymétries de différentes sommes et des différences des . Si nous cherchions des interprétations, nous penserions alors à ces composants comme mesurant en dimensions, quelle que soit l'asymétrie mesurée en une dimension. Dans de nombreux cas,μ 3 ( X ) X X i$\mu_3$$\mu_3(\mathbf{X})$$\mathbf{X}$$X_i$$p$

• Les premiers moments mesurent l' emplacement d'une distribution;

• Les seconds moments (la matrice variance-covariance) mesurent sa propagation ;

• Les seconds moments normalisés (les corrélations) indiquent comment la dispersion varie dans l'espace dimensionnel; et$p$

• Les troisième et quatrième moments normalisés sont pris pour mesurer la forme d'une distribution par rapport à sa propagation.

Pour élaborer sur ce que pourrait signifier une "forme" multidimensionnelle, nous avons observé que nous pouvons comprendre l'ACP comme un mécanisme pour réduire toute distribution multivariée à une version standard située à l'origine et des écarts égaux dans toutes les directions. Une fois l'ACP effectuée, fournirait les indicateurs les plus simples de la forme multidimensionnelle de la distribution. Ces idées s'appliquent aussi bien aux données qu'aux variables aléatoires, car les données peuvent toujours être analysées en fonction de leur distribution empirique.$\mu_3$

Référence

Alan Stuart et J. Keith Ord, Théorie avancée de la statistique de Kendall, cinquième édition, volume 1: théorie de la distribution ; Chapitre 3, Moments et cumulants . Oxford University Press (1987).

Annexe: Preuve de l'identité de polarisation

Soit des variables algébriques. Il existe façons d'ajouter et de soustraire toutes les d'entre elles. Lorsque nous augmentons chacune de ces sommes et différences à la puissance , choisissons un signe approprié pour chacun de ces résultats et les additionnons, nous obtiendrons un multiple de .2 n n n e x 1 x 2 ⋯ x $x_1,\ldots, x_n$$2^n$$n$$n^\text{th}$$x_1x_2\cdots x_n$

Plus formellement, soit l'ensemble de tous les -tuples de , de sorte que tout élément soit un vecteur dont les coefficients sont tous . La réclamation est n ± 1 s ∈ S s = ( s 1 , s 2 , … , s n ) ± $S=\{1,-1\}^n$$n$$\pm 1$$s\in S$$s=(s_1,s_2,\ldots,s_n)$$\pm 1$

En effet, le théorème multinomial déclare que le coefficient du monôme (où les sont des entiers non négatifs sommant à ) dans l'expansion de tout terme sur la main droite côté est$x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$$i_j$$n$

Dans la somme , les coefficients impliquant apparaissent par paires où une de chaque paire implique le cas , avec un coefficient proportionnel à fois , égal à , et l'autre de chaque paire implique le cas , avec un coefficient proportionnel à fois , égal à . Ils annulent la somme chaque fois que est impair. Le même argument s'applique à . Par conséquent,$(1)$$x_1^{i_1}$$s_1=1$$\color{red}{s_1}$$s_1^{i_1}$$1$$s_1=-1$$\color{red}{-1}$$(-1)^{i_1}$$(-1)^{i_1+1}$$i_1+1$$i_2, \ldots, i_n$les seuls monômes qui apparaissent avec des coefficients non nuls doivent avoir des puissances impaires de tous les . $x_i$ Le seul monôme de ce type est . Il apparaît avec le coefficienten tout termes de la somme. Par conséquent, son coefficient est de, QED .$x_1x_2\cdots x_n$$\binom{n}{1,1,\ldots,1}=n!$$2^n$$2^nn!$

Nous devons prendre seulement la moitié de chaque paire associée à : c'est-à-dire que nous pouvons restreindre le côté droit de aux termes avec et diviser par deux le coefficient du côté gauche à. Cela donne précisément les deux versions de l'identité de polarisation citées dans cette réponse pour les cas et : et .$x_1$$(1)$$s_1=1$$2^{n-1}n!$$n=2$$n=3$$2^{2-1}2! = 4$$2^{3-1}3!=24$

Bien sûr, l'Identité de Polarisation pour les variables algébriques l'implique immédiatement pour les variables aléatoires: soit chaque une variable aléatoire . Prenez les attentes des deux côtés. Le résultat suit par la linéarité de l'attente.$x_i$$X_i$

Hmmm. Si nous courons ...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

cela semble centré sur 0 (je n'ai pas fait de vraie simulation), mais comme @ttnphns le fait allusion, exécuter ceci (toutes les variables sont les mêmes)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

semble également se concentrer sur 0, ce qui me fait certainement me demander à quoi cela pourrait servir.

Si vous devez calculer la "corrélation" entre trois variables ou plus, vous ne pouvez pas utiliser Pearson, car dans ce cas, ce sera différent pour un ordre de variables différent, regardez ici . Si vous vous intéressez à la dépendance linéaire ou à la façon dont elles sont ajustées par la ligne 3D, vous pouvez utiliser PCA, obtenir la variance expliquée pour le premier PC, permuter vos données et trouver la probabilité que cette valeur soit à des raisons aléatoires. J'ai discuté de quelque chose de similaire ici (voir les détails techniques ci-dessous).

Code Matlab

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)