Covariance pour trois variables

J'essaie de comprendre comment fonctionne la matrice de covariance . Supposons donc que nous ayons deux variables: $X, Y$ , où $\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])]$ donne la relation entre les variables, c'est-à-dire combien l'une dépend de l'autre.

Maintenant, trois cas variable, il est moins clair pour moi. Une définition intuitive de la fonction de covariance serait $\text{Cov}(X,Y,Z) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$ , mais la littérature suggère plutôt d'utiliser une matrice de covariance qui est définie comme deux covariances variables pour chaque paire de variables.

Alors, la covariance inclut-elle des informations complètes sur les relations variables? Si oui, quelle est la relation avec ma définition de $\text{Cov}(X,Y,Z)$ ?

correlation covariance moments

— Karolis
source

Je pense, je vois que ma définition ne fonctionne tout simplement pas. Mais la matrice de covariance est-elle suffisante pour quantifier la relation entre toutes les variables?

— Karolis

La matrice de covariance est suffisante pour quantifier la covariance entre toutes les variables mais pas les "relations" car il s'agit d'un concept général (les variables peuvent être liées ou dépendantes de nombreuses manières non linéaires différentes qui ne sont pas capturées par la covariance). Une exception à cette règle serait si vous connaissiez les variables où la variation multiple est normale.

— Zachary Blumenfeld

Merci @ZacharyBlumenfeld! Pourriez-vous recommander un bon manuel à ce sujet?

— Karolis

Quelle est la différence entre

x

$x$ et

X

$X$ dans le terme

x - E [X]

$x-E[X]$ ? Je sais ce que tu veux dire par

X

$X$ - c'est une variable aléatoire - et aussi par

E [X]

$E[X]$ - c'est la valeur attendue de

X

$X$ , un vrai nombre - mais qu'est-ce

x

$x$ ? Si

x

$x$ est un autre nombre réel, alors

x - E [X]

$x-E[X]$ est un nombre réel - rien d’aléatoire - et donc votre définition se réduit à

cov (X, Oui, Z) = E [(X - E [X]) (y - E [Oui]) (z - E [Z])] = (X - E [X]) (y - E [Oui]) (z - E [Z])

$\operatorname{cov}(X,Y,Z) = E[(x -E[X])(y-E[Y])(z-E[Z])] = (x -E[X])(y-E[Y])(z-E[Z])$ car la valeur attendue d'un nombre réel est le nombre réel lui-même.

— Dilip Sarwate

@ZacharyBlumenfeld, votre commentaire est presque considéré comme une réponse. Vous devriez peut-être l'étendre un peu (ajoutez

E [(x - E [X]) (y - E [Y]) (z - E [Z])]

$\mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$ est un moment de croix centrale de troisième ordre, quoi d'autre) et poster comme réponse?

— Richard Hardy

Pour développer le commentaire de Zachary, la matrice de covariance ne capture pas la "relation" entre deux variables aléatoires, car la "relation" est trop large d'un concept. Par exemple, nous voudrions probablement inclure la dépendance de deux variables l'une sur l'autre pour qu'elles soient incluses dans toute mesure de leur "relation". Cependant, nous savons que $cov(X,Y)=0$ n'implique pas qu'elles soient indépendantes, comme c'est le cas par exemple pour deux variables aléatoires X ~ U (-1,1) et Y = X ^ 2 (pour une courte démonstration, voir: https://en.wikipedia.org / wiki / Covariance # Uncorrelatedness_and_independence ).

Donc, si nous pensions que la covariance comprend des informations complètes sur les relations variables, comme vous le demandez, une covariance nulle ne suggérerait aucune dépendance. C'est ce que Zachary veut dire quand il dit qu'il peut y avoir des dépendances non linéaires que la covariance ne capture pas.

Cependant, laissez $X:=(X_{1},...,X_{n})'$ être normal à plusieurs variables, X ~ $N(\mu,\Sigma)$ . alors $X_{1},...,X_{n}$ sont indépendants ssi $\Sigma$ est une matrice diagonale avec tous les éléments hors diagonale = 0 (si toutes les covariances = 0).

Pour voir que cette condition est suffisante, observons que les facteurs de densité conjointe,

F (X_{1}, . . ., X_{n}) = \frac{1}{\sqrt{(2 π)^{n} | Σ |}} e X p (- \frac{1}{2} (X - μ)^{'} Σ^{- 1} (X - μ)) = Π_{je = 1}^{n} \frac{1}{\sqrt{2 π σ_{je je}}} e X p (- \frac{(X_{je} - μ_{je})^{2}}{2 σ_{je je}}) = F_{1} (X_{1}) . . . F_{n} (X_{n})

$\begin{equation} f(x_{1},...,x_{n}) = \dfrac{1}{ \sqrt{(2 \pi)^{n} | \Sigma |}} exp(- \dfrac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu))= \Pi^{n}_{i=1} \dfrac{1}{\sqrt{2 \pi \sigma_{ii}}} exp(- \dfrac{(x_{i}-\mu_{i})^{2}}{2 \sigma_{ii}})=f_{1}(x_{1})...f_{n}(x_{n})\end{equation}$ .

Pour voir que la condition est nécessaire, rappelons le cas bivarié. Si $X_{1}$ et $X_{2}$ sont indépendants, alors $X_{1}$ et $X_{1}|X_{2} = x_{2}$ doit avoir la même variance, donc

σ_{11} = σ_{11 | 2} = σ_{11} - σ_{12}^{2} σ_{22}^{- 1}

$\begin{equation} \sigma_{11}=\sigma_{11|2}=\sigma_{11}-\sigma^{2}_{12} \sigma^{-1}_{22} \end{equation}$

ce qui implique $\sigma_{12}=0$ . Par le même argument, tous les éléments hors diagonale de $\Sigma$ doit être nul.

(source: diapositives d'économétrie avancée du professeur Geert Dhaene)

— hrrrrrr5602
source