Une somme et un produit de deux matrices de covariance sont-ils également une matrice de covariance?

12

Supposons que j'ai des matrices de covariance et . Parmi ces options, lesquelles sont également des matrices de covariance? $X$ $Y$

$X+Y$
$X^2$
$XY$

J'ai un peu de mal à comprendre ce qui est exactement nécessaire pour que quelque chose soit une matrice de covariance. Je suppose que cela signifie que, par exemple, si et , pour que 1 reste vrai, nous devrions avoir ce , où et sont d'autres variables aléatoires. Cependant, je ne vois pas pourquoi cela s'appliquerait à l'une des trois options. Toute idée serait appréciée. $X=\operatorname{cov}(X_1,X_2)$ $Y=\operatorname{cov}(Y_1,Y_2)$ $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ $Z_1$ $Z_2$

covariance covariance-matrix

— rbm
source

12

Contexte

Une matrice de covariance pour un vecteur de variables aléatoires incarne une procédure pour calculer la variance de toute combinaison linéaire de ces variables aléatoires. La règle est que pour tout vecteur de coefficients , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

En d'autres termes, les règles de multiplication matricielle décrivent les règles de variances.

Deux propriétés de sont immédiates et évidentes: $\mathbb{A}$

Parce que les variances sont des attentes de valeurs au carré, elles ne peuvent jamais être négatives. Ainsi, pour tous les vecteurs ,Les matrices de covariance doivent être non négatives-définies. $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
Les variances ne sont que des nombres - ou, si vous lisez les formules matricielles littéralement, ce sont matrices. Ainsi, ils ne changent pas lorsque vous les transposez. La transposition donne Comme cela vaut pour tous les , doit être égal à sa transposition : les matrices de covariance doivent être symétriques. $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ $\mathbb{A}^\prime$

Le résultat le plus profond est que toute matrice symétrique non négative-définie est une matrice de covariance. $\mathbb{A}$ Cela signifie qu'il existe en fait une variable aléatoire de valeur vectorielle avec comme covariance. Nous pouvons le démontrer en construisant explicitement . Une façon consiste à remarquer que la fonction de densité (multivariée) avec la propriété a pour sa covariance. (Une certaine délicatesse est nécessaire lorsque n'est pas inversible - mais ce n'est qu'un détail technique.) $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

Solutions

Soit et matrices de covariance. De toute évidence, ils sont carrés; et si leur somme a un sens, elles doivent avoir les mêmes dimensions. Il suffit de vérifier les deux propriétés. $\mathbb{X}$ $\mathbb{Y}$

La somme.
- La symétrie montre la somme est symétrique. $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- Définition non négative. Soit un vecteur quelconque. Alors prouve le point en utilisant les propriétés de base de la multiplication matricielle. $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Je laisse cela comme un exercice.
Celui-ci est délicat. Une méthode que j'utilise pour réfléchir à des problèmes de matrice difficiles est de faire des calculs avec matrices. Il existe des matrices de covariance courantes et familières de cette taille, telles que avec et . Le problème est que pourrait ne pas être défini: c'est-à-dire, pourrait-il produire une valeur négative lors du calcul d'une variance? Si c'est le cas, alors nous ferions mieux d'avoir des coefficients négatifs dans la matrice. Cela suggère de considérer pour . Pour obtenir quelque chose d'intéressant, nous pourrions d'abord graviter vers des matrices $2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ avec des structures d'aspect différent. Des matrices diagonales viennent à l'esprit, telles que avec . (Remarquez comment nous pouvons librement choisir certains des coefficients, tels que et , car nous pouvons redimensionner toutes les entrées dans n'importe quelle matrice de covariance sans changer ses propriétés fondamentales. Cela simplifie la recherche d'exemples intéressants.) $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
Je vous laisse le soin de calculer et de tester s'il s'agit toujours d'une matrice de covariance pour toutes les valeurs autorisées de et . $\mathbb{XY}$ $a$ $b$

— whuber
source

13

Une matrice réelle est une matrice de covariance si et seulement si elle est semi-définie positive symétrique.

Astuces:

1) Si et sont symétriques, symétrique? Si pour tout et pour tout , que pouvez-vous conclure à propos de ? $X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

2) Si est symétrique, symétrique? Si les valeurs propres de sont pas négatives, que pouvez-vous conclure sur les valeurs propres de ? $X$ $X^2$ $X$ $X^2$

3) Si et sont symétriques, pouvez-vous conclure que est symétrique, ou pouvez-vous trouver un contre-exemple? $X$ $Y$ $XY$

— Mark L. Stone
source