Un échantillon de matrice de covariance est-il toujours symétrique et positif défini?

33

Lors du calcul de la matrice de covariance d'un échantillon, est-il alors garanti d'obtenir une matrice symétrique et définie positive?

Actuellement, mon problème a un échantillon de 4600 vecteurs d'observation et 24 dimensions.

sampling covariance

— Morten
source

Pour échantillonner la matrice de covariance, j’utilise la formule suivante: où est le nombre d'échantillons et est la moyenne de l'échantillon.

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Morten

4

Ce serait normalement appelé «calcul de la matrice de covariance de l'échantillon» ou «estimation de la matrice de covariance» plutôt que «échantillonnage de la matrice de covariance».

— Glen_b -Reinstate Monica

1

Une situation courante dans laquelle la matrice de covariance n'est pas définie est lorsque les 24 "dimensions" enregistrent la composition d'un mélange dont la somme est égale à 100%.

— whuber

41

Pour un échantillon de vecteurs , avec , le vecteur moyen de l'échantillon est et l'exemple de matrice de covariance est Pour un vecteur non nul , nous avons Par conséquent, est toujours positif semi-défini . $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

La condition supplémentaire pour que soit positif et définitif a été donnée dans le commentaire ci-dessous. Cela va comme suit. $Q$

Définissez , pour . Pour tout non nul, , vaut zéro si et seulement si , pour chaque . Supposons que l'ensemble s'étend sur . Ensuite, il existe des nombres réels tels que . Mais nous avons alors , ce qui donne que , une contradiction. Par conséquent, si la portée de , alors $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ est positif défini . Cette condition est équivalente à . $\mathrm{rank} [z_1 \dots z_n] = k$

— Zen
source

2

J'aime cette approche, mais je conseillerais certaines précautions: n'est pas nécessairement positif. Les conditions (nécessaires et suffisantes) pour qu'il en soit ainsi sont décrites dans mon commentaire à la réponse de Konstantin.

Q

$Q$

— whuber

1

Puisque le rang de est inférieur ou égal à , la condition peut être simplifiée au rang égal à k.

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— une offre ne peut pas refuser

13

Une matrice de covariance correcte est toujours symétrique et positive * semi * définie.

La covariance entre deux variables est définie comme . $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

Cette équation ne change pas si vous changez les positions de et . Par conséquent, la matrice doit être symétrique. $x$ $y$

Il doit également être positif * semi- * défini car:

Vous pouvez toujours trouver une transformation de vos variables de manière à ce que la matrice de covariance devienne diagonale. Sur la diagonale, vous trouvez les variances de vos variables transformées nulles ou positives, il est facile de voir que cela rend la matrice transformée positive semi-définie. Cependant, comme la définition de la définition est invariante à la transformation, il en résulte que la matrice de covariance est semi-définie positive dans tout système de coordonnées choisi.

Lorsque vous estimez votre matrice de covariance (c'est-à-dire lorsque vous calculez votre covariance d'échantillon ) à l'aide de la formule que vous avez indiquée ci-dessus, il est évident que toujours être symétrique. Il doit également être positif semi-défini (je pense), car pour chaque échantillon, le pdf qui donne à chaque échantillon une probabilité égale a la covariance de l'échantillon comme covariance (veuillez vérifier cela), de sorte que tout ce qui est indiqué ci-dessus reste valable.

— Konstantin Schubert
source

1

PS: Je commence à penser que ce n'était pas votre question ...

— Konstantin Schubert

Mais si vous voulez savoir si votre algorithme d'échantillonnage le garantit, vous devrez indiquer comment vous échantillonnez.

— Konstantin Schubert

1

Morten, la symétrie est immédiate de la formule. Pour montrer la semi-définition, vous devez établir que pour tout vecteur . Mais est fois la somme de (où , d'où est la somme de = , qui est la longueur au carré du vecteur . Parce que et une somme de carrés ne peuvent jamais être négatifs, , QED . Cela montre aussi que précisément pour ces vecteurs

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$ qui sont orthogonaux à tous les ( ie , pour tout ). Lorsque span, alors et sont définis.

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@ Morten L'invariance par transformation est assez claire si vous comprenez une multiplication matricielle de manière géométrique. Pensez à votre vecteur comme une flèche. Les nombres qui décrivent votre vecteur changent avec le système de coordonnées, mais la direction et la longueur de votre vecteur ne le sont pas. Maintenant, une multiplication avec une matrice signifie que vous modifiez la longueur et la direction de cette flèche, mais là encore, l'effet est géométriquement identique dans chaque système de coordonnées. Il en va de même avec un produit scalaire: il est défini géométriquement et Geometriy est invariant par transformation. Donc, votre équation a le même résultat dans tous les systèmes.

— Konstantin Schubert

1

@Morten Lorsque vous pensez en coordonnées, l'argument est le suivant: Quand est votre matrice de transformation, alors: avec tant que vecteur de coordonnées transformé, , donc lorsque vous transformez chaque élément en l'équation , vous obtenez , ce qui équivaut à , et, étant donné que A est orthogonal, est la matrice des unités et nous obtenons à nouveau , ce qui signifie que l'équation transformée et l'équation non transformée ont le même scalaire que le résultat, de sorte que leur valeur correspond à zéro ou à l'un ou l'autre.

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— Konstantin Schubert

0

Les matrices de variance-covariance sont toujours symétriques, comme le prouve l'équation réelle pour calculer chaque terme de ladite matrice.

De plus, les matrices de variance-covariance sont toujours des matrices carrées de taille n, où n est le nombre de variables de votre expérience.

Les vecteurs propres des matrices symétriques sont toujours orthogonaux.

Avec PCA, vous déterminez les valeurs propres de la matrice pour voir si vous pouviez réduire le nombre de variables utilisées dans votre expérience.

— GEN
source

1

Bienvenue Gen. Notez que votre nom d'utilisateur, identicon, et un lien vers votre page d'utilisateur sont automatiquement ajoutés à chaque message que vous publiez, il n'est donc pas nécessaire de signer vos messages.

— Antoine Vernet

3

Cette réponse pourrait être améliorée en abordant le problème de la définition positive

— Silverfish le

Cela ne répond pas vraiment à la question: il s’agit simplement d’un ensemble d’affirmations non prises en charge qui peuvent être pertinentes ou non. Pourriez-vous reformuler la question de manière à montrer comment on répond à la question et à expliquer le raisonnement?

— whuber

0

J'ajouterais à l'argument avancé de Zen ce qui suit, ce qui explique pourquoi nous disons souvent que la matrice de covariance est définie positive si . $n-1\geq k$

Si sont un échantillon aléatoire d'une distribution de probabilité continue, alors sont presque sûrement (au sens de la théorie des probabilités) linéairement indépendants. Maintenant, ne sont pas linéairement indépendants car , mais à cause de étant aussi indépendant linéairement, as span . Si , ils couvrent également . $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

En conclusion, si sont un échantillon aléatoire d'une distribution de probabilité continue et , la matrice de covariance est définie positive. $x_1,x_2,...,x_n$ $n-1\geq k$

— Giominas
source

0

Pour ceux qui, comme moi, n’ont pas une formation mathématique et qui n’arrivent pas à comprendre rapidement les formules mathématiques abstraites, il s’agit d’un excellent exemple pour la réponse la plus élevée. La matrice de covariance peut également être dérivée d’une autre manière.

— Parikshit Bhinde
source

Pouvez-vous expliquer comment cette feuille de calcul démontre la définition positive de la matrice de covariance?

— whuber

Ce ne est pas. J'ai eu du mal à visualiser la matrice de covariance sous sa forme notationnelle elle-même. J'ai donc créé cette feuille pour moi-même et j'ai pensé que cela pourrait aider quelqu'un.

— Parikshit Bhinde

Modifiez-le pour inclure une réponse à la question.

— whuber

Fait :) Merci de suggérer.

— Parikshit Bhinde le

La question est "est-il alors garanti d'avoir une matrice symétrique et définie positive?" Je suis incapable de percevoir un élément de votre message qui traite de cela, car (1) il n'identifie jamais une matrice de covariance; (2) il ne démontre pas la netteté positive de rien.

— whuber