Pourquoi le rang de la matrice de covariance est-il au plus

Comme indiqué dans cette question, le rang maximum de la matrice de covariance est $n-1$ où est la taille de l'échantillon et donc si la dimension de la matrice de covariance est égale à la taille de l'échantillon, elle serait singulière. Je ne comprends pas pourquoi nous soustrayons du rang maximum de la matrice de covariance. $n$ $1$ $n$

covariance-matrix linear-algebra

— user3070752
source

Pour avoir l'intuition, pensez à

n = 2

$n=2$ points en 3D. Quelle est la dimensionnalité du sous-espace dans lequel ces points se trouvent? Pouvez-vous les adapter sur une ligne (sous-espace 1D)? Ou avez-vous besoin d'un avion (sous-espace 2D)?

— amibe dit Réintégrer Monica

Vous comprenez donc que

n = 2

$n=2$ conduit à une matrice de covariance de rang 1? D'accord, prenons

n = 3

$n=3$ points. Pouvez-vous voir que vous pouvez toujours les adapter sur un plan 2D?

— amibe dit Réintégrer Monica

@amoeba votre exemple était clair mais je ne comprends pas quelle est la relation entre l'ajustement d'hyperplan dans votre exemple et la matrice de covariance?

— user3070752

Désolé pour le retard;)

— user3070752

Réponses:

L'estimateur sans biais de la matrice de covariance de l'échantillon étant donné points de données est $n$ $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ oùest la moyenne sur tous les points. Notons

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$

comme

. Le

(x_{i} - \bar{x})

$(\x_i-\bar \x)$

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$

facteur

ne change pas le rang, et chaque terme de la somme a (par définition) le rang

, donc le cœur de la question est le suivant:

\frac{1}{n - 1}

$\frac{1}{n-1}$

1

$1$

Pourquoi a-t-il le ranget non le rang, comme il semblerait parce que nous additionnonsmatrices derang? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

La réponse est que cela se produit parce que ne sont pas indépendants. Par construction, . Donc, si vous connaissez de , alors le dernier restant est complètement déterminé; nous ne sommes pas sommateur rank- indépendantes matrices, nous sommateur seulement rank- indépendants matrices, puis en ajoutant une plus rank- matrice qui est entièrement linéaire déterminée par le reste. Ce dernier ajout ne modifie pas le classement général. $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$

Nous pouvons voir cela directement si nous réécrivons comme et maintenant nous le connectons à l'expression ci-dessus: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

$\frac{1}{n-1}$ $\frac{1}{n}$

$n-1$ $\bar \x$

— amibe dit réintégrer Monica
source

Je pense que l'explication est un peu plus courte:

$n$ $m$ $x$ $n$ $m$

$x$ $min(n,m)$

$n$ $m$ $z$

$z = x - E[x]$

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$ devient:

$cov(x,x) = \frac{1}{m-1}zz^T$

De toute évidence, le rang de la matrice de covariance est le $rank(zz^T)$ .

Par théorème de nullité de rang : $rank(zz^T) = rank(z) = min(n,m-1)$ .

— Mikel
source