Pourquoi le rang de la matrice de covariance est-il au plus


17

Comme indiqué dans cette question, le rang maximum de la matrice de covariance est n1 où est la taille de l'échantillon et donc si la dimension de la matrice de covariance est égale à la taille de l'échantillon, elle serait singulière. Je ne comprends pas pourquoi nous soustrayons du rang maximum de la matrice de covariance.1 nn1n


1
Pour avoir l'intuition, pensez à n=2 points en 3D. Quelle est la dimensionnalité du sous-espace dans lequel ces points se trouvent? Pouvez-vous les adapter sur une ligne (sous-espace 1D)? Ou avez-vous besoin d'un avion (sous-espace 2D)?
amibe dit Réintégrer Monica

Vous comprenez donc que n=2 conduit à une matrice de covariance de rang 1? D'accord, prenons n=3 points. Pouvez-vous voir que vous pouvez toujours les adapter sur un plan 2D?
amibe dit Réintégrer Monica

4
@amoeba votre exemple était clair mais je ne comprends pas quelle est la relation entre l'ajustement d'hyperplan dans votre exemple et la matrice de covariance?
user3070752

Désolé pour le retard;)
user3070752

Réponses:


20

L'estimateur sans biais de la matrice de covariance de l'échantillon étant donné points de données x iR d est C = 1nxiRd ˉ x =xi/nest la moyenne sur tous les points. Notons(x

C=1n1i=1n(xix¯)(xix¯),
x¯=xi/n comme z i . Le 1(xix¯)zi facteur n - 1 ne change pas le rang, et chaque terme de la somme a (par définition) le rang1, donc le cœur de la question est le suivant:1n11

Pourquoi a-t-il le rangn-1et non le rangn, comme il semblerait parce que nous additionnonsnmatrices derang1?zizin1nn1

La réponse est que cela se produit parce que ne sont pas indépendants. Par construction, z i = 0 . Donc, si vous connaissez n - 1 de z i , alors le dernier z n restant est complètement déterminé; nous ne sommes pas sommateur n rank- indépendantes 1 matrices, nous sommateur seulement n - 1 rank- indépendants 1 matrices, puis en ajoutant une plus rank- 1 matrice qui est entièrement linéaire déterminée par le reste. Ce dernier ajout ne modifie pas le classement général.zizi=0n1ziznn1n111

Nous pouvons voir cela directement si nous réécrivons comme z n = - n - 1 i = 1 z i , et maintenant nous le connectons à l'expression ci-dessus: n i = 1 z i z i = n - 1 i = 1 z i z i + ( - n - 1 i = 1zi=0

zn=i=1n1zi,
i=1nzizi=i=1n1zizi+(i=1n1zi)zn=i=1n1zi(zizn).
n1n1

1n11n

n1x¯


0

Je pense que l'explication est un peu plus courte:

nmxnm

xmin(n,m)

nmz

z=xE[x]

min(n,m1)

i=1mzi=0

z

X devient:

cov(X,X)=1m-1zzT

De toute évidence, le rang de la matrice de covariance est le runenk(zzT).

Par théorème de nullité de rang : runenk(zzT)=runenk(z)=mjen(n,m-1).

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.