Mesures de similitude ou de distance entre deux matrices de covariance

28

Existe-t-il des mesures de similitude ou de distance entre deux matrices de covariance symétrique (toutes deux ayant les mêmes dimensions)?

Je pense ici aux analogues de la divergence KL de deux distributions de probabilités ou de la distance euclidienne entre vecteurs sauf appliquée aux matrices. J'imagine qu'il y aurait pas mal de mesures de similitude.

Idéalement, je voudrais également tester l'hypothèse nulle selon laquelle deux matrices de covariance sont identiques.

— Ram Ahluwalia
source

3

les réponses à cette question: quant.stackexchange.com/q/121/108 peuvent être utiles.

— shabbychef

2

excellente question et réponse sur le lien - merci - oui c'est là que j'allais :)

— Ram Ahluwalia

2

Question connexe: Diagramme diagnostique pour évaluer l'homogénéité des matrices de variance-covariance . Document connexe: Une procédure simple pour la comparaison des matrices de covariance .

— amibe dit Réintégrer Monica

21

Vous pouvez utiliser n'importe laquelle des normes (voir Wikipedia sur une variété de normes; notez que la racine carrée de la somme des distances au carré, , est appelée norme de Frobenius, et diffère de la norme , qui est la racine carrée de la plus grande valeur propre de , bien que, bien sûr, elles généreraient la même topologie). La distance KL entre les deux distributions normales avec les mêmes moyennes (disons zéro) et les deux matrices de covariance spécifiques est également disponible dans Wikipedia sous la forme . $\| A-B \|_p$ $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

Edit: si l'une des matrices est une matrice impliquée par le modèle et l'autre est la matrice de covariance échantillon, alors bien sûr, vous pouvez former un test de rapport de vraisemblance entre les deux. Ma collection préférée personnelle de tels tests pour des structures simples est donnée dans Rencher (2002) Methods of Multivariate Analysis . Les cas plus avancés sont couverts par la modélisation de la structure de covariance, sur laquelle un point de départ raisonnable est Bollen (1989) Structural Equations with Latent Variables .

— StasK
source

j'ai un problème avec : il ne donne pas la même valeur si vous permutez et (une distance réelle doit être symétrique).

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

— user603

j'ai un problème avec : ce n'est pas équivariant affine (si on fait tourner les matrices, il y a des changements de distance!). De plus, vous devez en quelque sorte mettre à l'échelle vos matrices (elles peuvent être mesurées dans des unités très différentes), aussi, il est naturel d'exiger que la distance entre deux matrices de covariance soit la même que la distance entre les matrices de corrélation correspondantes: je suggère donc .

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

— user603

2

Tout d'abord, KL n'est pas une vraie distance, et c'est un fait bien connu. Deuxièmement, si les matrices sont mesurées dans différentes unités, elles ne peuvent pas être égales.

— StasK

La distance KL est-elle similaire au rapport de vraisemblance ou est-elle liée?

— hashmuke

7

Désignons et vos matrices deux de dimension . $\varSigma_1$ $\varSigma_2$ $p$

Numéro de cond: où ( ) est la plus grande (la plus petite) valeur propre de , où est défini comme: $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

Edit: J'ai édité la deuxième des deux propositions. Je pense que j'avais mal compris la question. La proposition basée sur les nombres de conditions est beaucoup utilisée dans les statistiques robustes pour évaluer la qualité de l'ajustement. Une ancienne source que j'ai pu trouver est:

Yohai, VJ et Maronna, RA (1990). Le biais maximal des covariances robustes. Communications in Statistics – Theory and Methods, 19, 3925–2933.

J'avais initialement inclus la mesure du ratio Det:

Rapport det: où . $\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$

qui serait la distance de Bhattacharyya entre deux distributions gaussiennes ayant le même vecteur de localisation. J'ai dû lire à l'origine la question comme se rapportant à un contexte où les deux covariances provenaient d'échantillons de populations supposées avoir des moyennes égales.

— user603
source

7

Une mesure introduite par Herdin (2005) Correlation Matrix Distance, une mesure significative pour l'évaluation des canaux MIMO non stationnaires est où la norme est la norme Frobenius.

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$

— davidc
source

+1. Merci beaucoup pour cette réponse, elle m'a été très utile.

— amibe dit Réintégrer Monica

1

Ceci est une similitude moins cosinus, non?

— Firebug

4

La distance de la matrice de covariance est utilisée pour suivre les objets en vision par ordinateur.

La métrique actuellement utilisée est décrite dans l'article: "Une métrique pour les matrices de covariance" , par Förstner et Moonen.

— Andres Romero
source