Mesurer la dépendance non linéaire

La covariance entre deux variables aléatoires définit une mesure de leur lien linéaire entre elles. Mais que se passe-t-il si la distribution conjointe est circulaire? Il y a sûrement une structure dans la distribution. Comment cette structure est-elle extraite?

covariance-matrix

— Infini
source

Réponses:

Par "circulaire", je comprends que la distribution est concentrée sur une région circulaire, comme dans ce tracé de contour d'un pdf.

Tracé de contour d'une distribution circulaire

$r$ $r$ $(X,Y)$ $(\mu_X, \mu_Y)$

F (ρ) = Pr [(X - μ_{X})^{2} + (Y - μ_{Y})^{2} \leq ρ^{2}], ρ \geq 0;

$F(\rho) = \Pr[(X-\mu_X)^2 + (Y-\mu_Y)^2 \le \rho^2], \rho \ge 0;$

F (ρ) = 0, ρ < 0.

$F(\rho) = 0, \rho \lt 0.$

$0$ $\rho$ $R$ $F$ $\Theta$ $[0, 2\pi]$ $R$ $(\Xi, H) = (R\cos(\Theta) + \mu_X, R\sin(\Theta)+\mu_Y)$ $(X,Y)$ $F$ $\Theta$

$(X,Y)$ $(\Xi, H)$ $L^p$ $(X,Y)$ $(\Xi, H)$ $F$ $F$ $(X,Y)$ $F$ $(X,Y)$ $(\mu_X, \mu_Y)$

$(x_i,y_i), 1 \le i \le n$ $(x_i,y_i)$ $(r_i, \theta_i)$ $[0, 2\pi)$

— whuber
source

Je vous remercie! Bien que ce ne soit pas tout à fait clair, cela me donne une idée. Pourriez-vous s'il vous plaît recommander une lecture où ces types de distributions sont abordés? Je n'ai été exposé qu'aux Gaussiens et aux autres distributions standard. Une autre question, cela a-t-il quelque chose à voir avec les fonctions de distribution radiale des atomes, etc.?

— Infinity

@Infinity Faites-moi savoir quelle partie n'est pas claire afin que je puisse essayer de la réparer. Je ne sais pas où ces distributions sont discutées, mais une analyse connexe peut être trouvée dans la littérature sur les "distributions circulaires". Les idées mathématiques sous-jacentes sont en effet quelque peu ténues avec la théorie orbitale atomique. Les concepts pertinents incluent la séparabilité de l'équation de Schrodinger en coordonnées sphériques, la construction de la mesure de Haar d'un groupe de Lie compact en faisant la moyenne, et la comparaison des orbitales au moyen d'intégrales de chevauchement.

— whuber

(μ_{X}, μ_{Y})

$(\mu_X, \mu_Y)$

ρ

$\rho$

F (ρ)

$F(\rho)$

(Ξ, H)

$(\Xi, H)$

(Ξ, H)

$(\Xi, H)$

@Infinity J'ai ajouté quelques remarques de clarification. Vous ne faites pas la moyenne des cercles; au lieu de cela, vous faites la moyenne (ou "étalez") toutes les probabilités à travers chaque cercle afin que, peu importe ce que vous avez commencé, cela finisse par ressembler à mon image (avec des contours circulaires). Si la distribution d'origine était vraiment circulaire, cette moyenne ne la change pas. Ainsi, la comparaison de la distribution à sa version moyenne vous indique dans quelle mesure elle est circulaire en premier lieu.

— whuber

L'information mutuelle a des propriétés quelque peu analogues à la covariance. La covariance est un nombre qui est 0 pour les variables indépendantes et différent de zéro pour les variables qui dépendent linéairement. En particulier, si deux variables sont identiques, alors la covariance est égale à la variance (qui est généralement un nombre positif). Un problème avec la covariance est qu'elle peut être nulle même si deux variables ne sont pas indépendantes, à condition que la dépendance ne soit pas linéaire.

L'information mutuelle (MI) est un nombre non négatif. Elle est nulle si et seulement si les deux variables sont statistiquement indépendantes. Cette propriété est plus générale que celle de la covariance et couvre toutes les dépendances, y compris les dépendances non linéaires.

Si les deux variables sont identiques, MI est égal à l'entropie de la variable (encore une fois, généralement un nombre positif). Si les variables sont différentes et ne sont pas liées de manière déterministe, alors MI est plus petit que l'entropie. En ce sens, l'IM de deux variables se situe entre 0 et H (l'entropie), avec 0 uniquement si indépendant et H uniquement s'il dépend de façon déterministe.

$Cov(X, -X) = -Cov(X, X) = -Var(X)$ $MI(X, -X) = MI(X, X) = H(X)$

— Sheldon Cooper
source

Pourriez-vous expliquer comment ce concept répond à la question?

— onestop

Veuillez lire l'article suivant de la science - il répond exactement à votre point:

Détection de nouvelles associations dans de grands ensembles de données par David N. Reshef et al.

Du résumé:

Il est de plus en plus important d'identifier des relations intéressantes entre des paires de variables dans de grands ensembles de données. Ici, nous présentons une mesure de la dépendance pour les relations à deux variables: le coefficient d'information maximal (MIC). La MIC capture un large éventail d'associations fonctionnelles et non, et pour les relations fonctionnelles fournit un score qui équivaut à peu près au coefficient de détermination (R ^ 2) des données par rapport à la fonction de régression. La MIC appartient à une classe plus large de statistiques d'exploration non paramétrique basée sur l'information maximale (MINE) pour identifier et classer les relations. Nous appliquons MIC et MINE à des ensembles de données sur la santé mondiale, l'expression des gènes, le baseball des ligues majeures et le microbiote intestinal humain et identifions les relations connues et nouvelles.

Vous trouverez des informations supplémentaires ici: http://www.sciencemag.org/content/suppl/2011/12/14/334.6062.1518.DC1

Les auteurs fournissent même un outil gratuit incorporant la nouvelle méthode qui peut être utilisée avec R et Python: http://www.exploredata.net/

— vonjd
source