Exemples de données indépendantes et non corrélées dans la vie réelle, et moyens de les mesurer / détecter

Nous entendons toujours parler de ce vecteur de données VS de cet autre vecteur de données indépendant les uns des autres, ou non corrélé, etc., et bien qu'il soit facile de trouver le calcul concernant ces deux concepts, je veux les relier à des exemples de la vie, et aussi trouver des moyens de mesurer cette relation.

De ce point de vue, je cherche des exemples de deux signaux qui sont des combinaisons suivantes: (je vais commencer par certains):

Deux signaux indépendants ET (nécessairement) non corrélés:
- Le bruit d'un moteur de voiture (appelez-le ) et votre voix ( ) pendant que vous parlez. $v_1[n]$ $v_2[n]$
- Un enregistrement de l'humidité tous les jours ( ) et l'indice Dow Jones ( ). $v_1[n]$ $v_2[n]$

Q1) Comment mesureriez-vous / prouveriez-vous qu'ils sont indépendants avec ces deux vecteurs en main? Nous savons que l'indépendance signifie que le produit de leurs pdfs est égal à leur pdf commun, et c'est très bien, mais avec ces deux vecteurs en main, comment peut-on prouver leur indépendance?

Deux signaux qui ne sont PAS indépendants, mais toujours non corrélés:

Q2) Je ne peux pas penser à des exemples ici ... quels seraient certains exemples? Je sais que nous pouvons mesurer la corrélation en prenant la corrélation croisée de deux de ces vecteurs, mais comment pourrions-nous prouver qu'ils ne sont PAS non plus indépendants?

Deux signaux corrélés:
- Un vecteur mesurant la voix d'une chanteuse d'opéra dans le hall principal, , tandis que quelqu'un enregistre sa voix quelque part à l'intérieur du bâtiment, disons dans la salle de répétition ( ). $v_1[n]$ $v_2[n]$
- Si vous avez continuellement mesuré votre fréquence cardiaque dans votre voiture, ( ), et également mesuré l'intensité des lumières bleues frappant votre pare-brise arrière ( ) ... Je suppose que celles-ci seraient très corrélées ... :-) $v_1[n]$ $v_2[n]$

Q3) Relatif à q2, mais dans le cas de la mesure de la corrélation croisée à partir de ce point de vue empirique, est-il suffisant de regarder le produit scalaire de ces vecteurs (puisque c'est la valeur au sommet de leur corrélation croisée)? Pourquoi nous soucierions-nous des autres valeurs de la fonction de corrélation croisée?

Merci encore, plus il y a d'exemples, mieux c'est pour construire l'intuition!

cross-correlation independence

— Spacey
source

@DilipSarwate Merci Dilip, je vais y jeter un œil. Pour l'instant, quelques exemples seraient bien.

— Spacey

Vous ne pouvez pas «prouver» qu'ils sont indépendants de la même manière que même un sondage bien construit ne peut pas «prouver» comment tout le monde va voter - et pour les mêmes raisons.

— Jim Clay

@JimClay N'hésitez pas à assouplir le critère «prouver» - ce que j'essaie de comprendre, ce sont des moyens de mesurer / quantifier l'indépendance. Nous entendons souvent parler de telle ou telle indépendance, eh bien, comment savent-ils cela? Quel ruban à mesurer est utilisé?

— Spacey

je voudrais savoir si la corrélation cros peut être utilisée pour deux signaux analogiques, l'un de haute résolution et l'autre de basse résolution à des fins d'analyse.

Si nous avons une variable aléatoire X et construisons 2 signaux a ** = (x) et ** b ** = (x) avec et étant orthogonaux et ** x = a + b $f_1$ $f_2$ $f_1$ $f_2$ . Cela impliquerait-il que ces signaux sont indépendants? Cela nécessite-t-il des conditions supplémentaires? Cette propriété serait intéressante car elle évite de construire des pdf communs de a et b .

— Mladen

Réponses:

Quelques éléments ... (je sais que ce n'est pas exhaustif, une réponse plus complète devrait sans doute mentionner des moments)

Pour vérifier si deux distributions sont indépendantes, vous devez mesurer à quel point leur distribution conjointe est similaire au produit de leur distribution marginale . À cette fin, vous pouvez utiliser n'importe quelle distance entre les distributions. Si vous utilisez la divergence Kullback-Leibler pour comparer ces distributions, vous considérerez la quantité: $p(x,y)$ $p(x) \times p(y)$

$\int_x \int_y p(x, y) \log \frac{p(x, y)}{p(x) p(y)} dx dy$

Et vous aurez reconnu ... l'Information Mutuelle! Plus elle est faible, plus les variables sont indépendantes.

Plus concrètement, pour calculer cette quantité à partir de vos observations, vous pouvez soit estimer les densités , , partir de vos données à l'aide d'un estimateur de densité Kernel et effectuer une intégration numérique sur une grille fine ; ou simplement quantifier vos données en cases et utiliser l'expression des informations mutuelles pour des distributions discrètes. $p(x)$ $p(y)$ $p(x, y)$ $N$

De la page Wikipedia sur l'indépendance statistique et la corrélation:

Parcelles de distribution

À l'exception du dernier exemple, ces distributions 2D ont des distributions marginales et non corrélées (matrice de covariance diagonale), mais non indépendantes . $p(x, y)$ $p(x)$ $p(y)$

Il existe en effet des situations dans lesquelles vous pouvez regarder toutes les valeurs des fonctions de corrélation croisée. Ils surviennent, par exemple, dans le traitement du signal audio. Considérons deux microphones capturant la même source, mais distants de quelques mètres. La corrélation croisée des deux signaux aura un fort pic au décalage correspondant à la distance entre les microphones divisée par la vitesse du son. Si vous regardez simplement la corrélation croisée au décalage 0, vous ne verrez pas qu'un signal est une version décalée dans le temps de l'autre!

— pichenettes
source

p (x, y)

$p(x,y)$

p(x}

$p(x}$

(suite) 2) Donc, pour résumer: si la matrice de covariance de x et y est diagonale, alors elles ne sont pas corrélées, mais PAS nécessairement indépendantes, n'est-ce pas? Tester l'indépendance était le problème de la question de suivi (1). Cependant, si nous montrons qu'ils sont indépendants, alors bien sûr leur matrice de covariance DOIT être diagonale. Ai-je bien compris? Quel est un exemple de 2 signaux physiques que je peux mesurer dans la vie réelle qui seraient dépendants, mais non corrélés? Merci encore.

— Spacey

x_{n}

$x_n$

y_{n}

$y_n$

N

$N$

p (x, y)

$p(x, y)$

p^{*} (x, y) = \sum_{i} \frac{1}{N} K (x - x_{i}, y - y_{i})

$p^*(x, y) = \sum_i \frac{1}{N}K(x - x_i, y - y_i)$

K

$K$

(x_{n}, y_{n})

$(x_n, y_n)$

p^{*} (x, y) = \frac{C}{N}

$p^*(x, y) = \frac{C}{N}$

C

$C$

(x, y)

$(x, y)$

"2 signaux physiques qui seraient dépendants, mais non corrélés": Disons que nous piratons le GPS d'un taxi NY pour enregistrer un historique (latitude, longitude) de sa position. Il y a de bonnes chances que le lat., Longtemps. les données ne seront pas corrélées - il n'y a pas d '"orientation" privilégiée du nuage de points. Mais ce ne sera guère indépendant, car, si on vous demandait de deviner la latitude du taxi, vous fourniriez une bien meilleure estimation si vous connaissiez la longitude (vous pourriez alors regarder une carte et exclure le [lat, longues] paires occupées par des bâtiments).

— pichenettes

Autre exemple: deux sinusoïdes ondulent à un multiple entier de la même fréquence. Corrélation nulle (la base de Fourier est orthonormée); mais si vous connaissez la valeur de l'un, il n'y a qu'un ensemble fini de valeurs que l'autre peut prendre (pensez à un tracé de Lissajous).

— pichenettes

Il est très difficile de déterminer si deux signaux sont indépendants (compte tenu des observations finies) sans connaissances / hypothèses préalables.

$X$ $Y$ $X$ $Y$ $Y$ $X$ $Y$

cov (f_{1} (X), f_{2} (Y)) = E (f_{1} (X), f_{2} (Y)) = 0

$\text{cov}(f_1(X),f_2(Y)) = E(f_1(X),f_2(Y)) = 0$

f_{1}

$f_1$

f_{2}

$f_2$

X

$X$

Y

$Y$

f_{1} (x) = f_{2} (x) = x

$f_1(x) = f_2(x) = x$

$E(X^iY^j)$ nous donnera des informations sur «leur dépendance».

$X(t)$ $Y(t)$

S_{X, Y} (f), S_{X^{2}, Y} (f), S_{X, Y^{2}} (f) \dots

$S_{X,Y}(f),S_{X^2,Y}(f),S_{X,Y^2}(f) \dots$

f

$f$

Exemple :

X (t) = \sin (2 π f t)

$X(t) = \sin(2 \pi ft)$

Y (t) = \sin (2 π f t k)

$Y(t) = \sin( 2 \pi ftk)$

k \in Z

$k \in \mathbb{Z}$

k \neq 1

$k \neq 1$

X (t)

$X(t)$

Y (t)

$Y(t)$

\sin (k x)

$\sin(kx)$

\sin (x)

$\sin(x)$

Y (t) = f (X (t))

$Y(t) = f (X (t))$

f

$f$

$X(t)$ $Y(t)$

— rwolst
source

X_{x^{2}, Y} (f)

$X_{x^2, Y}(f)$

X^{2} (t)

$X^2(t)$

Y (t)

$Y(t)$