Compléter une matrice de corrélation 3x3: deux coefficients des trois donnés

20

On m'a posé cette question dans une interview.

Disons que nous avons une matrice de corrélation de la forme

[\begin{matrix} 1 & 0,6 & 0,8 \\ 0,6 & 1 & γ \\ 0,8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

On m'a demandé de trouver la valeur du gamma, compte tenu de cette matrice de corrélation.
Je pensais que je pouvais faire quelque chose avec les valeurs propres, car elles devraient toutes être supérieures ou égales à 0. (La matrice devrait être semi-définie positive) - mais je ne pense pas que cette approche donnera la réponse. Il me manque un truc.

Pourriez-vous s'il vous plaît fournir un indice pour résoudre le même problème?

pearson-r correlation-matrix

— novice
source

Les commentaires ne sont pas pour une discussion approfondie; cette conversation a été déplacée vers le chat .

— whuber

1

Une recherche sur ce site a conduit directement à l'un des (plusieurs) fils contenant des formules pertinentes: stats.stackexchange.com/questions/5747 . Il y a aussi quelques intrigues utiles dans la réponse de felix s .

— whuber

21

Nous savons déjà que est borné entre La matrice de corrélation doit être semi-définie positive et donc ses principaux mineurs doivent être non négatifs $\gamma$ $[-1,1]$

Ainsi,

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0,96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— droits
source

4

@novice Vous voudrez peut-être en savoir plus sur le critère de Sylvester

— Rightskewed

Très bonne réponse. J'ajouterais ce qui suit: La manière populaire d'obtenir le gamma est d'essayer de trouver le gamma qui conduirait à la matrice de corrélation de la plus petite norme nucléaire (aka ky-fan standard) possible tout en résolvant les équations ci-dessus. Pour en savoir plus, recherchez «achèvement de la matrice», «détection compressive» ou consultez ce rapport sur le sujet bit.ly/2iwY1nW .

— Mustafa S Eisa

1

Pour que cela soit une preuve, vous avez besoin d'un résultat dans l'autre sens: si tous les mineurs majeurs non triviaux sont et que la matrice a un déterminant , alors la matrice est semi-définie positive.

> 0

$>0$

\geq 0

$\geq 0$

— Federico Poloni

10

Voici une solution plus simple (et peut-être plus intuitive):

Considérez la covariance comme un produit intérieur sur un espace vectoriel abstrait . Ensuite, les entrées dans la matrice de corrélation sont pour les vecteurs , , , où la parenthèse angulaire désigne l' angle entre et . $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

Il n'est pas difficile de visualiser que est délimité par. La borne sur son cosinus ( ) est donc . La trigonométrie de base donne alors . $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Edit: Notez que le dans la dernière ligne est vraiment - - la deuxième apparition de 0,6 et 0,8 se produit par coïncidence grâce à . $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$

— yangle
source

1

+1, Un raisonnement géométrique légitime (en le disant, je n'ai quand même pas vérifié vos calculs). C'est exactement ce que j'ai proposé dans les commentaires à la question (malheureusement, tous les commentaires ont été déplacés par le modérateur pour discuter, voir le lien ci-dessus).

— ttnphns

Il me semble que vous avez "prouvé" que toutes les corrélations doivent être non négatives, car il semble que votre calcul donnera toujours zéro pour la limite inférieure. Si ce n'est pas le cas, pourriez-vous nous expliquer comment fonctionne votre calcul en général? Je ne fais vraiment pas confiance - ou ne comprends peut-être pas - à votre limite, car en trois dimensions ou plus, vous pouvez toujours trouver une pour laquelle à la fois , puis votre limite implique est toujours nul! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— whuber

@whuber: Désolé pour la confusion. Le calcul ne donne pas toujours zéro pour la limite inférieure. J'ai modifié ma réponse.

— yangle

Comment répondez-vous à ma dernière préoccupation? Cela semble indiquer que vos limites sont incorrectes.

— whuber

@whuber: Dans votre cas, ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, d'où la borne | ⟨v1, v2⟩ ± ⟨v1, v3⟩ | est [0, π] comme prévu. Le cos boundv1 lié, v2⟩cos⟨v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ sur γ est également [-1, 1].

— yangle

4

Voici ce que je voulais dire dans mon commentaire initial à la réponse et ce que je perçois @yangle peut parler (bien que je n'ai pas suivi / vérifié leur calcul).

"La matrice doit être semi-définie positive" implique que les vecteurs variables sont un groupe dans l'espace euclidien. Le cas de la matrice de corrélation est plus facile que la matrice de covariance car les trois longueurs de vecteur sont fixées à 1. Imaginez 3 vecteurs unitaires XYZ et rappelez-vous que est le cosinus de l'angle . Donc, , et . Quelles pourraient être les limites de ? Cette corrélation peut prendre n'importe quelle valeur définie par Z circonscrivant à Y (en conservant l'angle ): $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ $r_{yz}=0.8$

Pendant qu'il tourne, deux positions sont remarquables comme ultime par rapport à X, les deux le sont lorsque Z tombe dans le plan XY. L'un est entre X et Y, et l'autre est du côté opposé de Y. Ceux-ci sont représentés par des vecteurs bleu et rouge. À ces deux positions exactement la configuration XYZ (matrice de corrélation) est singulière. Et ce sont l'angle minimal et maximal (d'où la corrélation) Z peut atteindre wrt X.

En choisissant la formule trigonométrique pour calculer la somme ou la différence des angles sur un plan, nous avons:

$\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$ comme bornes.

Cette vue géométrique n'est qu'un autre regard (et un cas spécifique et plus simple en 3D) sur ce qu'exprime @rightskewed en termes algébriques (mineurs, etc.).

— ttnphns
source

Si X, Y, Z sont des variables aléatoires, comment les mappez-vous à des vecteurs dans l'espace 3D (ils ne peuvent être des vecteurs que dans l'espace 1d). De plus, si les RV sont Nx1, ils seront alors des vecteurs dans un espace dimensionnel N?

— novice

@novice Oui, il s'agit initialement de 3 vecteurs dans l'espace Nd, mais seules 3 dimensions sont non redondantes. Veuillez suivre le 2ème lien dans la réponse et lire une référence supplémentaire à l' espace sujet où il est expliqué.

— ttnphns

4

Jouer avec les mineurs principaux peut convenir à des problèmes de 3 par 3 ou peut-être de 4 par 4, mais il manque de gaz et de stabilité numérique dans des dimensions plus élevées.

Pour un seul problème de paramètre "libre" tel que celui-ci, il est facile de voir que l'ensemble de toutes les valeurs constituant la matrice psd sera un seul intervalle. Par conséquent, il suffit de trouver ces valeurs minimales et maximales. Cela peut facilement être accompli en résolvant numériquement une paire de problèmes de programmation semi-définie linéaire (SDP):

minimiser γ soumis à la matrice est psd.
maximiser γ soumis à la matrice est psd.

Par exemple, ces problèmes peuvent être formulés et résolus numériquement en utilisant YALMIP sous MATLAB.

gamma = sdpvar; A = [1 .6 .8; .6 1 gamma; .8 gamma 1]; optimiser (A> = 0, gamma)
optimiser (A> = 0, -gamma)

Rapide, facile et fiable.

BTW, si l'intervieweur de smarty pants posant la question ne sait pas que la programmation semi-définie, qui est bien développée et dispose d'optimiseurs numériques sophistiqués et faciles à utiliser pour résoudre de manière fiable des problèmes pratiques, peut être utilisée pour résoudre ce problème, et bien d'autres encore variantes difficiles, dites-lui que ce n'est plus 1870 et qu'il est temps de profiter des développements informatiques modernes.

— Mark L. Stone
source

4

Considérons l'ensemble convexe suivant

{(X, y, z) \in R^{3} : [\begin{matrix} 1 & X & y \\ X & 1 & z \\ y & z & 1 \end{matrix}] ⪰ O_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

$3$

$x=0.6$ $y=0.8$

La limite de l'elliptope est une surface cubique définie par

dét [\begin{matrix} 1 & X & y \\ X & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 X y z - X^{2} - y^{2} - z^{2} = 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

$x=0.6$ $y=0.8$

0,96 z - z^{2} = z (0,96 - z) = 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Ainsi, l'intersection de l'elliptope avec les deux plans est le segment de ligne paramétré par

{(0,6, 0,8, t) ∣ 0 \leq t \leq 0,96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Rodrigo de Azevedo
source

1

Chaque matrice semi-définie positive est une matrice de corrélation / covariance (et vice versa).

$A$ $A$ $A=UDU^T$ $U$ $D$ $B= U D^{1/2} U^T$ $D^{1/2}$

$\mathbf{x}$ $B \mathbf{x}$ $A$

$R=E[\mathbf{x}\mathbf{x}^T]$ $R = R^T$ $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ $\mathbf{a}$ $R$

$2^n$ $n$

— Homme chauve-souris
source