Quelle est la signification des vecteurs propres d'une matrice d'information mutuelle?

En regardant les vecteurs propres de la matrice de covariance, nous obtenons les directions de variance maximale (le premier vecteur propre est la direction dans laquelle les données varient le plus, etc.); c'est ce qu'on appelle l'analyse en composantes principales (ACP).

Je me demandais ce que cela signifierait de regarder les vecteurs / valeurs propres de la matrice d'information mutuelle, pointeraient-ils dans le sens de l'entropie maximale?

Bien que ce ne soit pas une réponse directe (car il s'agit d'informations mutuelles ponctuelles ), regardez le papier reliant word2vec à une décomposition en valeurs singulières de la matrice PMI:

• O. Levy, Y. Goldberg, Neural Word Embedding as Implicit Matrix Factorization

Nous analysons le saut de gramme avec échantillonnage négatif (SGNS), une méthode d'intégration de mots introduite par Mikolov et al., Et montrons qu'il factorise implicitement une matrice de contexte de mots, dont les cellules sont les informations mutuelles ponctuelles (PMI) des respectives paires de mots et de contextes, décalées d'une constante globale. Nous constatons qu'une autre méthode d'intégration, NCE, factorise implicitement une matrice similaire, où chaque cellule est la probabilité conditionnelle log (décalée) d'un mot étant donné son contexte. Nous montrons que l'utilisation d'une matrice de contexte de mots PMI à décalage positif et clairsemé pour représenter des mots améliore les résultats sur deux tâches de similitude de mots et l'une des deux tâches d'analogie. Lorsque des vecteurs de faible dimension dense sont préférés, la factorisation exacte avec SVD peut atteindre des solutions qui sont au moins aussi bonnes que les solutions de SGNS pour les tâches de similarité de mots. Sur les questions d'analogie, SGNS reste supérieur à SVD. Nous supposons que cela découle de la nature pondérée de la factorisation de SGNS.