Les dimensions t-sne ont-elles un sens?

Existe-t-il des significations pour les dimensions d'un encastrement en T-SNE? Comme avec PCA, nous avons ce sens de maximisations de variance linéairement transformées, mais pour t-sne y a-t-il une intuition en plus de l'espace que nous définissons pour la cartographie et la minimisation de la distance KL?

dimensionality-reduction tsne

— Nitro
source

Je ne sais pas si cela correspond vraiment à ce que vous demandez, mais je pense que les dimensions de t-sne ne dépendent vraiment que de la séparabilité des données. Les dimensions peuvent changer étant donné le même ensemble de données car il s'agit d'une transformation non linéaire. Les dimensions ne peuvent donc vraiment être interprétées que dans le contexte d'une instance donnée. Faites-moi savoir si je me trompe, c'est une question intéressante.

— Hobbes

Peut-être que c'est juste ennuyeux vieux ℝ3?

— Nitro

Les dimensions de l'espace de faible dimension n'ont aucune signification. Notez que la fonction de perte t-SNE est uniquement basée sur les distances entre les points ( et ) et les distributions de probabilité sur ces distances ( et ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{je}} = 4 \sum_{j} (p_{je j} - q_{je j}) (y_{je} - y_{j}) (1 + | | y_{je} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Ainsi, il n'y a pas de projection de tout l'espace de haute dimension vers l'espace de faible dimension, t-SNE ne trouve qu'une cartographie d'un ensemble spécifique de points de haute dimension à un ensemble spécifique de points de basse dimension. Parce qu'il n'y a pas de fonction d'un espace à l'autre, il n'y a pas non plus de signification inhérente aux axes.

Choses que vous pouvez imaginer pour illustrer cela:

La rotation ou la translation de l'espace haute ou basse dimension n'influence pas les distances entre les points. Par conséquent, t-SNE ne se soucie pas de la rotation ou de la translation dans les deux espaces. Il n'y a donc pas d'interprétation absolue des axes.
La distribution t-Student a de grosses queues. Cela fait que la représentation de faible dimension est invariante aux changements de points qui sont loin dans l'espace de haute dimension. Cela entraîne également que les points qui sont éloignés dans l'espace à haute dimension peuvent être soit raisonnablement éloignés, éloignés ou vraiment très éloignés dans l'espace à dimensions réduites. En ce sens, il étire certaines parties des axes de faible dimension (dans n'importe quelle direction arbitraire).

Cela étant dit, le t-SNE est principalement une technique de visualisation et son efficacité de réduction de dimension à d'autres fins n'est pas évidente (probablement ne convient pas pour le regroupement, l'extraction de caractéristiques ou la sélection de caractéristiques).

Aussi: le papier .

— Pieter
source