Comment comprendre «non linéaire» comme dans «réduction de dimensionnalité non linéaire»?

24

J'essaie de comprendre les différences entre les méthodes de réduction de dimensionnalité linéaire (par exemple, PCA) et les méthodes non linéaires (par exemple, Isomap).

Je ne comprends pas très bien ce que la (non) linéarité implique dans ce contexte. J'ai lu sur Wikipedia que

Par comparaison, si PCA (un algorithme de réduction de dimensionnalité linéaire) est utilisé pour réduire ce même ensemble de données en deux dimensions, les valeurs résultantes ne sont pas si bien organisées. Cela démontre que les vecteurs de haute dimension (représentant chacun une lettre «A») qui échantillonnent ce collecteur varient de manière non linéaire.

Qu'est-ce que

les vecteurs de grande dimension (représentant chacun une lettre «A») qui échantillonnent ce collecteur varient de manière non linéaire.

signifier? Ou plus largement, comment puis-je comprendre la (non) linéarité dans ce contexte?

— Sibbs Gambling
source

20

La réduction de dimensionnalité signifie que vous mappez chaque vecteur multidimensionnel dans un vecteur de faible dimension. En d'autres termes, vous représentez (remplacez) chaque vecteur multidimensionnel par un vecteur de faible dimension.

La réduction de dimensionnalité linéaire signifie que les composantes du vecteur de faible dimension sont données par les fonctions linéaires des composantes du vecteur de haute dimension correspondant. Par exemple en cas de réduction à deux dimensions nous avons:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Si f1et f2sont des fonctions (non) linéaires, nous avons une réduction de dimensionnalité (non) linéaire.

— romain
source

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ sont les composants des vecteurs de basse et de haute dimension, respectivement (et je pense que ce n'est pas ce que vous voulez dire). Je pensais que le problème n'était pas de comprendre ce qu'est une fonction linéaire mais de savoir où la linéarité apparaît.

— Roman

49

Une image vaut mieux que mille mots:

PCA vs Isomap

Nous recherchons ici une structure unidimensionnelle en 2D. Les points se trouvent le long d'une courbe en forme de S. PCA essaie de décrire les données avec une variété linéaire à 1 dimension, qui est simplement une ligne; bien sûr, une ligne correspond assez mal à ces données. Isomap recherche une variété unidimensionnelle non linéaire (c'est-à-dire incurvée!) Et devrait pouvoir découvrir la courbe en S sous-jacente.

— amibe dit réintégrer Monica
source