Lors de l'utilisation de SVM, pourquoi dois-je faire évoluer les fonctionnalités?

Selon la documentation de l' objet StandardScaler dans scikit-learn:

Par exemple, de nombreux éléments utilisés dans la fonction objective d'un algorithme d'apprentissage (comme le noyau RBF des machines à vecteurs de support ou les régularisateurs L1 et L2 des modèles linéaires) supposent que toutes les fonctionnalités sont centrées autour de 0 et ont des variances dans le même ordre. Si une caractéristique présente une variance de plusieurs ordres de grandeur plus grande que d'autres, elle pourrait dominer la fonction objective et empêcher l'estimateur d'apprendre correctement des autres caractéristiques comme prévu.

Je devrais mettre à l'échelle mes fonctionnalités avant la classification. Existe-t-il un moyen simple de montrer pourquoi je dois le faire? Des références à des articles scientifiques seraient encore meilleures. J'en ai déjà trouvé un mais il y en a probablement beaucoup d'autres.

— voyou
source

Réponses:

Toutes les méthodes du noyau sont basées sur la distance. La fonction du noyau RBF est (en utilisant pour simplicité). $\kappa(\mathbf{u},\mathbf{v}) = \exp(-\|\mathbf{u}-\mathbf{v}\|^2)$ $\gamma=1$

Étant donné 3 vecteurs de fonctionnalités:

x_{1} = [1000, 1, 2], x_{2} = [900, 1, 2], x_{3} = [1050, - 10, 20] .

$\mathbf{x}_1 = [1000, 1, 2], \quad \mathbf{x}_2 = [900, 1, 2], \quad \mathbf{x}_3 = [1050, -10, 20].$

alors , c'est-à-dire que est censé être plus similaire à qu'à . $\kappa( \mathbf{x}_1, \mathbf{x}_2) = \exp(-10000) \ll \kappa(\mathbf{x}_1, \mathbf{x}_3) = \exp(-2905)$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$

Les différences relatives entre et: $\mathbf{x}_1$

x_{2} \to [0.1, 0, 0], x_{3} \to [0.05, - 10, 10] .

$\mathbf{x}_2 \rightarrow [0.1, 0, 0],\quad \mathbf{x}_3 \rightarrow [0.05, -10, 10].$

Donc, sans mise à l'échelle, nous concluons que est plus similaire à qu'à , même si les différences relatives par fonctionnalité entre et sont beaucoup plus grands que ceux de et . $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_1$ $\mathbf{x}_2$

En d'autres termes, si vous ne mettez pas à l'échelle toutes les fonctionnalités à des plages comparables, les fonctionnalités avec la plus grande plage domineront complètement dans le calcul de la matrice du noyau.

Vous pouvez trouver des exemples simples pour illustrer cela dans le document suivant: Un guide pratique pour prendre en charge la classification des vecteurs (section 2.2).

— Marc Claesen
source

vous voudrez peut-être aussi discuter de la régularisation: l'échelle des poids dépend de l'échelle des entrées ...

— seanv507

L'effet de la régularisation est que différentes échelles impliquent différents optimaux , ce qui est quelque peu orthogonal à ce problème particulier.

C

$C$

— Marc Claesen

Mais il se pourrait en effet que la proximité le long d'une dimension soit plus importante. Le but n'est donc pas vraiment d'avoir la même variance dans toutes les entités, mais de les faire évoluer de telle sorte que les distances le long de chaque entité aient à peu près la même importance par rapport à la tâche.

— isarandi

@Marc Claesen, si vos variables sont de différents ordres de grandeur, alors vos poids seront également de différents ordres de grandeur, et la norme l2 se concentrera sur les entrées qui ont une petite variance et des poids correspondants importants. autrement dit, la régularisation des normes de poids garantit que les «petits» intrants ont de petits effets. Cela n'a de sens que si vous avez standardisé "petit" (sur vos entrées), par exemple en normalisant vos variables

— seanv507

@ seanv507 qui ne s'applique qu'aux SVM linéaires.

— Marc Claesen

Cela dépend du noyau que vous utilisez. De loin le plus couramment utilisé (en dehors du linéaire) est le noyau gaussien, qui a la forme

f = e x p (\frac{- | | x_{1} - x_{2} | |^{2}}{2 σ^{2}})

$f = exp \left ( \frac{- || x{_{1}} - x{_{2}} || ^2 }{2\sigma ^2} \right )$

Un SVM prend cette fonction et l'utilise pour comparer la similitude d'un point ( ) à tous les autres points de l'ensemble d'apprentissage en additionnant les différences comme suit : $x1$

(x_{1} - l_{1})^{2} + (x_{2} - l_{2})^{2} . . . + (x_{n} - l_{n})^{2}

$(x{_{1}}-l{_{1}})^2+(x{_{2}}-l{_{2}})^2...+(x{_{n}}-l{_{n}})^2$

où est votre exemple et les valeurs de sont les points de repère. $x$ $l$

Si la fonction va de 0 à 50 000 tandis que la fonction va de 0 à 0,01, vous pouvez voir que va dominer cette somme tandis que n'aura pratiquement aucun impact. Pour cette raison, il est nécessaire de mettre à l'échelle les fonctionnalités avant d'appliquer le kernal. $x{_{1}}$ $x{_{2}}$ $x{_{1}}$ $x{_{2}}$

Si vous voulez en savoir plus, je recommande le module 12 (Support Vector Machines) du cours en ligne de Stanford sur l'apprentissage automatique à Coursera (gratuit et disponible à tout moment): https://www.coursera.org/course/ml

— ralph346526
source