Utilisation du paramètre Gamma avec des machines à vecteurs de support

9

Lors de l'utilisation libsvm, le paramètre est un paramètre de la fonction noyau. Sa valeur par défaut est configurée comme $\gamma$

γ = \frac{1}{nombre de fonctionnalités.}

$\gamma = \frac{1}{\text{number of features.}}$

Existe-t-il des directives théoriques pour la configuration de ce paramètre en plus des méthodes existantes, par exemple, la recherche dans la grille?

— user3269
source

8

Je suggère les conseils théoriques suivants. Lorsque vous utilisez un noyau gaussien RBF, votre surface de séparation sera basée sur une combinaison de surfaces en forme de cloche centrées sur chaque vecteur de support. La largeur de chaque surface en forme de cloche sera inversement proportionnelle à . Si cette largeur est inférieure à la distance minimale par paire pour vos données, vous avez essentiellement un sur-ajustement. Si cette largeur est supérieure à la distance maximale par paire pour vos données, tous vos points tombent dans une seule classe et vous n'avez pas non plus de bonnes performances. La largeur optimale devrait donc se situer quelque part entre ces deux extrêmes. $\gamma$

— Leo
source

pair-wise distance for your data= distance euclidienne simple après mise à l'échelle?

— ihadanny

5

Non, cela dépend essentiellement des données. La recherche de grille (sur les hyper-paramètres transformés en journaux) est une très bonne méthode si vous n'avez qu'un petit nombre d'hyper-paramètres à régler, mais ne rendez pas la résolution de la grille trop fine ou vous risquez de sur-ajuster le réglage critère. Pour les problèmes avec un plus grand nombre de paramètres du noyau, je trouve que la méthode Nelder-Mead simplex fonctionne bien.

— Dikran Marsupial
source

Dikran, merci pour la réponse. Pouvez-vous nous en dire plus sur le "dépendant des données"? Quelle est la relation entre r et un ensemble de données? Ou en d'autres termes, étant donné un ensemble de données, existe-t-il un moyen de définir r sur la base de ces données?

— user3269

1

Essentiellement "dépendant des données" signifie simplement que les meilleurs paramètres varient en fonction de la structure particulière des données et il n'y a généralement pas de meilleur moyen de les définir que de minimiser l'erreur de validation croisée. Les méthodes du noyau pourraient vraiment faire avec une analyse plus théorique de la façon d’apprendre le noyau, mais malheureusement, cela est mathématiquement très difficile.

— Dikran Marsupial