Comprendre la régression SVM: fonction objective et «planéité»

Les SVM pour la classification ont un sens intuitif pour moi: je comprends comment minimiser donne la marge maximale. Cependant, je ne comprends pas cet objectif dans le contexte de la régression. Divers textes ( ici et ici ) décrivent cela comme maximisant la «planéité». Pourquoi voudrions-nous faire ça? Qu'est-ce qui, dans la régression, équivaut au concept de «marge»? $||\theta||^2$

Voici quelques tentatives de réponses, mais aucune qui m'a vraiment aidé à comprendre.

regression svm

— Yang
source

Je ne suis pas vraiment sur la théorie SVM, mais la `` planéité '' dans la discussion noyau-machines à laquelle vous vous connectez semble équivaloir à: `` a une petite dérivée seconde '' (pensez à la motivation typique des modèles de lissage de spline).

— conjugateprior

Une façon dont je pense à la planéité est qu'elle rend mes prédictions moins sensibles aux perturbations des caractéristiques. Autrement dit, si je construis un modèle de la forme où mon vecteur caractéristique a déjà été normalisé, des valeurs plus petites dans signifient que mon modèle est moins sensible aux erreurs de mesure / chocs aléatoires / non -stationnarité des fonctionnalités, . Étant donné deux modèles ( c'est-à-dire deux valeurs possibles de ) qui expliquent aussi bien les données, je préfère celui «plus plat».

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

Vous pouvez également penser à Ridge Regression comme exécutant la même chose sans l'astuce du noyau ou la formulation de régression SVM «tube».

edit : En réponse aux commentaires de @ Yang, quelques explications supplémentaires:

Considérons le cas linéaire: . Supposons que les soient tirés iid d'une certaine distribution, indépendante de . Par l'identité du produit scalaire, nous avons , où est l'angle entre et , qui est probablement distribué sous une distribution sphérique uniforme. Remarquez maintenant: la «propagation» ( par exemple, l’écart type de l’échantillon) de nos prévisions de $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ est proportionnel à. Pour obtenir une bonne MSE avec les versions latentes et silencieuses de nos observations, nous voulons réduire cela. cf Estimateur deJames Stein. $y$ $||\theta||$ $||\theta||$
Considérez le cas linéaire avec beaucoup de fonctionnalités. Considérons les modèles et . Si contient plus de zéro éléments que , mais à peu près le même pouvoir explicatif, nous le préférerions, sur la base du rasoir d'Occam, car il dépend de moins de variables (c'est-à-dire quenous avons `` fait la sélection des fonctionnalités '' en définissant certains éléments de à zéro). La planéité est une sorte de version continue de cet argument. Si chaque marginal de $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ a un écart-type unitaire, et a par exemple 2 éléments qui sont 10, et les restants sont inférieurs à 0,0001, en fonction de votre tolérance au bruit, cela "sélectionne" effectivement les deux caractéristiques et remet à zéro les autres . $\theta_1$ $n-2$
Lorsque l'astuce du noyau est utilisée, vous effectuez une régression linéaire dans un espace vectoriel dimensionnel élevé (parfois infini). Chaque élément de correspond maintenant à l'un de vos échantillons , pas à vos caractéristiques . Si éléments de sont non nuls et que les restants sont nuls, les caractéristiques correspondant aux éléments non nuls de sont appelées vos «vecteurs de support». Pour stocker votre modèle SVM, disons sur le disque, il vous suffit de conserver ces vecteurs de fonctionnalités, et vous pouvez jeter le reste d'entre eux. Maintenant, la planéité compte vraiment , car avoir $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ petite réduit les exigences de stockage et de transmission, etc. Encore une fois, selon votre tolérance au bruit, vous pouvez probablement mettre à zéro tous les éléments de mais le plus grand, pour certains , après avoir effectué une régression SVM. La planéité ici est équivalente à la parcimonie en ce qui concerne le nombre de vecteurs de support. $\theta$ $l$ $l$

— shabbychef
source

c'est donc essentiellement une régression avec une fonction de perte «tube» (0 pénalité pour les points +/- epsilon de la prédiction) plutôt que la fonction de perte quadratique de l'OLS?

— conjugateprior

@Conjugate Prior: oui, généralement la régression du noyau minimise une fonction de «perte insensible à l'epsilon», que vous pouvez considérer comme

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

@shabbychef Merci. Je me suis toujours demandé ce qui se passait là-bas.

— conjugateprior

@Conjugate Prior: Je ne pense pas que ce soit en fait la fonction de perte souhaitée, mais les calculs finissent par bien fonctionner, alors ils ont couru avec. Du moins, c'est mon soupçon.

— shabbychef

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

shabbychef a donné une explication très claire du point de vue de la complexité du modèle. J'essaierai de comprendre ce problème d'un autre point de vue au cas où cela pourrait aider quelqu'un.

$e$

$(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

$e$ $\omega$

N'importe qui peut facilement étendre le cas unidimensionnel au cas N-dimensionnel car l'équation de distance sera toujours la distance euclidienne .

De plus, nous pouvons avoir une revue sur le problème d'optimisation dans SVR pour la comparaison [1].

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

Merci.

[1] Smola, A. et B. Schölkopf. Un tutoriel sur la régression des vecteurs de support. Statistiques et informatique, vol. 14, n ° 3, août 2004, p. 199-222.

— oloopy
source