Limites de généralisation sur SVM

Je m'intéresse aux résultats théoriques pour la capacité de généralisation des machines à vecteurs de support, par exemple les limites sur la probabilité d'erreur de classification et sur la dimension Vapnik-Chervonenkis (VC) de ces machines. Cependant, en lisant la littérature, j'ai eu l'impression que certains résultats récurrents similaires ont tendance à différer légèrement d'un auteur à l'autre, en particulier en ce qui concerne les conditions techniques requises pour une donnée donnée à tenir.

Dans ce qui suit, je rappellerai la structure du problème SVM et l'état 3 des principaux résultats de généralisation que j'ai régulièrement trouvés sous une forme ou une autre je donne 3 références principales tout au long de l'exposition. $-$

Réglage du problème :

Supposons que nous ayons un échantillon de données de paires indépendantes et identiquement distribuées (iid) où pour tout , et . Nous construisons une machine à vecteur de support (SVM) qui maximise la marge minimale entre l'hyperplan de séparation défini par , et , et le point le plus proche parmi manière à séparer les deux classes définies par et . Nous laissons le SVM admettre quelques erreurs à travers une marge souple en introduisant des variables de mou $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ mais pour simplifier la notation, nous ignorons la possibilité de noyaux. Les paramètres de solution et sont obtenus en résolvant le programme d'optimisation quadratique convexe suivant: $w^*$ $b^*$

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

Nous sommes intéressés par la capacité de généralisation de cette machine.

Dimension Vapnik-Chervonenkis $VC$ :

Un premier résultat est dû à (Vapnik, 2000), dans lequel il délimite la dimension VC d'un hyperplan séparateur, le théorème 5.1. Laisser, nous avons: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

Ce résultat peut de nouveau être trouvé dans (Burges, 1998), théorème 6. Cependant, il semble que le théorème de Burges soit plus restrictif que le même résultat de Vapnik, car il doit définir une catégorie spéciale de classificateurs, appelés classificateurs tolérants aux écarts. à laquelle appartient le SVM , pour énoncer le théorème. $-$ $-$

Limites de la probabilité d'erreurs :

Dans (Vapnik, 2000), le théorème 5.2 de la page 139 donne la limite suivante sur la capacité de généralisation SVM:

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

où est le nombre de vecteurs de support du SVM. Ces résultats semblent se retrouver dans (Burges, 1998), dans les équations (86) et (93) respectivement. Mais encore une fois, Burges semble différer de Vapnik car il sépare les composants au sein de la fonction minimale ci-dessus dans différents théorèmes, avec des conditions différentes. $n_{SV}$

Un autre résultat apparaissant dans (Vapnik, 2000), p.133, est le suivant. En supposant à nouveau que, pour tout , et en laissant et , nous définissons comme étant égal à: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

Nous définissons également comme le nombre d'exemples de formation mal classés par le SVM. Ensuite, avec la probabilité nous pouvons affirmer que la probabilité qu'un exemple de test ne soit pas séparé correctement par l' hyperplan -marge c'est-à dire SVM avec la marge a la limite: $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

Cependant, dans (Hastie, Tibshirani et Friedman, 2009), p.438, un résultat très similaire est trouvé:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

Conclusion :

Il me semble qu'il existe un certain degré de conflit entre ces résultats. En revanche, deux de ces références, bien que canoniques dans la littérature SVM, commencent à être légèrement anciennes (1998 et 2000), surtout si l'on considère que la recherche sur l'algorithme SVM a commencé au milieu des années 90.

Mes questions sont:

Ces résultats sont-ils toujours valables aujourd'hui ou se sont-ils révélés erronés?
Des limites plus strictes avec des conditions relativement lâches ont-elles été dérivées depuis lors? Si oui, par qui et où puis-je les trouver?
Enfin, existe-t-il un matériel de référence qui synthétise les principaux résultats de généralisation concernant le SVM?

Références :

Burges, JC (1998). "Un didacticiel sur les machines à vecteurs de support pour la reconnaissance de formes", Exploration de données et découverte des connaissances , 2: 121-167

Hastie, T., Tibshirani, R. et Friedman, J. (2009). Les éléments de l'apprentissage statistique , 2e édition, Springer

Vapnik, VN (1998). Théorie de l'apprentissage statistique , 1re édition, John Wiley & Sons

Vapnik, VN (1999). "An Overview of Statistical Learning Theory", IEEE Transactions on Neural Networks , 10 (5): 988-999

Vapnik, VN (2000). The Nature of Statistical Learning Theory , 2e édition, Springer

machine-learning svm vc-dimension

— Daneel Olivaw
source

une référence résumant l'état de l'art (à partir de 2008) des limites de risque pour les SVM: "Support Vector Machines" (Ingo Steinwart, Andreas Christmann, Springer 2008) .

— inscrivez-vous

Je ne connais pas la littérature à laquelle vous faites référence en détail, mais je pense qu'un résumé complet des limites de généralisation qui devraient être à jour peut être trouvé dans Boucheron et al. (2004) (lien: https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- Canberra-Australie-2-14 février 2003-Tuebingen-Allemagne-4-16-2003-Revised-Lectures.pdf # page = 176 )

Je vais esquisser une partie du SVM lié dans ce qui suit, en omettant les détails et les preuves.

Avant d'élaborer spécifiquement sur la liaison SVM, nous devons comprendre ce que les limites de généralisation tentent d'atteindre.

Supposons d'abord que la vraie probabilité est connue, alors le meilleur classificateur possible serait le classificateur bayésien, c'est-à-dire $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

Le but de la théorie de l'apprentissage statistique est maintenant de trouver la différence entre un classifieur de classe (par exemple SVM) et le classifieur bayes, c'est-à-dire Notez que est la perte attendue des données donnée et est le meilleur classificateur possible dans la classe de modèle . Le terme est appelé erreur d'estimation et souvent le foyer car il peut être borné beaucoup plus facilement que l'erreur d'approximation (l'autre terme). Je vais également omettre l'erreur d'approximation ici. $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

L'erreur d'estimation peut être encore décomposée avec Maintenant, cela peut être limité par deux étapes: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

Bound utilisant l'inégalité McDiarmid $Z - \mathbb{E}Z$
Lié avec la complexité de Rademacher $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

En utilisant l'inégalité de McDiarmids, on peut montrer que si la fonction de perte se situe dans un intervalle ne dépassant pas , la première étape entraîne une limite de où est le niveau de confiance. Pour la deuxième étape, nous pouvons montrer que Si vous avez une fonction de perte discrète, c'est-à-dire non Lipschitz comme le 0-1 -loss, vous auriez besoin de la dimension VC pour délimiter davantage la complexité de Rademacher. Cependant, pour les fonctions L-lipschitz telles que la perte de charnière, cela peut être encore limité par où $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ désigne le régularisateur. Étant donné que pour la perte de charnière et (prouvée avec l'inégalité de Gauchy-Schwartz), cela simplifie davantage. Enfin, en rassemblant tous les résultats, nous pouvons une limite de

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
source