Comment une machine à vecteurs de support (SVM) travail, et ce qui le différencie des autres classificateurs linéaires, tels que le linéaire Perceptron , analyse discriminante linéaire ou régression logistique ? *

(* Je pense en termes de motivations sous-jacentes à l'algorithme, de stratégies d'optimisation, de capacités de généralisation et de complexité d'exécution )

Les machines à vecteurs de support ne se concentrent que sur les points les plus difficiles à distinguer, alors que les autres classificateurs font attention à tous les points.

L’intuition qui sous-tend l’approche par vecteur de support est que si un classificateur est bon pour les comparaisons les plus difficiles (points B et A qui sont les plus proches l'un de l'autre sur la figure 2), alors le classificateur sera encore meilleur pour les comparaisons faciles ( en comparant les points dans B et A qui sont éloignés l’un de l’autre).

Perceptrons et autres classificateurs:

Les perceptrons sont construits en prenant un point à la fois et en ajustant la ligne de division en conséquence. Dès que tous les points sont séparés, l’algorithme de perceptron s’arrête. Mais cela pourrait s'arrêter n'importe où. La figure 1 montre qu’il existe toute une série de lignes de séparation qui séparent les données. Le critère d'arrêt du perceptron est simple: "séparez les points et arrêtez d'améliorer la ligne lorsque vous obtenez une séparation à 100%". Le perceptron n'est pas explicitement invité à trouver la meilleure ligne de séparation. La régression logistique et les modèles discriminants linéaires sont construits de la même manière que les perceptrons.

La meilleure ligne de division maximise la distance entre les points B les plus proches de A et les points A les plus proches de B. Il n'est pas nécessaire d'examiner tous les points pour ce faire. En fait, l’intégration des informations en retour de points éloignés risque d’alourdir un peu la ligne, comme indiqué ci-dessous.

Machines à vecteurs de support:

Contrairement aux autres classificateurs, la machine à vecteurs de support est explicitement invitée à rechercher la meilleure ligne de séparation. Comment? La machine à vecteurs de support recherche les points les plus proches (Figure 2), qu’elle appelle les "vecteurs de support" (le nom "machine à vecteurs de support" est dû au fait que les points sont comme des vecteurs et que la meilleure ligne "dépend de" ou est "supporté par" les points les plus proches).

Une fois qu'il a trouvé les points les plus proches, le SVM trace une ligne les reliant (voir la ligne intitulée «w» à la figure 2). Il trace cette ligne de connexion en faisant une soustraction vectorielle (point A - point B). La machine à vecteurs de support déclare ensuite la meilleure ligne de séparation comme étant la ligne qui divise en deux - et est perpendiculaire à - la ligne de jonction.

La machine à vecteurs de support est meilleure car lorsque vous obtenez un nouvel échantillon (nouveaux points), vous avez déjà créé une ligne qui garde B et A aussi éloignés que possible l'un de l'autre. Il est donc moins probable que l'un d'eux déborde. la ligne dans le territoire de l'autre.

Je me considère comme un apprenant visuel et j'ai longtemps lutté avec l'intuition des machines à vecteurs de support. Le document intitulé Dualité et géométrie dans les classificateurs SVM m'a finalement aidé à voir la lumière; c'est de là que j'ai eu les images.

La réponse de Ryan Zotti explique la motivation derrière la maximisation des limites de décision, la réponse de carlosdc donne certaines similitudes et différences par rapport aux autres classificateurs. Je vais donner dans cette réponse un bref aperçu mathématique de la façon dont les SVM sont formés et utilisés.

Notations

Dans la suite, les scalaires sont désignés par des minuscules en italique (par exemple, ), les vecteurs par des minuscules en gras (par exemple, ) et des matrices avec des majuscules en italique (par exemple, ). est la transposée de et .$y,\, b$$\mathbf{w},\, \mathbf{x}$$W$$\mathbf{w^T}$$\mathbf{w}$$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Laisser:

• $\mathbf{x}$ est un vecteur de caractéristiques (c’est-à-dire l’entrée du SVM). , où est la dimension du vecteur de caractéristique.$\mathbf{x} \in \mathbb{R}^n$$n$
• $y$ être la classe (c'est-à-dire la sortie du SVM). , c'est-à-dire que la tâche de classification est binaire.$y \in \{ -1,1\}$
• $\mathbf{w}$ et soient les paramètres du SVM: nous devons les apprendre en utilisant le jeu d’entraînement.$b$
• $(\mathbf{x}^{(i)}, y^{(i)})$ soit l' échantillon de l'ensemble de données. Supposons que nous avons échantillons dans l'ensemble de formation.$i^ {\text {th}}$$N$

Avec , on peut représenter les limites de décision du SVM comme suit:$n=2$

La classe est déterminée comme suit:$y$

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

qui peut être écrit de manière plus concise comme .$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Objectif

Le SVM vise à satisfaire deux exigences:

1. Le SVM devrait maximiser la distance entre les deux limites de décision. Mathématiquement, cela signifie que nous voulons maximiser la distance entre l'hyperplan défini par et l'hyperplan défini par . Cette distance est égale à . Cela signifie que nous voulons résoudre . De même, nous voulons .$\mathbf{w^T}\mathbf{x}+b = -1$$\mathbf{w^T}\mathbf{x}+b = 1$$\frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$

2. Le SVM doit également classer correctement tous les , ce qui signifie$\mathbf{x}^{(i)}$$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Ce qui nous amène au problème d'optimisation quadratique suivant:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Il s’agit de la SVM à marge dure , car ce problème d’optimisation quadratique admet une solution si et seulement si les données sont séparables linéairement.

On peut assouplir les contraintes en introduisant des variables dites slack . Notez que chaque échantillon de l'ensemble d'apprentissage a sa propre variable de jeu. Cela nous donne le problème d'optimisation quadratique suivant:$\xi^{(i)}$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Ceci est la SVM à marge souple . est un hyperparamètre appelé pénalité du terme d'erreur . ( Quelle est l'influence du C dans les SVM à noyau linéaire? Et quelle plage de recherche pour déterminer les paramètres optimaux des SVM? ).$C$

On peut ajouter encore plus de flexibilité en introduisant une fonction qui mappe l’espace caractéristique original vers un espace fonctionnel dimensionnel supérieur. Cela permet des limites de décision non linéaires. Le problème d'optimisation quadratique devient:$\phi$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Optimisation

Le problème d'optimisation quadratique peut être transformé en un autre problème d'optimisation appelé le problème dual de Lagrange (le problème précédent est appelé le primal ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Ce problème d'optimisation peut être simplifié (en réglant certains gradients sur ) pour:$0$

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ n'apparaît pas comme (comme indiqué par le théorème du représentant ).$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Nous apprenons donc le utilisant le de l'ensemble d'apprentissage.$\alpha^{(i)}$$(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Pourquoi se préoccuper du double problème lors de l’ajustement de SVM? Réponse courte: un calcul plus rapide + permet d’utiliser l’astuce du noyau, bien qu’il existe de bonnes méthodes pour entraîner SVM dans le primal, voir par exemple {1})

Faire une prédiction

Une fois les appris, on peut prédire la classe d’un nouvel échantillon avec le vecteur de caractéristiques comme suit:$\alpha^{(i)}$$\mathbf{x}^{\text {test}}$

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

La somme peut sembler accablante, car cela signifie que l’on doit faire la somme de tous les échantillons d’entraînement, mais la grande majorité de vaut (voir Pourquoi Multiplicateurs de Lagrange clairsemés pour les SVM? ) En pratique, donc, ce n’est pas un problème. (notez que l' on peut construire des cas spéciaux où tous les . 0si est un vecteur de support . L'illustration ci-dessus a 3 vecteurs de support.$\sum_{i =1}^{N}$$\alpha^{(i)}$$0$$\alpha^{{(i)}} > 0$$\alpha^{{(i)}}=0$$x^{{(i)}}$

Astuce du noyau

On peut observer que le problème d'optimisation utilise le uniquement dans le produit interne . La fonction qui mappe au produit intérieur est appelé un noyau , c'est-à-dire une fonction du noyau, souvent désignée par .$\phi\left(\mathbf{x}^{(i)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$k$

On peut choisir pour que le produit interne soit efficace à calculer. Cela permet d’utiliser un espace de fonctionnalités potentiellement élevé à un coût de calcul faible. C'est ce qu'on appelle le truc du noyau . Pour qu'une fonction du noyau soit valide , c'est-à-dire utilisable avec l'astuce du noyau, elle doit satisfaire à deux propriétés clés . Il existe de nombreuses fonctions du noyau parmi lesquelles choisir . En guise de remarque, l’astuce du noyau peut s’appliquer à d’autres modèles d’apprentissage automatique , auquel cas ils sont qualifiés de « noyaués» .$k$

Aller plus loin

Quelques QA intéressants sur les SVM:

• Meilleure façon de réaliser des SVM multiclass
• Machines à vecteurs de support et régression
• Comprendre les différentes formulations pour SVM
• Quelle est la différence entre les fonctions de perte -SVM, -SVM et LS-SVM?$\ell_1$$\ell_2$
• Pour traiter un ensemble de données non équilibré:
  • Meilleur moyen de gérer un jeu de données multiclass non déséquilibré avec SVM
  • Sélection a priori des poids de classe SVM
• Comment interpréter les poids des entités SVM?
• Interprétation de la valeur C dans un SVM linéaire
• Limites de généralisation sur SVM
• Formule générale pour la dimension VC d'un SVM
• Que signifie "machine" dans "machine à vecteurs de support" et "machine de Boltzmann restreinte"?
• Comment les SVM = Template Matching?
• Réseau neuronal simple couche avec activation de ReLU égal à SVM?
• Comparaison SVM et régression logistique

Autres liens:

• Machine vectorielle de support des moindres carrés

---

Références:

• {1} Chapelle, Olivier. "Formation d'une machine à vecteurs de support dans le primal." Calcul neural 19, no. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=fr&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Je vais me concentrer sur les similitudes et les différences par rapport aux autres classificateurs:

• D'un perceptron: SVM utilise la perte de charnière et la régularisation de la L2, le perceptron utilise la perte de perceptron et pourrait utiliser un arrêt précoce (ou entre autres techniques) pour la régularisation. Il n'y a vraiment pas de terme de régularisation dans le perceptron. Comme il n’a pas de terme de régularisation, le perceptron est forcément surentraîné, les capacités de généralisation peuvent donc être arbitrairement mauvaises. L'optimisation est effectuée en utilisant une descente de gradient stochastique et est donc très rapide. Sur le plan positif, cet article montre qu’en effectuant un arrêt précoce avec une fonction de perte légèrement modifiée, les performances pourraient être équivalentes à celles d’un SVM.

• À partir de la régression logistique: la régression logistique utilise le terme de perte logistique et peut utiliser la régularisation L1 ou L2. Vous pouvez considérer la régression logistique comme le frère discriminant du générateur naïf Bayes.

• De LDA: LDA peut aussi être vu comme un algorithme génératif, il suppose que les fonctions de densité de probabilité (p (x | y = 0) et p (x | y = 1) sont normalement distribuées. C'est idéal lorsque les données sont en Cependant, l’inconvénient est que la "formation" nécessite l’inversion d’une matrice qui peut être volumineuse (lorsque vous avez de nombreuses fonctionnalités). Sous homocédasticité, LDA devient QDA, ce qui est optimal pour Bayes pour des données distribuées normalement. les hypothèses sont satisfaites, vous ne pouvez vraiment pas faire mieux que cela.

Au moment de l'exécution (temps de test), une fois le modèle formé, la complexité de toutes ces méthodes est identique, il ne s'agit que d'un produit scalaire entre l'hyperplan de la procédure d'apprentissage trouvée et le point de donnée.

Cette technique suppose de tracer une ligne de démarcation décisionnelle en laissant une marge aussi large que possible pour les premiers exemples positifs et négatifs:

Comme dans l'illustration ci-dessus, si nous sélectionnons un vecteur orthogonal tel que nous pouvons établir un critère de décision pour tout exemple inconnu à cataloguer comme positif de la forme:$\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

correspondant à une valeur qui placerait la projection au-delà de la ligne de décision au milieu de la rue. Notez que .$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Une condition équivalente pour un échantillon positif serait:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

avec$C = - b.$

Nous avons besoin de et de pour avoir une règle de décision. Pour y arriver, nous avons besoin de contraintes .$b$$\color{blue}{\mathbf w}$

Tout d' abord la contrainte que nous allons imposer est que pour tout échantillon positif , ; et pour les échantillons négatifs, . Dans la limite de division ou l'hyperplan ( médiane ), la valeur serait , tandis que les valeurs aux gouttières seront et :$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

Le vecteur est le vecteur de pondération , alors que est le biais .$\bf w$$b$

---

Pour rapprocher ces deux inégalités, nous pouvons introduire la variable afin que pour les exemples positifs et si les exemples sont négatifs et conclure$y_i$$y_i=+1$$y_i=-1$

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Nous établissons donc que ce doit être supérieur à zéro, mais si l'exemple est sur les hyperplans (les "gouttières") qui maximisent la marge de séparation entre l'hyperplan de décision et les extrémités des vecteurs de support, dans ce cas des lignes), ensuite:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

Notez que ceci équivaut à exiger que$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Deuxième contrainte : la distance de l'hyperplan de décision aux extrémités des vecteurs de support sera maximisée. En d'autres termes, la marge de séparation ("rue") sera maximisée:

En supposant un vecteur unitaire perpendiculaire à la limite de décision, , le produit scalaire avec la différence entre deux exemples "limitrophes" plus et moins est la largeur de "la rue" :$\mathbf w$

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

Sur l'équation ci-dessus et sont dans la gouttière (sur les hyperplans maximisant la séparation). Par conséquent, pour l'exemple positif: , ou ; et pour l'exemple négatif: . Donc, reformuler la largeur de la rue:$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

Il ne reste plus qu’à maximiser la largeur de la rue, c’est-à-dire maximiser minimiser ou minimiser:$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

ce qui est mathématiquement pratique.

---

Nous voulons donc:

1. Réduire au minimum avec la contrainte:$\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Puisque nous voulons minimiser cette expression en fonction de certaines contraintes, nous avons besoin d’un multiplicateur de Lagrange (remontant aux équations 2 et 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

Différencier,

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$ .

Donc,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

Et différenciant par rapport à$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

ce qui signifie que nous avons un produit à somme nulle de multiplicateurs et d'étiquettes:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Insertion de l'équation Eq (6) dans Eq (5),

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

L'avant-dernier terme est zéro selon l'équation Eq (7).

Donc,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

Eq (8) étant le Lagrangien final.

Par conséquent, l'optimisation dépend du produit scalaire de paires d'exemples.

Pour revenir à la "règle de décision" dans l'équation (1) ci-dessus et utiliser l'équation (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

sera la règle de décision finale pour un nouveau vecteur$\mathbf u.$

Quelques commentaires sur les conditions de dualité et de KTT

Problème primordial

En reprenant le post de @ Antoni entre les équations et , rappelez-vous que notre problème d'optimisation original, ou primal , est de la forme:$(4)$$(5)$

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Méthode de Lagrange

La méthode des multiplicateurs de Lagrange nous permet de transformer un problème d’optimisation sous contrainte en un problème sans contrainte de la forme:

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

Où est appelé le lagrangien et sont appelés les multiplicateurs de Lagrangian . $\mathcal{L}(w, b, \alpha)$$\alpha_i$

Notre problème d’optimisation primaire avec le lagrangien devient le suivant: (notez que l’utilisation de , n’est pas la plus rigoureuse, nous devrions également utiliser et ici ...)$min$$max$$\inf$$\sup$

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Double problème

@Antoni et le professeur Patrick Winston ont supposé dans leur dérivation que la fonction d'optimisation et les contraintes répondent à certaines conditions techniques, de sorte que nous pouvons effectuer les tâches suivantes:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

Cela nous permet de prendre les dérivées partielles de par rapport à et , égales à zéro, puis de replacer les résultats dans l'équation d'origine du lagrangien, générant ainsi un équivalent problème d'optimisation double de la forme$\mathcal{L}(w, b, \alpha)$$w$$b$

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Dualité et KTT

Sans entrer dans des détails techniques mathématiques excessives, ces conditions sont une combinaison des Dualité et les conditions Tucker Kuhn Karush (KTT) et nous permettent de résoudre le double problème au lieu du primaire un, tout en veillant à ce que la solution est la même. Dans notre cas, les conditions sont les suivantes:

• Les fonctions primale d'objectif et de contrainte d'inégalité doivent être convexes
• La fonction de contrainte d'égalité doit être affine
• Les contraintes doivent être strictement réalisables

Il existe alors qui sont des solutions aux problèmes primitifs et dualistes. De plus, les paramètres satisfont aux conditions KTT suivantes:$w^*, \alpha^*$$w^*, \alpha^*$

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

De plus, si certains satisfont les solutions de KTT, ils sont aussi une solution au problème primal et dual.$w^*, \alpha^*$

L'équation ci-dessus revêt une importance particulière et s'appelle la condition de double complémentarité . Cela implique que si alors ce qui signifie que la contrainte est active, c'est-à-dire qu'elle tient avec égalité plutôt qu'inégalité. C'est l'explication de l'équation dans la dérivation d'Antoni où la contrainte d'inégalité est transformée en contrainte d'égalité.$(C)$$\alpha_i^* > 0$$g_i(w^*) = 0$$g_i(w) \leq 0$$(2)$

Un schéma intuitif mais informel

Sources

• Andrew Ng 1 et 2
• MIT