Calcul des coefficients de Lagrange pour SVM en Python

J'essaie d'écrire une implémentation SVM complète en Python et j'ai quelques problèmes pour calculer les coefficients Lagrange.

Permettez-moi d'abord de reformuler ce que je comprends de l'algorithme pour m'assurer que je suis sur la bonne voie.

Si est un ensemble de données et est l'étiquette de classe de , alors$x_1, x_2, ..., x_n$$y_i \in \{-1, 1\}$$x_i$

$$\forall i, y_i(w^Tx_i + b) \geq 1$$

Nous avons donc juste besoin de résoudre un problème d'optimisation pour

minimiser$\|w\|^2$

sous réserve de $y_i(w^Tx_i + b) \geq 1$

En termes de coefficients de Lagrange, cela se traduit par la recherche de $w$ , $b$ et $\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$ et $\geq0$ minimisant:

$$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$$

Puisque

$$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$$ et $$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$$ nous pouvons le réécrire comme $$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$$ avec des contraintes $$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$$

J'essaie donc de résoudre le problème d'optimisation en utilisant Python, et le seul paquet gratuit que j'ai pu trouver s'appelle cvxopt .

J'aimerais avoir de l'aide pour résoudre ce problème, je n'ai trouvé aucun bon exemple à ce sujet, et bien que je comprenne la théorie, j'ai du mal à la traduire en code (je m'attendais à l'inverse depuis que je suis plus d'un contexte de programmation).

Notez qu'à un moment donné, je vais vouloir le résoudre en utilisant les noyaux mais je ne sais pas quelles sont les implications concernant la résolution de ce problème dans le code.

$$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$$

Toute aide serait grandement appréciée, je suis vraiment perdu sur la façon de l'implémenter en Python. Si vous avez un meilleur module pour résoudre le problème d'optimisation, j'aimerais également en savoir plus.

J'ai déjà utilisé cvxopt pour implémenter un SVM, cependant dans matlab pas en python. Il servira certainement votre objectif, que son efficacité dépende de l'utilisation que vous en faites. Les SVM les plus efficaces n'utilisent pas de package de solveur QP, ils profitent de certaines optimisations propres à SVM. Beaucoup utilisent un algorithme de style SMO pour le résoudre.

LibSVM est un package SVM qui utilise l'algorithme dans la sélection des ensembles de travail à l'aide des informations de second ordre pour les machines à vecteur de support de formation . Le code est open source, si vous souhaitez voir comment il est implémenté. Il a également une interface python.

SVMLight est un autre package, ils utilisent un algorithme différent (voir leur site pour les références). Il est également open source et possède une interface python.

La forme générale de votre problème d'optimisation est un programme quadratique , que vous utilisiez l' astuce du noyau ou un noyau linéaire. Cela semble cvxoptêtre suffisant pour ce que vous essayez de faire, mais d'autres pythonautes ici ont également eu de la chance avec OpenOpt .