Appliquer le «truc du noyau» aux méthodes linéaires?

L' astuce du noyau est utilisée dans plusieurs modèles d'apprentissage automatique (par exemple SVM ). Il a été introduit pour la première fois dans le document "Fondements théoriques de la méthode de la fonction potentielle dans l'apprentissage par reconnaissance de formes" en 1964.

La définition de wikipedia dit qu'il est

une méthode d'utilisation d'un algorithme de classificateur linéaire pour résoudre un problème non linéaire en mappant les observations non linéaires originales dans un espace de dimension supérieure, où le classificateur linéaire est ensuite utilisé; cela rend une classification linéaire dans le nouvel espace équivalente à une classification non linéaire dans l'espace d'origine.

Un exemple de modèle linéaire qui a été étendu à des problèmes non linéaires est le noyau PCA . L'astuce du noyau peut-elle être appliquée à n'importe quel modèle linéaire, ou a-t-elle certaines restrictions?

machine-learning kernel-trick

— Shane
source

BTW, les noyaux ne sont pas vraiment essentiels pour les SVM. Le «cœur» de SVM est le principe de la maximisation de la marge douce. Aller à la représentation du noyau rend votre problème de dimensionnalité O (m ^ 2) au lieu de O (d) où m est le nombre d'exemples et d est la dimension de votre espace d'entité, donc si m ^ 2 est supérieur à d, vous pourriez être mieux vaut supprimer les noyaux jmlr.csail.mit.edu/papers/v6/keerthi05a.html

— Yaroslav Bulatov

@Yaroslav: Merci pour la référence. Connaissez-vous des implémentations de cette "méthode de Newton fini modifié"?

— Shane

non, mais les pages de Keerthi et Langford ont des liens vers des logiciels qui peuvent être liés, car ils ont tous deux travaillé chez Yahoo Research

— Yaroslav Bulatov

Réponses:

L'astuce du noyau ne peut être appliquée qu'aux modèles linéaires où les exemples dans la formulation du problème apparaissent sous forme de produits scalaires (Support Vector Machines, PCA, etc.).

— ébène1
source

Merci d'avoir répondu. @mbq @ ebony1: OMI, nous devons faire plus d'efforts pour publier des questions d'apprentissage machine plus sérieuses sur le site, afin d'attirer davantage de cette communauté.

— Shane

@Shane, je suis complètement d'accord, mais qu'en est-il des autres sites SO comme metaoptimize.com/qa ?

— chl

@chl: C'est également une option, mais cela ne fait pas partie de StackExchange (il est contrôlé par une seule personne et sur différents logiciels) et je préférerais personnellement que ces différentes communautés d'analyse de données se mélangent en un seul endroit.

— Shane

@Shane Eh bien, ça a du sens.

— chl

il y a aussi la zone de proposition d'échange de pile d'apprentissage automatique51.stackexchange.com/proposals/7607/machine-learning

— Yaroslav Bulatov

Deux autres références de B. Schölkopf :

Schölkopf, B. et Smola, AJ (2002). Apprendre avec les noyaux . La presse du MIT.
Schölkopf, B., Tsuda, K. et Vert, J.-P. (2004). Méthodes du noyau en biologie computationnelle . La presse du MIT.

et un site Web dédié aux machines du noyau .

— chl
source

@ ebony1 donne le point clé (+1), j'étais co-auteur d'un article sur la façon de noyauer les modèles linéaires généralisés, par exemple la régression logistique et la régression de Poisson, c'est assez simple.

GC Cawley, GJ Janacek et NLC Talbot, Generalized kernel machines, in Proceedings of the IEEE / INNS International Joint Conference on Neural Networks (IJCNN-2007), pages 1732-1737, Orlando, Floride, États-Unis, 12-17 août 2007. ( www , pdf )

J'ai également écrit une boîte à outils MATLAB (qualité recherche) (malheureusement pas d'instructions), que vous pouvez trouver ici .

Être capable de modéliser la distribution cible est assez utile dans la quantification de l'incertitude, etc. c'est donc un ajout utile (bien qu'incrémentiel) aux méthodes d'apprentissage du noyau.

— Dikran Marsupial
source