Pourquoi le nom «noyau» dans les statistiques et ML?

Cela a été demandé sur d'autres sites SE dans le contexte des systèmes d'exploitation et de l'algèbre linéaire, mais la même question me dérange concernant les méthodes du noyau utilisées dans les statistiques et l'apprentissage automatique.

Souvent, on dit que les noyaux, par exemple dans l'estimation de la densité du noyau ou les SVM, représentent une sorte de similitude, mais je ne sais pas d'où vient le nom de «noyau» et quelle en est la symbolique.

Alors, quelle est l'étymologie des noyaux, dans le contexte des statistiques et du machine learning?

Pour être clair, je suis bien conscient de ce qu'est un noyau et de ses principales propriétés, je suis juste curieux de connaître le nom, car je ne vois pas ce qu'il a à voir avec la graine ou le noyau tel qu'il est principalement défini dans dictionnaires. Ou du moins je ne vois pas un sens plus profond que «la partie essentielle de la méthode».

terminology

— Blaza
source

Réponses:

Vous pouvez trouver des informations à ce sujet en consultant le site Web pour les premières utilisations connues de certains mots de mathématiques maintenus par le mathématicien Jeff Miller. Vous pouvez également trouver des informations sur l' étymologie du mot "noyau" dans les sources de dictionnaire standard.

Écrivant en français, Fredholm (1903) a utilisé le mot «noyau» (core) et Hilbert (1904) a adopté ce terme mais a écrit en allemand, donnant le mot allemand «kern» (core). Ces termes ont été utilisés dans le contexte de l'écriture sur les équations intégrales dans l'analyse fonctionnelle. Peu de temps après, Bôcher (1909), écrivant en anglais, utilise le terme «noyau» pour désigner les mêmes objets. Le terme se propage ensuite dans la littérature de langue anglaise sur l'analyse fonctionnelle, l'analyse de Fourier, et plus tard, la probabilité et les statistiques.

Selon le dictionnaire ci-dessus, ce mot dérive du vieil anglais et du proto-germanique. Il peut se référer soit à une graine, soit au noyau, au centre ou à l'essence d'un objet. La similitude linguistique entre le "kern" allemand et le "noyau" semble être due à des dérivations historiques similaires. Le mot "noyau" serait dérivé d'un mot proto-germanique hypothétique (reconstruit) "kurną" (maïs). Ainsi, sur la base de cette histoire, il semble qu'étymologiquement, le mot "noyau" se réfère à une graine, un noyau ou une essence, et est basé sur l'anglicisation d'un vieux mot allemand pour le maïs.

MISE À JOUR: Cette réponse a été fortement modifiée pour refléter les nouvelles informations qui ont été portées à mon attention par les utilisateurs cbeleites et RM . J'ai d'abord pensé qu'il s'agissait peut-être d'une anglicisation récente du mot "kern", mais les sources du dictionnaire suggèrent que le mot "kernel" en anglais est très ancien. Je ne suis pas linguiste, je ne fais donc que présenter des informations provenant des sources ci-dessus.

— Réintégrer Monica
source

Jamais entendu parler de Maxime Bôcher. Tout d'abord, j'ai pensé que c'était peut-être une faute de frappe pour Salomon Bochner, qui quelques années plus tard était très gros (un géant) dans les noyaux intégraux, entre autres.

— Mark L. Stone

C'est ma faute - je ne sais pas trop comment taper le o accentué. Comment avez-vous fait?

— Rétablir Monica le

J'ai copié et collé à partir de la liste Wikipédia.

— Mark L. Stone

Mon vrai point était que je savais que Bochner était un géant des noyaux, mais je n'avais jamais entendu parler de Bocher. Bochner était le directeur de thèse de Samuel Karlin, à qui j'ai suivi un cours de Positivité Totale (les noyaux totalement positifs induisant des variations diminuant les transformations, et tout ça) le jazz).

— Mark L. Stone

Je ne sais pas si le noyau est une version anglicisée de Kern, du moins pas dans le sens de quelque chose qui s'est produit il y a un peu plus de 100 ans. Je l'ai toujours pris comme une traduction: merriam-webster.com/dictionary/kernel definition 1 s'appelle "Kern" en allemand. Par exemple, pour une pomme, les graines = Kerne, tandis que le noyau = Kerngehäuse (logement littéralement noyau).

— cbeleites prend en charge Monica

Un noyau est utilisé une multitude de fois dans l'apprentissage automatique et les statistiques. Voici quelques exemples:

Dans Support Vector Machines, un noyau est une fonction qui mappe les données à un espace de dimension supérieure où le problème devient linéairement résoluble (regardez ceci ).
Estimation de la densité du noyau

L'estimation de la densité du noyau est un moyen non paramétrique d'estimer la fonction de densité de probabilité d'une variable aléatoire.

Dans ce contexte, un noyau est simplement une fonction de pondération utilisée dans l'estimation de la densité du noyau. Le dernier lien a également quelques utilisations supplémentaires du mot noyau dans les statistiques.

Dans les réseaux de neurones à convolution , un noyau est une petite matrice qui est utilisée pour effectuer la convolution entre l'image et lui-même. Voyez ici .

Dans tous ces exemples, un noyau est une fonction mathématique qui est utilisée pour une sorte de transformation sur vos données. Le noyau est essentiellement la partie constante de cette transformation. Selon le choix du noyau que nous utilisons pour chaque transformation, nous pourrions en obtenir un effet différent.

— Djib2011
source

Deux autres exemples que j'ai rencontrés: en ce qui concerne les fonctions de densité de probabilité, le "noyau" peut se référer à une fonction qui est proportionnelle à la densité, c'est-à-dire pour , pourrait être considéré comme le noyau. Deuxièmement, en analyse numérique, le «noyau» peut faire référence à une fonction centrale qui doit être calculée plusieurs fois au cours d'un algorithme itératif.

β e^{- β x}

$\beta e^{-\beta x}$

e^{- β x}

$e^{-\beta x}$

— Cliff AB

OP recherche l'étymologie des noyaux.

— Franck Dernoncourt

L'utilisation de «kernal» pour faire référence à l'espace nul en algèbre linéaire a-t-elle une relation avec l'un de ces usages dans l'apprentissage automatique?

— syntonicC