Carte des fonctionnalités du noyau gaussien

24

Dans SVM, le noyau gaussien est défini comme: où . Je ne connais pas l'équation explicite de . Je veux le savoir.

K (X, y) = \exp (- \frac{‖ X - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (X)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

Je veux aussi savoir si

\sum_{je} c_{je} ϕ (X_{je}) = ϕ (\sum_{je} c_{je} X_{je})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ où

c_{i} \in R

$c_i\in \mathbb R$ . Maintenant, je pense que ce n'est pas égal, car l'utilisation d'un noyau gère la situation où le classeur linéaire ne fonctionne pas. Je sais que

ϕ

$\phi$ projette x dans un espace infini. Donc, s'il reste toujours linéaire, peu importe le nombre de dimensions, svm ne peut toujours pas faire une bonne classification.

machine-learning svm kernel-trick

— Vivian
source

pourquoi ce noyau implique-t-il une transformation? Ou faites-vous référence à l'espace caractéristique associé?

— Placidia

Oui, quel est l'espace des fonctionnalités

ϕ (\cdot)

$\phi(\cdot)$ pour que

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

Vous pouvez obtenir l'équation explicite de $\phi$ pour le noyau gaussien via l'expansion de la série Tailor de $e^x$ . Pour simplifier la notation, supposons $x\in \mathbb{R}^1$ :

ϕ (X) = e^{- X^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} X, \sqrt{\frac{1}{2! σ^{4}}} X^{2}, \sqrt{\frac{1}{3! σ^{6}}} X^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Ceci est également discuté plus en détail dans ces diapositives par Chih-Jen Lin de NTU (diapositive 11 en particulier). Notez que dans les diapositives est utilisé comme paramètre de noyau. $\gamma=\frac{1}{2\sigma^2}$

L'équation dans l'OP n'est valable que pour le noyau linéaire.

— Marc Claesen
source

2

Salut, mais cette équation ci-dessus ne convient qu'à une seule dimension.

— Vivian

Donc, ici, l'espace Hilbert du noyau reproducteur est un sous-espace de , n'est-ce pas?

ℓ^{2}

$\ell^2$

— The_Anomaly

Existe-t-il également une représentation explicite du noyau laplacien?

— Felix Crazzolara

13

Pour tout noyau psd valide , il existe une carte de fonctionnalité telle que . L'espace et l'incorporation n'ont en fait pas besoin d'être uniques, mais il existe une paire unique importante connue sous le nom d'espace de Hilbert du noyau reproducteur (RKHS). $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

Le RKHS est discuté par: Steinwart, Hush and Scovel, An Explicit Description of the Reproducing Kernel Hilbert Spaces of Gaussian RBF Kernels , IEEE Transactions on Information Theory 2006 ( doi , pdf gratuit de citeseer ).

C'est un peu compliqué, mais cela se résume à ceci: définir comme $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Soit une séquence s'étendant sur tous les -tuples d'entiers non négatifs; si , peut-être , , , etc. Désignons le ème composant du ème tuple par . $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

Alors le ème composant de est . Alors cartes vecteurs à des vecteurs complexes de dimension infinie. $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

Le problème est que nous devons en outre définir des normes pour ces vecteurs complexes de dimension infinie d'une manière spéciale; voir le document pour plus de détails.

Steinwart et al. donne également une intégration plus simple (à mon avis) dans , l'espace Hilbert des fonctions intégrables au carré de : Notez que est elle - même une fonction de à . C'est fondamentalement la densité d'un gaussien dimensionnel avec une moyenne et une covariance ; seule la constante de normalisation est différente. Ainsi, lorsque nous prenons $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (X) = \frac{(2 σ)^{\frac{ré}{2}}}{π^{\frac{ré}{4}}} e^{- 2 σ^{2} ‖ X - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (X), Φ (y) ⟩_{L_{2}} = \int [Φ (X)] (t) [Φ (y)] (t) ré t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ nous prenons le produit des fonctions de densité gaussiennes , qui est lui-même un certain temps constant une fonction de densité gaussienne. Lorsque vous faites cette intégrale par , alors, la constante qui tombe finit par être exactement .

t

$t$

k (x, y)

$k(x, y)$

Ce ne sont pas les seuls plongements qui fonctionnent.

Un autre est basé sur la transformée de Fourier, que le célèbre article de Rahimi et Recht ( Random Features for Large-Scale Kernel Machines , NIPS 2007) se rapproche très bien.

Vous pouvez également le faire en utilisant la série Taylor: en fait la version infinie de Cotter, Keshet et Srebro, Explicit Approximations of the Gaussian Kernel , arXiv: 1109.4603 .

— Dougal
source

1

Douglas Zare a donné une version 1d de l'intégration "plus simple" dans un fil intéressant ici .

— Dougal

Vous trouverez ici une explication plus «intuitive» que le peut mapper sur un intervalle de dimension égal à la taille de l'échantillon d'entraînement, même pour un échantillon d'entraînement infini: stats.stackexchange.com/questions/80398/…

Φ

$\Phi$

6

Il me semble que votre deuxième équation ne sera vraie que si est une cartographie linéaire (et donc est un noyau linéaire). Comme le noyau gaussien n'est pas linéaire, l'égalité ne tiendra pas (sauf peut-être dans la limite lorsque va à zéro). $\phi$ $K$ $\sigma$

— Dikran Marsupial
source

σ \to 0

$\sigma\rightarrow 0$