Comment comprendre l'effet de RBF SVM

Comment puis-je comprendre ce que fait le noyau RBF dans SVM? Je veux dire que je comprends les maths, mais y a-t-il un moyen d'avoir une idée quand ce noyau sera utile?

Les résultats de kNN seraient-ils liés à SVM / RBF puisque le RBF contient des distances vectorielles?

Existe-t-il un moyen de se faire une idée du noyau polynomial? Je sais que plus la dimension est élevée, plus elle est ondulée. Mais j'aimerais avoir une intuition de ce que font les noyaux plutôt que d'essayer tous les noyaux possibles et de choisir les plus réussis.

svm kernel-trick

— Gerenuk
source

Vous pouvez commencer par regarder une de mes réponses ici:
Classification SVM non linéaire avec noyau RBF

Dans cette réponse, j'essaie d'expliquer ce qu'une fonction du noyau tente de faire. Une fois que vous avez compris ce qu'il tente de faire, vous pouvez lire ma réponse à une question sur Quora: https://www.quora.com/Machine-Learning/Why-does-the-RBF- carte-noyau-fonction-radiale-dans-un-espace-dimensionnel infini / réponse / Arun-Iyer-1

Reproduire le contenu de la réponse sur Quora, au cas où vous n'auriez pas de compte Quora.

Question: Pourquoi le noyau RBF (fonction de base radiale) est-il mappé dans un espace de dimension infinie? Réponse: Considérons le noyau polynomial de degré 2 défini par, où et .
$k (X, y) = (X^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Ainsi, la fonction du noyau peut s'écrire, Maintenant, essayons de trouver une carte des fonctionnalités telle que la fonction du noyau puisse être écrite comme
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Considérons la carte d' suivante, Fondamentalement, cette carte d'entités établit une correspondance entre les points deet les points de . Notez également que qui est essentiellement notre fonction noyau.
$Φ (X) = (X_{1}^{2}, \sqrt{2} X_{1} X_{2}, X_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (X)^{T} Φ (y) = X_{1}^{2} y_{1}^{2} + 2 X_{1} X_{2} y_{1} y_{2} + X_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
$\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

$\mathbb{R}^n$

Maintenant, en venant à RBF.

$\mathbb{R}^2$
$k (X, y) = \exp (- ‖ X - y ‖^{2}) = \exp (- (X_{1} - y_{1})^{2} - (X_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Exercice Question : Obtenez les premiers éléments vectoriels de la carte d'entités pour RBF dans le cas ci-dessus?

Maintenant, à partir de la réponse ci-dessus, nous pouvons conclure quelque chose:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
source