Preuve de la proximité des fonctions du noyau sous un produit ponctuel

13

Comment puis-je prouver que le produit ponctuel de deux fonctions du noyau est une fonction du noyau?

machine-learning kernel-trick

— Gigili
source

18

Par produit ponctuel, je suppose que vous voulez dire que si sont tous deux des fonctions de noyau valides, alors leur produit $k_1(x,y), k_2(x,y)$

\begin{aligned} k_{p} (X, y) = k_{1} (X, y) k_{2} (X, y) \end{aligned}

$\begin{align} k_{p}( x, y) = k_1( x, y) k_2(x,y) \end{align}$

est également une fonction de noyau valide.

La preuve de cette propriété est assez simple lorsque nous invoquons le théorème de Mercer. Puisque sont des noyaux valides, nous savons (via Mercer) qu'ils doivent admettre une représentation interne du produit. Soit le vecteur caractéristique de et le même pour . $k_1, k_2$ $a$ $k_1$ $b$ $k_2$

\begin{aligned} k_{1} (X, y) = une (X)^{T} une (y), une (z) = [{une}_{1} (z), {une}_{2} (z), \dots {une}_{M} (z)] \\ k_{2} (X, y) = b (X)^{T} b (y), b (z) = [b_{1} (z), b_{2} (z), \dots b_{N} (z)] \end{aligned}

$\begin{align} k_1(x,y) = a(x)^T a(y), \qquad a( z ) = [a_1(z), a_2(z), \ldots a_M(z)] \\ k_2(x,y) = b(x)^T b(y), \qquad b( z ) = [b_1(z), b_2(z), \ldots b_N(z)] \end{align}$

Donc est une fonction qui produit un vecteur dim, et produit un vecteur dim. $a$ $M$ $b$ $N$

Ensuite, nous écrivons simplement le produit en termes de et , et effectuons un regroupement. $a$ $b$

\begin{aligned} k_{p} (X, y) & = k_{1} (X, y) k_{2} (X, y) \\ = (\sum_{m = 1}^{M} {une}_{m} (X) {une}_{m} (y)) (\sum_{n = 1}^{N} b_{n} (X) b_{n} (y)) \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} [{une}_{m} (X) b_{n} (X)] [{une}_{m} (y) b_{n} (y)] \\ = \sum_{m = 1}^{M} \sum_{n = 1}^{N} c_{m n} (X) c_{m n} (y) \\ = c (X)^{T} c (y) \end{aligned}

$\begin{align} k_{p}(x,y) &= k_1(x,y) k_2(x,y) \\&= \Big( \sum_{m=1}^M a_m(x) a_m(y) \Big) \Big( \sum_{n=1}^N b_n(x) b_n(y) \Big) \\&= \sum_{m=1}^M \sum_{n=1}^N [ a_m(x) b_n(x) ] [a_m(y) b_n(y)] \\&= \sum_{m=1}^M \sum_{n=1}^N c_{mn}( x ) c_{mn}( y ) \\&= c(x)^T c(y) \end{align}$

où est un vecteur dimensionnel, st . $c(z)$ $M \cdot N$ $c_{mn}(z) = a_m(z) b_n(z)$

Maintenant, comme nous pouvons écrire tant que produit interne en utilisant la carte des fonctionnalités , nous savons que est un noyau valide (via le théorème de Mercer). C'est tout ce qu'on peut en dire. $k_p(x,y)$ $c$ $k_p$

— Mike Hughes
source

Comment savez-vous que l'espace de Hilbert est de dimension finie? Ne pourrait-il même pas être séparable?

— Andrei Kh

D'après votre premier paragraphe, nous savons seulement que kernel l'existence d'une représentation interne du produit. Mais dans votre conclusion, vous utilisez que l'existence d'une représentation interne du produit implique que est un noyau. Pourquoi est-ce valable?

k

$k$

⟹

$\implies$

k_{p}

$k_p$

— Viktor Glombik

3

Que diriez-vous de la preuve suivante:

Source: Conférence sur les méthodes du noyau UChicago , page 5

— PALEN
source

0

Supposons que et sont la matrice du noyau de ces deux noyaux et , respectivement, et ils sont PSD. Nous définissons et voulons prouver que c'est aussi un noyau. Ceci équivaut à prouver que sa matrice de noyau correspondante est PSD. $K1$ $K2$ $k_1(x,y)$ $k_2(x,y)$ $k(x,y) = k_1(x,y)k_2(x,y)$ $K = K1 \circ K2$

$K_3 = K1 \otimes K2$ est un PSD (Le produit kronecker de deux PSD est PSD).
$K$ est une sous-matrice principale de , et est donc PSD (La sous-matrice principale de PSD est PSD). $K_3$

— ceyao zhang
source