Régression linéaire vs régression RKHS

J'étudie la différence entre la régularisation dans la régression RKHS et la régression linéaire, mais j'ai du mal à saisir la différence cruciale entre les deux.

$(x_i,y_i)$ $f(\cdot)$

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$

K (\cdot, \cdot)

$K(\cdot,\cdot)$

α_{m}

$\alpha_m$

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$ où, avec quelques abus de notation, la

i, j

$i,j$ jième entrée de la matrice du noyau

K

$K$ est

K (x_{i}, x_{j})

$K(x_{i},x_{j})$ . Cela donne

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ Alternativement, nous pourrions traiter le problème comme un problème de régression d'arête normal / de régression linéaire:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ avec la solution

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

Quelle serait la différence cruciale entre ces deux approches et leurs solutions?

— MthQ
source

stats.stackexchange.com/questions/79192/…

— Cagdas Ozgenc

@MThQ - Votre description de la régression de crête «normale» ne fonctionne-t-elle toujours pas dans le dual? Juste pour clarifier que je pense que la régression de crête normale est supposée fonctionner dans le primal (où la représentation explicite des caractéristiques est faite).

— rnoodle

Comme vous l'avez probablement remarqué en notant les problèmes d'optimisation, la seule différence dans la minimisation est la norme de Hilbert à utiliser pour la pénalisation. Autrement dit, pour quantifier les «grandes» valeurs de à des fins de pénalisation. Dans le paramètre RKHS, nous utilisons le produit interne RKHS, , tandis que la régression de crête pénalise par rapport à la norme euclidienne. $\alpha$ $\alpha^tK\alpha$

Une conséquence intéressante est théorique comment chaque effets de la méthode du spectre du noyau reproduisant . Par la théorie RKHS, nous avons que est défini positif symétrique. Par le théorème spectral, nous pouvons écrire où est la matrice diagonale des valeurs propres et est la matrice orthonormale des vecteurs propres. Par conséquent, dans le paramètre RKHS, Pendant ce temps, dans le paramètre de régression Ridge, notez que par symétrie, $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ Soit le spectre de soit . Dans la régression RKHS, les valeurs propres sont stabilisées par . Dans la régression Ridge, nous avons . Par conséquent, RKHS modifie uniformément les valeurs propres tandis que Ridge ajoute une valeur plus grande si le correspondant est plus petit.

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

Selon le choix du noyau, les deux estimations de peuvent être proches ou éloignées l'une de l'autre. La distance au sens l'opérateur sera Cependant, ceci est toujours limité pour un donné $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ , vos deux estimateurs ne peuvent donc pas être arbitrairement éloignés l'un de l'autre. Par conséquent, si votre noyau est proche de l'identité, il y aura probablement peu de différence dans les approches. Si vos noyaux sont très différents, les deux approches peuvent toujours conduire à des résultats similaires.

En pratique, il est difficile de dire avec certitude si l'un est meilleur que l'autre pour une situation donnée. Comme nous minimisons l'erreur quadratique lorsque nous représentons les données en termes de fonction du noyau, nous choisissons effectivement une meilleure courbe de régression dans l'espace de fonctions de Hilbert correspondant. Par conséquent, pénaliser par rapport au produit intérieur RKHS semble être la manière naturelle de procéder.

— Adam B Kashlak
source

Avez-vous une référence pour cela?

— rnoodle