Différence entre la régression primitive, double et Kernel Ridge

Quelle est la différence entre la régression primitive , double et Kernel Ridge? Les gens utilisent les trois, et à cause de la notation différente que tout le monde utilise à différentes sources, il m'est difficile de suivre.

Alors, quelqu'un peut-il me dire en termes simples quelle est la différence entre ces trois? De plus, quels pourraient être certains avantages ou inconvénients de chacun, et quelle peut être leur complexité?

Réponse courte: aucune différence entre Primal et Dual - il s'agit uniquement de la manière d'arriver à la solution. La régression de crête du noyau est essentiellement la même que la régression de crête habituelle, mais utilise l'astuce du noyau pour devenir non linéaire.

Régression linéaire

Tout d'abord, une régression linéaire habituelle des moindres carrés essaie d'ajuster une ligne droite à l'ensemble des points de données de telle sorte que la somme des erreurs au carré soit minimale.

Nous paramétrons la ligne la mieux ajustée avec et pour chaque point de données nous voulons . Soit l'erreur - la distance entre les valeurs prédites et vraies. Notre objectif est donc de minimiser la somme des erreurs quadratiques où - une matrice de données avec chaque étant une ligne, et un vecteur avec tous les .$\mathbb w$$(\mathbf x_i, y_i)$$\mathbf w^T \mathbf x_i \approx y_i$$e_i = y_i - \mathbf w^T \mathbf x_i$$\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$$X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$$\mathbf x_i$$\mathbf y = (y_1 , \ ... \ , y_n)$$y_i$

Ainsi, l'objectif est , et la solution est (connue sous le nom d '"équation normale").$\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$$\mathbf w = (X^T X)^{-1} X^T \mathbf y$

Pour un nouveau point de données invisible nous prédisons sa valeur cible comme .$\mathbf x$y$\hat y$y = w T x$\hat y = \mathbf w^T \mathbf x$

Régression de crête

Lorsqu'il existe de nombreuses variables corrélées dans les modèles de régression linéaire, les coefficients peuvent devenir mal déterminés et avoir beaucoup de variance. L' une des solutions à ce problème est de limiter le poids afin qu'ils ne dépassent pas un certain budget . Cela équivaut à utiliser la régularisation , également connue sous le nom de "décroissance du poids": cela diminuera la variance au prix de manquer parfois les bons résultats (c'est-à-dire en introduisant un biais).$\mathbf w$$\mathbf w$$C$$L_2$

L'objectif devient maintenant , avec comme paramètre de régularisation. En parcourant les mathématiques, nous obtenons la solution suivante: . C'est très similaire à la régression linéaire habituelle, mais ici nous ajoutons à chaque élément diagonal de .$\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$$\lambda$$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$$\lambda$$X^T X$

Notez que nous pouvons réécrire comme (voir ici pour plus de détails). Pour un nouveau point de données invisible nous prédisons sa valeur cible comme . Soit . Alors .$\mathbf w$$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$x y y = x T w = x T X T$\mathbf x$$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$y = x T X T α = n Σ i = 1 α i ⋅ x T x i$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

Formule double de régression de crête

Nous pouvons avoir un regard différent sur notre objectif - et définir le problème de programme quadratique suivant:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st pour et .$e_i = y_i - \mathbf w^T \mathbf x_i$$i = 1 \, .. \, n$$\| \mathbf w \|^2 \leqslant C$

C'est le même objectif, mais exprimé quelque peu différemment, et ici la contrainte sur la taille de est explicite. Pour le résoudre, nous définissons le lagrangien - c'est la forme primitive qui contient les variables primaires et . Ensuite, nous l'optimisons par et . Pour obtenir la double formulation, nous trouvé et dans .$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathbf w$$\mathbf e$$\mathbf e$$\mathbf w$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$

Donc, . En prenant les dérivés wrt et , nous obtenons et . En laissant , et en remettant et dans , nous obtenons double lagrangien$\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$$\mathbf w$$\mathbf e$$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$$\mathbf e$$\mathbf w$$\mathcal L_p(\mathbf w, \mathbf e ; C)$$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ . Si nous prenons un dérivé wrt , nous obtenons - la même réponse que pour la régression habituelle de Kernel Ridge. Il n'est pas nécessaire de prendre un dérivé wrt - cela dépend de , qui est un paramètre de régularisation - et il crée également paramètre de régularisation .$\boldsymbol \alpha$$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$$\lambda$$C$$\lambda$

Ensuite, mettez à la solution de forme primitive pour , et obtenez . Ainsi, la forme double donne la même solution que la régression Ridge habituelle, et c'est juste une façon différente d'arriver à la même solution.$\boldsymbol \alpha$$\mathbf w$$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$

Régression de Kernel Ridge

Les noyaux sont utilisés pour calculer le produit interne de deux vecteurs dans un espace de fonctionnalité sans même le visiter. Nous pouvons voir un noyau comme , bien que nous ne sachions pas ce qu'est - nous savons seulement qu'il existe. Il existe de nombreux noyaux, par exemple RBF, Polynonial, etc.$k$$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\phi(\cdot)$

Nous pouvons utiliser des noyaux pour rendre notre régression de crête non linéaire. Supposons que nous ayons un noyau . Soit une matrice où chaque ligne est , c'est-à-dire$k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$$\Phi(X)$$\phi(\mathbf x_i)$$\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

Maintenant, nous pouvons simplement prendre la solution pour la régression de crête et remplacer chaque par : . Pour un nouveau point de données invisible nous prédisons sa valeur cible comme .$X$$\Phi(X)$$\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$$\mathbf x$$\hat y$$\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$

Tout d'abord, nous pouvons remplacer par une matrice , calculée comme . Alors, est . Nous avons donc réussi à exprimer chaque produit scalaire du problème en termes de noyaux.$\Phi(X) \Phi(X)^T$$K$$(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$$\phi(\mathbf x)^T \Phi(X)^T$$\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$

Enfin, en laissant (comme précédemment), on obtient$\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$$\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

Les références

• Cours de Machine Learning I à TU Berlin
• Éléments d'apprentissage statistique, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf