La normalisation L2 de la régression des crêtes punit-elle l'interception? Sinon, comment résoudre sa dérivée?

Je suis nouveau au ML. J'ai été informé que la normalisation L2 de la régression des crêtes ne punit pas l'interception $\theta_{0}$ . Comme dans la fonction de coût:

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (h_{\vec{θ}} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{\theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\vec \theta}(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ Le terme de normalisation L2

λ \sum_{j = 1}^{n} θ_{j}^{2}

$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ uniquement les sommes

j = 1

$j=1$ à

n

$n$ , Pas de

j = 0

$j=0$ à

n

$n$ . J'ai également lu que:

dans la plupart des cas (tous les cas?), il vaut mieux ne pas régulariser $\theta_{0}$ , car il est peu probable qu'il réduise le sur-ajustement et rétrécisse l'espace des fonctions représentables

qui provient de la dernière réponse de user48956 de Pourquoi un modèle de régression linéaire à interception nulle prédit-il mieux qu'un modèle avec interception?

Je ne sais pas comment résoudre la dérivée de la fonction de coût, car:

\nabla_{θ} J (θ) = \frac{1}{2} （ X θ - Y ）^{T} （ X θ - Y ） + λ (θ^{^{'}})^{T} θ^{^{'}},

$\nabla_{\theta}J(\theta)=\frac{1}{2}（X\theta-Y）^{T}（X\theta-Y）+\lambda(\theta^{'})^{T}\theta^{'},$ où

θ^{^{'}} = [\begin{matrix} θ_{1} \\ θ_{2} \\ . . . \\ θ_{n} \end{matrix}]

$\theta^{'}=\left[ \begin{matrix} \theta_{1} \\ \theta_{2} \\ ...\\ \theta_{n} \end{matrix} \right]$ ,

θ = [\begin{matrix} θ_{0} \\ θ_{1} \\ . . . \\ θ_{n} \end{matrix}]

$\theta=\left[ \begin{matrix} \theta_{0} \\ \theta_{1} \\ ...\\ \theta_{n} \end{matrix} \right]$ et

X = [\begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & . . . & X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & . . . & X_{n}^{(2)} \\ . . . \\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & . . . & X_{n}^{(m)} \end{matrix}]

$X=\left[ \begin{matrix} 1 & X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ 1 & X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ 1 & X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$ .

$\theta^{'}$ et $\theta$ sont différents. Par conséquent, ils ne peuvent pas être mélangés de mon point de vue. Et le dérivé est sur le point $\theta$ ,qui contient $\theta^{'}$ . Après avoir googlé et consulté les questions sur ce forum, il n'y a toujours aucun moyen pour moi d'obtenir la solution:

θ = (X^{T} X + λ * I)^{- 1} X^{T} Y

$\theta=(X^TX+\lambda*I)^{-1}X^TY$ Quelqu'un peut-il me donner un indice? Merci d'avance pour votre aide!

Cependant, je pense qu'il existe deux solutions rapides à ce problème:

Tout d'abord, nous n'ajoutons pas la colonne all 1 à $X$ . À savoir $X=\left[ \begin{matrix} X_{1}^{(1)} & X_{2}^{(1)} & ...& X_{n}^{(1)} \\ X_{1}^{(2)} & X_{2}^{(2)} & ...& X_{n}^{(2)} \\ ...\\ X_{1}^{(m)} & X_{2}^{(m)} & ...& X_{n}^{(m)} \end{matrix} \right]$ . C'est-à-dire que nous n'incluons pas du tout l'interception dans le modèle:

y = θ_{1} X_{1} + θ_{2} X_{2} + . . . + θ_{n} X_{n} .

$y=\theta_{1}X_{1}+\theta_{2}X_{2}+...+\theta_{n}X_{n}.$ Je crois que cette méthode est adoptée dans le livre classique Machine Learning in Action de Peter Harrington que je lis actuellement. Dans son implémentation de la régression des crêtes (P166 et P177 si vous avez aussi le livre), tous les

X

$X$ passé à la régression de crête n'a pas la toute 1 colonne. Aucune interception n'est donc installée du tout.

Deuxièmement, l'interception est également punie dans la réalité.

La régression logistique de scikit régularise l'interception par défaut.

qui provient encore une fois de la dernière réponse de user48956 de Pourquoi un modèle de régression linéaire à interception nulle prédit-il mieux qu'un modèle avec une interception?

Les deux solutions rapides mènent à la solution

θ = (X^{T} X + λ * I)^{- 1} X^{T} Y .

$\theta=(X^TX+\lambda*I)^{-1}X^TY.$

Le dérivé de la normalisation L2 de la régression des crêtes peut-il être réellement résolu ou est-il simplement résolu par des solutions rapides?

machine-learning ridge-regression

— Naomi
source

Voir aussi stats.stackexchange.com/questions/86991 . La réponse à votre Q est que tout peut être résolu: il suffit de décomposer le premier terme en theta_0 et theta_prime. Vous pouvez immédiatement résoudre pour un thêta_0 optimal: c'est la moyenne globale. Menant à votre "solution rapide # 1" comme la bonne solution pour theta_prime sur les données soustraites en moyenne.

— amoeba

La deuxième solution est universellement considérée comme incorrecte. La pénalisation de l'interception est l'une des quelques erreurs de conception dans sklearn.

— Matthew Drury

@MatthewDrury Je pense que j'ai mentionné un hack pour "corriger" cela et vous a rendu triste. Mais je veux dire à OP que le hack est une énorme interception, comme 1e9. La régularisation y prend alors peu d'effet.

— Haitao Du

Yah, tu te souviens bien, chaque fois que je fais ça, je meurs un peu à l'intérieur.

— Matthew Drury

@amoeba Merci beaucoup! Je trouve la solution dans ma réponse sous votre direction. Pouvez-vous m'aider à le vérifier? De plus, je découvre que l'apprentissage automatique en action soustrait la moyenne de

Y

$Y$ et n'ajoute pas la toute 1 colonne à

X

$X$ qui sont à la fois la bonne voie à suivre. Cependant, lors de la normalisation des fonctionnalités, il divise

X - μ

$X-\mu$ par variance et non par écart-type! J'ai posé une autre question à ce sujet: pas par écart-type Pouvez-vous m'aider à nouveau sur cette question? Merci!

— Naomi

Les éléments de l'apprentissage statistique par Hastie et al. souligne dans P63 que:

L'interception $\theta_{0}$ a été exclu de la peine

De plus, il dit:

Les solutions de faîtage ne sont pas équivariantes sous l'échelle des entrées, et donc on normalise normalement les entrées avant de résoudre (3.41) (3.41 est la fonction de coût). On peut montrer (Exercice 3.5) que la solution de (3.41) peut être séparée en deux parties, après reparamétrisation à l'aide d'entrées centrées: chacune $X_{j}^{(i)}$ est remplacé par $X_{j}^{(i)}-\overline{x_{j}}.$ Nous estimons $\theta_{0}$ par $\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$ Les coefficients restants sont estimés par une régression de crête sans interception, en utilisant le centré $X_{j}^{(i)}$ . Nous supposons désormais que ce centrage a été effectué, de sorte que la matrice d'entrée $X$ a $n$ (plutôt que $n + 1$ ) Colonnes.

Bien que je me demande pourquoi The Elements of Statistical Learning suggère d'abord la standardisation des fonctionnalités et que seul le centrage des fonctionnalités est effectué. Peut-être d'accord avec l'exercice 3.5 qui utilise uniquement le centrage des fonctionnalités.

Quoi qu'il en soit, je pense qu'il est juste d'appliquer la standardisation z-score aux fonctionnalités. J'essaie donc maintenant de résoudre la dérivée de la fonction de coût de la régression de crête en suivant la suggestion de l'amibe commentateur ci-dessus. Merci beaucoup à lui!

Tout d'abord, la fonction de coût:

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (y_{i} - θ_{0} - \frac{X_{1}^{(i)} - \bar{X_{1}}}{σ_{1}} θ_{1} - \frac{X_{2}^{(i)} - \bar{X_{2}}}{σ_{2}} θ_{2} - . . . - \frac{X_{n}^{(i)} - \bar{X_{n}}}{σ_{n}} θ_{n})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2},

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\frac{X_{1}^{(i)}-\overline{X_1}}{\sigma_1}\theta_1-\frac{X_{2}^{(i)}-\overline{X_2}}{\sigma_2}\theta_2-...-\frac{X_{n}^{(i)}-\overline{X_n}}{\sigma_n}\theta_n)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}},$ où

\bar{X_{j}}

$\overline{X_j}$ est la moyenne de l'attribut

X_{j}

$X_{j}$ et

σ_{j}

$\sigma_j$ est l'écart type de

X_{j}

$X_{j}$ . Pour le raccourcir:

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} (y_{i} - θ_{0} - \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ Maintenant, nous calculons d'abord la valeur de

θ_{0}

$\theta_0$ dans l'expression ci-dessus en définissant la dérivée par rapport à

θ_{0}

$\theta_0$ égal à zéro. Depuis

λ \sum_{j = 1}^{n} θ_{j}^{2}

$\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ n'a pas

θ_{0}

$\theta_{0}$ , on a:

\nabla_{θ_{0}} J (θ) = - \sum_{i = 1}^{m} (y_{i} - θ_{0} - \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j}) = 0

$\nabla_{ \theta_0}J(\theta)=-\sum_{i=1}^{m}(y_{i}-\theta_{0}-\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j)=0$ C'est:

\sum_{i = 1}^{m} (y_{i} - θ_{0}) - \sum_{i = 1}^{m} \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j} = 0

$\sum_{i=1}^{m}(y_{i}-\theta_{0})-\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$ Comme

\sum_{i = 1}^{m} \sum_{j = 1}^{n} \frac{X_{j}^{(i)} - \bar{X_{j}}}{σ_{j}} θ_{j} = 0

$\sum_{i=1}^{m}\sum_{j=1}^{n}\frac{X_j^{(i)}-\overline{X_j}}{\sigma_{j}}\theta_j=0$ (parce que

\bar{X_{j}}

$\overline{X_j}$ est la moyenne de l'attribut

X_{j}

$X_{j}$ ), nous avons donc maintenant

\sum_{i = 1}^{m} (y_{i} - θ_{0}) = 0,

$\sum_{i=1}^{m}(y_{i}-\theta_{0})=0,$ évidemment:

θ_{0} = \bar{y} = \frac{1}{m} \sum_{i = 1}^{m} y^{(i)}

$\theta_0=\overline{y}=\frac{1}{m}\sum_{i=1}^{m}y^{(i)}$

Ainsi, l'ordonnée à l'origine de la régression de crête normalisée est toujours $\overline{y}$ . Par conséquent, si nous centralisons d'abord $Y$ en soustrayant sa moyenne (obtenir $(y_i)^{'}$ pour l'exemple de données $i$ ), ne pas inclure toutes les 1 colonne dans $X$ , puis effectuez la normalisation sur $X$ (avoir $(X_j^{(i)})^{'}$ pour $X_{j}$ d'exemple de données $i$ ) , la fonction de coût sera simplement

\nabla_{θ} J (θ) = \frac{1}{2} \sum_{i = 1}^{m} ((y_{i})^{^{'}} - \sum_{j = 1}^{n} (X_{j}^{(i)})^{^{'}} θ_{j})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}

$\nabla_{ \theta}J(\theta)=\frac{1}{2}\sum_{i=1}^{m}((y_{i})^{'}-\sum_{j=1}^{n}(X_j^{(i)})^{'}\theta_j)^2+\lambda\sum_{j=1}^{n}{\theta_{j}^{2}}$ C'est

\nabla_{θ} J (θ) = \frac{1}{2} （ X^{^{'}} θ - Y^{^{'}} ）^{T} （ X^{^{'}} θ - Y^{^{'}} ） + λ (θ)^{T} θ,

$\nabla_{\theta}J(\theta)=\frac{1}{2}（X^{'}\theta-Y^{'}）^{T}（X^{'}\theta-Y^{'}）+\lambda(\theta)^{T}\theta,$ où

θ = [\begin{matrix} θ_{1} \\ θ_{2} \\ . . . \\ θ_{n} \end{matrix}]

$\theta=\left[ \begin{matrix} \theta_1 \\ \theta_2 \\ ...\\ \theta_n \end{matrix} \right]$ ,

X^{^{'}}

$X^{'}$ n'a pas toutes 1 colonne et normalisé de

X

$X$ ,

Y^{^{'}}

$Y^{'}$ est centré par rapport à

Y

$Y$ . Maintenant

θ

$\theta$ (sans pour autant

θ_{0}

$\theta_0$ ) peut être résolu avec:

θ = ((X^{^{'}})^{T} X^{^{'}} + λ * I)^{- 1} (X^{^{'}})^{T} Y^{^{'}}

$\theta=((X^{'})^TX^{'}+\lambda*I)^{-1}(X^{'})^TY^{'}$ Pour les entités normalisées, le modèle linéaire sera

y = \bar{y} + θ_{1} X_{1}^{^{'}} + θ_{2} X_{2}^{^{'}} + . . . + θ_{n} X_{n}^{^{'}} - - - (1),

$y=\overline{y}+\theta{_1}X_1^{'}+\theta{_2}X_2^{'}+...+\theta{_n}X_n^{'}---(1),$ où

X_{i}^{^{'}} = \frac{X_{i} - \bar{X_{i}}}{σ_{i}} - - - (2)

$X_i^{'}=\frac{X_{i}-\overline{X_i}}{\sigma_i}---(2)$ Si nous utilisons (2) dans (1) comme suggéré dans la réponse de Plasty Grove . Ainsi, pour les données d'entrée d'origine, le modèle linéaire sera

y = \bar{y} + \frac{X_{1} - \bar{X_{1}}}{σ_{1}} θ_{1} + \frac{X_{2} - \bar{X_{2}}}{σ_{2}} θ_{2} + . . . + \frac{X_{n} - \bar{X_{n}}}{σ_{n}} θ_{n}

$y=\overline{y}+\frac{X_{1}-\overline{X_1}}{\sigma_1}\theta_1+\frac{X_{2}-\overline{X_2}}{\sigma_2}\theta_2+...+\frac{X_{n}-\overline{X_n}}{\sigma_n}\theta_n$ C'est

y = \frac{θ_{1}}{σ_{1}} X_{1} + \frac{θ_{2}}{σ_{2}} X_{2} + . . . + \frac{θ_{n}}{σ_{n}} X_{n} + \bar{y} - \frac{\bar{X_{1}}}{σ_{1}} θ_{1} - \frac{\bar{X_{2}}}{σ_{2}} θ_{2} - . . . - \frac{\bar{X_{n}}}{σ_{n}} θ_{n}

$y=\frac{\theta_1}{\sigma_1}X_1+\frac{\theta_2}{\sigma_2}X_2+...+\frac{\theta_n}{\sigma_n}X_n+\overline{y}-\frac{\overline{X_1}}{\sigma_1}\theta_1-\frac{\overline{X_2}}{\sigma_2}\theta_2-...-\frac{\overline{X_n}}{\sigma_n}\theta_n$ C'est pourquoi après avoir résolu des coefficients d'entités normalisées, pour renvoyer des données d'entrée de coefficients d'origine (entités non normalisées), nous devons retourner

θ_{i} / σ_{i}

$\theta_i/\sigma_i$

— Naomi
source

Bel exemple détaillé. Quelques commentaires: vous commentez l'effet du centrage

Y

$Y$ , mais pour omettre un terme d'interception et obtenir des estimations correctes, il faut centrer

X

$X$ fonctionnalités aussi bien. Cependant, je suis d'accord que cet exemple est d'accord avec la justification de ne pas pénaliser le terme d'interception (pour obtenir une inférence cohérente). Deuxièmement, l'intuition devrait servir à quelque chose ici. Nous acceptons tous que prédire

Y

$Y$ par sa moyenne est semblable à un modèle de paramètre 0, donc pour obtenir l'effet additif de

X

$X$ dans le modèle, il ne faut pas pénaliser le terme qui capte simplement l'effet Y moyen en présence de

X

$X$ .

— AdamO