En quoi le gradient augmente-t-il comme la descente en gradient?

Je lis l'entrée utile de Wikipedia sur l'augmentation du gradient ( https://en.wikipedia.org/wiki/Gradient_boosting ), et j'essaie de comprendre comment / pourquoi nous pouvons approximer les résidus par l'étape de descente la plus raide (également appelée pseudo-gradient ). Quelqu'un peut-il me donner l'intuition sur la façon dont la descente la plus raide est liée / similaire aux résidus? Aide très appréciée!

self-study gradient-descent

— Wouter
source

Supposons que nous soyons dans la situation suivante. Nous avons des données , où chaque peut être un nombre ou un vecteur, et nous voudrions déterminer une fonction qui se rapproche de la relation , dans le sens où les moindres carrés Erreur: $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

est petite.

Maintenant, la question se pose de ce que nous aimerions que le domaine de soit. Un choix dégénéré pour le domaine n'est que les points dans nos données de formation. Dans ce cas, nous pouvons simplement définir , couvrant tout le domaine souhaité, et en finir avec lui. Un moyen détourné pour arriver à cette réponse est de faire une descente en gradient avec cet espace discret comme domaine. Cela prend un peu de changement de point de vue. Voyons la perte en fonction du point vrai et de la prédiction (pour l'instant, n'est pas une fonction, mais juste la valeur de la prédiction) $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

puis prendre le gradient par rapport à la prédiction

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

Ensuite, la mise à jour du gradient, à partir d'une valeur initiale de est $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

Nous récupérons donc notre prédiction parfaite dans une étape de gradient avec cette configuration, ce qui est bien!

Le défaut ici est, bien sûr, que nous voulons que soit défini à bien plus que nos points de données d'entraînement. Pour ce faire, nous devons faire quelques concessions, car nous ne sommes pas en mesure d'évaluer la fonction de perte, ou son gradient, à d'autres points que notre ensemble de données d'entraînement. $f$

La grande idée est de faible environ . $\nabla L$

Startavec une estimation initiale de , presque toujours une simple fonction constante , elle est définie partout. Générez maintenant un nouvel ensemble de données de travail en évaluant le gradient de la fonction de perte au niveau des données d'apprentissage, en utilisant la supposition initiale pour : $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ en ajustant apprenant faible pour . Disons que nous obtenons l'approximation . Nous avons gagné une extension des données sur l'ensemble du domaine sous la forme de , bien que nous ayons perdu la précision aux points de formation, car nous adaptons un petit apprenant. $W$ $F \approx \nabla L$ $W$ $F(X)$

Finally, utilisez à la place de dans la mise à jour du gradient de sur l'ensemble du domaine: $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

On sort , une nouvelle approximation de , un peu meilleure que . Recommencez avec et répétez jusqu'à ce que vous soyez satisfait. $f_1$ $f$ $f_0$ $f_1$

Avec un peu de chance, vous voyez que ce qui est vraiment important est d’approcher le gradient de la perte. Dans le cas de la minimisation des moindres carrés, cela prend la forme de résidus bruts, mais pas dans les cas plus sophistiqués. Cependant, la machine s'applique toujours. Tant que l'on peut construire un algorithme pour calculer la perte et le gradient de perte au niveau des données d'entraînement, nous pouvons utiliser cet algorithme pour approximer une fonction minimisant cette perte.

— Matthew Drury
source

Yah, je pense que c'est bien. La seule chose à noter est que si, par exemple, vous souhaitez augmenter pour minimiser la perte binomiale alors le gradient que nous développons n'est plus liés aux résidus de manière naturelle.

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— Matthew Drury

Merci Matthew. Une chose que j'essaie de comprendre. Dans la littérature, il est souvent indiqué que la mise à jour du modèle est F (m + 1) = F (m) + , où h (m) est l'apprenant faible. Si je pense à un modèle basé sur un arbre - cela signifie-t-il que pour la régression et la classification, nous mettons à jour pratiquement notre prédiction pour un point de données donné par simple addition des résultats des deux modèles? cela fonctionne-t-il également si nous essayons de classer binaire cela? ou le signe + ne doit-il pas être interprété de façon aussi littérale?

α_{m} * h (m)

$\alpha_m*h(m)$

— Wouter le

Le signe plus est assez littéral. Mais pour un apprenant faible basé sur un arbre, les prédictions du modèle doivent être interprétées comme la moyenne pondérée dans la feuille, même dans le cas où l'arbre est adapté aux données binomiales. Notez cependant qu'en boostant, nous ne nous adaptons généralement pas aux données binomiales, nous nous adaptons au gradient de la probabilité évalué aux prédictions de l'étape précédente, qui ne sera pas évalué à .

0, 1

$0,1$

— Matthew Drury

@MatthewDrury Je pense que dans de nombreux ouvrages, nous ne sommes pas une mise à jour directe avec , mais avec , où de 0 à 1 est un taux d'apprentissage.

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— Haitao Du

@ hxd1011 Oui, c'est tout à fait correct et crucial pour utiliser avec succès le renforcement du dégradé.

— Matthew Drury