Besoin d'aide pour comprendre la proposition approximative de points de partage de xgboost

12

Contexte:

dans xgboost, l' itération tente d'ajuster un arbre sur tous les exemples, ce qui minimise l'objectif suivant: $t$ $f_t$ $n$

\sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i})]

$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$

où sont des premier ordre et de second ordre sur notre meilleure estimation précédente (à partir de l'itération ): $g_i, h_i$ $\hat{y}$ $t-1$

$g_i=d_{\hat{y}}l(y_i, \hat{y})$
$h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

et est notre fonction de perte. $l$

La question (enfin):

Lors de la construction de et de l'examen d'une caractéristique spécifique dans une division spécifique, ils utilisent l'heuristique suivante pour évaluer uniquement certains candidats de division: ils trient tous les exemples par leur , passent sur la liste triée et additionnent leur deuxième dérivée . Ils considèrent un candidat divisé uniquement lorsque la somme change plus de . Pourquoi donc??? $f_t$ $k$ $x_k$ $h_i$ $\epsilon$

L'explication qu'ils me donnent m'échappe:

Ils prétendent que nous pouvons réécrire l'équation précédente comme suit:

\sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t} (x_{i}) - g_{i} / h_{i}]^{2} + c o n s t a n t

$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$

et je ne parviens pas à suivre l'algèbre - pouvez-vous montrer pourquoi est-elle égale?

Et puis ils affirment que "c'est exactement la perte au carré pondérée avec les étiquettes et les poids " - une déclaration avec laquelle je suis d'accord, mais je ne comprends pas comment cela se rapporte à l'algorithme de fractionnement candidat qu'ils utilisent ... $gi/hi$ $h_i$

Merci et désolé si c'est trop long pour ce forum.

xgboost gbm

— ihadanny
source

8

Je n'entrerai pas dans les détails mais ce qui suit devrait vous aider à saisir l'idée.

Ils utilisent Quantiles (Wikipedia) pour déterminer où se diviser. Si vous avez 100 points de partage possibles, (triés), vous pouvez essayer les points de partage de quantiles et ont déjà une bonne approximation. C'est ce que fait le paramètre . Ils considèrent un point de partage lorsque le partage a plus de points en dessous que le dernier point de partage. Si , vous vous retrouverez avec points de partage, étant plus grand que des autres points. Ils n'envisagent pas une nouvelle scission lorsque "la somme change de plus de $\{x_1, \cdots, x_{100}\}$ $10$ $\{x_{10}, x_{20}, \cdots, x_{90}\}$ $\epsilon$ $\sim \epsilon N$ $\epsilon = 0.01$ $\sim 100$ $\{1\%, 2\%, ..., 99\%\}$ $\epsilon$ "mais lorsque le nombre de points sous le point actuel est plus grand de que le dernier. $\epsilon$

Maintenant, si vous avez beaucoup de points continus qui sont déjà bien classés, il pourrait être inutile de les partager. Vous souhaitez diviser les parties de votre ensemble de données qui sont très erronées, celles qui sont difficiles à apprendre. Pour ce faire, ils utilisent des quantiles pondérés. C'est là que les poids jouent un rôle. Le premier -quantile ne sera pas le premier point supérieur à des points, mais le premier point supérieur à des poids. $10$ $10\%$ $10\%$

— Clins d'oeil
source

Je me suis connecté juste pour vous donner un vote positif. Merci pour l'explication facile à saisir.

— Pakpoom Tiwakornkit

3

Il suffit d'ajouter la partie algébrique à la réponse @Winks:

La deuxième équation devrait avoir son signe inversé, comme dans:

\sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t} (x_{i}) - (- g_{i} / h_{i})]^{2} + c o n s t a n t = \sum_{i = 1}^{n} \frac{1}{2} h_{i} [f_{t}^{2} (x_{i}) + 2 \frac{f_{t} (x_{i}) g_{i}}{h_{i}} + (g_{i} / h_{i})^{2}] = \sum_{i = 1}^{n} [g_{i} f_{t} (x_{i}) + \frac{1}{2} h_{i} f_{t}^{2} (x_{i}) + \frac{g i^{2}}{2 h_{i}}]

$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$

Le dernier terme est en effet constant: rappelez-vous que les et sont déterminés par l'itération précédente, ils sont donc constants lorsque vous essayez de définir . $g_i$ $h_i$ $f_t$

Donc, maintenant, nous pouvons affirmer que "c'est exactement la perte au carré pondérée avec les étiquettes et les poids " $-gi/hi$ $h_i$

Nous remercions Yaron et Avi de mon équipe de m'avoir expliqué cela.

— ihadanny
source

0

Et puis ils affirment que "c'est exactement la perte au carré pondérée avec les étiquettes gi / higi / hi et les poids hihi" - une déclaration avec laquelle je suis d'accord, mais je ne comprends pas comment cela se rapporte à l'algorithme de fractionnement candidat qu'ils utilisent .. .

S'il n'y a qu'un seul échantillon et que vous optimisez le à l' itération , il est facile de voir que la valeur serait , expliquant $w$ $t-t_h$ $w* = -gi/hi$ $(ft - -(gi/hi))^2$
Vous disposez maintenant d'un ensemble de données complet. Dans le cas où la fonction de perte a une dérivée seconde identique, le deviendrait au lieu de . Je l'ai écrit de cette façon parce que dans ce cas, le ne serait pas pertinent pour la différence de entre les échantillons, car il n'y a pas de différence. Cependant, en réalité, lorsque reste inchangé, le fluctue avec la distribution de . $w*$ $-avg(gi)/const$ $-sigma(gi)/sigma(hi)$ $w*$ $hi$ $gi$ $w*$ $hi$

Je pense que cela explique pourquoi cela fonctionne car il est pondéré par . $hi$

— xy.Z
source