Comprendre les mathématiques d'AdaGrad et d'AdaDelta

J'ai construit des modèles pour un projet, mais je ne peux pas me concentrer sur les mathématiques des algorithmes Adagrad et Adadelta.

Je comprends le fonctionnement de la descente en gradient de vanille et j'ai écrit du code pour le faire fonctionner avec succès.

Je serais reconnaissant si quelqu'un m'expliquait ces deux choses ou fournissait des ressources pour les comprendre.

Concernant les ressources:

• À mon avis, ADADELTA: An Adaptive Learning Rate Method (l'article original d'ADADELTA) explique (dans les sections 1-3) à la fois ADAGRAD et ADADELTA d'une manière tout à fait accessible.
• J'ai trouvé que les méthodes adaptatives de premier cycle pour l'apprentissage en ligne et l'optimisation stochastique étaient moins accessibles, mais il s'agit du document ADAGRAD d'origine, il vaut donc probablement la peine d'être essayé.
• Un aperçu des algorithmes d'optimisation de la descente de gradient (un article de blog de Sebastian Ruder) m'a également aidé à comprendre à la fois ADAGRAD et ADADELTA.
  
  

---

Voici quelques citations centrales d' ADADELTA: Une méthode de taux d'apprentissage adaptatif , ainsi que quelques exemples et de courtes explications:

ADAGRAD

La règle de mise à jour pour ADAGRAD est la suivante:

$$\begin{matrix}\Delta x_{t}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}}g_{t} & & & (5)\end{matrix}$$ Ici, le dénominateur calcule la $l2$norme de tous les gradients précédents sur une base par dimension et η est un taux d'apprentissage global partagé par toutes les dimensions.
Bien qu'il existe un taux d'apprentissage global réglé manuellement, chaque dimension a son propre taux dynamique.

C'est-à-dire si les gradients des trois premières étapes sont $g_{1}=\left(\begin{gathered}a_{1}\\ b_{1}\\ c_{1} \end{gathered} \right)\,,\,g_{2}=\left(\begin{gathered}a_{2}\\ b_{2}\\ c_{2} \end{gathered} \right)\,,\,g_{3}=\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)$, puis:

$$\begin{gathered}\Delta x_{3}=-\frac{\eta}{\sqrt{\sum_{\tau=1}^{3}g_{\tau}^{2}}}g_{3}=-\frac{\eta}{\sqrt{\left(\begin{gathered}a_{1}^{2}+a_{2}^{2}+a_{3}^{2}\\ b_{1}^{2}+b_{2}^{2}+b_{3}^{2}\\ c_{1}^{2}+c_{2}^{2}+c_{3}^{2} \end{gathered} \right)}}\left(\begin{gathered}a_{3}\\ b_{3}\\ c_{3} \end{gathered} \right)\\ \downarrow\\ \Delta x_{3}=-\left(\begin{gathered}\frac{\eta}{\sqrt{a_{1}^{2}+a_{2}^{2}+a_{3}^{2}}}a_{3}\\ \frac{\eta}{\sqrt{b_{1}^{2}+b_{2}^{2}+b_{3}^{2}}}b_{3}\\ \frac{\eta}{\sqrt{c_{1}^{2}+c_{2}^{2}+c_{3}^{2}}}c_{3} \end{gathered} \right) \end{gathered}$$ Ici, il est plus facile de voir que chaque dimension a son propre taux d'apprentissage dynamique, comme promis.

Problèmes d'ADAGRAD que ADADELTA essaie de contrer

L'idée présentée dans cet article est dérivée d'ADAGRAD afin d'améliorer les deux principaux inconvénients de la méthode: 1) la décroissance continue des taux d'apprentissage tout au long de la formation, et 2) la nécessité d'un taux d'apprentissage global sélectionné manuellement.

Le deuxième inconvénient est assez explicite.

Voici un exemple lorsque le premier inconvénient est un problème:
considérons un cas dans lequel la valeur absolue de chaque composant de$g_2$est beaucoup plus grande que la valeur absolue de la composante respective du gradient dans toute autre étape.
Pour toute$t>2$, il considère que chaque composant de $\sqrt{\sum_{\tau=1}^{t}g_{\tau}^{2}}$ est supérieure à la valeur absolue de la composante respective de $g_2$. Mais la valeur absolue de chaque composant de$g_2$ est beaucoup plus grande que la valeur absolue de la composante respective de $g_t$, et donc $\Delta x_t$est très petit.
De plus, au fur et à mesure que l'algorithme progresse, il se rapproche d'un minimum, donc le gradient devient plus petit, et ainsi$\Delta x_t$devient de plus en plus petit.
Ainsi, il se pourrait que l'algorithme s'arrête pratiquement avant d'atteindre un minimum.

ADADELTA

Au lieu de considérer tous les gradients qui ont été calculés, ADADELTA ne considère que le dernier $w$ dégradés.

Depuis le stockage $w$les gradients carrés précédents sont inefficaces, nos méthodes implémentent cette accumulation comme une moyenne exponentiellement décroissante des gradients carrés. Supposons à temps$t$ cette moyenne courante est $E\left[g^{2}\right]_{t}$ on calcule ensuite:

$$\begin{matrix}E\left[g^{2}\right]_{t}=\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2} & & & (8)\end{matrix}$$ où $\rho$est une constante de décroissance [...]. Puisque nous avons besoin de la racine carrée de cette quantité dans les mises à jour des paramètres, cela devient effectivement le$\text{RMS}$ des gradients carrés précédents jusqu'à temps $t$: $$\begin{matrix}\text{RMS}\left[g\right]_{t}=\sqrt{E\left[g^{2}\right]_{t}+\epsilon} & & & (9)\end{matrix}$$ où une constante $\epsilon$ est ajouté pour mieux conditionner le dénominateur

($\text{RMS}$signifie Root Mean Square .)

De même:

$$E\left[\Delta x^{2}\right]_{t-1}=\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}$$ $$\text{RMS}\left[\Delta x\right]_{t-1}=\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}$$ Et enfin:

[...] approximatif $\Delta x_{t}$ en calculant la décomposition exponentielle $\text{RMS}$ sur une fenêtre de taille $w$ des précédents $\Delta x$ pour donner la méthode ADADELTA:

$$\begin{matrix}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t} & & & (14)\end{matrix}$$ où la même constante $\epsilon$ est ajouté au numérateur $\text{RMS}$ainsi que. Cette constante sert à la fois à démarrer la première itération où$\Delta x_{0}=0$et pour garantir que des progrès continuent d'être réalisés même si les mises à jour précédentes deviennent petites.
[...]
Le numérateur agit comme un terme d'accélération, accumulant les gradients précédents sur une fenêtre de temps [...]

C'est-à-dire si le gradient à l'étape $r$ est $g_{r}=\left(\begin{gathered}a_{r}\\ b_{r}\\ c_{r} \end{gathered} \right)$ et $\Delta x_{r}=\left(\begin{gathered}i_{r}\\ j_{r}\\ k_{r} \end{gathered} \right)$, puis:

$$\begin{gathered}\Delta x_{t}=-\frac{\text{RMS}\left[\Delta x\right]_{t-1}}{\text{RMS}\left[g\right]_{t}}g_{t}=-\frac{\sqrt{E\left[\Delta x^{2}\right]_{t-1}+\epsilon}}{\sqrt{E\left[g^{2}\right]_{t}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho E\left[\Delta x^{2}\right]_{t-2}+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho E\left[g^{2}\right]_{t-1}+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho\left(\rho E\left[\Delta x^{2}\right]_{t-3}+\left(1-\rho\right)\Delta x_{t-2}^{2}\right)+\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho\left(\rho E\left[g^{2}\right]_{t-2}+\left(1-\rho\right)g_{t-1}^{2}\right)+\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{2}E\left[\Delta x^{2}\right]_{t-3}+p^{1}\left(1-\rho\right)\Delta x_{t-2}^{2}+p^{0}\left(1-\rho\right)\Delta x_{t-1}^{2}+\epsilon}}{\sqrt{\rho^{2}E\left[g^{2}\right]_{t-2}+p^{1}\left(1-\rho\right)g_{t-1}^{2}+p^{0}\left(1-\rho\right)g_{t}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\rho^{t-1}E\left[\Delta x^{2}\right]_{0}+\overset{t-1}{\underset{r=1}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\rho^{t-1}E\left[g^{2}\right]_{1}+\overset{t}{\underset{r=2}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t} \end{gathered}$$

$\rho$ est une constante de décroissance, donc nous la choisissons de telle sorte que $\rho\in\left(0,1\right)$ (typiquement $\rho\ge0.9$).
Par conséquent, en multipliant par une puissance élevée de$\rho$entraîne un très petit nombre.
Laisser$w$ être l'exposant le plus bas tel que nous considérons le produit de la multiplication des valeurs sensées par $\rho^w$négligeable.
Maintenant, nous pouvons approximer$\Delta x_{t}$ en supprimant des termes négligeables:

$$\begin{gathered}\Delta x_{t}\approx-\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\Delta x_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)g_{r}^{2}+\epsilon}}g_{t}=\\ \\ -\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)\left(\begin{gathered}i_{r}^{2}\\ j_{r}^{2}\\ k_{r}^{2} \end{gathered} \right)+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)\left(\begin{gathered}a_{r}^{2}\\ b_{r}^{2}\\ c_{r}^{2} \end{gathered} \right)+\epsilon}}\left(\begin{gathered}a_{t}\\ b_{t}\\ c_{t} \end{gathered} \right)\\ \downarrow\\ \Delta x_{t}\approx-\left(\begin{gathered}\frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)i_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)a_{r}^{2}+\epsilon}}a_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)j_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)b_{r}^{2}+\epsilon}}b_{t}\\ \\ \frac{\sqrt{\overset{t-1}{\underset{r=t-w}{\sum}}\rho^{t-1-r}\left(1-\rho\right)k_{r}^{2}+\epsilon}}{\sqrt{\overset{t}{\underset{r=t+1-w}{\sum}}\rho^{t-r}\left(1-\rho\right)c_{r}^{2}+\epsilon}}c_{t} \end{gathered} \right) \end{gathered}$$

De quora, vous trouverez un guide plus complet, mais les idées principales sont qu'AdaGrad essaie de balancer ces problèmes dans la sélection du taux d'apprentissage du gradient dans l'apprentissage automatique:

1 Sélection manuelle du taux d'apprentissage η.

2 Le vecteur de gradient gt est mis à l'échelle uniformément par un taux d'apprentissage scalaire η.

3 Le taux d'apprentissage η reste constant tout au long du processus d'apprentissage.

Il résout les problèmes 2 et 3 simplement en divisant chaque composante de gradient actuelle par une norme L2 des gradients observés passés pour cette composante particulière.

Il présente en soi les problèmes suivants:

1 Taux d'apprentissage en décroissance continue η.

2 Sélection manuelle du taux d'apprentissage η.

AdaDelta résout le problème 1 d'AdaGrad en additionnant les gradients uniquement dans une certaine fenêtre W.

La solution de la préoccupation 2 concerne l'inadéquation des unités de gradient et donc

le processus d'accumulation proprement dit est mis en œuvre en utilisant un concept de momentum.

Le dernier calcul nécessite une compréhension de la théorie de l'impulsion et il y a été brièvement expliqué dans l'article.

Mon idée était de donner les principales causes de ce qui était prévu, peut-être que cela facilite la lecture.