Qu'est-ce que le normalisateur de gradient-log?

Dans le wiki, la fonction softmax est définie comme le normalisateur de gradient-log de la distribution de probabilité catégorielle . Une explication partielle du normalisateur de journal se trouve ici , mais que signifie normalisateur de journal de gradient ?

En utilisant la notation de la page wikipedia ( https://en.wikipedia.org/wiki/Exponential_family ), une famille exponentielle est une famille de distributions de probabilités qui ont pmfs / pdfs qui peuvent être écrites comme (notant que $\theta$ , $x$ peut être valeur du vecteur):

$$f_{\theta}(x)=h(x)\exp[\eta(\theta)^Tt(x)-A(\theta)]$$ où $\eta(\theta)=\eta$ sont les les paramètres naturels, $t(x)$ sont les statistiques suffisantes, et $A(\theta)$ est le normalisateur de journal (parfois appelé la fonction de partition de journal). La raison pour laquelle $A(\theta)$ est appelé le normalisateur de journal, car il peut être vérifié que, dans le cas continu, pour que ce soit un pdf valide, nous devons avoir $$A(\theta)=\log\left[\int h(x)\exp[\eta(\theta)^Tt(x)]dx\right],$$ et dans le cas discret, pour que ce soit un pmf valide , nous devons avoir Dans chaque cas, nous remarquons que et sont les constantes de normalisation des distributions, d'où le nom du normalisateur de journaux. $$A(\theta)=\log\left[\sum_x h(x)\exp[\eta(\theta)^Tt(x)]\right].$$ $\int h(x)\exp[\eta(\theta)^Tt(x)]dx$$\sum_x h(x)\exp[\eta(\theta)^Tt(x)]$

Maintenant, pour voir la relation spécifique entre la fonction softmax et la distribution catégorielle dimensionnelle, nous devrons utiliser une paramétrisation spécifique de la distribution. A savoir, que soit tel que et , et définissez (en laissant ). Le pmf pour cette distribution est (en laissant être un seul vecteur chaud, c'est-à-dire et pour ): $k$$\theta_1,\cdots,\theta_{k-1}$$0<\theta_1,\cdots,\theta_{k-1}$$\sum_{i=1}^{k-1}\theta_i<1$$\theta_k=1-\sum_{i=1}^{k-1}\theta_i$$\theta=(\theta_1,\cdots,\theta_{k})$$x=(x_1,\cdots,x_{k})$$x_i=1$$x_j=0$$i\neq j$

$$f_{\theta}(x)=\prod_{i=1}^k\theta_i^{x_i}.$$ Pour écrire ceci comme une famille exponentielle, notez que , , et , donc: $h(x)=1$$\eta(\theta)=(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)$$t(x)=(x_1,\cdots,x_{k})$$A(\theta)=-\log[\theta_k]$ $$f_{\theta}(x)=\exp[(\log[\theta_1/\theta_k],\cdots, \log[\theta_{k-1}/\theta_k],0)^T(x_1,\cdots,x_{k})-(-\log[\theta_k])].$$

maintenant de manière suggestive , afin que nous puissions écrire . Le normalisateur de journal devient alors En prenant la dérivée partielle par rapport à , nous trouvons révélant que le gradient du normalisateur de log est en effet la fonction softmax: $\eta(\theta_i)=\log[\theta_i/\theta_k]=\eta_i$$\theta_i=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}}$

$$A(\eta)=-\log\left[\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right]= -\log\left[\frac{1}{\sum_{j=1}^ke^{\eta_j}}\right]=\log\left[\sum_{j=1}^ke^{\eta_j}\right].$$ $\eta_i$ $$\frac{\partial}{\partial \eta_i}A(\eta)=\frac{e^{\eta_i}}{\sum_{j=1}^ke^{\eta_j}},$$ $$\nabla A(\eta)=\left[\frac{e^{\eta_1}}{\sum_{j=1}^ke^{\eta_j}},\cdots,\frac{e^{\eta_k}}{\sum_{j=1}^ke^{\eta_j}}\right].$$