Dérivée de la perte d'entropie croisée dans word2vec

J'essaie de me frayer un chemin à travers le premier ensemble de problèmes du matériel de cours en ligne stanford cs224d et j'ai des problèmes avec le problème 3A: lorsque j'utilise le modèle skip gram word2vec avec la fonction de prédiction softmax et la fonction de perte d'entropie croisée, nous veulent calculer les gradients par rapport aux vecteurs de mots prédits. Donc, étant donné la fonction softmax:

$\hat{w_i} = \Pr(word_i\mid\hat{r}, w) = \frac{\exp(w_i^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}$

et fonction d'entropie croisée:

$CE(w, \hat{w}) = -\sum\nolimits_{k} w_klog(\hat{w_k})$

nous devons calculer $\frac{\partial{CE}}{\partial{\hat{r}}}$

Mes étapes sont les suivantes:

$CE(w, \hat{w}) = -\sum_{k}^{|V|} w_klog(\frac{\exp(w_k^T \hat{r})}{\sum_{j}^{|V|}exp(w_j^T\hat{r})})$

$= -\sum_{k}^{|V|} w_klog(\exp(w_k^T \hat{r}) - w_klog(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

maintenant donné $w_k$ est un vecteur chaud et i est la bonne classe:

$CE(w, \hat{w}) = - w_i^T\hat{r} + log(\sum_{j}^{|V|}exp(w_j^T\hat{r}))$

$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$

Est-ce correct ou pourrait-il être simplifié davantage? Je veux essayer de m'assurer que je suis sur la bonne voie car les solutions de problèmes ne sont pas publiées en ligne. De plus, obtenir les affectations écrites correctes est important pour pouvoir effectuer correctement les affectations de programmation.

∂C

$$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \frac{1}{\sum_{j}^{|V|}exp(w_j^T\hat{r})}\sum_{j}^{|V|}exp(w_j^T\hat{r})w_j$$ peut être réécrit en note, les sommes sont toutes les deux indexées par j mais ce devrait vraiment être 2 variables différentes. Ce serait plus approprié qui se traduit par $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{j}^{|V|} \left( \frac{ \exp(w_j^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_j \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \left( \frac{ \exp(w_x^\top\hat{r}) }{\sum_{j}^{|V|}exp(w_j^T\hat{r})} \cdot w_x \right)$$ $$\frac{\partial{CE}}{\partial{\hat{r}}} = -w_i + \sum_{x}^{|V|} \Pr(word_x\mid\hat{r}, w) \cdot w_x$$