J'ai le CNN suivant:

1. Je commence par une image d'entrée de taille 5x5
2. Ensuite, j'applique la convolution en utilisant un noyau 2x2 et stride = 1, ce qui produit une carte de caractéristiques de taille 4x4.
3. Ensuite, j'applique un pool max 2x2 avec stride = 2, ce qui réduit la carte des entités à la taille 2x2.
4. Ensuite, j'applique le sigmoïde logistique.
5. Ensuite, une couche entièrement connectée avec 2 neurones.
6. Et une couche de sortie.

Par souci de simplicité, supposons que j'ai déjà terminé la passe avant et calculé δH1 = 0,25 et δH2 = -0,15

Donc, après la passe avant complète et la passe arrière partiellement terminée, mon réseau ressemble à ceci:

Ensuite, je calcule les deltas pour la couche non linéaire (sigmoïde logistique):

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

Ensuite, je propage les deltas à la couche 4x4 et définit toutes les valeurs qui ont été filtrées par max-pooling à 0 et la carte de dégradé ressemble à ceci:

Comment puis-je mettre à jour les poids du noyau à partir de là? Et si mon réseau avait une autre couche convolutionnelle avant 5x5, quelles valeurs devrais-je utiliser pour mettre à jour les poids du noyau? Et dans l'ensemble, mon calcul est-il correct?

Une convolution utilise un principe de partage du poids qui compliquera considérablement les mathématiques, mais essayons de passer au travers des mauvaises herbes. Je tire l'essentiel de mon explication de cette source .

---

Passe avant

Comme vous l'avez observé, la passe avant de la couche convolutionnelle peut être exprimée comme

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

où dans notre cas $k_1$ et $k_2$ est la taille du noyau, dans notre cas $k_1=k_2=2$ . Donc, cela dit pour une sortie $x_{0,0} = 0.25$ comme vous l'avez trouvé. $m$ et $n$ parcourent les dimensions du noyau.

Rétropropagation

En supposant que vous utilisez l'erreur quadratique moyenne (MSE) définie comme

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$,

nous voulons déterminer

$\frac{\partial E}{\partial w^l_{m', n'}}$ afin de mettre à jour les poids. $m'$et$n'$sont les indices de la matrice du noyau à ne pas confondre avec ses itérateurs. Par exemple$w^1_{0,0} = -0.13$dans notre exemple. Nous pouvons également voir que pour une image d'entrée$H$x$K$la dimension de sortie après la couche convolutionnelle sera

$(H-k_1+1)$ x$(W-k_2+1)$ .

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

Cela itère sur tout l'espace de sortie, détermine l'erreur que la sortie contribue, puis détermine le facteur de contribution du poids du noyau par rapport à cette sortie.

Appelons la contribution à l'erreur du delta de l'espace de sortie pour plus de simplicité et pour garder une trace de l'erreur rétrograde,

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

La contribution des poids

La convolution est définie comme

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$ ,

Donc,

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

Puis revenons à notre terme d'erreur

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$

Descente de gradient stochastique

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

Calculons certains d'entre eux

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

tableau ([[0,044606, 0,094061], [0,011262, 0,068288]])

Maintenant, vous pouvez mettre cela dans l'équation SGD à la place de $\frac{\partial E}{\partial w}$.

---

Veuillez me faire savoir s'il y a des erreurs dans la dérivation.

---

Mise à jour: code corrigé