Quelqu'un peut-il expliquer l'algorithme de rétropropagation? [dupliquer]

13

Qu'est-ce que l'algorithme de rétropropagation et comment fonctionne-t-il?

algorithms optimization neural-networks

— Suis-je
source

1

J'ai mis en place une réponse à cette question ici si quelqu'un est intéressé (je ne voulais pas republier).

— Phylliida

14

L'algorithme de rétropropagation est un algorithme de descente de gradient pour ajuster un modèle de réseau neuronal. (comme mentionné par @Dikran) Permettez-moi d'expliquer comment.

Formellement: L' utilisation du calcul du gradient à la fin de ce post dans l'équation [1] ci-dessous (c'est-à-dire une définition de la descente du gradient) donne l'algorithme de propagation inverse comme cas particulier de l'utilisation d'une descente de gradient.

Un modèle de réseau neuronal Formellement, nous fixons les idées avec un modèle simple à couche unique:

où et sont connus avec pour tout , , et

f (x) = g (A^{1} (s (A^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

,

sont des fonctions affines inconnues. La fonction

est appelée fonction d'activation dans le cadre de la classification.

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

Une fonction de perte quadratique est prise pour fixer les idées. Ainsi, les vecteurs d' entrée de peuvent être ajustés à la sortie réelle de (pourraient être des vecteurs) en minimisant la perte empirique: $(x_1,\dots,x_n)$ $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$ qui concerne le choix de et .

R_{n} (A^{1}, A^{2}) = \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

$\mathcal{R}$

a_{l + 1} = a_{l} - γ_{l} \nabla R (a_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$ $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R [1 : M] = - 2 \times \sum_{i = 1}^{n} z_{i} g^{'} (z_{i}) (y_{i} - f (x_{i}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R [1 : p, m] = - 2 \times \sum_{i = 1}^{n} x_{i} g^{'} (z_{i}) z_{i} [m] σ^{'} (A^{2} (x_{i}) [m]) (y_{i} - f (x_{i}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

$x[a:b]$ $x$ $a$ $b$

— Robin Girard
source

11

La rétroproposition est un moyen de déterminer la dérivée de la fonction d'erreur par rapport aux poids, afin que le modèle puisse être formé par des méthodes d'optimisation de descente de gradient - il s'agit essentiellement de l'application de la "règle de chaîne". Il n'y a pas vraiment plus que cela, donc si vous êtes à l'aise avec le calcul, c'est fondamentalement la meilleure façon de le voir.

Si vous n'êtes pas à l'aise avec le calcul, une meilleure façon serait de dire que nous savons à quel point les unités de sortie font mal parce que nous avons une sortie souhaitée avec laquelle comparer la sortie réelle. Cependant, nous n'avons pas de sortie souhaitée pour les unités cachées, alors que faisons-nous? La règle de rétropropagation est essentiellement un moyen de propager le blâme pour l'erreur des unités de sortie sur les unités cachées. Plus une unité cachée a d'influence sur une unité de sortie particulière, plus elle est responsable de l'erreur. Le blâme total associé à une unité cachée donne alors une indication de la quantité de poids de la couche entrée-cachée à changer. Les deux choses qui régissent la quantité de reproches sont le poids reliant les poids de la couche cachée et de sortie (évidemment) et la sortie de l'unité cachée (si elle crie plutôt que chuchote, elle aura probablement une plus grande influence). Le reste n'est que les subtilités mathématiques qui transforment cette intuition en dérivée du critère de formation.

Je recommanderais également le livre des évêques pour une bonne réponse! ; o)

— Dikran Marsupial
source

2

C'est un algorithme pour la formation de réseaux de neurones multicouches à action directe (perceptrons multicouches). Il existe plusieurs jolies applets java sur le Web qui illustrent ce qui se passe, comme celle-ci: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html . En outre, le livre de Bishop sur les NN est la référence de bureau standard pour tout ce qui concerne les NN.

— Stephen Turner
source

En essayant de créer un référentiel permanent d'informations statistiques de haute qualité sous forme de questions et réponses, nous essayons d'éviter les réponses liées uniquement aux liens . Si vous le pouvez, pourriez-vous développer cela, peut-être en donnant un résumé des informations sur le lien?

— Glen_b -Reinstate Monica