En quoi un réseau neuronal profond est-il différent des autres réseaux neuronaux?

Comment un réseau neuronal ayant l'adjectif «profond» se distingue-t-il réellement des autres réseaux similaires?

— kenorb
source

La différence réside principalement dans le nombre de couches.

Pendant longtemps, on a cru que "1-2 couches cachées suffisaient pour la plupart des tâches" et il n'était pas pratique d'en utiliser plus, car l'entraînement des réseaux de neurones peut être très exigeant en termes de calcul.

De nos jours, les ordinateurs sont capables de bien plus, donc les gens ont commencé à utiliser des réseaux avec plus de couches et ont constaté qu'ils fonctionnent très bien pour certaines tâches.

Le mot «profond» est là simplement pour distinguer ces réseaux des réseaux traditionnels «plus superficiels».

— Rôdeur désenchanté
source

Si j'ai bien compris "l'apprentissage profond", il y a certains paramètres (poids) qui sont liés ensemble, réduisant ainsi l'espace des paramètres. Les NN normaux ne peuvent pas faire ça.

— Raphael

@Raphael, re:, some parameters (weights) that are tied together, thus reducing the parameter spacevoulez-vous dire les réseaux de neurones convolutionnels?

— publicgk

@publicgk C'est ce que j'ai vu, oui.

— Raphael

J'ai toujours entendu dire que le «deep learning», c'est lorsque vous utilisez de très grands ensembles de données. Est-ce une erreur et la taille des données n'a pas d'importance - ou est-ce que les gens associent l'apprentissage en profondeur à d'énormes ensembles de données parce que c'est ce qui est requis pour la formation.

— Steven Sagona

Je voudrais souligner que cette "croyance" selon laquelle un réseau de neurones avec une seule couche cachée peut calculer n'importe quelle fonction est en fait prouvée (voir par exemple neuralnetworksanddeeplearning.com/chap4.html ). Je pense que vous auriez dû expliquer un peu plus pourquoi plus d'une couche cachée est alors "pratique".

— nbro

Un réseau de neurones profond n'est qu'un réseau de neurones (à action directe) avec de nombreuses couches.

Cependant, les réseaux de croyances profondes, les réseaux Deep Boltzman, etc., ne sont pas considérés comme des réseaux de neurones profonds (discutables), car leur topologie est différente (ils utilisent des réseaux non dirigés dans leur topologie).

Voir aussi ceci: /stats//a/59854/84191 .

— Dawny33
source