Statistiques et Big Data deep-learning

5

Que dois-je faire lorsque mon réseau de neurones n'apprend pas?

J'entraîne un réseau de neurones mais la perte d'entraînement ne diminue pas. Comment puis-je réparer cela? Je ne parle pas de surajustement ou de régularisation. Je demande comment résoudre le problème où les performances de mon réseau n'améliorent pas l' ensemble de formation . Cette question est délibérément générale, de …

148 neural-networks deep-learning

6

Quels sont les avantages de ReLU par rapport à la fonction sigmoïde dans les réseaux de neurones profonds?

L’état actuel de la non-linéarité consiste à utiliser des unités linéaires rectifiées (ReLU) au lieu de la fonction sigmoïde dans un réseau neuronal profond. Quels sont les avantages? Je sais que la formation d'un réseau lorsque ReLU est utilisé serait plus rapide et inspirée davantage par la biologie. Quels sont …

141 machine-learning neural-networks deep-learning

4

Quelle est la différence entre les réseaux de neurones convolutionnels, les machines Boltzmann restreintes et les auto-encodeurs?

Récemment, j'ai lu sur l'apprentissage en profondeur et je suis confus sur les termes (ou dire technologies). Quelle est la différence entre Réseaux de neurones convolutifs (CNN), Machines Boltzmann restreintes (RBM) et Auto-encodeurs?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

10

Quelle est la différence entre un réseau de neurones et un réseau de neurones profonds, et pourquoi les réseaux profonds fonctionnent-ils mieux?

Je n'ai pas vu la question posée précisément en ces termes, et c'est pourquoi je pose une nouvelle question. Ce qui m'intéresse, ce n'est pas la définition d'un réseau de neurones, mais la différence réelle avec un réseau de neurones profonds. Pour plus de contexte: je sais ce qu'est un …

114 neural-networks deep-learning

6

Que signifie 1x1 convolution dans un réseau de neurones?

Je suis en train de faire le tutoriel Udacity Deep Learning. Dans la leçon 3, ils parlent d'une convolution 1x1. Cette convolution 1x1 est utilisée dans Google Inception Module. J'ai du mal à comprendre ce qu'est une convolution 1x1. J'ai aussi vu ce post de Yann Lecun. Quelqu'un pourrait-il bien …

106 neural-networks deep-learning convolution conv-neural-network

4

Pourquoi normaliser les images en soustrayant la moyenne image du jeu de données, au lieu de la moyenne actuelle de l’apprentissage en profondeur?

Il existe quelques variantes sur la façon de normaliser les images, mais la plupart semblent utiliser ces deux méthodes: Soustrayez la moyenne par canal calculée pour toutes les images (par exemple, VGG_ILSVRC_16_layers ) Soustrayez par pixel / canal calculé sur toutes les images (par exemple, CNN_S , voir aussi le …

88 deep-learning image-processing

4

Pourquoi les réseaux de neurones deviennent-ils plus profonds, mais pas plus larges?

Au cours des dernières années, les réseaux de neurones convolutionnels (ou peut-être les réseaux de neurones profonds en général) sont devenus de plus en plus profonds, avec des réseaux à la pointe de la technologie allant de 7 couches ( AlexNet ) à 1 000 couches ( réseaux résiduels) en …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Pourquoi les chercheurs en réseaux de neurones se soucient-ils des époques?

Une époque en descente de gradient stochastique est définie comme un passage unique dans les données. Pour chaque minibatch SGD, échantillons sont extraits, le gradient calculé et les paramètres mis à jour. Dans le réglage d'époque, les échantillons sont prélevés sans remplacement.kkk Mais cela semble inutile. Pourquoi ne pas dessiner …

69 neural-networks deep-learning gradient-descent

3

Quelle est la différence entre un réseau de neurones et un réseau de conviction profonde?

J'ai l'impression que lorsque les gens font référence à un réseau de «croyance profonde», il s'agit en réalité d'un réseau de neurones mais de très grande taille. Est-ce correct ou un réseau de conviction profonde implique-t-il également que l'algorithme lui-même est différent (c'est-à-dire, pas de réseau neuronal à feed forward, …

62 machine-learning neural-networks deep-learning deep-belief-networks

8

R bibliothèques pour l'apprentissage en profondeur

Je me demandais s'il existait de bonnes bibliothèques R pour les réseaux de neurones d'apprentissage en profondeur? Je sais qu'il ya la nnet, neuralnetet RSNNS, mais aucun d' entre eux semblent mettre en œuvre des méthodes d'apprentissage en profondeur. Je suis particulièrement intéressé par les activités non supervisées suivies par …

56 r neural-networks deep-learning rbm deep-belief-networks

5

Utilisation de l'apprentissage en profondeur pour la prédiction de séries chronologiques

Je suis nouveau dans le domaine de l'apprentissage en profondeur et pour moi, la première étape a été de lire des articles intéressants sur le site deeeplearning.net. Dans des articles sur l'apprentissage en profondeur, Hinton et d'autres discutent principalement de l'appliquer à des problèmes d'image. Quelqu'un peut-il essayer de me …

54 time-series machine-learning prediction deep-learning deep-belief-networks

6

Adam optimiseur avec décroissance exponentielle

Dans la plupart des codes Tensorflow, j'ai constaté qu'Adam Optimizer est utilisé avec un taux d'apprentissage constant 1e-4(0,0001). Le code a généralement l'aspect suivant: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by …

53 neural-networks deep-learning gradient-descent tensorflow adam

3

Réseaux de neurones récurrents ou récursifs: quel est le meilleur pour la PNL?

Il existe des réseaux de neurones récurrents et des réseaux de neurones récursifs. Les deux sont généralement désignés par le même acronyme: RNN. Selon Wikipedia , NN récurrent est en réalité NN récursif, mais je ne comprends pas vraiment l'explication. De plus, je ne semble pas trouver ce qui est …

48 machine-learning neural-networks deep-learning natural-language

2

Pourquoi les réseaux de neurones de convolution n’utilisent-ils pas une machine à vecteurs de support pour la classification?

Au cours des dernières années, les réseaux de neurones convolutifs (CNN) sont devenus le nec plus ultra en matière de reconnaissance d’objets en vision par ordinateur. En règle générale, un CNN se compose de plusieurs couches convolutives, suivies de deux couches entièrement connectées. L'intuition derrière cela est que les couches …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Comprendre que «presque tous les minimums locaux ont une valeur de fonction très similaire à l’optimum global»

Dans un récent post de blog de Rong Ge, il était dit que: On pense que pour de nombreux problèmes, dont l’apprentissage de réseaux profonds, presque tous les minimums locaux ont une valeur fonctionnelle très proche de l’optimum global, et qu’il est donc suffisant de trouver un minimum local. D'où …

46 machine-learning neural-networks optimization deep-learning

Questions marquées «deep-learning»