Statistiques et Big Data deep-learning

1

Comment former la couche LSTM de réseau profond

J'utilise un réseau lstm et feed-forward pour classer le texte. Je convertis le texte en vecteurs uniques et les insère dans le lstm afin de pouvoir le résumer en une seule représentation. Ensuite, je le nourris à l'autre réseau. Mais comment former le lstm? Je veux juste classer le texte …

13 classification neural-networks deep-learning lstm

3

Comment les réseaux de neurones convolutionnels utilisent-ils exactement la convolution à la place de la multiplication matricielle?

Je lisais le livre de Yoshua Bengio sur l'apprentissage profond et il est dit à la page 224: Les réseaux convolutifs sont simplement des réseaux neuronaux qui utilisent la convolution à la place de la multiplication matricielle générale dans au moins une de leurs couches. cependant, je ne savais pas …

13 machine-learning neural-networks deep-learning convolution

1

Pourquoi l'algorithme de descente «Saddle-Free Newton» n'est-il pas utilisé en pratique?

Récemment, j'ai lu un article de Yann Dauphin et al. Identifier et attaquer le problème du point de selle dans l'optimisation non convexe de haute dimension , où ils introduisent un algorithme de descente intéressant appelé Saddle-Free Newton , qui semble être exactement adapté pour l'optimisation du réseau neuronal et …

13 optimization deep-learning gradient-descent

2

L'apprentissage en profondeur est-il utile pour l'optimisation combinatoire?

Existe-t-il des groupes de recherche travaillant sur l'utilisation du deep learning pour les problèmes d'optimisation combinatoire?

13 optimization deep-learning

1

Choix d'une taille de mini-lot appropriée pour la descente de gradient stochastique (SGD)

Existe-t-il une littérature qui examine le choix de la taille du mini-lot lors de la descente de gradient stochastique? D'après mon expérience, cela semble être un choix empirique, généralement trouvé via la validation croisée ou en utilisant différentes règles empiriques. Est-ce une bonne idée d'augmenter lentement la taille du mini-lot …

13 machine-learning gradient-descent hyperparameter deep-learning

2

Modèle Google Inception: pourquoi il y a plusieurs softmax?

La topologie du modèle Google Inception est disponible ici: Google Inception Netowrk J'ai remarqué qu'il y a 3 couches softmax dans ce modèle (# 154, # 152, # 145), et 2 d'entre elles sont une sorte d'évasion précoce de ce modèle. D'après ce que je sais, la couche softmax est …

13 deep-learning conv-neural-network

3

Le réseau neuronal (par exemple, le réseau neuronal convolutionnel) peut-il avoir des poids négatifs?

Est-il possible d'avoir des poids négatifs (après suffisamment d'époques) pour les réseaux neuronaux convolutionnels profonds lorsque nous utilisons ReLU pour toutes les couches d'activation?

13 machine-learning neural-networks deep-learning conv-neural-network

5

Existe-t-il un outil visuel pour concevoir et appliquer des réseaux neuronaux / apprentissage en profondeur? [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 10 mois . Je sais qu'il y a beaucoup de bibliothèques pour l'apprentissage …

13 neural-networks deep-learning conv-neural-network

1

Forme matricielle de rétropropagation avec normalisation par lots

La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre matricielle, et étant donné que je travaille dans des langages de …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

3

Architectures neuronales: conception automatique basée sur les données

Les progrès récents dans les réseaux de neurones sont résumés par une séquence de nouvelles architectures caractérisées principalement par sa complexité croissante de conception. De LeNet5 (1994) à AlexNet (2012), à Overfeat (2013) et GoogleLeNet / Inception (2014) et ainsi de suite ... Y a-t-il une tentative de laisser la …

12 neural-networks deep-learning

4

Comment régler (systématiquement) le taux d'apprentissage en utilisant Gradient Descent comme Optimizer?

Un étranger au domaine ML / DL; a commencé le cours Udacity Deep Learning basé sur Tensorflow; faire la tâche 3 problème 4; essayer de régler le taux d'apprentissage avec la configuration suivante: Taille du lot 128 Nombre d'étapes: suffisant pour remplir 2 époques Tailles des calques masqués: 1024, 305, …

12 python machine-learning tensorflow deep-learning

2

Capture des motifs initiaux lors de l'utilisation de la rétropropagation tronquée dans le temps (RNN / LSTM)

Disons que j'utilise un RNN / LSTM pour faire une analyse de sentiment, qui est une approche à plusieurs (voir ce blog ). Le réseau est formé à travers une rétropropagation tronquée dans le temps (BPTT), où le réseau est déroulé pour seulement 30 dernières étapes comme d'habitude. Dans mon …

12 neural-networks deep-learning natural-language backpropagation

2

Pourquoi une fonction de perte 0-1 est-elle insoluble?

Dans le livre Deep Learning d' Ian Goodfellow , il est écrit que Parfois, la fonction de perte dont nous nous soucions réellement (disons, erreur de classification) n'est pas celle qui peut être optimisée efficacement. Par exemple, la minimisation exacte de la perte 0-1 attendue est généralement insoluble (exponentielle dans …

12 neural-networks deep-learning loss-functions

3

Motivation des unités de sortie sigmoïdes dans les réseaux de neurones commençant par des probabilités logarithmiques non normalisées linéaires en

Contexte: J'étudie le chapitre 6 du Deep Learning par Ian Goodfellow et Yoshua Bengio et Aaron Courville. Dans la section 6.2.2.2 (pages 182 de 183 qui peuvent être consultées ici ), l'utilisation de sigmoïde pour produire est motivée.P(y=1|x)P(y=1|x)P(y=1|x) Pour résumer une partie du matériel, ils laissent un neurone de sortie …

12 neural-networks deep-learning

2

Keras: pourquoi la perte diminue-t-elle alors que val_loss augmente?

J'ai configuré une recherche de grille pour un tas de paramètres. J'essaie de trouver les meilleurs paramètres pour un réseau neuronal Keras qui effectue une classification binaire. La sortie est soit un 1 soit un 0. Il y a environ 200 fonctionnalités. Quand j'ai fait une recherche dans la grille, …

12 machine-learning cross-validation deep-learning tensorflow theano

Questions marquées «deep-learning»