Science des données deep-learning

5

Quel est le problème de "mourant ReLU" dans les réseaux de neurones?

En référence aux notes de cours de Stanford sur les réseaux de neurones convolutionnels pour la reconnaissance visuelle , un paragraphe dit: "Malheureusement, les unités ReLU peuvent être fragiles pendant l'entraînement et peuvent" mourir ". Par exemple, un gradient important traversant un neurone ReLU peut entraîner une mise à jour …

119 machine-learning neural-network deep-learning

6

Quand utiliser GRU sur LSTM?

La principale différence entre une GRU et un LSTM réside dans le fait qu’une GRU a deux portes (portes de réinitialisation et de mise à jour ) alors qu’un LSTM a trois portes (à savoir les portes d’ entrée , de sortie et d’ oubli ). Pourquoi utilisons-nous GRU alors …

95 neural-network deep-learning

8

Choisir un taux d'apprentissage

Je travaille actuellement sur la mise en œuvre de la descente de gradient stochastique SGD, pour les réseaux neuronaux utilisant la rétrodiffusion, et bien que je comprenne son objectif, j'ai quelques questions sur la manière de choisir des valeurs pour le taux d'apprentissage. Le taux d'apprentissage est-il lié à la …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Comment visualisez-vous les architectures de réseaux de neurones?

Lors de la rédaction d'un article / d'une présentation sur un sujet concernant les réseaux de neurones, on visualise généralement l'architecture du réseau. Quels sont les moyens bons / simples de visualiser automatiquement les architectures communes?

80 machine-learning neural-network deep-learning visualization

5

Comment dessiner des diagrammes d'architecture de réseau Deep Learning?

J'ai construit mon modèle. Maintenant, je veux dessiner le diagramme d’architecture réseau pour mon travail de recherche. Exemple est montré ci-dessous:

78 machine-learning neural-network deep-learning svm software-recommendation

5

Prédiction de séries chronologiques en utilisant ARIMA vs LSTM

Le problème que je traite est de prédire les valeurs de séries chronologiques. Je regarde une série chronologique à la fois et, sur la base par exemple de 15% des données d'entrée, je voudrais prédire ses valeurs futures. Jusqu'à présent, j'ai rencontré deux modèles: LSTM (mémoire à long terme et …

64 time-series deep-learning rnn prediction

2

Quand utiliser (il ou Glorot) l'initialisation normale par rapport à l'init uniforme? Et quels sont ses effets avec la normalisation par lots?

Je savais que Residual Network (ResNet) rendait populaire l’initialisation normale. Dans ResNet, l'initialisation normale He est utilisée , tandis que la première couche utilise l'initialisation uniforme He. J'ai parcouru les papiers ResNet et "Delving Deep into Rectifiers" (papier d'initialisation He), mais je n'ai trouvé aucune mention sur init normal ou …

51 neural-network deep-learning normalization

3

Comment lutter contre l'insuffisance cardiaque dans un réseau neuronal profond

Quand j'ai commencé avec les réseaux de neurones artificiels (NN), je pensais que je devais me battre contre la suralimentation comme principal problème. Mais dans la pratique, je ne parviens même pas à faire passer mon NN à la barre des 20% de taux d’erreur. Je ne peux même pas …

50 neural-network deep-learning

3

Nombre de paramètres dans un modèle LSTM

Combien de paramètres a un seul LSTM empilé? Le nombre de paramètres impose une limite inférieure au nombre d'exemples de formation requis et influence également le temps de formation. Par conséquent, connaître le nombre de paramètres est utile pour l'apprentissage de modèles utilisant des LSTM.

43 deep-learning rnn

4

Ajout de fonctions au modèle de série temporelle LSTM

Nous en avons lu un peu sur les LSTM et sur leur utilisation pour les séries chronologiques. C’est intéressant mais difficile en même temps. Une chose que j’ai eu du mal à comprendre est l’approche pour ajouter des fonctionnalités à ce qui est déjà une liste de fonctionnalités de séries …

43 machine-learning neural-network deep-learning time-series

4

Pourquoi la taille d'un mini-lot est-elle meilleure qu'un seul «lot» avec toutes les données d'apprentissage?

Je lis souvent que dans le cas des modèles d'apprentissage en profondeur, la pratique habituelle consiste à appliquer des mini-lots (généralement un petit, 32/64) sur plusieurs périodes d'entraînement. Je ne peux pas vraiment comprendre la raison derrière cela. Sauf erreur de ma part, la taille du lot correspond au nombre …

40 machine-learning deep-learning

3

Batch_size dans Keras a-t-il des effets sur la qualité des résultats?

Je suis sur le point de former un grand réseau LSTM avec 2 à 3 millions d'articles et je suis aux prises avec des erreurs de mémoire (j'utilise AWS EC2 g2x2large). J'ai découvert qu'une solution consiste à réduire le batch_size. Cependant, je ne sais pas si ce paramètre est uniquement …

38 deep-learning keras

3

Quelle est la difference entre “equivariant to translation” et “invariant to translation”

J'ai du mal à comprendre la différence entre équivariant de traduction et invariant de traduction . Dans le livre Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville et Y. Bengio), on peut trouver sur les réseaux convolutifs: [...] la forme particulière de partage des paramètres donne à la …

38 neural-network deep-learning convolution

13

Citations drôles sur la science des données

Les utilisateurs de différentes communautés ont coutume de citer des choses amusantes sur leurs domaines. Il peut être amusant de partager vos drôles de choses sur l’apprentissage automatique, l’apprentissage en profondeur, la science des données et les problèmes auxquels vous êtes confrontés tous les jours!

35 machine-learning neural-network deep-learning

6

Explication de la perte d'entropie croisée

Supposons que je construise un NN pour la classification. La dernière couche est une couche dense avec activation softmax. J'ai cinq classes différentes à classer. Supposons que pour un seul exemple de formation, le true labelsoit [1 0 0 0 0]alors que les prédictions soient [0.1 0.5 0.1 0.1 0.2]. …

35 machine-learning deep-learning

Questions marquées «deep-learning»