Science des données neural-network

10

Que sont les couches déconvolutionnelles?

J'ai récemment lu des réseaux entièrement convolutionnels pour la segmentation sémantique par Jonathan Long, Evan Shelhamer et Trevor Darrell. Je ne comprends pas ce que font les "couches déconvolutionnelles" / comment elles fonctionnent. La partie pertinente est 3.3. L'échantillonnage est une convolution à pas en arrière L'interpolation est un autre …

188 neural-network convnet convolution

17

Meilleure librairie python pour réseaux de neurones

J'utilise des réseaux de neurones pour résoudre différents problèmes d'apprentissage machine. J'utilise Python et Pybrain mais cette bibliothèque est presque abandonnée. Existe-t-il d'autres bonnes alternatives en Python?

130 machine-learning python neural-network

5

Quel est le problème de "mourant ReLU" dans les réseaux de neurones?

En référence aux notes de cours de Stanford sur les réseaux de neurones convolutionnels pour la reconnaissance visuelle , un paragraphe dit: "Malheureusement, les unités ReLU peuvent être fragiles pendant l'entraînement et peuvent" mourir ". Par exemple, un gradient important traversant un neurone ReLU peut entraîner une mise à jour …

119 machine-learning neural-network deep-learning

6

Quand utiliser GRU sur LSTM?

La principale différence entre une GRU et un LSTM réside dans le fait qu’une GRU a deux portes (portes de réinitialisation et de mise à jour ) alors qu’un LSTM a trois portes (à savoir les portes d’ entrée , de sortie et d’ oubli ). Pourquoi utilisons-nous GRU alors …

95 neural-network deep-learning

8

Choisir un taux d'apprentissage

Je travaille actuellement sur la mise en œuvre de la descente de gradient stochastique SGD, pour les réseaux neuronaux utilisant la rétrodiffusion, et bien que je comprenne son objectif, j'ai quelques questions sur la manière de choisir des valeurs pour le taux d'apprentissage. Le taux d'apprentissage est-il lié à la …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Comment visualisez-vous les architectures de réseaux de neurones?

Lors de la rédaction d'un article / d'une présentation sur un sujet concernant les réseaux de neurones, on visualise généralement l'architecture du réseau. Quels sont les moyens bons / simples de visualiser automatiquement les architectures communes?

80 machine-learning neural-network deep-learning visualization

5

Comment dessiner des diagrammes d'architecture de réseau Deep Learning?

J'ai construit mon modèle. Maintenant, je veux dessiner le diagramme d’architecture réseau pour mon travail de recherche. Exemple est montré ci-dessous:

78 machine-learning neural-network deep-learning svm software-recommendation

3

Backprop à travers les couches Max-Pooling?

C'est une petite question conceptuelle qui me hante depuis un moment: comment pouvons-nous propager en arrière à travers une couche de regroupement maximal dans un réseau de neurones? Je suis tombé sur des couches de max-pooling en parcourant ce tutoriel pour la bibliothèque nn de Torch 7. La bibliothèque résume …

62 neural-network backpropagation

4

Comment les convolutions 1x1 sont-elles identiques à une couche entièrement connectée?

J'ai récemment lu les commentaires de Yan LeCuns sur 1x1 convolutions : Dans les réseaux convolutionnels, il n’existe pas de "couches entièrement connectées". Il existe uniquement des couches de convolution avec des noyaux de convolution 1x1 et une table de connexion complète. C'est un fait trop rarement compris que ConvNets …

55 neural-network convnet

3

RNN vs CNN à un niveau élevé

J'ai pensé aux réseaux de neurones récurrents (RNN) et leurs variétés et aux réseaux de neurones convolutionnels (CNN) et leurs variétés. Ces deux points seraient-ils justes de dire: Utilisez les CNN pour décomposer un composant (tel qu'une image) en sous-composants (tel qu'un objet dans une image, tel que le contour …

53 machine-learning neural-network beginner

2

Quand utiliser (il ou Glorot) l'initialisation normale par rapport à l'init uniforme? Et quels sont ses effets avec la normalisation par lots?

Je savais que Residual Network (ResNet) rendait populaire l’initialisation normale. Dans ResNet, l'initialisation normale He est utilisée , tandis que la première couche utilise l'initialisation uniforme He. J'ai parcouru les papiers ResNet et "Delving Deep into Rectifiers" (papier d'initialisation He), mais je n'ai trouvé aucune mention sur init normal ou …

51 neural-network deep-learning normalization

3

Comment lutter contre l'insuffisance cardiaque dans un réseau neuronal profond

Quand j'ai commencé avec les réseaux de neurones artificiels (NN), je pensais que je devais me battre contre la suralimentation comme principal problème. Mais dans la pratique, je ne parviens même pas à faire passer mon NN à la barre des 20% de taux d’erreur. Je ne peux même pas …

50 neural-network deep-learning

5

Réseaux de neurones: quelle fonction de coût utiliser?

J'utilise TensorFlow pour des expériences principalement avec des réseaux de neurones. Bien que j'aie fait pas mal d'expériences (XOR-Problem, MNIST, des trucs de régression, ...) maintenant, je ne parviens pas à choisir la fonction de coût "correcte" pour des problèmes spécifiques car, dans l'ensemble, je pourrais être considéré comme un …

49 machine-learning python neural-network statistics tensorflow

4

Ajout de fonctions au modèle de série temporelle LSTM

Nous en avons lu un peu sur les LSTM et sur leur utilisation pour les séries chronologiques. C’est intéressant mais difficile en même temps. Une chose que j’ai eu du mal à comprendre est l’approche pour ajouter des fonctionnalités à ce qui est déjà une liste de fonctionnalités de séries …

43 machine-learning neural-network deep-learning time-series

1

Quelle est la différence entre LeakyReLU et PReLU?

Je pensais que les deux, PReLU et Leaky ReLU sont f(x)=max(x,αx) with α∈(0,1)f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, cependant, a les deux fonctions dans la documentation . Leaky ReLU Source de LeakyReLU : return K.relu(inputs, alpha=self.alpha) D'où (voir code relu …

42 neural-network

Questions marquées «neural-network»