Statistiques et Big Data deep-learning

3

Quels sont les avantages d'empiler plusieurs LSTM?

Quels sont les avantages, pourquoi utiliserait-on plusieurs LSTM, empilés côte à côte, dans un réseau profond? J'utilise un LSTM pour représenter une séquence d'entrées en tant qu'entrée unique. Donc, une fois que j'ai cette représentation unique - pourquoi la repasserais-je? Je pose la question parce que je l'ai vu dans …

25 classification neural-networks deep-learning lstm rnn

1

Pourquoi les unités linéaires rectifiées sont-elles considérées comme non linéaires?

Pourquoi les fonctions d'activation des unités linéaires rectifiées (ReLU) sont-elles considérées comme non linéaires? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Ils sont linéaires lorsque l'entrée est positive et de ma compréhension pour débloquer la puissance représentative des réseaux profonds, les activations non linéaires sont un must, sinon l'ensemble du réseau pourrait être …

25 neural-networks deep-learning

1

Que sont les auto-encodeurs variationnels et à quelles tâches d'apprentissage sont-ils utilisés?

Selon ceci et cette réponse, les auto-encodeurs semblent être une technique qui utilise des réseaux de neurones pour réduire les dimensions. Je voudrais en outre savoir ce qu'est un autoencodeur variationnel (ses principales différences / avantages par rapport à un autoencodeur "traditionnel") et aussi quelles sont les principales tâches d'apprentissage …

24 machine-learning bayesian deep-learning autoencoders variational-bayes

3

Quelle est la raison pour laquelle Adam Optimizer est considéré comme robuste à la valeur de ses paramètres hyper?

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Bengio, Goodfellow et Courville: Adam est généralement considéré comme assez robuste pour le choix des paramètres hyper, bien que le taux d'apprentissage doive parfois être modifié …

24 neural-networks deep-learning optimization hyperparameter adam

2

Comment le CNN '12 de Krizhevsky obtient-il 253 440 neurones dans la première couche?

Dans Alex Krizhevsky, et al. Classification Imagenet avec des réseaux de neurones convolutionnels profonds, ils énumèrent le nombre de neurones dans chaque couche (voir schéma ci-dessous). L'entrée du réseau est de 150528 dimensions et le nombre de neurones dans les couches restantes du réseau est donné par 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000. Une …

24 neural-networks deep-learning conv-neural-network

2

Comment initialiser les éléments de la matrice de filtre?

J'essaie de mieux comprendre les réseaux de neurones convolutifs en écrivant du code Python qui ne dépend pas des bibliothèques (comme Convnet ou TensorFlow), et je me retrouve coincé dans la littérature sur la façon de choisir des valeurs pour la matrice du noyau, quand effectuer une convolution sur une …

24 machine-learning neural-networks deep-learning feature-construction conv-neural-network

3

Quelle est l'architecture d'un auto-encodeur convolutionnel empilé?

J'essaie donc de faire de la pré-formation sur des images d'humains en utilisant des filets convolutionnels. Je lis les journaux ( article1 et Epais2 ) et ce lien stackoverflow , mais je ne suis pas sûr que je suis comprendre la structure des filets (il est pas bien défini dans …

23 neural-networks deep-learning autoencoders deep-belief-networks

1

Quels sont exactement les mécanismes d'attention?

Les mécanismes d'attention ont été utilisés dans divers articles sur le Deep Learning au cours des dernières années. Ilya Sutskever, responsable de la recherche chez Open AI, les a félicités avec enthousiasme: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de l'Université Purdue a déclaré que les RNN et les LSTM devraient être abandonnés au …

23 time-series deep-learning lstm rnn attention

3

Le format d'image (png, jpg, gif) affecte-t-il la formation d'un réseau neuronal de reconnaissance d'image?

Je suis conscient qu'il y a eu beaucoup d'avancées en matière de reconnaissance d'image, de classification d'image, etc. avec des réseaux neuronaux profonds et convolutionnels. Mais si je forme un réseau sur, disons, des images PNG, cela ne fonctionnera- t-il que pour les images ainsi encodées? Quelles autres propriétés d'image …

23 neural-networks deep-learning image-processing

2

Règles de sélection des hyperparamètres de réseaux de neurones convolutifs

Existe-t-il de bons documents qui couvrent certaines méthodes méthodiques pour choisir les dimensions des filtres, regrouper les unités et déterminer le nombre de couches convolutives?

22 neural-networks deep-learning conv-neural-network

5

Quelle est la réalité de cette diapositive sur l'apprentissage en profondeur affirmant que toutes les améliorations par rapport aux années 80 ne sont dues qu'à beaucoup plus de données et à des ordinateurs beaucoup plus rapides?

J'écoutais un discours et j'ai vu cette diapositive: Est-ce vrai?

22 deep-learning deep-belief-networks

4

Pourquoi la sortie softmax n'est-elle pas une bonne mesure d'incertitude pour les modèles Deep Learning?

Je travaille avec les réseaux neuronaux convolutionnels (CNN) depuis un certain temps maintenant, principalement sur les données d'image pour la segmentation sémantique / segmentation d'instance. J'ai souvent visualisé le softmax de la sortie réseau comme une "carte thermique" pour voir à quel point les activations par pixel sont élevées pour …

22 probability deep-learning conv-neural-network uncertainty softmax

2

Machine Boltzmann restreinte: comment est-elle utilisée dans l'apprentissage automatique?

Contexte: Oui, la machine Boltzmann restreinte (RBM) PEUT être utilisée pour initier les poids d'un réseau neuronal. De plus, il PEUT être utilisé de manière "couche par couche" pour construire un réseau de croyances profondes (c'est-à-dire pour former une -ième couche sur le dessus de la -ième couche, puis pour …

21 machine-learning neural-networks deep-learning deep-belief-networks rbm

2

Stimuler les réseaux de neurones

Eh bien récemment, je travaillais sur l'apprentissage d'algorithmes de renforcement, tels que adaboost, gradient boost, et je savais que le plus faible apprenant utilisé était les arbres. Je veux vraiment savoir s'il existe des exemples récents de succès (je veux dire des articles ou des articles) pour utiliser les réseaux …

21 neural-networks deep-learning boosting ensemble dropout

2

Comment fonctionnent les architectures de goulot d'étranglement dans les réseaux de neurones?

Nous définissons une architecture de goulot d'étranglement comme le type trouvé dans le document ResNet où [deux couches conv 3x3] sont remplacées par [une conv 1x1, une conv 3x3 et une autre couche conv 1x1]. Je comprends que les couches conv 1x1 sont utilisées comme une forme de réduction de …

21 residuals deep-learning conv-neural-network

Questions marquées «deep-learning»