Statistiques et Big Data deep-learning

6

Quels sont les principaux théorèmes en apprentissage machine (profond)?

Al Rahimi a récemment donné un discours très provocateur dans le NIPS 2017 comparant l'actuel apprentissage automatique à l'alchimie. L’une de ses affirmations est qu’il est nécessaire de revenir aux développements théoriques, de disposer de théorèmes simples prouvant des résultats fondamentaux. Quand il a dit cela, j'ai commencé à chercher …

45 machine-learning deep-learning theory

4

Comment les noyaux sont-ils appliqués aux cartes de caractéristiques pour produire d'autres cartes de caractéristiques?

J'essaie de comprendre la partie convolution des réseaux de neurones convolutionnels. En regardant la figure suivante: Je n'ai aucun problème à comprendre la première couche de convolution où nous avons 4 noyaux différents (de taille ), que nous convolrons avec l'image d'entrée pour obtenir 4 cartes de caractéristiques.k×kk×kk \times k …

44 machine-learning neural-networks deep-learning conv-neural-network

7

Références de réseaux de neurones (manuels, cours en ligne) pour débutants

Je veux apprendre les réseaux de neurones. Je suis un linguiste informatisé. Je connais des méthodes d’apprentissage statistique et peut coder en Python. Je cherche à commencer avec ses concepts et à connaître un ou deux modèles populaires qui pourraient être utiles du point de vue de la linguistique computationnelle. …

43 neural-networks deep-learning references natural-language computer-vision

6

Importance de la normalisation de la réponse locale dans CNN

J'ai découvert qu'Imagenet et d'autres grands réseaux CNN utilisent des couches de normalisation de réponse locale. Cependant, je ne peux pas trouver autant d'informations à leur sujet. Quelle est leur importance et quand doivent-ils être utilisés? De http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : "La couche de normalisation de la réponse locale effectue une sorte …

41 deep-learning convolution conv-neural-network

4

Comment la fonction d'activation rectiligne résout-elle le problème du gradient en voie de disparition dans les réseaux de neurones?

J'ai trouvé des unités linéaires rectifiées (ReLU) louées à plusieurs endroits comme solution au problème du gradient de fuite pour les réseaux de neurones. En d’autres termes, on utilise max (0, x) comme fonction d’activation. Lorsque l'activation est positive, il est évident qu'elle est meilleure que, par exemple, la fonction …

40 machine-learning neural-networks deep-learning gradient-descent

3

Guide de sélection des hyperparamètres dans Deep Learning

Je cherche un document qui pourrait aider à donner des directives sur la façon de choisir les hyperparamètres d’une architecture profonde, comme des encodeurs automatiques superposés ou des réseaux de valeurs profondes. Il y a beaucoup d'hyperparamètres et je suis très confus sur la façon de les choisir. De plus, …

38 machine-learning deep-learning deep-belief-networks hyperparameter

7

Pourquoi la régularisation ne résout-elle pas le besoin en données des réseaux neuronaux profonds?

Un problème que j'ai souvent vu dans le contexte des réseaux de neurones en général, et des réseaux de neurones profonds en particulier, est qu'ils sont "gourmands en données". avec lequel former le réseau. D'après ce que je comprends, cela est dû au fait que les NNets, notamment les Deep …

37 neural-networks deep-learning regularization

4

Différence entre «noyau» et «filtre» dans CNN

Quelle est la différence entre les termes "noyau" et "filtre" dans le contexte des réseaux de neurones à convolution?

37 neural-networks terminology deep-learning conv-neural-network

4

Que dois-je faire lorsque mon réseau de neurones ne se généralise pas bien?

J'entraîne un réseau de neurones et la perte d'apprentissage diminue, mais la perte de validation ne diminue pas, ou elle diminue beaucoup moins que ce à quoi je m'attendais, selon des références ou des expériences avec des architectures et des données très similaires. Comment puis-je réparer cela? Comme question Que …

37 neural-networks deep-learning

3

Les couches de regroupement sont-elles ajoutées avant ou après les couches de suppression?

Je crée un réseau de neurones à convolution (CNN) dans lequel j'ai une couche de convolution suivie par une couche de mise en commun et je souhaite appliquer la suppression pour réduire le surajustement. J'ai le sentiment que la couche de suppression devrait être appliquée après la couche de mise …

35 deep-learning conv-neural-network dropout

4

Quelles sont les différences entre le codage fragmenté et le codeur automatique?

Le codage clairsemé est défini comme l’apprentissage d’un ensemble trop complet de vecteurs de base pour représenter les vecteurs d’entrée (<- pourquoi voulons-nous cela). Quelles sont les différences entre le codage fragmenté et le codeur automatique? Quand utiliserons-nous le codage fragmenté et l'auto-codeur?

35 machine-learning neural-networks unsupervised-learning deep-learning autoencoders

3

Pré-formation au réseau de neurones convolutionnel profond?

Quelqu'un a-t-il déjà vu des publications sur la formation préalable au réseau de neurones à convolution profonde? Je n'ai vu que de la pré-formation non supervisée dans les machines à codeur automatique ou à boltzman restreint.

33 machine-learning neural-networks deep-learning conv-neural-network autoencoders

2

Quelle est la définition d'une «carte de caractéristiques» (ou «carte d'activation») dans un réseau de neurones convolutionnels?

Contexte d'introduction Au sein d'un réseau neuronal convolutionnel, nous avons généralement une structure / un flux général qui ressemble à ceci: image d'entrée (c'est-à-dire un vecteur 2D x) (La 1ère couche convolutionnelle (Conv1) commence ici ...) convoluez un ensemble de filtres ( w1) le long de l'image 2D (c.-à-d. faites …

33 neural-networks deep-learning conv-neural-network

2

Pourquoi n'y a-t-il pas de moteurs d'apprentissage en profondeur pour les échecs, similaires à AlphaGo?

Les ordinateurs peuvent depuis longtemps jouer aux échecs en utilisant une technique de «force brute», en cherchant à une certaine profondeur puis en évaluant la position. Cependant, l'ordinateur AlphaGo n'utilise qu'un ANN pour évaluer les positions (il ne fait aucune recherche en profondeur pour autant que je sache). Est-il possible …

32 neural-networks deep-learning reinforcement-learning games

3

Construire un autoencodeur dans Tensorflow pour dépasser PCA

Hinton et Salakhutdinov, dans Reducing the Dimensionality of Data with Neural Networks, Science 2006, ont proposé une ACP non linéaire grâce à l'utilisation d'un auto-encodeur profond. J'ai essayé de construire et d'entraîner plusieurs fois un autoencodeur PCA avec Tensorflow mais je n'ai jamais pu obtenir de meilleurs résultats qu'un PCA …

31 pca python deep-learning tensorflow autoencoders

Questions marquées «deep-learning»