Statistiques et Big Data deep-learning

1

Qu'est-ce que la classification temporelle connexionniste (CTC)?

Je cherche à faire un projet de reconnaissance optique de caractères (OCR). Après avoir fait quelques recherches, je suis tombé sur une architecture qui semble intéressante: CNN + RNN + CTC. Je connais les réseaux de neurones alambiqués (CNN) et les réseaux de neurones récurrents (RNN), mais qu'est-ce que la …

15 machine-learning deep-learning conv-neural-network rnn

1

Qu'est-ce que la dimension VC nous apprend sur l'apprentissage profond?

Dans l'apprentissage automatique de base, nous apprenons les «règles de base» suivantes: a) la taille de vos données doit être au moins 10 fois supérieure à la dimension VC de votre ensemble d'hypothèses. b) un réseau neuronal avec N connexions a une dimension VC d'environ N. Ainsi, lorsqu'un réseau neuronal …

15 machine-learning neural-networks deep-learning vc-dimension

1

Quelle est la «capacité» d'un modèle d'apprentissage automatique?

J'étudie ce tutoriel sur les encodeurs automatiques variationnels de Carl Doersch . Dans la deuxième page, il indique: L'un des frameworks les plus populaires est le Variational Autoencoder [1, 3], le sujet de ce tutoriel. Les hypothèses de ce modèle sont faibles et la formation est rapide par rétropropagation. Les …

15 machine-learning deep-learning autoencoders variational-bayes

1

Pourquoi n'utilisons-nous pas des taux d'apprentissage non constants pour un gradient décent pour d'autres choses que les réseaux de neurones?

La littérature sur l'apprentissage en profondeur regorge de trucs astucieux avec l'utilisation de taux d'apprentissage non constants dans la descente de gradient. Des choses comme la décroissance exponentielle, RMSprop, Adagrad, etc. sont faciles à mettre en œuvre et sont disponibles dans tous les packages d'apprentissage en profondeur, mais elles semblent …

14 machine-learning deep-learning optimization gradient-descent

3

Réseaux de neurones profonds - Juste pour la classification des images?

Tous les exemples que j'ai trouvés en utilisant des réseaux de neurones de croyance profonde ou convolutionnels les utilisent pour la classification d'images, la détection de chatacter ou la reconnaissance vocale. Les réseaux de neurones profonds sont-ils également utiles pour les tâches de régression classiques, où les caractéristiques ne sont …

14 regression machine-learning neural-networks deep-learning

1

Y a-t-il une différence entre la formation d'un autoencodeur empilé et un réseau neuronal à 2 couches?

Disons que j'écris un algorithme pour construire un autoencodeur empilé à 2 couches et un réseau neuronal à 2 couches. S'agit-il des mêmes choses ou de la même différence? Ce que je comprends, c'est que lorsque je crée un encodeur automatique empilé, je crée couche par couche. Pour le réseau …

14 neural-networks deep-learning autoencoders

2

Comment le décrochage spatial en 2D est-il implémenté?

Ceci est en référence à l'article Localisation efficace des objets utilisant des réseaux convolutionnels , et d'après ce que je comprends, le décrochage est implémenté en 2D. Après avoir lu le code de Keras sur la façon dont le décrochage 2D spatial est implémenté, un masque binaire aléatoire de forme …

14 machine-learning deep-learning tensorflow dropout

3

Pourquoi les réseaux de neurones ont-ils besoin d'une sélection / ingénierie de fonctionnalités?

Particulièrement dans le contexte des compétitions kaggle, j'ai remarqué que la performance du modèle est une question de sélection / ingénierie de fonctionnalités. Bien que je puisse pleinement comprendre pourquoi c'est le cas dans le cas des algorithmes ML plus conventionnels / old-school, je ne vois pas pourquoi ce serait …

14 neural-networks deep-learning feature-selection feature-engineering

2

Comment la couche d'intégration est formée dans la couche d'intégration Keras

Comment la couche d'intégration est-elle formée dans la couche d'intégration Keras? (par exemple, utiliser le backend tensorflow, ce qui signifie qu'il est similaire à word2vec, glove ou fasttext) Supposons que nous n'utilisions pas une intégration préentraînée.

14 deep-learning keras word-embeddings

2

Qu'est-ce que le Deep Bayesian Learning?

Qu'est-ce que le Deep Learning Bayésien et comment est-il lié aux statistiques bayésiennes traditionnelles et au Deep Learning traditionnel? Quels sont les principaux concepts et mathématiques impliqués? Puis-je dire que ce sont juste des statistiques bayésiennes non paramétriques? Quels sont ses travaux phares ainsi que ses principaux développements et applications …

13 bayesian deep-learning

1

Pourquoi l'apprentissage par renforcement profond est-il instable?

Dans l'article de DeepMind de 2015 sur l'apprentissage par renforcement profond, il déclare que «les tentatives précédentes de combiner RL avec des réseaux de neurones ont échoué en grande partie en raison d'un apprentissage instable». L'article énumère ensuite certaines causes de cela, en fonction des corrélations entre les observations. S'il …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

Pourquoi les réseaux de neurones sont-ils facilement trompés?

J'ai lu des articles sur la création manuelle d'images pour "tromper" un réseau de neurones (voir ci-dessous). Est-ce parce que les réseaux ne modélisent que la probabilité conditionnelle ? Si un réseau peut modéliser la probabilité conjointe p ( y , x ) , de tels cas se produiront-ils toujours?p …

13 machine-learning neural-networks deep-learning

1

Que signifie «de bout en bout» dans les méthodes d'apprentissage en profondeur?

Je veux savoir ce que c'est et comment est-ce différent de l'assemblage? Supposons que je souhaite atteindre une grande précision dans la classification et la segmentation, pour une tâche spécifique, si j'utilise différents réseaux, tels que CNN, RNN, etc. pour y parvenir, est-ce que cela s'appelle un modèle de bout …

13 machine-learning terminology deep-learning

1

Quelles sont les techniques utiles d'augmentation des données pour les réseaux de neurones convolutionnels profonds?

Contexte: J'ai récemment compris à un niveau plus profond l'importance de l'augmentation des données lors de la formation des réseaux de neurones convolutionnels après avoir vu cet excellent discours de Geoffrey Hinton . Il explique que les réseaux de neurones convolutifs de génération actuelle ne sont pas en mesure de …

13 machine-learning deep-learning

1

Empêcher le surajustement de LSTM sur un petit ensemble de données

Je modélise 15000 tweets pour la prédiction des sentiments en utilisant un LSTM monocouche avec 128 unités cachées en utilisant une représentation de type word2vec avec 80 dimensions. J'obtiens une précision de descente (38% avec aléatoire = 20%) après 1 époque. Plus l'entraînement fait baisser la précision de validation à …

13 deep-learning regularization overfitting lstm

Questions marquées «deep-learning»