Statistiques et Big Data neural-networks

4

Qu'est-ce * qu'un * réseau de neurones artificiels?

Au fur et à mesure que nous explorons la littérature sur les réseaux de neurones , nous arrivons à identifier d'autres méthodes avec des topologies neuromorphiques (architectures de type "réseau de neurones"). Et je ne parle pas du théorème de l'approximation universelle . Des exemples sont donnés ci-dessous. Ensuite, cela …

15 machine-learning neural-networks deep-learning unsupervised-learning supervised-learning

2

Réseaux de neurones vs tout le reste

Je n'ai pas trouvé de réponse satisfaisante à cela de Google . Bien sûr, si les données dont je dispose sont de l'ordre de millions, l'apprentissage en profondeur est la solution. Et j'ai lu que lorsque je n'ai pas de données volumineuses, il est peut-être préférable d'utiliser d'autres méthodes d'apprentissage …

15 regression machine-learning classification neural-networks deep-learning

2

Pourquoi cette prédiction des séries chronologiques est-elle «assez mauvaise»?

J'essaie d'apprendre à utiliser les réseaux de neurones. Je lisais ce tutoriel . Après avoir ajusté un réseau neuronal sur une série chronologique en utilisant la valeur en pour prédire la valeur en t + 1, l'auteur obtient le graphique suivant, où la ligne bleue est la série chronologique, le …

15 time-series neural-networks predictive-models deep-learning prediction

3

Nombre minimum de couches dans un réseau neuronal profond

À quel moment commençons-nous à classer les réseaux de neurones multicouches en tant que réseaux de neurones profonds ou à le dire autrement «Quel est le nombre minimum de couches dans un réseau neuronal profond?

15 machine-learning neural-networks deep-learning terminology

1

Somme ou moyenne des gradients en (mini) gradient de lot décent?

Lorsque j'ai implémenté un mini-gradient décent, j'ai simplement fait la moyenne des gradients de tous les exemples du lot de formation. Cependant, j'ai remarqué que maintenant le taux d'apprentissage optimal est beaucoup plus élevé que pour un gradient décent en ligne. Mon intuition est que c'est parce que le gradient …

15 neural-networks gradient-descent backpropagation

4

De combien de données avez-vous besoin pour un réseau neuronal convolutionnel?

Si j'ai un réseau neuronal convolutif (CNN), qui a environ 1 000 000 de paramètres, combien de données d'entraînement sont nécessaires (supposons que je fais une descente de gradient stochastique)? Y a-t-il une règle d'or? Notes supplémentaires: Lorsque j'ai effectué une descente de gradient stochastique (par exemple, 64 patchs pour …

15 machine-learning neural-networks deep-learning conv-neural-network

1

Pourquoi un seul ReLU ne peut-il pas apprendre un ReLU?

Comme suivi de Mon réseau de neurones ne peut même pas apprendre la distance euclidienne, j'ai encore simplifié et essayé de former un seul ReLU (avec un poids aléatoire) à un seul ReLU. Il s'agit du réseau le plus simple qui existe et pourtant, la moitié du temps, il ne …

15 machine-learning neural-networks optimization keras

2

Comment les poids sont-ils mis à jour dans la méthode d'apprentissage par lots dans les réseaux de neurones?

Quelqu'un peut-il me dire comment je suis censé construire un réseau neuronal en utilisant la méthode batch? J'ai lu que, en mode batch, pour tous les échantillons de l'ensemble d'apprentissage, nous calculons l'erreur, les poids delta et donc delta pour chaque neurone du réseau, puis au lieu de mettre à …

15 machine-learning neural-networks

1

Quelle est la dérivée de la fonction d'activation ReLU?

Quelle est la dérivée de la fonction d'activation ReLU définie comme: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Qu'en est-il du cas particulier où il y a une discontinuité dans la fonction à ?x=0x=0x=0

15 self-study neural-networks

6

Pourquoi devrions-nous mélanger les données lors de la formation d'un réseau neuronal?

Dans la formation en mini-lots d'un réseau de neurones, j'ai entendu qu'une pratique importante est de mélanger les données d'entraînement avant chaque époque. Quelqu'un peut-il expliquer pourquoi le brassage à chaque époque aide? De la recherche google, j'ai trouvé les réponses suivantes: il aide la formation à converger rapidement il …

15 neural-networks

1

Pourquoi est-il important d'inclure un terme de correction de biais pour l'optimiseur Adam pour l'apprentissage en profondeur?

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Begnio, Goodfellow et Courtville: Adam inclut des corrections de biais dans les estimations des moments du premier ordre (le terme de momentum) et des moments du …

15 machine-learning neural-networks optimization conv-neural-network adam

1

La malédiction dimensionnelle affecte-t-elle certains modèles plus que d'autres?

Les endroits que j'ai lus sur la malédiction de la dimensionnalité l'expliquent conjointement avec kNN principalement et les modèles linéaires en général. Je vois régulièrement les meilleurs classeurs de Kaggle utiliser des milliers d'entités sur un ensemble de données qui ne contient pratiquement pas 100 000 points de données. Ils …

15 neural-networks svm k-means k-nearest-neighbour high-dimensional

1

Qu'est-ce que la dimension VC nous apprend sur l'apprentissage profond?

Dans l'apprentissage automatique de base, nous apprenons les «règles de base» suivantes: a) la taille de vos données doit être au moins 10 fois supérieure à la dimension VC de votre ensemble d'hypothèses. b) un réseau neuronal avec N connexions a une dimension VC d'environ N. Ainsi, lorsqu'un réseau neuronal …

15 machine-learning neural-networks deep-learning vc-dimension

2

Est-il courant de minimiser la perte moyenne sur les lots au lieu de la somme?

Tensorflow propose un exemple de didacticiel sur la classification de CIFAR-10 . Dans le didacticiel, la perte d'entropie croisée moyenne sur le lot est minimisée. def loss(logits, labels): """Add L2Loss to all the trainable variables. Add summary for for "Loss" and "Loss/avg". Args: logits: Logits from inference(). labels: Labels from …

15 neural-networks loss-functions tensorflow

2

Y a-t-il des raisons mathématiques pour la convolution dans les réseaux de neurones au-delà de l'opportunité?

Dans les réseaux de neurones convolutifs (CNN), la matrice de poids à chaque étape obtient ses lignes et colonnes inversées pour obtenir la matrice du noyau, avant de procéder à la convolution. Ceci est expliqué sur une série de vidéos de Hugo Larochelle ici : Calculer les cartes cachées correspondrait …

14 machine-learning neural-networks conv-neural-network convolution

Questions marquées «neural-networks»