Statistiques et Big Data neural-networks

3

Comment utiliser correctement l'arrêt précoce pour former un réseau neuronal profond?

J'ai un modèle de réseau neuronal profond et je dois le former sur mon ensemble de données qui comprend environ 100 000 exemples, mes données de validation contiennent environ 1 000 exemples. Parce qu'il faut du temps pour former chaque exemple (environ 0,5 s pour chaque exemple) et afin d'éviter …

20 neural-networks deep-learning

2

Dans les réseaux neuronaux, pourquoi utiliser des méthodes de gradient plutôt que d'autres métaheuristiques?

Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le recuit simulé, l'optimisation des colonies de fourmis, etc., qui ont été …

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Quelles méthodes d'optimisation fonctionnent le mieux pour les LSTM?

J'ai utilisé theeano pour expérimenter avec des LSTM et je me demandais quelles méthodes d'optimisation (SGD, Adagrad, Adadelta, RMSprop, Adam, etc.) fonctionnent le mieux pour les LSTM? Existe-t-il des documents de recherche sur ce sujet? De plus, la réponse dépend-elle du type d'application pour laquelle j'utilise le LSTM? Si c'est …

20 machine-learning neural-networks optimization lstm

2

Pourquoi la rétropropagation ne fonctionne-t-elle pas lorsque vous initialisez les poids à la même valeur?

Pourquoi la rétropropagation ne fonctionne-t-elle pas lorsque vous initialisez tous les poids à la même valeur (disons 0,5), mais fonctionne bien lorsque des nombres aléatoires sont donnés? L'algorithme ne devrait-il pas calculer l'erreur et travailler à partir de là, malgré le fait que les poids soient initialement les mêmes?

20 machine-learning neural-networks backpropagation

5

Deep learning: comment savoir quelles variables sont importantes?

En termes de jargon de réseau de neurones (y = poids * x + biais), comment saurais-je quelles variables sont plus importantes que d'autres? J'ai un réseau neuronal avec 10 entrées, 1 couche cachée avec 20 nœuds et 1 couche de sortie qui a 1 nœud. Je ne sais pas …

20 machine-learning neural-networks bias tensorflow theano

4

Est-ce une bonne idée d'utiliser CNN pour classer le signal 1D?

Je travaille sur la classification des stades de sommeil. J'ai lu quelques articles de recherche sur ce sujet, beaucoup d'entre eux ont utilisé la méthode SVM ou d'ensemble. Est-ce une bonne idée d'utiliser un réseau neuronal convolutif pour classer le signal EEG unidimensionnel? Je suis nouveau dans ce genre de …

20 neural-networks svm conv-neural-network signal-processing

3

Utilisation de RNN (LSTM) pour prédire les vecteurs de série temporelle (Theano)

J'ai un problème très simple mais je ne trouve pas le bon outil pour le résoudre. J'ai une séquence de vecteurs de même longueur. Maintenant, je voudrais former LSTM RNN sur un échantillon de train de ces séquences et ensuite le faire pour prédire une nouvelle séquence de vecteurs de …

19 neural-networks python lstm

3

Importance du nœud de polarisation dans les réseaux de neurones

Je suis curieux de savoir à quel point le nœud de biais est important pour l'efficacité des réseaux neuronaux modernes. Je peux facilement comprendre que cela peut être important dans un réseau peu profond avec seulement quelques variables d'entrée. Cependant, les réseaux neuronaux modernes comme dans l'apprentissage profond ont souvent …

19 neural-networks deep-learning bias-node

2

Comment les réseaux de neurones récurrents peuvent-ils être utilisés pour la classification des séquences?

RNN peut être utilisé pour la prédiction ou le mappage séquence à séquence. Mais comment RNN peut-il être utilisé pour la classification? Je veux dire, nous donnons à une séquence entière une étiquette.

19 machine-learning neural-networks rnn

2

Que font les couches entièrement connectées dans les CNN?

Je comprends les couches convolutionnelles et de mise en commun, mais je ne vois pas la raison d'une couche entièrement connectée dans les CNN. Pourquoi la couche précédente n'est-elle pas directement connectée à la couche de sortie?

19 neural-networks deep-learning conv-neural-network

5

Comment recoder une variable catégorielle en variable numérique lors de l'utilisation de SVM ou de Neural Network

Pour utiliser SVM ou Neural Network, il doit transformer (encoder) des variables catégorielles en variables numériques, la méthode normale dans ce cas est d'utiliser des valeurs binaires 0-1 avec la k-ème valeur catégorielle transformée en (0,0, .. ., 1,0, ... 0) (1 est en position k-ème). Existe-t-il d'autres méthodes pour …

19 machine-learning neural-networks categorical-data svm categorical-encoding

2

Signification d'un réseau neuronal comme boîte noire?

J'entends souvent les gens parler des réseaux de neurones comme d'une boîte noire que vous ne comprenez pas ce qu'ils font ou ce qu'ils signifient. En fait, je ne peux pas comprendre ce qu'ils veulent dire par là! Si vous comprenez comment fonctionne la rétropropagation, alors comment est-ce une boîte …

19 machine-learning neural-networks

2

Algorithme de rétropropagation

J'ai eu une légère confusion sur le algorithme de rétropropagation utilisé dans le perceptron multicouche (MLP). L'erreur est ajustée par la fonction de coût. En rétropropagation, nous essayons d'ajuster le poids des couches cachées. L'erreur de sortie que je peux comprendre, c'est-à-dire e = d - y[sans les indices]. Les …

19 machine-learning neural-networks backpropagation

1

Construction optimale de la caractéristique du jour dans les réseaux de neurones

En travaillant sur le problème de régression, j'ai commencé à penser à la représentation de la fonction "jour d'une semaine". Je me demande quelle approche fonctionnerait mieux: une caractéristique; valeur 1/7 pour lundi; 2/7 pour mardi ... 7 fonctionnalités: (1, 0, 0, 0, 0, 0, 0) pour lundi; (0, 1, …

19 machine-learning neural-networks feature-construction

3

Les réseaux de neurones apprennent-ils une fonction ou une fonction de densité de probabilité?

La question peut sembler un peu étrange car je suis nouveau dans l'inférence statistique et les réseaux de neurones. Lorsque dans les problèmes de classification utilisant des réseaux de neurones, nous disons que nous voulons apprendre une fonction qui mappe l'espace des entrées à l'espace des sorties y : x …

19 machine-learning neural-networks

Questions marquées «neural-networks»