Statistiques et Big Data neural-networks

1

La perte d'entraînement diminue et augmente de nouveau. Qu'est-ce qui se passe?

Ma perte d'entraînement diminue puis augmente à nouveau. C'est très bizarre. La perte de validation croisée suit la perte d'entraînement. Que se passe-t-il? J'ai deux LSTMS empilés comme suit (sur Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Je l'entraîne pour 100 …

26 machine-learning neural-networks loss-functions lstm

4

Réseau de neurones avec connexions à couche sautée

Je m'intéresse à la régression avec les réseaux de neurones. Les réseaux de neurones avec zéro nœud caché + connexions à couche sautée sont des modèles linéaires. Qu'en est-il des mêmes réseaux neuronaux mais avec des nœuds cachés? Je me demande quel serait le rôle des connexions de saut de …

26 regression machine-learning neural-networks deep-learning

5

Quelle est la différence entre les réseaux de neurones convolutifs et l'apprentissage profond?

Je souhaite utiliser le deep learning dans mon projet. J'ai parcouru quelques articles et une question m'est venue: y a-t-il une différence entre le réseau neuronal à convolution et l'apprentissage en profondeur? Ces choses sont-elles les mêmes ou ont-elles des différences majeures, et quelle est la meilleure?

25 machine-learning neural-networks deep-learning terminology conv-neural-network

8

Pourquoi est-il si important d'avoir des théories de principe et mathématiques pour l'apprentissage automatique?

Je me demandais, pourquoi est-il si important d'avoir un apprentissage automatique fondé sur des principes / théorique? D'un point de vue personnel en tant qu'humain, je peux comprendre pourquoi l'apprentissage automatique fondé sur des principes serait important: les humains aiment comprendre ce qu'ils font, nous trouvons la beauté et la …

25 machine-learning neural-networks conv-neural-network theory

6

Comment le réseau neuronal reconnaît-il les images?

Cette question a été migrée à partir de Stack Overflow car il est possible d'y répondre lors de la validation croisée. Migré il y a 7 ans . J'essaie d'apprendre comment Neural Network fonctionne sur la reconnaissance d'image. J'ai vu quelques exemples et je suis devenu encore plus confus. Dans …

25 machine-learning neural-networks image-processing

6

Pour les problèmes convexes, le gradient en descente de gradient stochastique (SGD) pointe-t-il toujours vers la valeur extrême globale?

Étant donné une fonction de coût convexe, en utilisant SGD pour l'optimisation, nous aurons un gradient (vecteur) à un certain point au cours du processus d'optimisation. Ma question est, étant donné le point sur le convexe, le gradient ne pointe-t-il que vers la direction dans laquelle la fonction augmente / …

25 neural-networks optimization gradient-descent sgd convex

10

Pourquoi ne pas simplement vider les réseaux de neurones et l'apprentissage en profondeur? [fermé]

Fermé . Cette question est basée sur l'opinion . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin d'y répondre avec des faits et des citations en modifiant ce message . Fermé il y a 2 ans . Problème fondamental avec l'apprentissage en …

25 machine-learning neural-networks svm deep-learning

3

Quels sont les avantages d'empiler plusieurs LSTM?

Quels sont les avantages, pourquoi utiliserait-on plusieurs LSTM, empilés côte à côte, dans un réseau profond? J'utilise un LSTM pour représenter une séquence d'entrées en tant qu'entrée unique. Donc, une fois que j'ai cette représentation unique - pourquoi la repasserais-je? Je pose la question parce que je l'ai vu dans …

25 classification neural-networks deep-learning lstm rnn

1

Pourquoi les unités linéaires rectifiées sont-elles considérées comme non linéaires?

Pourquoi les fonctions d'activation des unités linéaires rectifiées (ReLU) sont-elles considérées comme non linéaires? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Ils sont linéaires lorsque l'entrée est positive et de ma compréhension pour débloquer la puissance représentative des réseaux profonds, les activations non linéaires sont un must, sinon l'ensemble du réseau pourrait être …

25 neural-networks deep-learning

1

Qu'est-ce qu'une étude d'ablation? Et existe-t-il un moyen systématique de l'exécuter?

Qu'est-ce qu'une étude d'ablation? Et existe-t-il un moyen systématique de l'exécuter? Par exemple, j'ai prédicteurs dans une régression linéaire que j'appellerai mon modèle.nnn Comment vais-je effectuer une étude d'ablation à ce sujet? Quelles mesures dois-je utiliser? Une source ou un manuel complet serait apprécié.

25 regression machine-learning neural-networks

3

Quelle est la raison pour laquelle Adam Optimizer est considéré comme robuste à la valeur de ses paramètres hyper?

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Bengio, Goodfellow et Courville: Adam est généralement considéré comme assez robuste pour le choix des paramètres hyper, bien que le taux d'apprentissage doive parfois être modifié …

24 neural-networks deep-learning optimization hyperparameter adam

4

Que pouvons-nous apprendre sur le cerveau humain des réseaux de neurones artificiels?

Je sais que ma question / titre n'est pas très précis, je vais donc essayer de le clarifier: Les réseaux de neurones artificiels ont des conceptions relativement strictes. Bien sûr, généralement, ils sont influencés par la biologie et tentent de construire un modèle mathématique de réseaux neuronaux réels, mais notre …

24 machine-learning neural-networks bioinformatics artificial-intelligence neuroscience

2

Les encodeurs automatiques ne peuvent pas apprendre de fonctionnalités significatives

J'ai 50 000 images comme celles-ci: Ils représentent des graphiques de données. Je voulais extraire des fonctionnalités de ces images, j'ai donc utilisé le code de l'encodeur automatique fourni par Theano (deeplearning.net). Le problème est que ces encodeurs automatiques ne semblent pas apprendre de fonctionnalités. J'ai essayé RBM et c'est …

24 machine-learning neural-networks feature-construction rbm autoencoders

2

Comment le CNN '12 de Krizhevsky obtient-il 253 440 neurones dans la première couche?

Dans Alex Krizhevsky, et al. Classification Imagenet avec des réseaux de neurones convolutionnels profonds, ils énumèrent le nombre de neurones dans chaque couche (voir schéma ci-dessous). L'entrée du réseau est de 150528 dimensions et le nombre de neurones dans les couches restantes du réseau est donné par 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000. Une …

24 neural-networks deep-learning conv-neural-network

2

Quelle est la différence entre abandon et drop connect?

Quelle est la différence entre abandon et drop connect? AFAIK, le décrochage supprime aléatoirement les nœuds cachés pendant la formation, mais les maintient dans les tests, et le drop connect supprime les connexions. Mais la suppression des connexions n'est-elle pas équivalente à la suppression des nœuds cachés? Les nœuds (ou …

24 neural-networks dropout

Questions marquées «neural-networks»