Statistiques et Big Data deep-learning

2

Les réseaux résiduels sont-ils liés à l'augmentation du gradient?

Récemment, nous avons vu l'émergence du réseau neuronal résiduel, dans lequel, chaque couche se compose d'un module de calcul et d'une connexion de raccourci qui préserve l'entrée de la couche telle que la sortie de la ième couche présente: Le réseau permet d'extraire les caractéristiques résiduelles et permet une profondeur …

11 machine-learning neural-networks deep-learning gradient-descent residual-networks

3

Comment le modèle skip-gram de Word2Vec génère-t-il les vecteurs de sortie?

J'ai des problèmes pour comprendre le modèle skip-gram de l'algorithme Word2Vec. Dans un sac de mots continu, il est facile de voir comment les mots de contexte peuvent "s'adapter" dans le réseau neuronal, car vous les basez en moyenne après avoir multiplié chacune des représentations de codage à chaud avec …

11 neural-networks deep-learning natural-language word2vec word-embeddings

2

Classification avec des données partiellement «inconnues»

Supposons que je veuille apprendre un classificateur qui prend un vecteur de nombres en entrée et donne une étiquette de classe en sortie. Mes données d'entraînement se composent d'un grand nombre de paires d'entrée-sortie. Cependant, lorsque je viens de tester certaines nouvelles données, ces données ne sont généralement que partiellement …

11 machine-learning classification neural-networks deep-learning

3

Modélisation mathématique des réseaux de neurones en tant que modèles graphiques

J'ai du mal à faire le lien mathématique entre un réseau de neurones et un modèle graphique. Dans les modèles graphiques, l'idée est simple: la distribution de probabilité factorise en fonction des cliques du graphique, les potentiels étant généralement de la famille exponentielle. Existe-t-il un raisonnement équivalent pour un réseau …

11 neural-networks markov-process graphical-model deep-learning deep-belief-networks

3

Quelle est la relation entre la théorie des jeux et l'apprentissage par renforcement?

Je suis intéressé par (Deep) Reinforcement Learning (RL) . Avant de plonger dans ce domaine, dois-je suivre un cours de théorie des jeux (GT) ? Quel est le lien entre GT et RL ?

11 deep-learning reinforcement-learning game-theory

2

Comment les filtres et les cartes d'activation sont-ils connectés dans les réseaux de neurones convolutifs?

Comment les cartes d'activation d'une couche donnée sont-elles connectées aux filtres de cette couche? Je ne demande pas comment faire une opération convolutionnelle entre le filtre et la carte d'activation, je demande le type de connectivité de ces deux-là. Par exemple, supposons que vous souhaitiez une connectivité complète. Vous avez …

11 machine-learning deep-learning conv-neural-network

1

Puis-je utiliser ReLU dans l'encodeur automatique comme fonction d'activation?

Lors de la mise en œuvre d'un autoencodeur avec réseau de neurones, la plupart des gens utiliseront sigmoïde comme fonction d'activation. Pouvons-nous utiliser ReLU à la place? (Étant donné que ReLU n'a pas de limite sur la limite supérieure, ce qui signifie essentiellement que l'image d'entrée peut avoir un pixel …

11 machine-learning neural-networks deep-learning autoencoders

4

Pourquoi ne pas simplement apprendre les hyper paramètres?

J'implémentais un article assez populaire " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " et dans le document, il forme une fonction objective contradictoire J '' (θ) = αJ (θ) + (1 - α) J '(θ). Il traite α comme un hyperparamètre. α peut être 0,1, 0,2, 0,3, etc. Indépendamment de …

11 machine-learning neural-networks deep-learning hyperparameter

2

Comment calculer exactement la fonction de perte Deep Q-Learning?

J'ai un doute sur la formation exacte de la fonction de perte d'un réseau Deep Q-Learning. J'utilise un réseau feedforward à 2 couches avec une couche de sortie linéaire et des couches cachées relu. Supposons que j'ai 4 actions possibles. Ainsi, la sortie de mon réseau pour l'état actuelststs_t est …

11 least-squares deep-learning loss-functions reinforcement-learning q-learning

1

Quelle est la différence entre la VAE et la rétropropagation stochastique pour les modèles génératifs profonds?

Quelle est la différence entre l' encodage bayésien variationnel automatique et la rétropropagation stochastique pour les modèles génératifs profonds ? L'inférence dans les deux méthodes conduit-elle aux mêmes résultats? Je ne suis au courant d'aucune comparaison explicite entre les deux méthodes, malgré le fait que les deux groupes d'auteurs se …

10 deep-learning inference latent-variable variational-bayes sgd

1

Quelle fonction de perte dois-je utiliser pour noter un modèle seq2seq RNN?

Je travaille sur le papier Cho 2014 qui a introduit l'architecture codeur-décodeur pour la modélisation seq2seq. Dans l'article, ils semblent utiliser la probabilité de l'entrée donnée en sortie (ou sa probabilité de log négatif) comme fonction de perte pour une entrée de longueur et une sortie de longueur :M y …

10 deep-learning loss-functions rnn

4

différence entre réseau neuronal et apprentissage en profondeur

En termes de différence entre réseau neuronal et apprentissage en profondeur, nous pouvons énumérer plusieurs éléments, tels que davantage de couches sont incluses, un ensemble de données massif, un matériel informatique puissant pour rendre possible la formation d'un modèle compliqué. En plus de cela, y a-t-il une explication plus détaillée …

10 machine-learning neural-networks deep-learning conv-neural-network deep-belief-networks

1

Relation entre le taux d'apprentissage et le nombre de couches cachées?

Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible. Si c'est exact, pourquoi?

10 neural-networks deep-learning hyperparameter rule-of-thumb

3

Est-il possible de former un réseau neuronal pour dessiner l'image dans un certain style?

Est-il possible de former un réseau neuronal pour dessiner l'image dans un certain style? (Il prend donc une image et la redessine dans un style pour lequel elle a été formée.) Existe-t-il une technologie approuvée pour ce genre de chose? Je connais l'algorithme DeepArt. Il est bon de remplir l'image …

10 machine-learning neural-networks deep-learning

1

Coupure de gradient lors de la formation de réseaux de neurones profonds

Quand voudrait-on effectuer un découpage de gradient lors de la formation d'un RNN ou CNN? Je suis particulièrement intéressé par ce dernier. Quelle serait une bonne valeur de départ pour l'écrêtage? (il peut bien sûr être réglé)

10 deep-learning

Questions marquées «deep-learning»