Statistiques et Big Data deep-learning

1

Normalisation d'entrée pour les neurones ReLU

Selon "Efficient Backprop" de LeCun et al (1998), il est de bonne pratique de normaliser toutes les entrées afin qu'elles soient centrées autour de 0 et se situent dans la plage de la dérivée seconde maximale. Ainsi, par exemple, nous utiliserions [-0,5,0,5] pour la fonction "Tanh". C'est pour aider la …

9 machine-learning neural-networks normalization deep-learning multidimensional-scaling

2

Meilleure utilisation de LSTM pour la prédiction d'événements dans la séquence

Supposons la séquence unidimensionnelle suivante: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Les lettres A, B, C, ..ici représentent des événements «ordinaires». Les symboles #, $, %, ...ici représentent des événements «spéciaux» L'espacement temporel entre tous les événements est non uniforme …

9 time-series deep-learning rare-events lstm sequential-pattern-mining

2

Le goulot d'étranglement de l'application du deep learning dans la pratique

Après avoir lu de nombreux articles d'apprentissage en profondeur, une sorte de sentiment brutal est qu'il existe de nombreuses astuces pour entraîner le réseau à obtenir des performances supérieures à la normale. Du point de vue des applications de l'industrie, il est très difficile de développer ce genre de trucs, …

9 machine-learning deep-learning deep-belief-networks

2

Champ récepteur des neurones dans LeNet

J'essaie de mieux comprendre les champs réceptifs de CNN. Pour ce faire, je voudrais calculer le champ récepteur de chaque neurone dans LeNet. Pour un MLP normal, c'est plutôt facile (voir http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), mais il est plus difficile de calculer le champ récepteur d'un neurone dans une couche suivant une …

9 deep-learning conv-neural-network

1

Quelles directives doivent être suivies pour utiliser les réseaux de neurones avec des entrées clairsemées

J'ai des entrées extrêmement clairsemées, par exemple l'emplacement de certaines fonctions dans une image d'entrée. De plus, chaque fonctionnalité peut avoir plusieurs détections (je ne sais pas si cela aura une incidence sur la conception du système). Ce que je présenterai comme une «image binaire» de canal k avec des …

9 neural-networks deep-learning sparse

1

Autoencodeur variationnel avec modèle de mélange gaussien

Un autoencodeur variationnel (VAE) fournit un moyen d'apprendre la distribution de probabilité reliant une entrée à sa représentation latente . En particulier, le codeur e mappe une entrée x à une distribution sur z . Un encodeur typique affichera des paramètres (\ mu, \ sigma) = e (x) , représentant …

9 neural-networks deep-learning autoencoders variational-bayes

4

La régression basée sur un arbre peut-elle être pire que la régression linéaire ordinaire?

Salut, j'étudie les techniques de régression. Mes données ont 15 fonctionnalités et 60 millions d'exemples (tâche de régression). Lorsque j'ai essayé de nombreuses techniques de régression connues (arbre boosté par gradient, régression d'arbre de décision, AdaBoostRegressor, etc.), la régression linéaire s'est très bien déroulée. Meilleur score parmi ces algorithmes. Quelle …

9 regression modeling deep-learning model cart

1

concernant le format de sortie pour la segmentation sémantique

En lisant les articles de segmentation sémantique ainsi que leurs implémentations correspondantes, j'ai constaté que certaines approches utilisent softmax tandis que d'autres utilisent sigmoid pour l'étiquetage au niveau des pixels. Par exemple, en ce qui concerne le papier u-net , la sortie est une carte d'entités à deux canaux. J'ai …

9 machine-learning deep-learning computer-vision tensorflow

4

Quelles sont les senones dans un réseau neuronal profond?

Je lis cet article: traducteur skype où ils utilisent des CD-DNN-HMM (réseaux neuronaux profonds dépendants du contexte avec des modèles de Markov cachés). Je peux comprendre l'idée du projet et l'architecture qu'ils ont conçue mais je ne comprends pas ce que sont les senones . Je cherchais une définition mais …

9 neural-networks deep-learning terminology natural-language hidden-markov-model

2

Quelle est la sortie d'un tf.nn.dynamic_rnn ()?

Je ne suis pas sûr de ce que je comprends de la documentation officielle, qui dit: Renvoie: Une paire (sorties, état) où: outputs: Le tenseur de sortie RNN. Si time_major == False( par défaut), ce sera une forme Tensor: [batch_size, max_time, cell.output_size]. Si time_major == True, ce sera une forme …

8 deep-learning lstm tensorflow rnn gru

2

Quand le deep learning échoue-t-il?

L'apprentissage en profondeur est un sujet de plus en plus d'actualité de nos jours. Quelles sont les principales hypothèses qui font que l'apprentissage en profondeur manque dans certains ensembles de données. Ex: fonctionne-t-il bien sur des ensembles de données bruyants?

8 machine-learning mathematical-statistics deep-learning

2

Quelle est l'importance de l'expansion de la base pour les filets profonds?

Si les réseaux de neurones profonds sont considérés comme des approximateurs de fonctions universelles, l'expansion de la base est-elle vraiment nécessaire? Ou serait-ce spécifique au cas? Par exemple, si l'on a trois variables X quantitatives, y aurait-il un avantage à augmenter le nombre de variables en introduisant des interactions, des …

8 neural-networks deep-learning feature-construction

1

MSE comme proxy de la corrélation de Pearson dans les problèmes de régression

TL; DR (trop long, n'a pas lu): Je travaille sur un problème de prédiction de séries chronologiques, que je formule comme un problème de régression utilisant le Deep Learning (keras). Je veux optimiser la corrélation de Pearson entre ma prédiction et les vrais labels. Je suis confus par le fait …

8 machine-learning deep-learning loss-functions pearson-r mse

2

Fonctionnalité extraite par la mise en commun maximale par rapport à la mise en commun moyenne

Dans le deep learning, et son application à la vision par ordinateur, est-il possible de dire quel type de fonctionnalités ces deux types d'extraits de pooling? par exemple, est-il possible de dire que le pool max extrait les bords? Pouvons-nous dire quelque chose de similaire concernant la mise en commun …

8 machine-learning deep-learning feature-construction computer-vision

1

Alternatives à la généralisation L1, L2 et Dropout

J'ai la configuration suivante pour un projet de recherche Finance / Machine Learning dans mon université: j'applique un (Deep) Neural Network (MLP) avec la structure suivante dans Keras / Theano pour distinguer les actions surperformantes (étiquette 1) des actions sous-performantes ( étiquette 0). En premier lieu, j'utilise simplement des multiples …

8 machine-learning neural-networks deep-learning regularization dropout

Questions marquées «deep-learning»