Statistiques et Big Data autoencoders

2

Quelle est l'origine des réseaux de neurones auto-encodeurs?

J'ai recherché sur Google, Wikipedia, Google scholar, et plus, mais je n'ai pas pu trouver l'origine des Autoencoders. C'est peut-être l'un de ces concepts qui a évolué très progressivement, et il est impossible de retracer un point de départ clair, mais je voudrais quand même trouver une sorte de résumé …

13 neural-networks autoencoders history

4

Quelles sont les différences entre les encodeurs automatiques et le t-SNE?

Pour autant que je sache, les encodeurs automatiques et t-SNE sont utilisés pour la réduction de dimensionnalité non linéaire. Quelles sont les différences entre eux et pourquoi devrais-je utiliser l'un par rapport à l'autre?

12 neural-networks deep-learning dimensionality-reduction autoencoders tsne

1

Puis-je utiliser ReLU dans l'encodeur automatique comme fonction d'activation?

Lors de la mise en œuvre d'un autoencodeur avec réseau de neurones, la plupart des gens utiliseront sigmoïde comme fonction d'activation. Pouvons-nous utiliser ReLU à la place? (Étant donné que ReLU n'a pas de limite sur la limite supérieure, ce qui signifie essentiellement que l'image d'entrée peut avoir un pixel …

11 machine-learning neural-networks deep-learning autoencoders

2

Perte KL avec une unité gaussienne

J'ai implémenté une VAE et j'ai remarqué deux implémentations différentes en ligne de la divergence gaussienne KL univariée simplifiée. La divergence d' origine que par ici est Si nous supposons que notre a priori est une unité gaussienne, c'est-à-dire et , cela se simplifie jusqu'à Et voici où repose ma …

10 inference kullback-leibler autoencoders variational-bayes

1

Impossible de faire fonctionner correctement ce réseau d'auto-encodeur (avec les couches convolutionnelles et maxpool)

Les réseaux de codage automatique semblent être beaucoup plus délicats que les réseaux MLP classificateurs normaux. Après plusieurs tentatives d'utilisation de la lasagne, tout ce que j'obtiens dans la sortie reconstruite ressemble à son mieux à une moyenne floue de toutes les images de la base de données MNIST sans …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

1

Quelles sont les différences entre les filtres appris dans l'autoencodeur et le réseau neuronal convolutionnel?

Dans CNN, nous apprendrons des filtres pour produire une carte d'entités dans une couche convolutionnelle. Dans Autoencoder, chaque unité cachée de chaque couche peut être considérée comme un filtre. Quelle différence entre les filtres appris dans ces deux réseaux?

9 machine-learning neural-networks conv-neural-network autoencoders

1

Autoencodeur variationnel avec modèle de mélange gaussien

Un autoencodeur variationnel (VAE) fournit un moyen d'apprendre la distribution de probabilité reliant une entrée à sa représentation latente . En particulier, le codeur e mappe une entrée x à une distribution sur z . Un encodeur typique affichera des paramètres (\ mu, \ sigma) = e (x) , représentant …

9 neural-networks deep-learning autoencoders variational-bayes

1

Une formation gourmande en couche profonde des réseaux profonds est-elle nécessaire pour un entraînement réussi ou la descente de gradient stochastique est-elle suffisante?

Est-il possible d'obtenir des résultats de pointe en utilisant uniquement la rétro-propagation (sans pré-formation )? Ou est-ce pour que toutes les approches battant des records utilisent une certaine forme de pré-formation? La rétropropagation est-elle suffisante à elle seule?

8 deep-learning autoencoders deep-belief-networks pre-training

2

Paramètres d'encodage automatique [Hyper] clairsemés

Je viens de commencer à utiliser le package autoencoder dans R. Les entrées de la autoencode()fonction incluent lambda, beta, rho et epsilon. Quelles sont les limites de ces valeurs? Varient-ils pour chaque fonction d'activation? Ces paramètres sont-ils appelés "hyperparamètres"? En supposant un auto-encodeur clairsemé, est rho = .01 bon pour …

8 neural-networks optimization deep-learning deep-belief-networks autoencoders

Questions marquées «autoencoders»