Statistiques et Big Data tensorflow

6

Adam optimiseur avec décroissance exponentielle

Dans la plupart des codes Tensorflow, j'ai constaté qu'Adam Optimizer est utilisé avec un taux d'apprentissage constant 1e-4(0,0001). Le code a généralement l'aspect suivant: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Quelle est la différence entre softmax_cross_entropy_with_logits et softmax_cross_entropy_with_logits_v2?

Plus précisément, je suppose que je m'interroge sur cette affirmation: Les futures versions majeures de TensorFlow permettront par défaut aux gradients de s’intégrer dans l’entrée des étiquettes sur backprop. Qui est montré quand j'utilise tf.nn.softmax_cross_entropy_with_logits. Dans le même message, il m’incite à regarder tf.nn.softmax_cross_entropy_with_logits_v2. J'ai parcouru la documentation, mais elle …

41 machine-learning supervised-learning tensorflow backpropagation

3

Apprentissage automatique: devrais-je utiliser une perte d'entropie croisée ou d'entropie croisée binaire pour les prédictions binaires?

Tout d'abord, j'ai réalisé que si je devais effectuer des prédictions binaires, je devais créer au moins deux classes en effectuant un encodage à chaud. Est-ce correct? Cependant, l'entropie croisée binaire est-elle réservée aux prédictions avec une seule classe? Si je devais utiliser une perte catégorique d'entropie croisée que l'on …

36 machine-learning neural-networks loss-functions tensorflow cross-entropy

1

Architectures CNN pour la régression?

J'ai travaillé sur un problème de régression où l'entrée est une image et l'étiquette est une valeur continue entre 80 et 350. Les images sont de certains produits chimiques après qu'une réaction ait lieu. La couleur qui apparaît indique la concentration d'un autre produit chimique qui reste, et c'est ce …

32 regression machine-learning neural-networks conv-neural-network tensorflow

5

Comprendre les unités LSTM et les cellules

J'étudie les LSTM depuis un certain temps. Je comprends à un haut niveau comment tout fonctionne. Cependant, en les implémentant à l'aide de Tensorflow, j'ai remarqué que BasicLSTMCell nécessite un certain nombre d'unités (c'est-à-dire num_units) un paramètre. D'après cette explication très approfondie des LSTM, j'ai compris qu'une seule unité LSTM …

32 neural-networks terminology lstm rnn tensorflow

3

Construire un autoencodeur dans Tensorflow pour dépasser PCA

Hinton et Salakhutdinov, dans Reducing the Dimensionality of Data with Neural Networks, Science 2006, ont proposé une ACP non linéaire grâce à l'utilisation d'un auto-encodeur profond. J'ai essayé de construire et d'entraîner plusieurs fois un autoencodeur PCA avec Tensorflow mais je n'ai jamais pu obtenir de meilleurs résultats qu'un PCA …

31 pca python deep-learning tensorflow autoencoders

1

Exemple pas à pas de différenciation automatique en mode inverse

Je ne sais pas si cette question appartient ici, mais elle est étroitement liée aux méthodes de gradient en optimisation, qui semble être sur le sujet ici. Quoi qu'il en soit, n'hésitez pas à migrer si vous pensez qu'une autre communauté a une meilleure expertise dans le sujet. En bref, …

27 optimization derivative tensorflow automatic-differentiation

2

comment pondérer la perte KLD par rapport à la perte de reconstruction dans l'auto-encodeur variationnel

dans presque tous les exemples de code que j'ai vus sur un VAE, les fonctions de perte sont définies comme suit (c'est du code tensorflow, mais j'ai vu des choses similaires pour theo, torch etc. C'est aussi pour un convnet, mais ce n'est pas trop pertinent non plus , affecte …

26 machine-learning deep-learning tensorflow autoencoders variational-bayes

1

Comment interpréter les histogrammes donnés par TensorFlow dans TensorBoard?

Récemment, je courais et j'apprenais le flux tenseur et j'ai obtenu quelques histogrammes que je ne savais pas interpréter. Habituellement, je pense à la hauteur des barres comme à la fréquence (ou fréquence relative / comptes). Cependant, le fait qu'il n'y ait pas de barres comme dans un histogramme habituel …

23 machine-learning neural-networks conv-neural-network tensorflow

3

Relu vs Sigmoid vs Softmax en tant que neurones de couche cachés

Je jouais avec un simple réseau neuronal avec une seule couche cachée, par Tensorflow, puis j'ai essayé différentes activations pour la couche cachée: Relu Sigmoïde Softmax (enfin, habituellement softmax est utilisé dans la dernière couche ..) Relu offre la meilleure précision de train et précision de validation. Je ne sais …

22 machine-learning neural-networks conv-neural-network tensorflow sigmoid-curve

1

Fonction de perte pour les encodeurs automatiques

J'expérimente un peu les auto-encodeurs, et avec tensorflow j'ai créé un modèle qui essaie de reconstruire l'ensemble de données MNIST. Mon réseau est très simple: X, e1, e2, d1, Y, où e1 et e2 sont des couches de codage, d2 et Y sont des couches de décodage (et Y est …

21 mse autoencoders tensorflow cross-entropy

2

Quelle est la différence entre l'initialiseur de mise à l'échelle de variance et l'initialiseur xavier?

Dans l'implémentation de ResNet par Tensorflow , je trouve qu'ils utilisent l'initialiseur de mise à l'échelle de la variance, je trouve également que l'initialiseur xavier est populaire. Je n'ai pas trop d'expérience à ce sujet, ce qui est mieux en pratique?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

5

Deep learning: comment savoir quelles variables sont importantes?

En termes de jargon de réseau de neurones (y = poids * x + biais), comment saurais-je quelles variables sont plus importantes que d'autres? J'ai un réseau neuronal avec 10 entrées, 1 couche cachée avec 20 nœuds et 1 couche de sortie qui a 1 nœud. Je ne sais pas …

20 machine-learning neural-networks bias tensorflow theano

3

Différence entre les échantillons, les pas de temps et les caractéristiques du réseau neuronal

Je passe par le blog suivant sur le réseau de neurones LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'auteur remodèle le vecteur d'entrée X en [échantillons, pas de temps, caractéristiques] pour différentes configurations de LSTM. L'auteur écrit En effet, les séquences de lettres sont des pas de temps d'une caractéristique plutôt qu'un pas de temps …

17 neural-networks lstm rnn tensorflow tensor

4

Est-il possible de donner des images de taille variable comme entrée à un réseau neuronal convolutif?

Peut-on donner des images de taille variable en entrée à un réseau neuronal convolutif pour la détection d'objets? Si possible, comment pouvons-nous faire cela? Mais si nous essayons de recadrer l'image, nous perdrons une partie de l'image et si nous essayons de redimensionner, alors, la clarté de l'image sera perdue. …

17 deep-learning tensorflow keras computer-vision object-detection

Questions marquées «tensorflow»