Statistiques et Big Data neural-networks

3

Régression linéaire multivariée vs réseau de neurones?

Il semble qu'il soit possible d'obtenir des résultats similaires à ceux d'un réseau de neurones avec une régression linéaire multivariée dans certains cas, et la régression linéaire multivariée est extrêmement rapide et facile. Dans quelles circonstances les réseaux de neurones peuvent-ils donner de meilleurs résultats que la régression linéaire multivariée?

54 regression multiple-regression neural-networks

6

Adam optimiseur avec décroissance exponentielle

Dans la plupart des codes Tensorflow, j'ai constaté qu'Adam Optimizer est utilisé avec un taux d'apprentissage constant 1e-4(0,0001). Le code a généralement l'aspect suivant: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by …

53 neural-networks deep-learning gradient-descent tensorflow adam

2

Comment un réseau de neurones artificiel ANN peut-il être utilisé pour un regroupement non supervisé?

Je comprends comment artificial neural network (ANN), peut être formé de manière supervisée à l’aide de backpropogation pour améliorer l’ajustement en diminuant l’erreur dans les prédictions. J'ai entendu dire qu'un ANN peut être utilisé pour un apprentissage non supervisé, mais comment peut-on le faire sans une fonction de coût quelconque …

53 clustering neural-networks unsupervised-learning self-organizing-maps

5

Réseaux de neurones vs machines à vecteurs de support: les deuxièmes sont-ils définitivement supérieurs?

De nombreux auteurs d'articles que j'ai lus affirment que les SVM sont une technique supérieure pour faire face à leur problème de régression / classification, sachant qu'ils ne pourraient pas obtenir de résultats similaires via les NN. Souvent, la comparaison indique que SVM, au lieu de NN, Avoir une théorie …

52 machine-learning svm neural-networks

1

Quelle doit être la taille du lot pour la descente de gradient stochastique?

Je comprends que la descente de gradient stochastique peut être utilisée pour optimiser un réseau de neurones en utilisant la rétropropagation en mettant à jour chaque itération avec un échantillon différent de l'ensemble de données d'apprentissage. Quelle doit être la taille du lot?

49 machine-learning neural-networks gradient-descent backpropagation

3

Pourquoi la régression logistique est-elle un classifieur linéaire?

Puisque nous utilisons la fonction logistique pour transformer une combinaison linéaire de l’entrée en une sortie non linéaire, comment une régression logistique peut-elle être considérée comme un classifieur linéaire? La régression linéaire est semblable à un réseau de neurones sans la couche cachée, alors pourquoi les réseaux de neurones sont-ils …

49 logistic classification neural-networks

3

Réseaux de neurones récurrents ou récursifs: quel est le meilleur pour la PNL?

Il existe des réseaux de neurones récurrents et des réseaux de neurones récursifs. Les deux sont généralement désignés par le même acronyme: RNN. Selon Wikipedia , NN récurrent est en réalité NN récursif, mais je ne comprends pas vraiment l'explication. De plus, je ne semble pas trouver ce qui est …

48 machine-learning neural-networks deep-learning natural-language

6

Quelles sont les alternatives de descente de gradient?

Gradient Descent a le problème de rester bloqué dans les minima locaux. Nous devons exécuter des temps exponentiels de descente sur gradient afin de trouver les minima globaux. Quelqu'un peut-il me parler de toute alternative de descente de gradient telle qu'appliquée dans l'apprentissage par réseau de neurones, ainsi que de …

47 machine-learning svm neural-networks

2

Pourquoi les réseaux de neurones de convolution n’utilisent-ils pas une machine à vecteurs de support pour la classification?

Au cours des dernières années, les réseaux de neurones convolutifs (CNN) sont devenus le nec plus ultra en matière de reconnaissance d’objets en vision par ordinateur. En règle générale, un CNN se compose de plusieurs couches convolutives, suivies de deux couches entièrement connectées. L'intuition derrière cela est que les couches …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Comprendre que «presque tous les minimums locaux ont une valeur de fonction très similaire à l’optimum global»

Dans un récent post de blog de Rong Ge, il était dit que: On pense que pour de nombreux problèmes, dont l’apprentissage de réseaux profonds, presque tous les minimums locaux ont une valeur fonctionnelle très proche de l’optimum global, et qu’il est donc suffisant de trouver un minimum local. D'où …

46 machine-learning neural-networks optimization deep-learning

1

Différence entre GradientDescentOptimizer et AdamOptimizer (TensorFlow)?

J'ai écrit un simple MLP dans TensorFlow qui modélise une porte XOR . Donc pour: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] il devrait produire les éléments suivants: output_data = [[0.], [1.], [1.], [0.]] Le réseau comporte une couche d'entrée, une couche cachée et une couche de …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Comment fonctionne la méthode d'Adam de descente de gradient stochastique?

Je connais bien les algorithmes de base de descente de gradient pour la formation de réseaux de neurones. J'ai lu le document proposant Adam: ADAM: UNE MÉTHODE D'OPTIMISATION STOCHASTIQUE . Bien que j'ai certainement quelques idées (du moins), le papier semble être trop élevé pour moi en général. Par exemple, …

45 neural-networks optimization gradient-descent adam

4

Comment les noyaux sont-ils appliqués aux cartes de caractéristiques pour produire d'autres cartes de caractéristiques?

J'essaie de comprendre la partie convolution des réseaux de neurones convolutionnels. En regardant la figure suivante: Je n'ai aucun problème à comprendre la première couche de convolution où nous avons 4 noyaux différents (de taille ), que nous convolrons avec l'image d'entrée pour obtenir 4 cartes de caractéristiques.k×kk×kk \times k …

44 machine-learning neural-networks deep-learning conv-neural-network

4

Quelle fonction d'activation pour la couche de sortie?

Alors que le choix des fonctions d'activation pour la couche cachée est assez clair (principalement sigmoïde ou tanh), je me demande comment décider de la fonction d'activation pour la couche en sortie. Les choix courants sont les fonctions linéaires, les fonctions sigmoïdes et les fonctions softmax. Cependant, quand devrais-je utiliser …

44 neural-networks

7

Références de réseaux de neurones (manuels, cours en ligne) pour débutants

Je veux apprendre les réseaux de neurones. Je suis un linguiste informatisé. Je connais des méthodes d’apprentissage statistique et peut coder en Python. Je cherche à commencer avec ses concepts et à connaître un ou deux modèles populaires qui pourraient être utiles du point de vue de la linguistique computationnelle. …

43 neural-networks deep-learning references natural-language computer-vision

Questions marquées «neural-networks»