Statistiques et Big Data neural-networks

2

fonction d'activation tanh vs fonction d'activation sigmoïde

La fonction d'activation de tanh est: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Où , la fonction sigmoïde, est définie comme suit: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Des questions: Est-ce vraiment important d'utiliser ces deux fonctions d'activation (tanh vs sigma)? Quelle fonction …

82 machine-learning neural-networks optimization cost-maximization

4

Pourquoi les réseaux de neurones deviennent-ils plus profonds, mais pas plus larges?

Au cours des dernières années, les réseaux de neurones convolutionnels (ou peut-être les réseaux de neurones profonds en général) sont devenus de plus en plus profonds, avec des réseaux à la pointe de la technologie allant de 7 couches ( AlexNet ) à 1 000 couches ( réseaux résiduels) en …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Pourquoi les chercheurs en réseaux de neurones se soucient-ils des époques?

Une époque en descente de gradient stochastique est définie comme un passage unique dans les données. Pour chaque minibatch SGD, échantillons sont extraits, le gradient calculé et les paramètres mis à jour. Dans le réglage d'époque, les échantillons sont prélevés sans remplacement.kkk Mais cela semble inutile. Pourquoi ne pas dessiner …

69 neural-networks deep-learning gradient-descent

6

Quels sont les bons poids initiaux dans un réseau de neurones?

Je viens d’entendre que c’est une bonne idée de choisir les poids initiaux d’un réseau de neurones dans la plage , où est le nombre d'entrées dans un neurone donné. On suppose que les ensembles sont normalisés - moyenne 0, variance 1 (je ne sais pas si cela compte).d(−1d√,1d√)(-1ré,1ré)(\frac{-1}{\sqrt d} …

68 neural-networks normalization

3

Manière d'utiliser le réseau de neurones récurrents pour l'analyse de séries chronologiques

Les réseaux de neurones récurrents diffèrent des réseaux "normaux" par le fait qu'ils ont une couche "mémoire". En raison de cette couche, les NN récurrents sont supposés être utiles dans la modélisation de séries chronologiques. Cependant, je ne suis pas sûr de bien comprendre comment les utiliser. Supposons que j'ai …

67 time-series machine-learning neural-networks

4

Où devrais-je placer des couches de décrochage dans un réseau de neurones?

Existe-t-il des directives générales sur l'emplacement des couches d'abandon dans un réseau de neurones?

65 neural-networks dropout

5

Quelle fonction de perte pour les tâches de classification multi-classes, multi-étiquettes dans les réseaux de neurones?

J'entraîne un réseau de neurones pour classer un ensemble d'objets dans n-classes. Chaque objet peut appartenir à plusieurs classes à la fois (multi-classes, multi-étiquettes). J'ai lu que pour les problèmes multi-classes, il est généralement recommandé d'utiliser une entropie croisée catégorique et softmax comme fonction de perte au lieu de mse …

64 neural-networks python loss-functions keras cross-entropy

12

Pourquoi les réseaux de neurones ont-ils besoin de nombreux exemples de formation?

Un enfant humain de 2 ans a besoin d'environ 5 voitures pour pouvoir l'identifier avec une précision raisonnable, quelle que soit sa couleur, sa marque, etc. À mon fils de 2 ans, il était capable d'identifier les tramways et les trains juste un peu. Puisqu'il confondait généralement l'un avec l'autre, …

64 neural-networks neuroscience

3

Quelle est la différence entre un réseau de neurones et un réseau de conviction profonde?

J'ai l'impression que lorsque les gens font référence à un réseau de «croyance profonde», il s'agit en réalité d'un réseau de neurones mais de très grande taille. Est-ce correct ou un réseau de conviction profonde implique-t-il également que l'algorithme lui-même est différent (c'est-à-dire, pas de réseau neuronal à feed forward, …

62 machine-learning neural-networks deep-learning deep-belief-networks

9

Comment et pourquoi la normalisation et la mise à l'échelle des fonctionnalités fonctionnent-elles?

Je constate que de nombreux algorithmes d’apprentissage automatique fonctionnent mieux avec une annulation moyenne et une égalisation de covariance. Par exemple, les réseaux de neurones ont tendance à converger plus rapidement et K-Means offre généralement un meilleur clustering avec des fonctionnalités pré-traitées. Je ne vois pas l'intuition derrière ces étapes …

61 machine-learning neural-networks covariance normalization

3

Quelle est la différence entre les réseaux de neurones feed-forward et récurrents?

Quelle est la différence entre un réseau de neurones feed-forward et récurrent ? Pourquoi voudriez-vous utiliser l'un sur l'autre? Existe-t-il d'autres topologies de réseau?

59 machine-learning neural-networks terminology rnn topologies

10

Erreur de validation inférieure à l'erreur d'apprentissage?

J'ai trouvé deux questions ici et ici à propos de ce problème, mais il n'y a pas encore de réponse ou d'explication évidente. J'applique le même problème lorsque l'erreur de validation est inférieure à l'erreur d'apprentissage dans mon réseau de neurones à convolution. Qu'est-ce que ça veut dire?

58 machine-learning mathematical-statistics neural-networks cross-validation

4

Quelles sont les différences entre PCA et autoencoder?

La PCA et l’auto-encodeur peuvent tous deux réduire la démence. Quelle est la différence entre eux? Dans quelle situation devrais-je utiliser l'un plutôt que l'autre?

56 machine-learning pca neural-networks autoencoders

8

R bibliothèques pour l'apprentissage en profondeur

Je me demandais s'il existait de bonnes bibliothèques R pour les réseaux de neurones d'apprentissage en profondeur? Je sais qu'il ya la nnet, neuralnetet RSNNS, mais aucun d' entre eux semblent mettre en œuvre des méthodes d'apprentissage en profondeur. Je suis particulièrement intéressé par les activités non supervisées suivies par …

56 r neural-networks deep-learning rbm deep-belief-networks

2

Qu'est-ce que la couche de pooling maximale globale et quel est son avantage par rapport à la couche de covoiturage maxi?

Quelqu'un peut-il expliquer ce qu'est une couche de pooling maximum global et pourquoi et quand l'utilisons-nous pour la formation d'un réseau de neurones? Ont-ils un avantage sur la couche de pooling ordinaire?

55 neural-networks conv-neural-network pooling

Questions marquées «neural-networks»