Statistiques et Big Data conv-neural-network

1

Combien de données pour le deep learning?

J'apprends l'apprentissage en profondeur (en particulier les CNN) et comment cela nécessite généralement énormément de données pour éviter le surapprentissage. Cependant, on m'a également dit que plus la capacité / le nombre de paramètres d'un modèle est élevé, plus il faut de données pour éviter le sur-ajustement. Par conséquent, ma …

9 machine-learning neural-networks deep-learning conv-neural-network

2

Convolution 1D dans les réseaux de neurones

Je comprends comment fonctionne la convolution mais je ne comprends pas comment les convolutions 1D sont appliquées aux données 2D. Dans cet exemple, vous pouvez voir une convolution 2D dans une donnée 2D. Mais comment serait-il si c'était une convolution 1D? Juste un noyau 1D glissant de la même manière? …

9 conv-neural-network

2

Champ récepteur des neurones dans LeNet

J'essaie de mieux comprendre les champs réceptifs de CNN. Pour ce faire, je voudrais calculer le champ récepteur de chaque neurone dans LeNet. Pour un MLP normal, c'est plutôt facile (voir http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), mais il est plus difficile de calculer le champ récepteur d'un neurone dans une couche suivant une …

9 deep-learning conv-neural-network

1

Quelles sont les différences entre les filtres appris dans l'autoencodeur et le réseau neuronal convolutionnel?

Dans CNN, nous apprendrons des filtres pour produire une carte d'entités dans une couche convolutionnelle. Dans Autoencoder, chaque unité cachée de chaque couche peut être considérée comme un filtre. Quelle différence entre les filtres appris dans ces deux réseaux?

9 machine-learning neural-networks conv-neural-network autoencoders

1

Qu'est-ce que la prédiction dense dans le Deep Learning?

J'utilise le modèle pré-formé de TensorFlow de réseau neuronal convolutionnel. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 J'ai trouvé la phrase suivante: Cependant, pour les tâches de prédiction denses, nous conseillons d'utiliser des entrées dont les dimensions spatiales sont des multiples de 32 plus 1, par exemple [321, 321]. Quelqu'un sait-il ce qu'est la prédiction dense …

9 neural-networks conv-neural-network

2

Identifiabilité des modèles de réseaux de neurones

Il est assez intuitif que la plupart des topologies / architectures de réseaux de neurones ne soient pas identifiables. Mais quels sont les résultats bien connus sur le terrain? Existe-t-il des conditions simples qui permettent / empêchent l’identifiabilité? Par exemple, tous les réseaux avec des fonctions d'activation non linéaires et …

8 neural-networks conv-neural-network rnn identifiability

2

Existe-t-il des moyens de gérer le gradient de fuite pour les non-linéarités saturantes qui n'impliquent pas la normalisation par lots ou les unités ReLu?

Je voulais former un réseau avec des non-linéarités qui souffrent de la disparition (ou du problème de gradient explosif mais principalement de la disparition). Je sais que la méthode standard (actuelle) consiste à utiliser la normalisation par lots 1 [BN] 1 ou simplement à abandonner la non-linéarité et à utiliser …

8 machine-learning neural-networks conv-neural-network batch-normalization

1

Un réseau de neurones conçu de manière optimale ne contient-il aucun neurone ReLU «mort» lorsqu'il est formé?

En général, dois-je recycler mon réseau de neurones avec moins de neurones afin qu'il ait moins de neurones ReLU morts? J'ai lu des opinions contradictoires sur les ReLU morts. Certaines sources affirment que les ReLU morts sont bons car ils encouragent la rareté. D'autres disent qu'ils sont mauvais parce que …

8 machine-learning neural-networks conv-neural-network

3

Vérification du gradient numérique: à quelle distance est assez proche?

J'ai fait un réseau neuronal convolutionnel et je voulais vérifier que mes gradients sont calculés correctement en utilisant la vérification numérique du gradient. La question est, à quelle distance est assez proche? Ma fonction de vérification crache simplement la dérivée calculée, la dérivée approximée numériquement, la différence entre les deux, …

8 neural-networks conv-neural-network gradient

Questions marquées «conv-neural-network»