Statistiques et Big Data deep-learning

2

Comment et pourquoi la normalisation par lots utilise-t-elle des moyennes mobiles pour suivre la précision du modèle pendant son entraînement?

Je lisais le papier de normalisation par lots (BN) (1) et je ne comprenais pas la nécessité d'utiliser des moyennes mobiles pour suivre la précision du modèle et même si j'acceptais que c'était la bonne chose à faire, je ne comprends pas ce qu'ils font exactement. À ma connaissance (ce …

21 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

2

Quelle est la différence entre l'initialiseur de mise à l'échelle de variance et l'initialiseur xavier?

Dans l'implémentation de ResNet par Tensorflow , je trouve qu'ils utilisent l'initialiseur de mise à l'échelle de la variance, je trouve également que l'initialiseur xavier est populaire. Je n'ai pas trop d'expérience à ce sujet, ce qui est mieux en pratique?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

2

Où et pourquoi le deep learning brille-t-il?

Avec toutes les discussions et le battage médiatique sur l'apprentissage profond ces jours-ci, j'ai lu des trucs élémentaires à ce sujet. Je viens de découvrir que ce n'est qu'une autre méthode d'apprentissage automatique pour apprendre des modèles à partir de données. Mais ma question est: d'où vient et pourquoi cette …

20 machine-learning data-mining deep-learning deep-belief-networks

3

Comment utiliser correctement l'arrêt précoce pour former un réseau neuronal profond?

J'ai un modèle de réseau neuronal profond et je dois le former sur mon ensemble de données qui comprend environ 100 000 exemples, mes données de validation contiennent environ 1 000 exemples. Parce qu'il faut du temps pour former chaque exemple (environ 0,5 s pour chaque exemple) et afin d'éviter …

20 neural-networks deep-learning

2

Dans les réseaux neuronaux, pourquoi utiliser des méthodes de gradient plutôt que d'autres métaheuristiques?

Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le recuit simulé, l'optimisation des colonies de fourmis, etc., qui ont été …

20 neural-networks optimization deep-learning gradient-descent backpropagation

3

Importance du nœud de polarisation dans les réseaux de neurones

Je suis curieux de savoir à quel point le nœud de biais est important pour l'efficacité des réseaux neuronaux modernes. Je peux facilement comprendre que cela peut être important dans un réseau peu profond avec seulement quelques variables d'entrée. Cependant, les réseaux neuronaux modernes comme dans l'apprentissage profond ont souvent …

19 neural-networks deep-learning bias-node

2

Que font les couches entièrement connectées dans les CNN?

Je comprends les couches convolutionnelles et de mise en commun, mais je ne vois pas la raison d'une couche entièrement connectée dans les CNN. Pourquoi la couche précédente n'est-elle pas directement connectée à la couche de sortie?

19 neural-networks deep-learning conv-neural-network

4

Quand dois-je utiliser un encodeur automatique variationnel par opposition à un encodeur automatique?

Je comprends la structure de base de l'autoencodeur variationnel et de l'autoencodeur normal (déterministe) et les mathématiques qui les sous-tendent, mais quand et pourquoi préférerais-je un type d'autoencodeur à l'autre? Tout ce que je peux penser, c'est que la distribution préalable des variables latentes de l'autoencodeur variationnel nous permet d'échantillonner …

19 deep-learning autoencoders variational-bayes

5

Quelle est la différence entre «transfert d'apprentissage» et «adaptation de domaine»?

Y a-t-il une différence entre «transfert d'apprentissage» et «adaptation de domaine»? Je ne connais pas le contexte, mais je crois comprendre que nous avons un ensemble de données 1 et que nous nous y entraînons, après quoi nous avons un autre ensemble de données 2 pour lequel nous voulons adapter …

19 deep-learning terminology conv-neural-network transfer-learning domain-adaptation

2

Pourquoi la mise en commun maximale est-elle nécessaire dans les réseaux de neurones convolutifs?

Les réseaux de neurones convolutifs les plus courants contiennent des couches de mise en commun pour réduire les dimensions des caractéristiques de sortie. Pourquoi ne pourrais-je pas réaliser la même chose en augmentant simplement la foulée de la couche convolutionnelle? Qu'est-ce qui rend la couche de mise en commun nécessaire?

18 deep-learning conv-neural-network pooling

3

Modèles (jouets) emblématiques de réseaux de neurones

Mes professeurs de physique au lycée, ainsi que le noble lauréat Feynman, présentaient toujours ce qu'ils appelaient des modèles de jouets pour illustrer les concepts et méthodes de base en physique, tels que l'oscillateur harmonique, le pendule, la toupie et la boîte noire. Quels modèles de jouets sont utilisés pour …

18 machine-learning neural-networks deep-learning

2

Deep learning vs arbres de décision et méthodes de boosting

Je recherche des articles ou des textes qui comparent et discutent (empiriquement ou théoriquement): Les algorithmes de boosting et d' arbres de décision tels que Random Forests ou AdaBoost et GentleBoost ont été appliqués aux arbres de décision. avec Méthodes d'apprentissage en profondeur telles que les machines Boltzmann restreintes , …

18 machine-learning deep-learning cart rbm adaboost

2

Les méthodes de recherche en ligne sont-elles utilisées dans le deep learning? Pourquoi pas?

De nombreux didacticiels en ligne parlent de la descente de gradient et presque tous utilisent une taille de pas fixe (taux d'apprentissage ). Pourquoi n'y a-t-il pas d'utilisation de la recherche de ligne (comme la recherche de ligne en arrière ou la recherche de ligne exacte)?αα\alpha

18 machine-learning neural-networks optimization deep-learning

2

Les échantillons d'apprentissage prélevés au hasard pour les mini-réseaux de neurones d'apprentissage doivent-ils être prélevés sans remplacement?

Nous définissons une époque comme ayant parcouru l'intégralité de tous les échantillons d'apprentissage disponibles, et la taille du mini-lot comme le nombre d'échantillons sur lesquels nous faisons la moyenne pour trouver les mises à jour des poids / biais nécessaires pour descendre le gradient. Ma question est de savoir si …

18 machine-learning neural-networks optimization deep-learning

4

À propos de CNN, des noyaux et de l'invariance d'échelle / rotation

J'ai quelques questions qui me portent à confusion concernant le CNN. 1) Les caractéristiques extraites à l'aide de CNN sont invariantes d'échelle et de rotation? 2) Les noyaux que nous utilisons pour la convolution avec nos données sont déjà définis dans la littérature? quel genre de ces grains sont? est-ce …

18 neural-networks deep-learning conv-neural-network

Questions marquées «deep-learning»