Science des données dropout

5

Surajustement du réseau neuronal convolutif. Le décrochage n'aide pas

Je joue un peu avec des convnets. Plus précisément, j'utilise l'ensemble de données kaggle cats-vs-dogs qui consiste en 25000 images étiquetées comme chat ou chien (12500 chacune). J'ai réussi à atteindre une précision de classification d'environ 85% sur mon test, mais je me suis fixé comme objectif d'atteindre une précision …

16 neural-network deep-learning convnet image-recognition dropout

5

Pourquoi l'ajout d'une couche d'abandon améliore-t-il les performances d'apprentissage profond / machine, étant donné que l'abandon supprime certains neurones du modèle?

Si la suppression de certains neurones donne un modèle plus performant, pourquoi ne pas utiliser un réseau neuronal plus simple avec moins de couches et moins de neurones en premier lieu? Pourquoi construire un modèle plus grand et plus compliqué au début et en supprimer des parties plus tard?

13 machine-learning deep-learning keras regularization dropout

3

Existe-t-il de bons modèles de langage prêts à l'emploi pour python?

Je prototype une application et j'ai besoin d'un modèle de langage pour calculer la perplexité sur certaines phrases générées. Existe-t-il un modèle de langage formé en python que je peux facilement utiliser? Quelque chose de simple comme model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = …

11 python nlp language-model r statistics linear-regression machine-learning classification random-forest xgboost python sampling data-mining orange predictive-modeling recommender-system statistics dimensionality-reduction pca machine-learning python deep-learning keras reinforcement-learning neural-network image-classification r dplyr deep-learning keras tensorflow lstm dropout machine-learning sampling categorical-data data-imputation machine-learning deep-learning machine-learning-model dropout deep-network pandas data-cleaning data-science-model aggregation python neural-network reinforcement-learning policy-gradients r dataframe dataset statistics prediction forecasting r k-means python scikit-learn labels python orange cloud-computing machine-learning neural-network deep-learning rnn recurrent-neural-net logistic-regression missing-data deep-learning autoencoder apache-hadoop time-series data preprocessing classification predictive-modeling time-series machine-learning python feature-selection autoencoder deep-learning keras tensorflow lstm word-embeddings predictive-modeling prediction machine-learning-model machine-learning classification binary theory machine-learning neural-network time-series lstm rnn neural-network deep-learning keras tensorflow convnet computer-vision

2

Abandon sur quelles couches de LSTM?

En utilisant un multicouche LSTMavec dropout, est-il conseillé de mettre le dropout sur tous les calques cachés ainsi que sur les calques Denses en sortie? Dans l'article de Hinton (qui proposait Dropout), il ne plaçait Dropout que sur les couches Denses, mais c'était parce que les couches internes cachées étaient …

11 neural-network lstm rnn dropout stacked-lstm

1

Comment fonctionne exactement DropOut avec les couches convolutives?

Dropout ( papier , explication ) met la sortie de certains neurones à zéro. Donc, pour un MLP, vous pouvez avoir l'architecture suivante pour le jeu de données Iris flower : 4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax) Cela fonctionnerait comme ceci: s o …

10 dropout

2

Existe-t-il des études qui examinent le décrochage par rapport aux autres régularisations?

Y a-t-il des articles publiés qui montrent des différences dans les méthodes de régularisation pour les réseaux de neurones, de préférence sur différents domaines (ou au moins différents ensembles de données)? Je pose la question parce que j'ai actuellement le sentiment que la plupart des gens semblent n'utiliser que le …

9 neural-network computer-vision convnet regularization dropout

Questions marquées «dropout»