Science des données overfitting

5

Je crée un corr()df à partir d'un df d'origine. Le corr()df est sorti 70 X 70 et il est impossible de visualiser le heatmap ... sns.heatmap(df). Si j'essaie d'afficher le corr = df.corr(), le tableau ne correspond pas à l'écran et je peux voir toutes les corrélations. Est-ce un moyen …

16 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

2

Un sur-ajustement peut-il se produire même avec une perte de validation en baisse?

J'ai un modèle convolutionnel + LSTM à Keras, similaire à celui-ci (réf 1), que j'utilise pour un concours Kaggle. L'architecture est illustrée ci-dessous. Je l'ai formé sur mon ensemble étiqueté de 11000 échantillons (deux classes, la prévalence initiale est ~ 9: 1, j'ai donc suréchantillonné les 1 à environ un …

12 keras cross-validation overfitting

4

Comment savoir que le modèle a commencé à sur-ajuster?

J'espère que les extraits suivants donneront un aperçu de ce que sera ma question. Ils proviennent de http://neuralnetworksanddeeplearning.com/chap3.html L'apprentissage ralentit ensuite progressivement. Enfin, vers l'époque 280, la précision de la classification cesse de s'améliorer. Les époques ultérieures ne voient que de petites fluctuations stochastiques proches de la valeur de la …

12 neural-network overfitting

2

La précision du modèle à 100% sur les données hors échantillon est-elle sur-adaptée?

Je viens de terminer le cours d'apprentissage automatique pour R sur cognitiveclass.ai et j'ai commencé à expérimenter avec randomforests. J'ai créé un modèle en utilisant la bibliothèque "randomForest" dans R. Le modèle classe par deux classes, bonnes et mauvaises. Je sais que lorsqu'un modèle est surajusté, il fonctionne bien sur …

11 r random-forest prediction overfitting

2

Pourquoi le sur-ajustement ne détruit-il pas les réseaux de neurones pour la classification MNIST?

J'ai un réseau neuronal simple (NN) pour la classification MNIST. Il comprend 2 couches cachées, chacune avec 500 neurones. Les dimensions du NN sont donc: 784-500-500-10. ReLU est utilisé dans tous les neurones, softmax est utilisé en sortie et l'entropie croisée est la fonction de perte. Ce qui m'intrigue, c'est …

8 machine-learning neural-network classification overfitting

2

Un sur-ajustement peut-il se produire dans les algorithmes d'optimisation avancée?

en prenant un cours en ligne sur l'apprentissage automatique par Andrew Ng sur coursera, je suis tombé sur un sujet appelé surapprentissage . Je sais que cela peut se produire lorsque la descente de gradient est utilisée dans une régression linéaire ou logistique, mais peut-elle se produire lorsque des algorithmes …

8 machine-learning regression optimization gradient-descent overfitting

3

Question de surajustement

Considérez-vous cela comme un sur-ajustement?

7 overfitting

Questions marquées «overfitting»