Statistiques et Big Data boosting

2

Eh bien récemment, je travaillais sur l'apprentissage d'algorithmes de renforcement, tels que adaboost, gradient boost, et je savais que le plus faible apprenant utilisé était les arbres. Je veux vraiment savoir s'il existe des exemples récents de succès (je veux dire des articles ou des articles) pour utiliser les réseaux …

21 neural-networks deep-learning boosting ensemble dropout

4

«Apprentissage semi-supervisé» - est-ce trop adapté?

Je lisais le rapport de la solution gagnante d'un concours Kaggle ( Malware Classification ). Le rapport peut être trouvé dans cet article du forum . Le problème était un problème de classification (neuf classes, la métrique était la perte logarithmique) avec 10000 éléments dans le train, 10000 éléments dans …

21 machine-learning random-forest boosting overfitting semi-supervised

4

Comment projeter un nouveau vecteur sur l'espace PCA?

Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon vecteur par la matrice de rotation PCA. Les …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

2

AdaBoost est-il moins ou plus sujet au sur-ajustement?

J'ai lu diverses déclarations (apparemment) contradictoires, que AdaBoost (ou d'autres techniques de boosting) soient ou non sujettes à un sur-ajustement par rapport à d'autres méthodes d'apprentissage. Y a-t-il de bonnes raisons de croire l'un ou l'autre? Si cela dépend, de quoi dépend-il? Quelles sont les raisons pour lesquelles AdaBoost est …

20 machine-learning boosting

3

Arbres boostés par gradient XGBoost vs Python Sklearn

J'essaie de comprendre comment fonctionne XGBoost. Je comprends déjà comment les arbres boostés par le gradient fonctionnent sur Python sklearn. Ce qui n'est pas clair pour moi, c'est si XGBoost fonctionne de la même manière, mais plus rapidement, ou s'il existe des différences fondamentales entre celui-ci et l'implémentation de python. …

20 scikit-learn boosting gbm xgboost

1

Discussion sur l'overfit dans xgboost

Ma configuration est la suivante: Je suis les directives dans "Modélisation prédictive appliquée". J'ai donc filtré les fonctionnalités corrélées et je me retrouve avec ce qui suit: 4900 points de données dans l'ensemble d'apprentissage et 1600 points de données dans l'ensemble de test. J'ai 26 fonctionnalités et la cible est …

20 machine-learning boosting overfitting

3

Un moignon de décision est-il un modèle linéaire?

Le moignon de décision est un arbre de décision avec une seule division. Il peut également être écrit comme une fonction par morceaux. Par exemple, supposons que xxx est un vecteur, et x1x1x_1 est le premier composant de , dans le cadre de la régression, un moignon de décision peut …

19 machine-learning cart linear boosting

2

Boosting: pourquoi le taux d'apprentissage est-il appelé paramètre de régularisation?

Le paramètre de taux d'apprentissage ( ) dans Gradient Boosting réduit la contribution de chaque nouveau modèle de base - généralement un arbre peu profond - qui est ajouté dans la série. Il s'est avéré augmenter considérablement la précision de l'ensemble de test, ce qui est compréhensible car avec des …

19 machine-learning data-mining predictive-models boosting overfitting

1

Intervalle de prédiction basé sur la validation croisée (CV)

Dans les manuels et les conférences sur YouTube, j'ai beaucoup appris sur les modèles itératifs tels que le boost, mais je n'ai jamais rien vu sur la dérivation d'un intervalle de prédiction. La validation croisée est utilisée pour les éléments suivants: Sélection des modèles: essayez différents modèles et choisissez celui …

19 cross-validation boosting prediction-interval

1

Calibrage d'un classificateur boosté multi-classes

J'ai lu l'article d'Alexandru Niculescu-Mizil et Rich Caruana " Obtention de probabilités calibrées à partir du boost " et la discussion dans ce fil. Cependant, j'ai toujours du mal à comprendre et à implémenter la logistique ou la mise à l' échelle de Platt pour calibrer la sortie de mon …

19 machine-learning boosting

3

Quand ne devrais-je pas utiliser un classificateur d'ensemble?

En général, dans un problème de classification où le but est de prédire avec précision l'appartenance à une classe hors échantillon, quand ne devrais-je pas utiliser un classificateur d'ensemble? Cette question est étroitement liée à Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble? . Cette question demande pourquoi nous n'utilisons pas …

17 classification boosting ensemble bagging

1

Boosting et ensachage des arbres (XGBoost, LightGBM)

Il existe de nombreux articles de blog, vidéos YouTube, etc. sur les idées d' ensachage ou de renforcement des arbres. Ma compréhension générale est que le pseudo-code pour chacun est: Ensachage: Prélever N échantillons aléatoires de x% des échantillons et y% des fonctionnalités Ajustez votre modèle (par exemple, arbre de …

17 cart boosting xgboost bagging

2

Classification avec renforcement du gradient: comment conserver la prédiction dans [0,1]

La question J'ai du mal à comprendre comment la prédiction est maintenue dans l' intervalle lorsque je fais une classification binaire avec Gradient Boosting.[0,1][0,1][0,1] Supposons que nous travaillons sur un problème de classification binaire, et notre fonction objective est la perte de log, , où est la variable cible et …

17 logistic classification boosting

2

Dans quelles conditions les machines de renforcement de gradient surpassent-elles les forêts aléatoires?

La machine de boosting de gradient de Friedman peut -elle obtenir de meilleures performances que la forêt aléatoire de Breiman ? Si oui, dans quelles conditions ou quel type de jeu de données peut-il améliorer gbm?

16 machine-learning data-mining random-forest boosting

2

La classification GBM souffre-t-elle de tailles de classe déséquilibrées?

J'ai affaire à un problème de classification binaire supervisé. Je voudrais utiliser le package GBM pour classer les individus comme non infectés / infectés. J'ai 15 fois plus de personnes non infectées que de personnes infectées. Je me demandais si les modèles GBM souffraient en cas de tailles de classe …

16 r machine-learning boosting unbalanced-classes gbm

Questions marquées «boosting»