Statistiques et Big Data bagging

7

Mise en sac, boost et empilement dans l'apprentissage automatique

Quelles sont les similitudes et les différences entre ces 3 méthodes: Ensachage, Boosting, Empiler? Quel est le meilleur? Et pourquoi? Pouvez-vous me donner un exemple pour chacun?

245 machine-learning boosting ensemble bagging model-averaging

5

La forêt aléatoire est-elle un algorithme de boosting?

Courte définition du boosting : Un ensemble d’apprenants faibles peut-il créer un seul apprenant fort? Un apprenant faible est défini comme un classifieur peu corrélé avec la vraie classification (il peut mieux étiqueter des exemples que des suppositions aléatoires). Définition courte de forêt aléatoire : Random Forests cultive de nombreux …

51 machine-learning random-forest boosting bagging

2

Est-ce la méthodologie de régression de l'état de l'art?

Cela fait longtemps que je suis des compétitions Kaggle et je me rends compte que de nombreuses stratégies gagnantes impliquent l’utilisation d’au moins un des «trois grands»: l’ensachage, le boost et l’empilement. Pour les régressions, plutôt que de se concentrer sur la construction d'un meilleur modèle de régression possible, la …

33 predictive-models boosting bagging stacking model-averaging

2

À quoi fait référence la «taille du nœud» dans la forêt aléatoire?

Je ne comprends pas exactement ce que l'on entend par taille de nœud. Je sais ce qu'est un nœud de décision, mais pas sa taille.

20 machine-learning random-forest bagging

3

Quand ne devrais-je pas utiliser un classificateur d'ensemble?

En général, dans un problème de classification où le but est de prédire avec précision l'appartenance à une classe hors échantillon, quand ne devrais-je pas utiliser un classificateur d'ensemble? Cette question est étroitement liée à Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble? . Cette question demande pourquoi nous n'utilisons pas …

17 classification boosting ensemble bagging

1

Quelles sont les garanties théoriques de l'ensachage

J'ai (approximativement) entendu que: l'ensachage est une technique pour réduire la variance d'un prédicteur / estimateur / algorithme d'apprentissage. Cependant, je n'ai jamais vu de preuve mathématique formelle de cette affirmation. Est-ce que quelqu'un sait pourquoi c'est mathématiquement vrai? Il semble que ce soit un fait si largement accepté / …

17 machine-learning mathematical-statistics bagging

1

Boosting et ensachage des arbres (XGBoost, LightGBM)

Il existe de nombreux articles de blog, vidéos YouTube, etc. sur les idées d' ensachage ou de renforcement des arbres. Ma compréhension générale est que le pseudo-code pour chacun est: Ensachage: Prélever N échantillons aléatoires de x% des échantillons et y% des fonctionnalités Ajustez votre modèle (par exemple, arbre de …

17 cart boosting xgboost bagging

1

Quelle méthode de comparaison multiple utiliser pour un modèle lmer: lsmeans ou glht?

J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Ensuite, j'ai effectué un test de rapport de …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Pourquoi la fonction d'amorçage scikit-learn rééchantillonne-t-elle l'ensemble de test?

Lors de l'utilisation du bootstrap pour l'évaluation de modèles, j'ai toujours pensé que les échantillons hors sac étaient directement utilisés comme ensemble de test. Cependant, cela ne semble pas être le cas pour l' approche obsolète de scikit-learnBootstrap , qui semble construire l'ensemble de test à partir d'un dessin avec …

15 cross-validation bootstrap random-forest scikit-learn bagging

1

Quels algorithmes d'ensachage sont dignes successeurs de Random Forest?

Pour booster les algorithmes, je dirais qu'ils ont assez bien évolué. Au début de 1995, AdaBoost a été introduit, puis après un certain temps, c'était Gradient Boosting Machine (GBM). Récemment, vers 2015, XGBoost a été introduit, ce qui est précis, gère le sur-ajustement et est devenu un gagnant de plusieurs …

14 random-forest boosting bagging

5

Algorithme de forêt aléatoire et d'arbre de décision

Une forêt aléatoire est une collection d'arbres de décision suivant le concept d'ensachage. Lorsque nous passons d'un arbre de décision à l'arbre de décision suivant, comment les informations apprises par le dernier arbre de décision passent-elles au suivant? Parce que, selon ma compréhension, il n'y a rien de tel qu'un …

14 machine-learning random-forest cart bagging

3

La forêt aléatoire et l'amplification sont-elles paramétriques ou non paramétriques?

En lisant l'excellente modélisation statistique: Les deux cultures (Breiman 2001) , nous pouvons saisir toute la différence entre les modèles statistiques traditionnels (par exemple, la régression linéaire) et les algorithmes d'apprentissage automatique (par exemple, Bagging, Random Forest, Boosted trees ...). Breiman critique les modèles de données (paramétriques) car ils sont …

13 machine-learning data-mining random-forest boosting bagging

1

Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble?

Il me semble que l'apprentissage d'ensemble donnera toujours de meilleures performances prédictives qu'avec une seule hypothèse d'apprentissage. Alors, pourquoi ne les utilisons-nous pas tout le temps? Je suppose que c'est peut-être à cause de limitations informatiques? (même alors, nous utilisons des prédicteurs faibles, donc je ne sais pas).

13 boosting ensemble bagging

2

Pourquoi un arbre ensaché / un arbre forestier aléatoire a-t-il un biais plus élevé qu'un arbre de décision unique?

Si nous considérons un arbre de décision complet (c'est-à-dire un arbre de décision non élagué), il présente une variance élevée et un faible biais. L'ensachage et les forêts aléatoires utilisent ces modèles à variance élevée et les agrègent afin de réduire la variance et ainsi améliorer la précision des prévisions. …

11 variance random-forest cart bias bagging

1

Prédiction probabiliste de forêt aléatoire vs vote majoritaire

Scikit learn semble utiliser la prédiction probabiliste au lieu du vote majoritaire pour la technique d'agrégation du modèle sans expliquer pourquoi (1.9.2.1. Forêts aléatoires). Y a-t-il une explication claire pourquoi? De plus, existe-t-il un bon article ou article de synthèse sur les différentes techniques d'agrégation de modèles pouvant être utilisées …

10 random-forest python scikit-learn aggregation bagging

Questions marquées «bagging»