Statistiques et Big Data ensemble

4

La méthodologie de la forêt aléatoire peut-elle être appliquée aux régressions linéaires?

Les forêts aléatoires fonctionnent en créant un ensemble d'arbres de décision où chaque arbre est créé en utilisant un échantillon bootstrap des données de formation d'origine (échantillon à la fois de variables d'entrée et d'observations). Un processus similaire peut-il être appliqué pour la régression linéaire? Créer k modèles de régression …

14 regression predictive-models ensemble

1

Utilisation de LASSO sur une forêt aléatoire

Je voudrais créer une forêt aléatoire en utilisant le processus suivant: Construisez un arbre sur un échantillon aléatoire des données et des fonctionnalités en utilisant le gain d'informations pour déterminer les divisions Terminer un nœud feuille s'il dépasse une profondeur prédéfinie OU toute scission entraînerait un nombre de feuilles inférieur …

14 classification random-forest lasso ensemble

1

Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble?

Il me semble que l'apprentissage d'ensemble donnera toujours de meilleures performances prédictives qu'avec une seule hypothèse d'apprentissage. Alors, pourquoi ne les utilisons-nous pas tout le temps? Je suppose que c'est peut-être à cause de limitations informatiques? (même alors, nous utilisons des prédicteurs faibles, donc je ne sais pas).

13 boosting ensemble bagging

6

Ressources pour apprendre à mettre en œuvre des méthodes d'ensemble

Je comprends théoriquement (en quelque sorte) comment ils fonctionneraient, mais je ne sais pas comment faire pour utiliser une méthode d'ensemble (comme le vote, les mélanges pondérés, etc.). Quelles sont les bonnes ressources pour mettre en œuvre des méthodes d'ensemble? Existe-t-il des ressources particulières concernant l'implémentation en Python? ÉDITER: Pour …

13 machine-learning python ensemble

2

Existe-t-il un problème théorique avec la moyenne des coefficients de régression pour construire un modèle?

Je veux construire un modèle de régression qui est une moyenne de plusieurs modèles OLS, chacun basé sur un sous-ensemble des données complètes. L'idée derrière cela est basée sur cet article . Je crée k plis et je crée k modèles OLS, chacun sur des données sans l'un des plis. …

13 regression least-squares ensemble

3

Modèle de série chronologique d'ensemble

J'ai besoin d'automatiser les prévisions de séries chronologiques et je ne connais pas à l'avance les caractéristiques de ces séries (saisonnalité, tendance, bruit, etc.). Mon objectif n'est pas d'obtenir le meilleur modèle possible pour chaque série, mais d'éviter les très mauvais modèles. En d'autres termes, obtenir de petites erreurs à …

13 time-series forecasting arima ensemble exponential-smoothing

1

Comment l'augmentation du gradient calcule-t-elle les estimations de probabilité?

J'ai essayé de comprendre le renforcement du gradient en lisant divers blogs et sites Web et en essayant de trouver ma réponse en parcourant par exemple le code source XGBoost. Cependant, je n'arrive pas à trouver une explication compréhensible de la façon dont les algorithmes de renforcement de gradient produisent …

12 machine-learning classification boosting ensemble xgboost

1

Apprentissage en ensemble: Pourquoi l'empilement de modèles est-il efficace?

Récemment, je me suis intéressé à l'empilement de modèles en tant que forme d'apprentissage d'ensemble. En particulier, j'ai expérimenté un peu avec certains jeux de données de jouets pour les problèmes de régression. J'ai essentiellement implémenté des régresseurs individuels de "niveau 0", stocké les prédictions de sortie de chaque régresseur …

10 machine-learning ensemble stacking

3

Limites des méthodes d'ensemble arborescentes dans les petits problèmes n, grands p?

Les méthodes d'ensemble basées sur des arbres telles que la forêt aléatoire et les dérivés subséquents (par exemple, la forêt conditionnelle), prétendent toutes être utiles dans les problèmes dits «petits n , grands p », pour identifier l'importance relative des variables. En effet, cela semble être le cas, mais ma …

10 random-forest small-sample ensemble

1

Comment comparer les événements observés aux événements attendus?

Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

vote dur, vote doux dans les méthodes basées sur l'ensemble

Je lis le Machine Learning pratique avec Scikit-Learn et TensorFlow: Concepts, outils et techniques pour construire des systèmes intelligents . Ensuite, je ne suis pas en mesure de comprendre la différence entre le vote dur et le vote doux dans le contexte des méthodes basées sur l'ensemble. J'en cite des …

9 machine-learning ensemble

1

Comment incorporer de nouvelles informations dans une distribution précédente de Dirichlet?

Mon problème est le suivant: j'ai un ensemble de prédicteurs qui produisent chacun une distribution sur un ensemble de classes. Ce que je voudrais faire, c'est d'abord avoir un préalable non informatif sur l'apparence de cette distribution d'étiquettes, puis le mettre à jour avec la prédiction de chaque membre de …

8 bayesian ensemble dirichlet-distribution

6

Pourquoi prenons-nous la moyenne des prédictions de régression Random Forest?

Dans tous les articles sur la forêt aléatoire (de régression) que j'ai lus, quand vient le temps de rassembler les prédictions de tous les arbres, nous prenons la valeur moyenne comme prédiction. Ma question est pourquoi faisons-nous cela? Existe-t-il une justification statistique pour prendre la moyenne? EDIT: Pour clarifier la …

8 regression random-forest ensemble

2

Les techniques de stimulation utilisent-elles le vote comme toute autre méthode d'ensemble?

Peut-on généraliser toutes les méthodes d'ensemble en utilisant le vote? Les méthodes de stimulation utilisent-elles également le vote pour amener les apprenants faibles dans le modèle final? Ma compréhension de la technique: Boosting: ajoute continuellement un apprenant faible pour booster les points de données qui n'ont pas été correctement classés. …

8 machine-learning boosting ensemble gbm voting-system

1

Comment combiner des modèles de régression?

Disons que j'ai trois ensembles de données de taille chacun:nnn y1y1y_1 = taille des personnes des États-Unis uniquement y2y2y_2 = hauteurs des hommes du monde entier y3y3y_3 = hauteurs des femmes du monde entier Et je construis un modèle linéaire pour chacun avec des facteurs xixix_i , i=1,...,ki=1,...,ki = 1,..., …

8 regression multiple-regression ensemble aggregation

Questions marquées «ensemble»