Statistiques et Big Data boosting

1

Fonction de perte de déviance binomiale de Scikit

C'est la fonction de perte de déviance binomiale de scikit GradientBoosting, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0 * np.mean((y * pred) - np.logaddexp(0.0, pred)) else: return …

11 machine-learning scikit-learn boosting loss-functions

1

Comment calculer les scores de confiance en régression (avec forêts aléatoires / XGBoost) pour chaque prédiction dans R?

Existe-t-il un moyen d'obtenir un score de confiance (on peut également l'appeler valeur de confiance ou probabilité) pour chaque valeur prédite lors de l'utilisation d'algorithmes comme Random Forests ou Extreme Gradient Boosting (XGBoost)? Supposons que ce score de confiance varie de 0 à 1 et montre à quel point je …

11 r regression random-forest prediction boosting

1

Comment utiliser le moignon de décision comme apprenant faible dans Adaboost?

Je souhaite implémenter Adaboost à l'aide de Decision Stump. Est-il correct de prendre autant de décisions que les fonctionnalités de notre ensemble de données à chaque itération d'Adaboost? Par exemple, si j'ai un ensemble de données avec 24 fonctionnalités, dois-je avoir 24 classificateur de moignon de décision à chaque itération? …

11 machine-learning classification cart boosting

1

Forêt aléatoire vs Adaboost

Dans la section 7 de l'article Random Forests (Breiman, 1999), l'auteur énonce la conjecture suivante: "Adaboost est une forêt aléatoire". Quelqu'un a-t-il prouvé ou réfuté cela? Qu'est-ce qui a été fait pour prouver ou infirmer ce post 1999?

10 machine-learning random-forest boosting

2

Pourquoi Adaboost avec des arbres de décision?

J'ai lu un peu sur le renforcement des algorithmes pour les tâches de classification et Adaboost en particulier. Je comprends que le but d'Adaboost est de prendre plusieurs "apprenants faibles" et, à travers un ensemble d'itérations sur les données de formation, de pousser les classificateurs à apprendre à prédire les …

10 machine-learning classification algorithms boosting

3

Comment obtenir l'intervalle de confiance sur le changement du carré de la population

Pour un exemple simple, supposons qu'il existe deux modèles de régression linéaire Modèle 1 a trois prédicteurs, x1a, x2betx2c Le modèle 2 a trois prédicteurs du modèle 1 et deux prédicteurs supplémentaires x2aetx2b Il existe une équation de régression de la population où la variance de la population expliquée est …

10 regression confidence-interval estimation r-squared shrinkage anova t-test references tukey-hsd machine-learning boosting r clustering fishers-exact generalized-linear-model model probit link-function r survival probability distributions dice logistic lme4-nlme glmm meta-analysis distributions distributions factor-analysis r anova repeated-measures post-hoc

1

Taille de l'arbre dans le boosting d'arbre dégradé

L'amplification des arbres à gradient comme proposé par Friedman utilise des arbres de décision avec Jdes nœuds terminaux (= feuilles) comme apprenants de base. Il existe un certain nombre de façons de faire pousser un arbre avec exactement des Jnœuds, par exemple, on peut faire pousser l'arbre en premier lieu …

10 r cart boosting

1

Comment fonctionne l'apprenant de base linéaire pour stimuler? Et comment ça marche dans la bibliothèque xgboost?

Je sais comment implémenter une fonction objectif linéaire et des boosts linéaires dans XGBoost. Ma question concrète est la suivante: lorsque l'algorithme correspond au résiduel (ou au gradient négatif), utilise-t-il une caractéristique à chaque étape (c.-à-d. Modèle univarié) ou toutes les caractéristiques (modèle multivarié)? Toute référence à la documentation sur …

9 regression machine-learning boosting xgboost

1

Réconciliation des arbres de régression boostés (BRT), des modèles boostés généralisés (GBM) et de la machine de boosting de gradient (GBM)

Des questions: Quelle est la différence entre les arbres de régression boostés (BRT) et les modèles boostés généralisés (GBM)? Peuvent-ils être utilisés de manière interchangeable? L'un est-il une forme spécifique de l'autre? Pourquoi Ridgeway a-t-il utilisé l'expression "modèles de régression généralisée boostée" (GBM) pour décrire ce que Friedman avait précédemment …

9 machine-learning boosting gbm

2

Estimation d'erreur hors du sac pour augmenter?

Dans Random Forest, chaque arbre est cultivé en parallèle sur un échantillon boostrap unique des données. Étant donné que chaque échantillon boostrap devrait contenir environ 63% d'observations uniques, cela laisse environ 37% d'observations, qui peuvent être utilisées pour tester l'arbre. Maintenant, il semble que dans le boosting de gradient stochastique, …

9 machine-learning cross-validation data-mining random-forest boosting

2

Comment trouver des valeurs optimales pour les paramètres de réglage dans les arbres boostés?

Je me rends compte qu'il y a 3 paramètres de réglage dans le modèle de boosting trees, c'est-à-dire le nombre d'arbres (nombre d'itérations) paramètre de rétrécissement nombre de divisions (taille de chaque arbre constitutif) Ma question est: pour chacun des paramètres de réglage, comment dois-je trouver sa valeur optimale? Et …

9 machine-learning cross-validation computational-statistics boosting gbm

1

Comment comparer les événements observés aux événements attendus?

Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

2

Comment un taux d'apprentissage plus faible peut-il nuire aux performances d'un gbm?

J'ai toujours souscrit à la sagesse populaire selon laquelle la diminution du taux d'apprentissage dans un gbm (modèle d'arbre boosté par gradient) ne nuit pas aux performances hors échantillon du modèle. Aujourd'hui, je n'en suis pas si sûr. J'ajuste des modèles (minimisant la somme des erreurs quadratiques) au jeu de …

9 machine-learning boosting out-of-sample

1

Définition de la complexité d'un arbre dans xgboost

En faisant des recherches sur l'algorithme xgboost, j'ai parcouru la documentation . Dans cette approche, les arbres sont régularisés en utilisant la définition de la complexité Ω ( f) = γT+12λ∑j = 1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 où γγ\gamma et λλ\lambda sont des paramètres, TTT …

9 cart regularization boosting gradient-descent overfitting

1

Puis-je combiner de nombreux arbres améliorant le gradient en utilisant la technique d'ensachage

Basé sur Gradient Boosting Tree vs Random Forest . GBDT et RF utilisant une stratégie différente pour lutter contre le biais et la variance. Ma question est la suivante: puis-je rééchantillonner l'ensemble de données (avec remplacement) pour former plusieurs GBDT et combiner leurs prédictions comme résultat final? C'est équivalent à …

8 random-forest cart boosting bagging gradient

Questions marquées «boosting»