Existe-t-il une stratégie pour choisir le nombre d'arbres dans un GBM? Plus précisément, l' ntreesargument dans Rla gbmfonction de.
Je ne vois pas pourquoi vous ne devriez pas définir ntreesla valeur raisonnable la plus élevée. J'ai remarqué qu'un plus grand nombre d'arbres réduit clairement la variabilité des résultats de plusieurs GBM. Je ne pense pas qu'un nombre élevé d'arbres conduirait à un sur-ajustement.
Des pensées?
Réponses:
C'est GBM:
" Je ne pense pas que ... " a été la première partie dangereuse de nombreuses phrases.
Assez bon n'a pas de sens sans une mesure de bonté, une rubrique.
Quelles sont les mesures de bonté pour toute autre méthode?
Comme un réseau de neurones ou une spline, vous pouvez effectuer une interpolation linéaire par morceaux sur les données et obtenir un modèle qui ne peut pas généraliser. Vous devez abandonner une partie de la "faible erreur" en échange de l'applicabilité générale - généralisation.
Plus de liens:
J'ai trouvé un aperçu du problème: http://cran.r-project.org/web/packages/dismo/vignettes/brt.pdf
La gbm.stepfonction peut être utilisée pour déterminer le nombre optimal d'arbres. Je ne sais toujours pas ce qui fait que la déviance du modèle augmente après un certain nombre d'arbres, donc je suis toujours prêt à accepter une réponse qui répond à cette partie de la question!
Ceci est le guide de travail pour augmenter les arbres de régression d'Elith et al.: Http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2656.2008.01390.x/full Très utile!
Vous devez au moins utiliser 1000 arbres. Pour autant que je sache, vous devez utiliser la combinaison du taux d'apprentissage, de la complexité des arbres et du nombre d'arbres qui produit l'erreur prédictive minimale. Des valeurs plus petites du taux d'apprentissage entraînent un risque d'entraînement plus important pour le même nombre d'itérations, tandis que chaque itération réduit le risque d'entraînement. Si le nombre d'arbres est suffisamment grand, le risque peut être arbitrairement réduit (voir: Hastie et al., 2001, «The Elements of Statistical Learning, Data Mining, Inference and Prediction» ).
Comme cela est courant dans certains algorithmes d'apprentissage automatique, le boost est soumis à un compromis de variance de biais en ce qui concerne le nombre d'arbres. En gros, ce compromis vous dit que: (i) les modèles faibles ont tendance à avoir un biais élevé et une faible variance: ils sont trop rigides pour capturer la variabilité dans l'ensemble de données de formation, donc ne fonctionneront pas bien non plus dans l'ensemble de test (test élevé erreur) (ii) les modèles très forts ont tendance à avoir un biais faible et une variance élevée: ils sont trop flexibles et ils surpassent l'ensemble d'entraînement, donc dans l'ensemble d'essai (comme les points de données sont différents de l'ensemble d'entraînement), ils ne fonctionneront pas non plus bien (erreur de test élevée)
Le concept de Boosting est de commencer avec des arbres peu profonds (modèles faibles) et de continuer à ajouter plus d'arbres peu profonds qui tentent de corriger les faiblesses des arbres précédents. Lorsque vous effectuez ce processus, l'erreur de test a tendance à baisser (car le modèle global devient plus flexible / puissant). Cependant, si vous ajoutez un trop grand nombre de ces arbres, vous commencez à sur-ajuster les données d'entraînement et par conséquent l'erreur de test augmente. La validation croisée aide à trouver le point idéal