Statistiques et Big Data gradient

2

Augmentation de gradient pour la régression linéaire - pourquoi cela ne fonctionne-t-il pas?

Lors de l'apprentissage de Gradient Boosting, je n'ai jamais entendu parler de contraintes concernant les propriétés d'un "classificateur faible" que la méthode utilise pour construire et modéliser un modèle. Cependant, je ne pouvais pas imaginer une application de Go utilisant une régression linéaire, et en fait, après avoir effectué certains …

35 regression machine-learning boosting ensemble gradient

1

L'amplification du gradient est-elle appropriée pour les données avec de faibles taux d'événements comme 1%?

J'essaie d'augmenter le gradient sur un ensemble de données avec un taux d'événements d'environ 1% en utilisant Enterprise Miner, mais il ne parvient à produire aucune sortie. Ma question est, puisqu'il s'agit d'une approche basée sur un arbre de décision, est-il même juste d'utiliser l'augmentation de gradient avec un événement …

14 boosting unbalanced-classes rare-events gradient

2

Dérivant le gradient d'un réseau neuronal à une seule couche par rapport à ses entrées, quel est l'opérateur dans la règle de chaîne?

Le problème est: Dérivez le gradient par rapport à la couche d'entrée pour un réseau neuronal à couche cachée unique en utilisant sigmoïde pour l'entrée -> caché, softmax pour caché -> la sortie, avec une perte d'entropie croisée. Je peux passer la majeure partie de la dérivation en utilisant la …

9 neural-networks gradient

3

Descente en gradient sur des fonctions non convexes

Quelles situations connaissons-nous où la descente de gradient peut converger (soit vers un point critique, soit vers un minimum local / global) pour des fonctions non convexes? Pour SGD sur les fonctions non convexes, un type de preuve a été examiné ici, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent gradient sgd non-convex

1

Puis-je combiner de nombreux arbres améliorant le gradient en utilisant la technique d'ensachage

Basé sur Gradient Boosting Tree vs Random Forest . GBDT et RF utilisant une stratégie différente pour lutter contre le biais et la variance. Ma question est la suivante: puis-je rééchantillonner l'ensemble de données (avec remplacement) pour former plusieurs GBDT et combiner leurs prédictions comme résultat final? C'est équivalent à …

8 random-forest cart boosting bagging gradient

3

Vérification du gradient numérique: à quelle distance est assez proche?

J'ai fait un réseau neuronal convolutionnel et je voulais vérifier que mes gradients sont calculés correctement en utilisant la vérification numérique du gradient. La question est, à quelle distance est assez proche? Ma fonction de vérification crache simplement la dérivée calculée, la dérivée approximée numériquement, la différence entre les deux, …

8 neural-networks conv-neural-network gradient

Questions marquées «gradient»