Statistiques et Big Data gradient-descent

6

Pourquoi ne pas utiliser la troisième dérivée pour l'optimisation numérique?

Si les Hessois sont si bons pour l'optimisation (voir par exemple la méthode de Newton ), pourquoi s'arrêter là? Utilisons les troisième, quatrième, cinquième et sixième dérivés? Pourquoi pas?

29 optimization gradient-descent hessian

4

Comment dérive la fonction de coût de la régression logistique

Je fais le cours de Machine Learning Stanford sur Coursera. Dans le chapitre sur la régression logistique, la fonction de coût est la suivante: Ensuite, il est dérivé ici: J'ai essayé d'obtenir le dérivé de la fonction de coût mais j'ai obtenu quelque chose de complètement différent. Comment le dérivé …

29 regression logistic gradient-descent derivative

2

Quelle est la différence entre EM et Gradient Ascent?

Quelle est la différence entre les algorithmes EM (Expectation Maximization) et Gradient Ascent (or descente)? Y a-t-il une condition sous laquelle ils sont équivalents?

28 gradient-descent expectation-maximization

6

Pour les problèmes convexes, le gradient en descente de gradient stochastique (SGD) pointe-t-il toujours vers la valeur extrême globale?

Étant donné une fonction de coût convexe, en utilisant SGD pour l'optimisation, nous aurons un gradient (vecteur) à un certain point au cours du processus d'optimisation. Ma question est, étant donné le point sur le convexe, le gradient ne pointe-t-il que vers la direction dans laquelle la fonction augmente / …

25 neural-networks optimization gradient-descent sgd convex

1

Comment définir la condition de terminaison de la descente en pente?

En fait, je voulais vous demander comment puis-je définir la condition de fin pour la descente en gradient. Puis-je l'arrêter en fonction du nombre d'itérations, c'est-à-dire en tenant compte des valeurs des paramètres pour, disons, 100 itérations? Ou dois-je attendre de telle sorte que les différentes valeurs des deux paramètres …

24 algorithms optimization gradient-descent

3

Descente de coordonnées vs descente de gradient

Je me demandais quels sont les différents cas d'utilisation pour les deux algorithmes, Descente de coordonnées et Descente de gradient . Je sais que la descente de coordonnées a des problèmes avec les fonctions non lisses mais elle est utilisée dans des algorithmes populaires comme SVM et LASSO. La descente …

23 optimization gradient-descent

1

Rétropropagation de dégradé via des connexions de saut ResNet

Je suis curieux de savoir comment les gradients sont propagés en retour à travers un réseau de neurones à l'aide de modules ResNet / sauter les connexions. J'ai vu quelques questions sur ResNet (par exemple, un réseau de neurones avec des connexions de couche de saut ), mais celui-ci pose …

22 machine-learning neural-networks conv-neural-network gradient-descent backpropagation

3

Pourquoi utiliser la descente de gradient avec des réseaux de neurones?

Lors de la formation d'un réseau neuronal à l'aide de l'algorithme de rétropropagation, la méthode de descente en gradient est utilisée pour déterminer les mises à jour du poids. Ma question est la suivante: Plutôt que d'utiliser la méthode de descente en gradient pour localiser lentement le point minimum par …

22 neural-networks gradient-descent backpropagation

3

La descente de gradient est-elle possible pour les SVM noyés (si oui, pourquoi les gens utilisent-ils la programmation quadratique)?

Pourquoi les gens utilisent-ils des techniques de programmation quadratique (comme SMO) lorsqu'ils traitent avec des SVM noyés? Quel est le problème avec Gradient Descent? Est-il impossible de l'utiliser avec des noyaux ou est-ce simplement trop lent (et pourquoi?). Voici un peu plus de contexte: en essayant de mieux comprendre les …

21 svm kernel-trick gradient-descent

3

De la règle du Perceptron à la descente en gradient: en quoi les Perceptrons avec une fonction d'activation sigmoïde sont-ils différents de la régression logistique?

Essentiellement, ma question est que dans les Perceptrons multicouches, les perceptrons sont utilisés avec une fonction d'activation sigmoïde. Alors que dans la règle de mise à jour y est calculée comme suity^y^\hat{y} y^=11+exp(−wTxi)y^=11+exp⁡(−wTxi)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} En quoi ce Perceptron "sigmoïde" diffère-t-il alors d'une régression logistique? Je dis qu'un perceptron sigmoïde …

21 logistic classification neural-networks gradient-descent perceptron

2

Dans les réseaux neuronaux, pourquoi utiliser des méthodes de gradient plutôt que d'autres métaheuristiques?

Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le recuit simulé, l'optimisation des colonies de fourmis, etc., qui ont été …

20 neural-networks optimization deep-learning gradient-descent backpropagation

3

Quand les algorithmes génétiques sont-ils un bon choix pour l'optimisation?

Les algorithmes génétiques sont une forme de méthode d'optimisation. Souvent, la descente de gradient stochastique et ses dérivés sont le meilleur choix pour l'optimisation des fonctions, mais des algorithmes génétiques sont encore parfois utilisés. Par exemple, l'antenne du vaisseau spatial ST5 de la NASA a été créée avec un algorithme …

20 machine-learning optimization gradient-descent genetic-algorithms

3

Peut-il y avoir plusieurs solutions optimales locales lorsque nous résolvons une régression linéaire?

J'ai lu cette déclaration sur un ancien vrai / faux examen: Nous pouvons obtenir plusieurs solutions optimales locales si nous résolvons un problème de régression linéaire en minimisant la somme des erreurs quadratiques en utilisant la descente de gradient. Solution: faux Ma question est, quelle partie de cette question est …

19 least-squares gradient-descent convex

3

Comment la descente de gradient stochastique peut-elle éviter le problème d'un minimum local?

Je sais que la descente de gradient stochastique a un comportement aléatoire, mais je ne sais pas pourquoi. Y a-t-il une explication à ce sujet?

19 machine-learning random-variable gradient-descent

3

Comment la taille des lots affecte-t-elle la convergence de SGD et pourquoi?

J'ai vu des conclusions similaires à partir de nombreuses discussions, à mesure que la taille du mini-lot augmente, la convergence des SGD devient en fait plus difficile / pire, par exemple ce document et cette réponse . J'ai également entendu parler de personnes utilisant des astuces comme de petits taux …

18 machine-learning neural-networks optimization gradient-descent sgd

Questions marquées «gradient-descent»