Statistiques et Big Data gradient-descent

5

Pourquoi k-means ne donne-t-il pas le minimum global?

J'ai lu que l'algorithme k-means ne converge que vers un minimum local et non vers un minimum global. Pourquoi est-ce? Je peux logiquement penser à la façon dont l'initialisation pourrait affecter le clustering final et il existe une possibilité de clustering sous-optimal, mais je n'ai rien trouvé qui puisse le …

17 clustering k-means convergence gradient-descent minimum

2

Quelle est la différence entre l'estimation de vraisemblance maximale et la descente de gradient?

Quels sont les avantages et les inconvénients des deux méthodes?

16 maximum-likelihood predictive-models optimization gradient-descent

3

Quelle est la différence entre l'apprentissage en ligne et l'apprentissage par lots?

Je lis actuellement l'article Efficient Online and Batch Learning using Forward-Backward Splitting de John Duchi et Yoram Singer. Je suis très confus quant à l'utilisation des termes «en ligne» et «lot». Je pensais que «en ligne» signifie que nous mettons à jour les paramètres de poids après avoir traité une …

16 machine-learning online gradient-descent

1

Comment la descente de gradient stochastique pourrait-elle gagner du temps par rapport à la descente de gradient standard?

La descente de gradient standard calculerait le gradient pour l'ensemble des données d'apprentissage. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Pour un nombre prédéfini d'époques, nous calculons d'abord le vecteur de gradient weights_grad de la fonction de perte pour l'ensemble de …

15 machine-learning optimization gradient-descent computational-statistics sgd

1

Clarification sur la mise en œuvre de la règle Perceptron vs descente de gradient vs mise en œuvre de descente de gradient stochastique

J'ai expérimenté un peu avec différentes implémentations de Perceptron et je veux m'assurer si je comprends bien les "itérations". La règle originale de Perceptron de Rosenblatt D'après ce que je comprends, dans l'algorithme de perceptron classique de Rosenblatt, les poids sont mis à jour simultanément après chaque exemple de formation …

15 optimization gradient-descent perceptron

1

Somme ou moyenne des gradients en (mini) gradient de lot décent?

Lorsque j'ai implémenté un mini-gradient décent, j'ai simplement fait la moyenne des gradients de tous les exemples du lot de formation. Cependant, j'ai remarqué que maintenant le taux d'apprentissage optimal est beaucoup plus élevé que pour un gradient décent en ligne. Mon intuition est que c'est parce que le gradient …

15 neural-networks gradient-descent backpropagation

1

Comment CNN évite-t-il le problème du gradient de fuite

J'ai beaucoup lu sur les réseaux de neurones convoloutionnels et je me demandais comment ils évitaient le problème du gradient de fuite. Je sais que les réseaux de croyances profondes empilent des auto-encodeurs à un seul niveau ou d'autres réseaux peu profonds pré-formés et peuvent donc éviter ce problème, mais …

15 machine-learning optimization deep-learning gradient-descent

1

Pourquoi n'utilisons-nous pas des taux d'apprentissage non constants pour un gradient décent pour d'autres choses que les réseaux de neurones?

La littérature sur l'apprentissage en profondeur regorge de trucs astucieux avec l'utilisation de taux d'apprentissage non constants dans la descente de gradient. Des choses comme la décroissance exponentielle, RMSprop, Adagrad, etc. sont faciles à mettre en œuvre et sont disponibles dans tous les packages d'apprentissage en profondeur, mais elles semblent …

14 machine-learning deep-learning optimization gradient-descent

4

Comment peut-il être piégé dans une pointe de selle?

Je suis actuellement un peu perplexe sur la façon dont la descente en gradient en mini-lot peut être piégée dans un point de selle. La solution est peut-être trop insignifiante pour ne pas l’obtenir. Vous obtenez un nouvel échantillon à chaque époque, et il calcule une nouvelle erreur en fonction …

14 gradient-descent sgd

1

Fonctions de coût pour les bandits contextuels

J'utilise vowpal wabbit pour résoudre un problème de bandit contextuel . Je montre des publicités aux utilisateurs, et j'ai pas mal d'informations sur le contexte dans lequel la publicité est diffusée (par exemple, qui est l'utilisateur, sur quel site il se trouve, etc.). Cela semble être un problème de bandit …

14 multinomial gradient-descent multiarmed-bandit vowpal-wabbit contextual-bandit

2

Descente de gradient vs fonction lm () dans R?

Je passe en revue les vidéos du cours gratuit d' apprentissage automatique en ligne d' Andrew Ng à Stanford. Il décrit Gradient Descent comme un algorithme pour résoudre la régression linéaire et écrire des fonctions dans Octave pour l'exécuter. Vraisemblablement, je pourrais réécrire ces fonctions dans R, mais ma question …

14 r regression machine-learning gradient-descent

5

Pourquoi la descente de gradient est-elle inefficace pour un grand ensemble de données?

Disons que notre ensemble de données contient 1 million d'exemples, c'est-à-dire , et nous souhaitons utiliser la descente de gradient pour effectuer une régression logistique ou linéaire sur ces ensembles de données.X1, … , Xdix6x1,…,x106x_1, \ldots, x_{10^6} Qu'est-ce que la méthode de descente de gradient rend inefficace? Rappelons que le …

13 machine-learning gradient-descent large-data

1

Pourquoi l'algorithme de descente «Saddle-Free Newton» n'est-il pas utilisé en pratique?

Récemment, j'ai lu un article de Yann Dauphin et al. Identifier et attaquer le problème du point de selle dans l'optimisation non convexe de haute dimension , où ils introduisent un algorithme de descente intéressant appelé Saddle-Free Newton , qui semble être exactement adapté pour l'optimisation du réseau neuronal et …

13 optimization deep-learning gradient-descent

1

Choix d'une taille de mini-lot appropriée pour la descente de gradient stochastique (SGD)

Existe-t-il une littérature qui examine le choix de la taille du mini-lot lors de la descente de gradient stochastique? D'après mon expérience, cela semble être un choix empirique, généralement trouvé via la validation croisée ou en utilisant différentes règles empiriques. Est-ce une bonne idée d'augmenter lentement la taille du mini-lot …

13 machine-learning gradient-descent hyperparameter deep-learning

2

La descente en gradient ne trouve pas de solution aux moindres carrés ordinaires sur cet ensemble de données?

J'ai étudié la régression linéaire et je l'ai essayée sur l'ensemble ci-dessous {(x, y)}, où x spécifiait la superficie de la maison en pieds carrés et y spécifiait le prix en dollars. Ceci est le premier exemple dans Andrew Ng Notes . 2104,400 1600,330 2400,369 1416,232 3000,540 J'ai développé un …

12 regression least-squares gradient-descent supervised-learning

Questions marquées «gradient-descent»