Statistiques et Big Data convex

6

Pourquoi étudier l'optimisation convexe pour l'apprentissage machine théorique?

Je travaille sur l'apprentissage machine théorique - sur l'apprentissage par transfert, pour être précis - pour mon doctorat. Par curiosité, pourquoi devrais-je suivre un cours sur l'optimisation convexe? Quelles leçons tirer de l'optimisation convexe puis-je utiliser dans mes recherches sur le machine learning théorique?

27 machine-learning optimization convex transfer-learning

6

Pour les problèmes convexes, le gradient en descente de gradient stochastique (SGD) pointe-t-il toujours vers la valeur extrême globale?

Étant donné une fonction de coût convexe, en utilisant SGD pour l'optimisation, nous aurons un gradient (vecteur) à un certain point au cours du processus d'optimisation. Ma question est, étant donné le point sur le convexe, le gradient ne pointe-t-il que vers la direction dans laquelle la fonction augmente / …

25 neural-networks optimization gradient-descent sgd convex

1

Pourquoi la fonction de coût des réseaux de neurones n'est-elle pas convexe?

Il y a un fil similaire ici (la fonction de coût du réseau de neurones n'est pas convexe? ) Mais je n'ai pas pu comprendre les points dans les réponses et ma raison de demander à nouveau en espérant que cela clarifiera certains problèmes: Si j'utilise la fonction de somme …

22 machine-learning neural-networks optimization loss-functions convex

3

Peut-il y avoir plusieurs solutions optimales locales lorsque nous résolvons une régression linéaire?

J'ai lu cette déclaration sur un ancien vrai / faux examen: Nous pouvons obtenir plusieurs solutions optimales locales si nous résolvons un problème de régression linéaire en minimisant la somme des erreurs quadratiques en utilisant la descente de gradient. Solution: faux Ma question est, quelle partie de cette question est …

19 least-squares gradient-descent convex

3

L'optimisation PCA est-elle convexe?

La fonction objective de l'analyse en composantes principales (ACP) minimise l'erreur de reconstruction dans la norme L2 (voir la section 2.12 ici . Une autre vue essaie de maximiser la variance sur la projection. Nous avons également un excellent article ici: Quelle est la fonction objective de l'ACP ? ). …

12 machine-learning pca optimization convex

4

Comment appliquer la méthode des moindres carrés itérativement repondérés (IRLS) au modèle LASSO?

J'ai programmé une régression logistique en utilisant l' algorithme IRLS . Je souhaite appliquer une pénalisation LASSO afin de sélectionner automatiquement les bonnes fonctionnalités. À chaque itération, le problème suivant est résolu: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Soit un nombre réel non négatif. Je ne pénalise pas l'interception comme suggéré dans The Elements …

12 logistic generalized-linear-model feature-selection lasso convex

3

La fonction de coût d'entropie croisée pour un réseau de neurones est-elle convexe?

Mon professeur a prouvé que la dérivée seconde de l'entropie croisée est toujours positive, de sorte que la fonction de coût des réseaux de neurones utilisant l'entropie croisée est convexe. Est-ce vrai? Je suis assez confus à ce sujet car j'ai toujours appris que la fonction de coût de ANN …

9 neural-networks convex

Questions marquées «convex»