Statistiques et Big Data optimization

2

Quelle est la différence entre l'estimation de vraisemblance maximale et la descente de gradient?

Quels sont les avantages et les inconvénients des deux méthodes?

16 maximum-likelihood predictive-models optimization gradient-descent

1

Pourquoi le «lasso détendu» est-il différent du lasso standard?

Si nous commençons avec un ensemble de données , y appliquons Lasso et obtenons une solution , nous pouvons appliquer à nouveau Lasso à l'ensemble de données , où S est l'ensemble des non index zéro de \ beta ^ L , pour obtenir une solution, \ beta ^ {RL} …

16 regression optimization lasso regularization shrinkage

1

La vraisemblance logarithmique dans GLM a-t-elle garanti la convergence vers les maxima mondiaux?

Mes questions sont: Les modèles linéaires généralisés (GLM) convergent-ils vers un maximum global? Si oui, pourquoi? De plus, quelles contraintes y a-t-il sur la fonction de liaison pour assurer la convexité? Ma compréhension des GLM est qu'ils maximisent une fonction de vraisemblance hautement non linéaire. Ainsi, j'imagine qu'il existe plusieurs …

16 generalized-linear-model optimization convergence exponential-family

2

Comment choisir le bon algorithme d'optimisation?

J'ai besoin de trouver le minimum d'une fonction. En lisant les documents sur http://docs.scipy.org/doc/scipy/reference/optimize.html je vois qu'il existe plusieurs algorithmes qui font la même chose, c'est-à-dire trouver le minimum. Comment savoir lequel choisir? une partie de l'algorithme répertorié Minimisez une fonction en utilisant l'algorithme du simplex de descente. Réduisez une …

16 optimization

2

Pourquoi la maximisation des attentes est importante pour les modèles de mélange?

De nombreuses publications mettent l'accent sur la méthode de maximisation des attentes sur les modèles de mélange (mélange de gaussien, modèle de Markov caché, etc.). Pourquoi l'EM est important? EM est juste un moyen d'optimisation et n'est pas largement utilisé comme méthode basée sur un gradient (gradient décent ou méthode …

15 machine-learning optimization expectation-maximization gaussian-mixture

1

Comment la descente de gradient stochastique pourrait-elle gagner du temps par rapport à la descente de gradient standard?

La descente de gradient standard calculerait le gradient pour l'ensemble des données d'apprentissage. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Pour un nombre prédéfini d'époques, nous calculons d'abord le vecteur de gradient weights_grad de la fonction de perte pour l'ensemble de …

15 machine-learning optimization gradient-descent computational-statistics sgd

1

Clarification sur la mise en œuvre de la règle Perceptron vs descente de gradient vs mise en œuvre de descente de gradient stochastique

J'ai expérimenté un peu avec différentes implémentations de Perceptron et je veux m'assurer si je comprends bien les "itérations". La règle originale de Perceptron de Rosenblatt D'après ce que je comprends, dans l'algorithme de perceptron classique de Rosenblatt, les poids sont mis à jour simultanément après chaque exemple de formation …

15 optimization gradient-descent perceptron

2

Estimation ARIMA à la main

J'essaie de comprendre comment les paramètres sont estimés dans la modélisation ARIMA / Box Jenkins (BJ). Malheureusement, aucun des livres que j'ai rencontrés ne décrit en détail la procédure d'estimation telle que la procédure d'estimation de log-vraisemblance. J'ai trouvé le site Web / matériel pédagogique très utile. Voici l'équation de …

15 time-series forecasting arima optimization box-jenkins

1

Comment CNN évite-t-il le problème du gradient de fuite

J'ai beaucoup lu sur les réseaux de neurones convoloutionnels et je me demandais comment ils évitaient le problème du gradient de fuite. Je sais que les réseaux de croyances profondes empilent des auto-encodeurs à un seul niveau ou d'autres réseaux peu profonds pré-formés et peuvent donc éviter ce problème, mais …

15 machine-learning optimization deep-learning gradient-descent

1

Pourquoi ne puis-je pas faire correspondre la sortie glmer (famille = binomiale) avec l'implémentation manuelle de l'algorithme de Gauss-Newton?

Je voudrais faire correspondre les sorties de lmer (vraiment glmer) avec un exemple binomial jouet. J'ai lu les vignettes et je crois comprendre ce qui se passe. Mais apparemment non. Après être resté coincé, j'ai corrigé la "vérité" en termes d'effets aléatoires et je suis allé après l'estimation des effets …

15 r mixed-model optimization lme4-nlme

1

Pourquoi un seul ReLU ne peut-il pas apprendre un ReLU?

Comme suivi de Mon réseau de neurones ne peut même pas apprendre la distance euclidienne, j'ai encore simplifié et essayé de former un seul ReLU (avec un poids aléatoire) à un seul ReLU. Il s'agit du réseau le plus simple qui existe et pourtant, la moitié du temps, il ne …

15 machine-learning neural-networks optimization keras

1

Pourquoi est-il important d'inclure un terme de correction de biais pour l'optimiseur Adam pour l'apprentissage en profondeur?

Je lisais sur l' optimiseur Adam pour le Deep Learning et suis tombé sur la phrase suivante dans le nouveau livre Deep Learning de Begnio, Goodfellow et Courtville: Adam inclut des corrections de biais dans les estimations des moments du premier ordre (le terme de momentum) et des moments du …

15 machine-learning neural-networks optimization conv-neural-network adam

3

Différence dans l'utilisation du dégradé normalisé et du dégradé

Dans le cadre général de l'algorithme de descente de gradient, nous avons où x n est le point courant, η est la taille du pas et g r a d i e n t x n est le gradient évalué à x n . Xn + 1= xn- η∗ gr …

15 algorithms optimization

1

Pourquoi n'utilisons-nous pas des taux d'apprentissage non constants pour un gradient décent pour d'autres choses que les réseaux de neurones?

La littérature sur l'apprentissage en profondeur regorge de trucs astucieux avec l'utilisation de taux d'apprentissage non constants dans la descente de gradient. Des choses comme la décroissance exponentielle, RMSprop, Adagrad, etc. sont faciles à mettre en œuvre et sont disponibles dans tous les packages d'apprentissage en profondeur, mais elles semblent …

14 machine-learning deep-learning optimization gradient-descent

1

Probabilité maximale restreinte avec un rang de colonne inférieur à la totalité de

Cette question traite de l'estimation du maximum de vraisemblance restreint (REML) dans une version particulière du modèle linéaire, à savoir: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), où X(α)X(α)X(\alpha) est une matrice ( n×pn×pn \times p ) paramétrée par α∈Rkα∈Rk\alpha \in \mathbb R^k , tout comme Σ(α)Σ(α)\Sigma(\alpha) …

14 mixed-model maximum-likelihood linear-model optimization reml

Questions marquées «optimization»