Statistiques et Big Data hyperparameter

1

Choix d'une taille de mini-lot appropriée pour la descente de gradient stochastique (SGD)

Existe-t-il une littérature qui examine le choix de la taille du mini-lot lors de la descente de gradient stochastique? D'après mon expérience, cela semble être un choix empirique, généralement trouvé via la validation croisée ou en utilisant différentes règles empiriques. Est-ce une bonne idée d'augmenter lentement la taille du mini-lot …

13 machine-learning gradient-descent hyperparameter deep-learning

1

Densité hyperprior pour le modèle hiérarchique Gamma-Poisson

Dans un modèle hiérarchique de données où il semble typique en pratique de choisir des valeurs ( sorte que la moyenne et la variance de la distribution gamma correspondent à peu près à la moyenne et à la variance des données (par exemple, Clayton et Kaldor, 1987 "Empirical Bayes Estimates …

11 poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

4

Pourquoi ne pas simplement apprendre les hyper paramètres?

J'implémentais un article assez populaire " EXPLIQUER ET EXPLIQUER DES EXEMPLES ADVERSAIRES " et dans le document, il forme une fonction objective contradictoire J '' (θ) = αJ (θ) + (1 - α) J '(θ). Il traite α comme un hyperparamètre. α peut être 0,1, 0,2, 0,3, etc. Indépendamment de …

11 machine-learning neural-networks deep-learning hyperparameter

1

Relation entre le taux d'apprentissage et le nombre de couches cachées?

Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible. Si c'est exact, pourquoi?

10 neural-networks deep-learning hyperparameter rule-of-thumb

2

Validation croisée imbriquée - en quoi est-elle différente de la sélection de modèle via kfold CV sur le kit de formation?

Je vois souvent des gens parler de la validation croisée 5x2 comme un cas spécial de validation croisée imbriquée . Je suppose que le premier nombre (ici: 5) fait référence au nombre de plis dans la boucle intérieure et le deuxième nombre (ici: 2) fait référence au nombre de plis …

10 machine-learning cross-validation hyperparameter

1

En régression linéaire, pourquoi la régularisation pénalise-t-elle également les valeurs des paramètres?

J'apprends actuellement la régression des crêtes et j'étais un peu confus au sujet de la pénalisation des modèles plus complexes (ou de la définition d'un modèle plus complexe). D'après ce que je comprends, la complexité du modèle n'est pas nécessairement en corrélation avec l'ordre polynomial. Donc: 2 + 3 + …

9 regression regularization hyperparameter

1

Pourquoi des informations sur les données de validation ont-elles été divulguées si j'évalue les performances du modèle sur les données de validation lors du réglage des hyperparamètres?

Dans le Deep Learning de François Chollet avec Python, il est écrit: Par conséquent, le réglage de la configuration du modèle en fonction de ses performances sur l'ensemble de validation peut rapidement entraîner un surajustement de l'ensemble de validation, même si votre modèle n'est jamais directement formé sur celui-ci. La …

9 neural-networks cross-validation hyperparameter

1

Quels sont certains des inconvénients de l’optimisation hyperparamétrique bayésienne?

Je suis relativement nouveau dans l'apprentissage automatique et les statistiques, mais je me demandais pourquoi l'optimisation bayésienne n'est pas référée plus souvent en ligne lors de l'apprentissage de l'apprentissage automatique pour optimiser les hyperparamètres de votre algorithme. Par exemple, en utilisant un cadre comme celui-ci: https://github.com/fmfn/BayesianOptimization L'optimisation bayésienne de vos …

9 machine-learning optimization hyperparameter bayesian-optimization

1

Comment obtenir des hyperparamètres optimaux après validation croisée imbriquée?

En général, si nous avons un grand ensemble de données, nous pouvons le diviser en (1) formation, (2) validation et (3) test. Nous utilisons la validation pour identifier les meilleurs hyperparamètres en validation croisée (par exemple, C dans SVM), puis nous formons le modèle en utilisant les meilleurs hyperparamètres avec …

8 machine-learning cross-validation scikit-learn hyperparameter optimization

1

Sélection hyperparamétrique entièrement bayésienne en GPML

Est-il possible d'effectuer une sélection approximative entièrement bayésienne (1) d'hyper-paramètres (par exemple l'échelle de covariance) avec le code GPML, au lieu de maximiser la vraisemblance marginale (2)? Je pense que l'utilisation de méthodes MCMC pour résoudre les intégrales impliquant des hyper-paramètres avant devrait conduire à de meilleurs résultats en cas …

8 bayesian model-selection gaussian-process hyperparameter

Questions marquées «hyperparameter»