Questions marquées «optimization»

Utilisez cette balise pour toute utilisation de l'optimisation dans les statistiques.

1
Différence entre recuit simulé et plusieurs gourmands
J'essaie de comprendre quelle est la différence entre le recuit simulé et l'exécution de plusieurs algorithmes gourmands d'escalade. D'après ma compréhension, l'algorithme gourmand poussera le score à un maximum local, mais si nous commençons avec plusieurs configurations aléatoires et appliquons gourmand à toutes, nous aurons plusieurs maximums locaux. Ensuite, nous …
1
Comment obtenir des hyperparamètres optimaux après validation croisée imbriquée?
En général, si nous avons un grand ensemble de données, nous pouvons le diviser en (1) formation, (2) validation et (3) test. Nous utilisons la validation pour identifier les meilleurs hyperparamètres en validation croisée (par exemple, C dans SVM), puis nous formons le modèle en utilisant les meilleurs hyperparamètres avec …
3
Comment effectuer une SVD pour imputer des valeurs manquantes, un exemple concret
J'ai lu les excellents commentaires sur la façon de traiter les valeurs manquantes avant d'appliquer SVD, mais j'aimerais savoir comment cela fonctionne avec un exemple simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Étant donné la matrice …
8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 
1
Quelle est la différence entre l'optimisation bayésienne (processus gaussiens) et le recuit simulé dans la pratique
Les deux processus semblent être utilisés pour estimer la valeur maximale d'une fonction inconnue, et les deux ont évidemment des façons différentes de le faire. Mais dans la pratique, l'une ou l'autre méthode est-elle essentiellement interchangeable? Où voudrais-je utiliser l'un sur l'autre? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Question similaire Optimisation bayésienne ou descente …
1
détail d'implémentation pratique de l'optimisation bayésienne
J'essaye de l'optimisation bayésienne, suivant Snoek, Larochelle et Adams [ http://arxiv.org/pdf/1206.2944.pdf] , en utilisant GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . J'ai implémenté la fonction d'acquisition Expected Improvement décrite à la page 3, et je suppose que j'ai raison de décider où interroger mon objectif en suivant.Xx\bf{x} qui maximise: uneEje( …
2
Pourquoi l'ajout de la pénalité L1 à l'optim de R ralentit-il tant les choses (par rapport à l'absence de pénalité ou à L2)?
J'exécute quelques optimisations avec l'implémentation optim de BFGS. La fonction objectif est en fait un algorithme de calcul, pas seulement des mathématiques. J'ai trouvé que lorsque j'ajoute une pénalité en L1, les choses ralentissent un peu. Pourquoi est-ce possible? Y a-t-il quelque chose dans L1 qui ralentit les choses? Alors, …
8 r  optimization  lasso 
1
Régularisation et projection sur la balle
J'essaie de comprendre comment fonctionne la régularisation en termes de projections sur une boule et de projection euclidienne sur le simplexe.l∗l∗l_* Je ne suis pas sûr de comprendre ce que nous voulons dire lorsque nous le vecteur de poids sur les ou .l1l1l_1l2l2l_2 Je peux comprendre le concept de régularisation …
2
Pourquoi y a-t-il un E dans le nom de l'algorithme EM?
Je comprends où l'étape E se produit dans l'algorithme (comme expliqué dans la section mathématique ci-dessous). Dans mon esprit, l'ingéniosité clé de l'algorithme est l'utilisation de l'inégalité de Jensen pour créer une limite inférieure à la vraisemblance logarithmique. En ce sens, prendre le Expectationest simplement fait pour reformuler la probabilité …
2
Largeur de bac optimale pour un histogramme bidimensionnel
Il existe de nombreuses règles pour sélectionner une largeur de bac optimale dans un histogramme 1D (voir par exemple ) Je cherche une règle qui applique la sélection de largeurs optimales de bacs égaux sur des histogrammes bidimensionnels . Existe-t-il une telle règle? Peut-être qu'une des règles bien connues pour …
2
Paramètres d'encodage automatique [Hyper] clairsemés
Je viens de commencer à utiliser le package autoencoder dans R. Les entrées de la autoencode()fonction incluent lambda, beta, rho et epsilon. Quelles sont les limites de ces valeurs? Varient-ils pour chaque fonction d'activation? Ces paramètres sont-ils appelés "hyperparamètres"? En supposant un auto-encodeur clairsemé, est rho = .01 bon pour …
1
Lors de l'optimisation d'un modèle de régression logistique, parfois plus de données accélèrent * les choses *. Une idée pourquoi?
J'ai joué avec la régression logistique avec divers algorithmes d'optimisation par lots (gradient conjugué, newton-raphson et diverses méthodes de quasinewton). Une chose que j'ai remarquée est que, parfois, l'ajout de données à un modèle peut en fait rendre la formation du modèle beaucoup moins longue. Chaque itération nécessite de regarder …
2
Pourquoi un modèle statistique serait-il surchargé s'il était doté d'un énorme ensemble de données?
Mon projet actuel peut m'obliger à construire un modèle pour prédire le comportement d'un certain groupe de personnes. l'ensemble de données de formation ne contient que 6 variables (id est uniquement à des fins d'identification): id, age, income, gender, job category, monthly spend dans laquelle se monthly spendtrouve la variable …
8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 
2
Programmation quadratique lorsque la matrice n'est pas définie positive
http://cran.r-project.org/web/packages/quadprog/quadprog.pdf Le package R ne quadprogsemble pouvoir résoudre le problème de programmation quadratique que lorsque la matrice est définie positive.DDD Cependant, il existe un cas où la matrice n'est pas définie positive. tel queDDD min(x2+y2−6xy)subject tox+y3x+yx,y≤≤≥1,1.5,0.min(x2+y2−6xy)subject tox+y≤1,3x+y≤1.5,x,y≥0.\begin{eqnarray} \min(x^2 + y^2 - 6xy) \\ \text{subject to}\quad\quad x + y &\leq& 1,\\ …
8 r  optimization 
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.