Statistiques et Big Data model-selection

1

Comment construire le modèle final et ajuster le seuil de probabilité après une validation croisée imbriquée?

Tout d'abord, des excuses pour avoir posté une question qui a déjà été longuement discutée ici , ici , ici , ici , iciet pour réchauffer un vieux sujet. Je sais que @DikranMarsupial a longuement écrit sur ce sujet dans des articles et des journaux, mais je suis toujours confus, …

17 machine-learning cross-validation model-selection glmnet hyperparameter

2

L'utilisation de la matrice de corrélation pour sélectionner les prédicteurs de régression est-elle correcte?

Il y a quelques jours, un de mes psychologues-chercheurs m'a parlé de sa méthode pour sélectionner des variables dans un modèle de régression linéaire. Je suppose que ce n'est pas bon, mais je dois demander à quelqu'un d'autre de m'en assurer. La méthode est: Examinez la matrice de corrélation entre …

17 regression correlation model-selection

3

ROC vs courbes de rappel de précision sur un ensemble de données déséquilibré

Je viens de terminer la lecture de cette discussion. Ils soutiennent que PR AUC est meilleure que ROC AUC sur un ensemble de données déséquilibré. Par exemple, nous avons 10 échantillons dans l'ensemble de données de test. 9 échantillons sont positifs et 1 négatif. Nous avons un modèle terrible qui …

17 machine-learning model-selection roc unbalanced-classes precision-recall

1

Pourquoi le critère d'information Akaike n'est-il pas davantage utilisé dans l'apprentissage automatique?

Je suis juste tombé sur "critère d'information Akaike", et j'ai remarqué cette grande quantité de littérature sur la sélection des modèles (aussi des choses comme BIC semblent exister). Pourquoi les méthodes modernes d'apprentissage automatique ne profitent-elles pas de ces critères de sélection des modèles BIC et AIC?

16 machine-learning model-selection aic bic

1

Le classement privé de Kaggle est-il un bon prédicteur des performances hors échantillon du modèle gagnant?

Bien que les résultats de l'ensemble de test privé ne puissent pas être utilisés pour affiner davantage le modèle, la sélection de modèle parmi un grand nombre de modèles n'est-elle pas effectuée sur la base des résultats de l'ensemble de test privé? Ne seriez-vous pas, grâce à ce seul processus, …

16 model-selection overfitting out-of-sample

1

Problème de définition de l'ordre ARIMA

Ceci est un long post, donc j'espère que vous pourrez me supporter, et veuillez me corriger là où je me trompe. Mon objectif est de produire une prévision quotidienne basée sur 3 ou 4 semaines de données historiques. Les données sont des données de 15 minutes de la charge locale …

16 forecasting arima model-selection seasonality fourier-transform

7

Quelle est la définition du «meilleur» utilisée dans le terme «meilleur ajustement» et validation croisée?

Si vous ajustez une fonction non linéaire à un ensemble de points (en supposant qu'il n'y a qu'une seule ordonnée pour chaque abscisse), le résultat peut être: une fonction très complexe avec de petits résidus une fonction très simple avec de gros résidus La validation croisée est couramment utilisée pour …

16 model-selection cross-validation

5

Puis-je ignorer les coefficients des niveaux de facteurs non significatifs dans un modèle linéaire?

Après avoir demandé des éclaircissements sur les coefficients du modèle linéaire ici, j'ai une question de suivi concernant les coefficients de niveaux de facteur non significatifs (valeur p élevée). Exemple: si mon modèle linéaire comprend un facteur à 10 niveaux et que seulement 3 de ces niveaux ont des valeurs …

15 statistical-significance linear-model model-selection regression-coefficients regression-strategies

2

LASSO / LARS vs méthode générale à spécifique (GETS)

Je me demandais pourquoi les méthodes de sélection des modèles LASSO et LARS sont si populaires même si elles ne sont fondamentalement que des variations de la sélection pas à pas (et souffrent donc de la dépendance du chemin)? De même, pourquoi les méthodes GETS (General to Specific) pour la …

15 feature-selection model-selection lasso stepwise-regression lars

4

Comparaison de modèles à effets mixtes avec le même nombre de degrés de liberté

J'ai une expérience que je vais essayer de résumer ici. Imaginez que je lance trois pierres blanches devant vous et vous demande de juger de leur position. J'enregistre une variété de propriétés des pierres et votre réponse. Je le fais sur un certain nombre de sujets. Je génère deux modèles. …

15 r mixed-model model-selection

3

Choisir le K optimal pour KNN

J'ai effectué un CV 5 fois pour sélectionner le K optimal pour KNN. Et il semble que plus le K est grand, plus l'erreur est petite ... Désolé je n'avais pas de légende, mais les différentes couleurs représentent différents essais. Il y en a 5 au total et il semble …

15 model-selection k-nearest-neighbour

1

Comment interpréter la matrice de covariance à partir d'un ajustement de courbe?

Je ne suis pas trop doué en statistiques, donc je m'excuse s'il s'agit d'une question simpliste. J'ajuste une courbe à certaines données, et parfois mes données correspondent le mieux à une exponentielle négative sous la forme , et parfois l'ajustement est plus proche de a ∗ e ( - b …

15 variance model-selection python curve-fitting covariance-matrix

4

Sélection de pénalité optimale pour le lasso

Existe-t-il des résultats analytiques ou des articles expérimentaux concernant le choix optimal du coefficient du terme de pénalité ℓ1ℓ1\ell_1 ? Par optimal , je veux dire un paramètre qui maximise la probabilité de sélectionner le meilleur modèle, ou qui minimise la perte attendue. Je pose la question car il est …

15 model-selection lasso shrinkage

1

Quelle méthode de comparaison multiple utiliser pour un modèle lmer: lsmeans ou glht?

J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Ensuite, j'ai effectué un test de rapport de …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

1

logloss vs gini / auc

J'ai formé deux modèles (classificateurs binaires utilisant h2o AutoML) et je veux en sélectionner un à utiliser. J'ai les résultats suivants: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 les colonnes aucet loglosssont les métriques de validation …

15 model-selection validation auc gini log-loss

Questions marquées «model-selection»