Statistiques et Big Data

2

Calcul des intervalles de confiance pour une régression logistique

J'utilise une régression logistique binomiale pour identifier si l'exposition à has_xou has_yaffecte la probabilité qu'un utilisateur clique sur quelque chose. Mon modèle est le suivant: fit = glm(formula = has_clicked ~ has_x + has_y, data=df, family = binomial()) Voici la sortie de mon modèle: Call: glm(formula = has_clicked ~ has_x …

15 regression logistic standard-error logit

4

Acceptation de l'hypothèse nulle

Il s'agit d'une question de discussion sur l'intersection de la statistique et d'autres sciences. Je suis souvent confronté au même problème: les chercheurs dans mon domaine ont tendance à dire qu'il n'y a pas d'effet lorsque la valeur p n'est pas inférieure au niveau de signification. Au début, j'ai souvent …

15 hypothesis-testing

2

Qu'est-ce que l'erreur Bayes dans l'apprentissage automatique?

http://www.deeplearningbook.org/contents/ml.html La page 116 explique l'erreur bayes comme ci-dessous Le modèle idéal est un oracle qui connaît simplement la vraie distribution de probabilité qui génère les données. Même un tel modèle entraînera toujours une erreur sur de nombreux problèmes, car il peut y avoir encore du bruit dans la distribution. …

15 machine-learning deep-learning terminology

3

Méthodes pour contourner le problème des données manquantes dans l'apprentissage automatique

Presque toutes les bases de données que nous voulons faire des prédictions à l'aide d'algorithmes d'apprentissage automatique trouveront des valeurs manquantes pour certaines caractéristiques. Il existe plusieurs approches pour résoudre ce problème, pour exclure les lignes qui ont des valeurs manquantes jusqu'à ce qu'elles se remplissent avec les valeurs moyennes …

15 machine-learning scikit-learn data-imputation

2

Essais de Bernoulli corrélés, distribution multivariée de Bernoulli?

Je simplifie une question de recherche que j'ai au travail. Imaginez que j'ai 5 pièces et appelons les têtes un succès. Ce sont des pièces TRÈS biaisées avec une probabilité de succès p = 0,1. Maintenant, si les pièces étaient indépendantes, puis obtenir la probabilité d'au moins 1 tête ou …

15 multivariate-analysis bernoulli-distribution copula

1

Comment interpréter l'entropie différentielle?

J'ai récemment lu cet article sur l'entropie d'une distribution de probabilité discrète. Il décrit une belle façon de penser à l'entropie comme les bits numériques attendus (au moins lors de l'utilisation de log2log2\log_2 dans votre définition d'entropie) nécessaires pour coder un message lorsque votre codage est optimal, compte tenu de …

15 entropy information-theory

2

Qu'est-ce que la «ligne de base» dans la courbe de rappel de précision

J'essaie de comprendre la courbe de rappel de précision, je comprends ce que sont la précision et le rappel, mais ce que je ne comprends pas, c'est la valeur "de base". Je lisais ce lien https://classeval.wordpress.com/introduction/introduction-to-the-precision-recall-plot/ et je ne comprends pas la partie de la ligne de base comme indiqué …

15 r machine-learning classification precision-recall

1

Quelle méthode de comparaison multiple utiliser pour un modèle lmer: lsmeans ou glht?

J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Ensuite, j'ai effectué un test de rapport de …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

3

Pourquoi y a-t-il toujours au moins une politique meilleure ou égale à toutes les autres politiques?

Apprentissage par renforcement: une introduction. Deuxième édition, en cours ., Richard S. Sutton et Andrew G. Barto (c) 2012, pp. 67-68. Résoudre une tâche d'apprentissage par renforcement signifie, en gros, trouver une politique qui obtient beaucoup de récompenses à long terme. Pour les MDP finis, nous pouvons définir précisément une …

15 markov-process reinforcement-learning

3

Utilité du théorème de Frisch-Waugh

Je suis censé enseigner le théorème de Frish Waugh en économétrie, que je n'ai pas étudié. J'ai compris les mathématiques et j'espère que l'idée aussi "le coefficient que vous obtenez pour un coefficient particulier à partir d'un modèle linéaire multiple est égal au coefficient du modèle de régression simple si …

15 regression econometrics least-squares projection decomposition

5

Est-il préférable de faire une analyse exploratoire des données sur l'ensemble de données de formation uniquement?

Je fais l'analyse exploratoire des données (EDA) sur un ensemble de données. Ensuite, je sélectionnerai certaines fonctionnalités pour prédire une variable dépendante. La question est: dois-je faire l'EDA sur mon ensemble de données de formation uniquement? Ou dois-je joindre les ensembles de données de formation et de test ensemble, puis …

15 dataset feature-selection feature-construction eda

1

Problème de paramètre accessoire

J'ai toujours du mal à obtenir la véritable essence du problème des paramètres accessoires. J'ai lu à plusieurs reprises que les estimateurs à effets fixes des modèles de données de panel non linéaires peuvent être gravement biaisés en raison du problème de paramètre incident "bien connu". Lorsque je demande une …

15 nonlinear-regression fixed-effects-model bias

2

ROC moyen pour une validation croisée répétée de 10 fois avec des estimations de probabilité

Je prévois d'utiliser une validation croisée stratifiée répétée (10 fois) sur environ 10 000 cas en utilisant un algorithme d'apprentissage automatique. Chaque fois, la répétition sera effectuée avec différentes graines aléatoires. Dans ce processus, je crée 10 instances d'estimations de probabilité pour chaque cas. 1 instance d'estimation de probabilité pour …

15 roc

2

Comment les poids sont-ils mis à jour dans la méthode d'apprentissage par lots dans les réseaux de neurones?

Quelqu'un peut-il me dire comment je suis censé construire un réseau neuronal en utilisant la méthode batch? J'ai lu que, en mode batch, pour tous les échantillons de l'ensemble d'apprentissage, nous calculons l'erreur, les poids delta et donc delta pour chaque neurone du réseau, puis au lieu de mettre à …

15 machine-learning neural-networks

3

Mesures pour évaluer les algorithmes de classement

Je suis intéressé à regarder plusieurs mesures différentes pour les algorithmes de classement - il y en a quelques-unes répertoriées sur la page wikipedia Apprendre à classer, notamment: • Précision moyenne moyenne (MAP); • DCG et NDCG; • Precision @ n, NDCG @ n, où "@n" indique que les métriques …

15 algorithms ranking