Statistiques et Big Data

1

Une explication intuitive pourquoi la procédure FDR de Benjamini-Hochberg fonctionne?

Existe-t-il un moyen simple d'expliquer pourquoi la procédure de Benjamini et Hochberg (1995) contrôle réellement le taux de fausses découvertes (FDR)? Cette procédure est si élégante et compacte et pourtant la preuve de pourquoi elle fonctionne sous indépendance (apparaissant en annexe de leur article de 1995 ) n'est pas très …

14 intuition false-discovery-rate teaching

1

La différence entre avec ou sans modèle d'interception dans la régression logistique

J'aime comprendre la différence entre avec ou sans modèle d'interception dans la régression logistique Y a-t-il une différence entre eux, sauf qu'avec l'interception, les coefficients considèrent le log (odds ratio) par rapport au groupe de référence et sans l'interception, ils considèrent le log (odds)? d'après ce que j'ai vu, les …

14 regression logistic interpretation model intercept

3

Régression linéaire Que nous disent la statistique F, R au carré et l'erreur-type résiduelle?

Je suis vraiment confus quant à la différence de sens concernant le contexte de régression linéaire des termes suivants: Statistique F R au carré Erreur standard résiduelle J'ai trouvé cette webstie qui m'a donné un bon aperçu des différents termes impliqués dans la régression linéaire, mais les termes mentionnés ci-dessus …

14 linear-model nonlinear-regression linear f-statistic

2

Scikit bonne façon d'étalonner les classificateurs avec CalibratedClassifierCV

Scikit a CalibratedClassifierCV , qui nous permet d'étalonner nos modèles sur une paire X, y particulière. Il indique également clairement quedata for fitting the classifier and for calibrating it must be disjoint. S'ils doivent être disjoints, est-il légitime de former le classificateur avec les éléments suivants? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, …

14 cross-validation scikit-learn validation train calibration

1

Intervalle de prédiction pour la variable aléatoire binomiale

Quelle est la formule (approximative ou exacte) d'un intervalle de prédiction pour une variable aléatoire binomiale? Supposons que , et nous observons (tiré de ). Le est connu.Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p)yyyYYYnnn Notre objectif est d'obtenir un intervalle de prédiction à 95% pour un nouveau tirage de .YYY L'estimation ponctuelle est …

14 confidence-interval binomial prediction-interval

3

Pourquoi / (() l'échantillonnage statistique devrait-il fonctionner pour la politique (par exemple Gallup)?

Les sondages (par exemple, Gallup) échantillonnent un nombre absurdement bas de personnes par rapport à la taille de la population (par exemple, peut-être mille personnes sur des centaines de millions). Maintenant, pour moi, l'échantillonnage d'une population comme moyen d'estimer les statistiques de la population est logique lorsque vous avez de …

14 sampling sample-size

2

Quelle est la formule de la valeur de p ajustée de Benjamini-Hochberg?

Je comprends la procédure et ce qu'elle contrôle. Quelle est donc la formule de la valeur de p ajustée dans la procédure BH pour les comparaisons multiples? Tout à l'heure, j'ai réalisé que le BH d'origine ne produisait pas de valeurs de p ajustées, mais seulement la condition de (non) …

14 hypothesis-testing p-value multiple-comparisons false-discovery-rate

4

Intervalles de prédiction pour les algorithmes d'apprentissage automatique

Je veux savoir si le processus décrit ci-dessous est valide / acceptable et toute justification disponible. L'idée: les algorithmes d'apprentissage supervisé ne supposent pas de structures / distributions sous-jacentes sur les données. À la fin de la journée, ils produisent des estimations ponctuelles. J'espère quantifier en quelque sorte l'incertitude des …

14 machine-learning confidence-interval bootstrap supervised-learning gbm

2

l'opérateur (x) signifie-t-il?

J'ai vu l' opérateur do(x)do(x)do(x) partout dans une revue de littérature que je fais sur la causalité (voir, par exemple, cette entrée wikipedia ). Cependant, je ne trouve pas de définition formelle et générale de cet opérateur. Quelqu'un peut-il me désigner une bonne référence à ce sujet? Je m'intéresse à …

14 references causality definition

1

Test de Kolmogorov – Smirnov vs test t

J'ai de la difficulté à comprendre l'interprétation des 2 échantillons de test KS et la différence avec un test t régulier entre 2 groupes. Disons que j'ai des hommes et des femmes qui font une tâche et que je recueille des scores de cette tâche. Mon objectif ultime est de …

14 distributions t-test interpretation kolmogorov-smirnov

3

Comment modéliser des big data longitudinales?

Traditionnellement, nous utilisons un modèle mixte pour modéliser des données longitudinales, c'est-à-dire des données comme: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 nous pouvons supposer une interception …

14 machine-learning data-transformation random-forest panel-data large-data

1

Bibliothèques Python de modèle additif généralisé

Je sais que R a des bibliothèques gam et mgcv pour les modèles additifs généralisés. Mais j'ai du mal à trouver leurs homologues dans l'écosystème Python (les modèles de statistiques n'ont qu'un prototype dans le bac à sable). Quelqu'un connaît-il les bibliothèques python existantes? Qui sait que cela pourrait être …

14 gam

3

Comment trouver les coefficients de régression

En régression de crête, la fonction objectif à minimiser est: RSS + λ ∑ β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Peut-on l'optimiser en utilisant la méthode du multiplicateur de Lagrange? Ou est-ce une différenciation directe?

14 regression regularization ridge-regression

1

GAM vs LOESS vs splines

Contexte : Je veux tracer une ligne dans un nuage de points qui n'apparaît pas paramétrique, donc j'utilise geom_smooth()in ggplotin R. Il retourne automatiquement geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

2

Qu'est-ce que Thompson Sampling en termes simples?

Je n'arrive pas à comprendre Thompson Sampling et comment cela fonctionne. Je lisais sur Multi Arm Bandit et après avoir lu l'algorithme de limite de confiance supérieure, de nombreux textes suggéraient que l'échantillonnage de Thompson était plus performant que l'UCB. Qu'est-ce que Thompson Sampling, en termes simples ou simples? N'hésitez …

14 machine-learning definition multiarmed-bandit