Statistiques et Big Data self-study

5

Comment effectuer l'imputation de valeurs dans un très grand nombre de points de données?

J'ai un très grand ensemble de données et il manque environ 5% de valeurs aléatoires. Ces variables sont corrélées entre elles. L'exemple de jeu de données R suivant n'est qu'un exemple de jouet avec des données corrélées factices. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

2

Dans les données asymétriques de gauche, quelle est la relation entre la moyenne et la médiane?

Je pense que la médiane ≤≤\leq moyenne. Est-ce le cas?

12 distributions self-study mean skewness median

4

Nombre prévu sur lequel je serai après avoir pioché des cartes jusqu'à ce que j'obtienne un as, 2, 3, etc.

J'ai du mal à résoudre les problèmes suivants. Vous piochez des cartes d'un jeu standard de 52 cartes sans les remplacer jusqu'à ce que vous obteniez un as. Vous tirez de ce qui reste jusqu'à ce que vous obteniez un 2. Vous continuez avec 3. Quel est le nombre attendu …

12 self-study conditional-probability conditional-expectation games conditioning

2

Quelles sont les statistiques suffisantes et complètes?

J'ai du mal à comprendre des statistiques suffisantes et complètes? Soit une statistique suffisante.T= Σ xjeT=ΣXjeT=\Sigma x_i Si avec probabilité 1, pour une fonction g , alors c'est une statistique complète suffisante.E[ g( T) ] = 0E[g(T)]=0E[g(T)]=0ggg mais qu'est ce que ça veut dire? J'ai vu des exemples d'uniformes et …

12 self-study estimation intuition decision-theory

1

Différences entre PROC Mixed et lme / lmer en R - degrés de liberté

Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les différents tests diffèrent …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Approximation d'intégrales à l'aide de la simulation de Monte Carlo dans R

Comment puis-je approximer l'intégrale suivante à l'aide de la simulation MC? ∫1- 1∫1- 1| x-y|d xd y∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y Merci! Modifier (un certain contexte): j'essaie d'apprendre à utiliser la simulation pour approximer les intégrales et je m'entraîne quand j'ai rencontré des difficultés. Edit 2 + 3 : …

12 r self-study monte-carlo

5

Meilleure classification des défauts de régression logistique

Divulgation complète: ce sont des devoirs. J'ai inclus un lien vers l'ensemble de données ( http://www.bertelsen.ca/R/logistic-regression.sav ) Mon objectif est de maximiser la prédiction des défaillants dans cet ensemble de données. Chaque modèle que j'ai trouvé jusqu'à présent prédit> 90% des non-défaillants, mais <40% des défaillants, ce qui rend l'efficacité …

12 r logistic spss self-study

4

Qu'est-ce qui rend le lasso instable pour la sélection des fonctionnalités?

Dans la détection compressée, il existe un théorème garantissant que a une solution clairsemée unique c (voir l'annexe pour plus de détails).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe-t-il un théorème similaire pour le lasso? S'il existe un tel théorème, non seulement …

12 regression self-study feature-selection lasso regularization

1

Effet causal par les ajustements de la porte arrière et de la porte d'entrée

Si nous voulions calculer l'effet causal de sur dans le graphique causal ci-dessous, nous pouvons utiliser à la fois les théorèmes d'ajustement de porte arrière et d'ajustement de porte d'entrée, c'est-à-dire XXXYYYP(y|do(X=x))=∑uP(y|x,u)P(u)P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) = \sum_u P(y | x, u) P(u) et P(y|do(X=x))=∑zP(z|x)∑x′P(y|x′,z)P(x′).P(y|do(X=x))=∑zP(z|x)∑x′P(y|x′,z)P(x′).P(y | \textit{do}(X = x)) = …

12 self-study causality graph-theory dag

1

Test exact de Fisher et distribution hypergéométrique

Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Preuve que si un moment supérieur existe alors un moment inférieur existe également

Le rrr ème moment d'une variable aléatoire XXX est fini si E(|Xr|)<∞E(|Xr|)<∞ \mathbb E(|X^r|)< \infty J'essaie de montrer que pour tout entier positif s<rs<rs<r , alors le sss ème instant E[|Xs|]E[|Xs|]\mathbb E[|X^s|] est également fini.

12 self-study moments function

4

Bootstrap, Monte Carlo

On m'a posé la question suivante dans le cadre des devoirs: Concevoir et mettre en œuvre une étude de simulation pour examiner les performances du bootstrap pour obtenir des intervalles de confiance à 95% sur la moyenne d'un échantillon univarié de données. Votre implémentation peut être en R ou SAS. …

12 r self-study bootstrap monte-carlo

1

Comment comprendre que le MLE de la variance est biaisé dans une distribution gaussienne?

Je lis PRML et je ne comprends pas l'image. Pourriez-vous s'il vous plaît donner quelques conseils pour comprendre l'image et pourquoi le MLE de la variance dans une distribution gaussienne est biaisé? formule 1.55: formule 1.56 σ 2 M L E =1μMLE=1N∑n=1NxnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2MLE=1N∑n=1N(xn−μMLE)2σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning self-study maximum-likelihood

3

Dérivation de la fonction de coût de régression linéaire régularisée par cours d'apprentissage automatique Coursera

J'ai suivi le cours "Machine Learning" d'Andrew Ng via Coursera il y a quelques mois, sans prêter attention à la plupart des mathématiques / dérivations et plutôt me concentrer sur la mise en œuvre et l'aspect pratique. Depuis lors, j'ai recommencé à étudier certaines des théories sous-jacentes et j'ai revu …

12 regression self-study

2

Somme limite des variations gamma iid

Soit une séquence de variables aléatoires indépendantes et identiquement distribuées avec la fonction de densité de probabilité; Montrez queX1,X2,…X1,X2,…X_1,X_2,\ldotsf(x)={12x2e−x0if x>0;otherwise.f(x)={12x2e−xif x>0;0otherwise. f(x) = \left\{ \begin{array}{ll} \frac{1}{2}x^2 e^{-x} & \mbox{if $x>0$};\\ 0 & \mbox{otherwise}.\end{array} \right. limn→∞P[X1+X2+…+Xn≥3(n−n−−√)]≥12limn→∞P[X1+X2+…+Xn≥3(n−n)]≥12\lim_{n\to \infty} P[X_1+X_2+\ldots+X_n\ge 3(n-\sqrt{n})] \ge \frac{1}{2} Ce que j'ai tenté À première vue, j'ai pensé qu'il …

11 probability self-study

Questions marquées «self-study»