Statistiques et Big Data

6

Puis-je faire confiance à un résultat significatif d'un test t si la taille de l'échantillon est petite?

Si mon résultat de test t unilatéral est significatif mais que la taille de l'échantillon est petite (par exemple inférieure à 20 environ), puis-je toujours faire confiance à ce résultat? Sinon, comment dois-je traiter et / ou interpréter ce résultat?

17 statistical-significance t-test interpretation sample-size small-sample

2

Distribution d'échantillonnage de deux populations Bernoulli indépendantes

Supposons que nous avons des échantillons de deux variables aléatoires de Bernoulli indépendantes, Ber(θ1)Ber(θ1)\mathrm{Ber}(\theta_1) et Ber(θ2)Ber(θ2)\mathrm{Ber}(\theta_2) . Comment prouver que (X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2−−−−−−−−−−−−−−√→dN(0,1)(X¯1−X¯2)−(θ1−θ2)θ1(1−θ1)n1+θ2(1−θ2)n2→dN(0,1)\frac{(\bar X_1-\bar X_2)-(\theta_1-\theta_2)}{\sqrt{\frac{\theta_1(1-\theta_1)}{n_1}+\frac{\theta_2(1-\theta_2)}{n_2}}}\xrightarrow{d} \mathcal N(0,1)? Supposons que n1≠n2n1≠n2n_1\neq n_2 .

17 distributions sampling bernoulli-distribution

4

Quelle est la base de la définition de la valeur aberrante du diagramme de Box et Whisker Plot?

La définition standard d'une valeur aberrante pour un diagramme de Box et Whisker est des points en dehors de la plage , où et est le premier quartile et est le troisième quartile des données.{ Q 1 - 1,5 IQ R , Q 3 + 1,5 IQ R }{Q1-1,5jeQR,Q3+1,5jeQR}\left\{Q1-1.5IQR,Q3+1.5IQR\right\}jeQ R …

17 outliers normality-assumption qq-plot boxplot

3

Comment puis-je modéliser des flips jusqu'à N succès?

Vous et moi décidons de jouer à un jeu où nous lançons à tour de rôle une pièce. Le premier joueur à retourner 10 têtes au total remporte la partie. Naturellement, il y a un débat sur qui devrait aller en premier. Les simulations de ce jeu montrent que le …

17 probability python binomial negative-binomial

1

Pourquoi les valeurs de p sont-elles souvent plus élevées dans un modèle de risque proportionnel de Cox que dans la régression logistique?

J'ai appris le modèle de risque proportionnel de Cox. J'ai beaucoup d'expérience dans l'ajustement de modèles de régression logistique, et donc pour construire l'intuition, j'ai comparé des modèles ajustés à l'aide coxphde la «survie» R avec des modèles de régression logistique ajustés à l'aide glmde family="binomial". Si je lance le …

17 r logistic survival cox-model power

3

Générez efficacement des points entre le cercle unitaire et le carré unitaire

Je voudrais générer des échantillons à partir de la région bleue définie ici: La solution naïve consiste à utiliser l'échantillonnage de rejet dans le carré unitaire, mais cela n'offre qu'une efficacité de 1−π/41−π/41-\pi/4 (~ 21,4%). Existe-t-il un moyen de échantillonner plus efficacement?

17 probability sampling monte-carlo random-generation

6

Existe-t-il un exemple où le MLE produit une estimation biaisée de la moyenne?

Pouvez-vous fournir un exemple d'estimateur MLE de la moyenne biaisée? Je ne cherche pas d'exemple qui casse les estimateurs MLE en général en violant les conditions de régularité. Tous les exemples que je peux voir sur Internet se réfèrent à la variance, et je n'arrive pas à trouver quoi que …

17 maximum-likelihood mean bias

4

Comment expliquer la régularisation du décrochage en termes simples?

Si vous avez une demi-page pour expliquer l' abandon , comment procéderiez-vous? Quelle est la raison d'être de cette technique?

17 neural-networks deep-learning regularization dropout

1

Quelle est la dimension VC d'un arbre de décision?

Quelle est la dimension VC d'un arbre de décision avec k divisions en deux dimensions? Disons que le modèle est CART et que les seules divisions autorisées sont parallèles aux axes. Donc, pour une division, nous pouvons commander 3 points dans un triangle , puis pour tout étiquetage des points, …

17 cart vc-dimension

1

simulation d'échantillons aléatoires avec un MLE donné

Cette question de validation croisée portant sur la simulation d'un échantillon conditionnel à une somme fixe m'a rappelé un problème posé par George Casella . Étant donné un modèle paramétrique f(x|θ)f(x|θ)f(x|\theta) et un échantillon iid de ce modèle , le MLE de est donné par Pour une valeur donnée de …

17 maximum-likelihood conditional-probability random-variable simulation t-distribution

4

La «malédiction de la dimensionnalité» existe-t-elle vraiment dans les données réelles?

Je comprends ce qu'est la «malédiction de la dimensionnalité», et j'ai fait quelques problèmes d'optimisation dimensionnelle élevée et je connais le défi des possibilités exponentielles. Cependant, je doute que la "malédiction de la dimensionnalité" existe dans la plupart des données du monde réel (eh bien, mettons les images ou les …

17 clustering dimensionality-reduction high-dimensional

3

Pourquoi la norme matricielle par défaut est la norme spectrale et non la norme Frobenius?

Pour la norme vectorielle, la norme L2 ou «distance euclidienne» est la définition largement utilisée et intuitive. Mais pourquoi la définition de norme "la plus utilisée" ou "par défaut" pour une matrice est la norme spectrale , mais pas la norme Frobenius (qui est similaire à la norme L2 pour …

17 matrix linear-algebra

1

Comment traiter les prédicteurs catégoriques dans LASSO

Je gère un LASSO qui a des prédicteurs de variables catégoriques et des prédicteurs continus. J'ai une question sur les variables catégorielles. La première étape que je comprends est de les diviser en deux nuls, de les normaliser pour une pénalisation équitable, puis de régresser. Plusieurs options se présentent pour …

17 categorical-data regression-coefficients lasso intercept categorical-encoding

2

Quelle est la relation derrière Jeffreys Priors et une transformation stabilisatrice de variance?

Je lisais sur le Jeffreys prior sur wikipedia: Jeffreys Prior et j'ai vu qu'après chaque exemple, il décrit comment une transformation stabilisatrice de variance transforme le Jeffreys prior en un prior uniforme. À titre d'exemple, pour le cas de Bernoulli, il indique que pour une pièce de monnaie qui est …

17 bayesian prior jeffreys-prior

1

BIC essaie-t-il de trouver un vrai modèle?

Cette question est un suivi ou une tentative de dissiper une confusion possible concernant un sujet que beaucoup d'autres trouvent un peu difficile, en ce qui concerne la différence entre AIC et BIC. Dans une très belle réponse de @Dave Kellen sur ce sujet ( /stats//a/767/30589 ), nous lisons: Votre …

17 model-selection aic bic