Statistiques et Big Data

J'ai besoin d'un algorithme pour échantillonner une distribution multinomiale tronquée. C'est, X⃗ ∼ 1ZpX11… PXkkX1! … Xk!X→∼1Zp1X1…pkXkX1!…Xk!\vec x \sim \frac{1}{Z} \frac{p_1^{x_1} \dots p_k^{x_k}}{x_1!\dots x_k!} où est une constante de normalisation, a composantes positives et . Je ne considère que les valeurs de dans la plage .ZZZX⃗ X→\vec xkkk∑ xje= n∑Xje=n\sum …

9 algorithms  multinomial  random-generation 

Selon le théorème de limite centrale, la fonction de densité de probabilité de la somme d'une grande variable aléatoire indépendante tend vers une normale. Peut-on donc dire que la somme d'un grand nombre de variables aléatoires de Cauchy indépendantes est également normale?

9 random-variable  central-limit-theorem  cauchy 

Un de mes amis a récemment demandé ce qui était si ordinaire, à propos des moindres carrés ordinaires. Nous ne semblions aller nulle part dans la discussion. Nous avons tous deux convenu que l'OLS est un cas particulier du modèle linéaire, qu'il a de nombreuses utilisations, est bien connu et …

9 regression  linear-model  least-squares  terminology 

Le nombre d'accidents par jour est une variable aléatoire de Poisson avec le paramètre , sur 10 jours choisis au hasard, le nombre d'accidents a été observé comme 1,0,1,1,2,0,2,0,0,1, ce qui sera un estimateur sans biais de e λ ?λλ\lambdaeλeλe^{\lambda} J'ai essayé de tenter de cette manière: Nous savons que …

9 self-study  estimation  poisson-distribution 

Il est bien connu qu'une variable aléatoire étant distribuée Gamma avec le paramètre de forme entière kkk est équivalente à la somme des carrés de kkk variables aléatoires normalement distribuées. Mais que puis-je dire à propos d'une variable aléatoire distribuée gamma avec non entier kkk? Existe-t-il une autre interprétation que …

9 probability  gamma-distribution 

Ma question en bref: existe-t-il des méthodes pour améliorer le temps de fonctionnement de R MICE (imputation de données)? Je travaille avec un ensemble de données (30 variables, 1,3 million de lignes) qui contient (assez aléatoirement) des données manquantes. Environ 8% des observations dans environ 15 des 30 variables contiennent …

9 r  multiple-imputation  mice 

Dans la célèbre expérience de Fisher, le nombre observable de coupes corrigées ayant deux types de coupes et est observable . Habituellement, il est intéressant de calculer la région critique pour rejeter l'hypothèse nulle (la dame devine au hasard) compte tenu de la taille du test . Cela se fait …

9 hypothesis-testing  power  fishers-exact 

Quelqu'un peut-il me dire comment simuler , où , en utilisant un tirage au sort (autant de fois que vous le souhaitez) avec ?a,b∈NP(H)=pB e r n o u l l i ( ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right)a , b ∈ Na,b∈Na,b\in \mathbb{N}P( H) = pP(H)=pP(H)=p Je pensais utiliser un échantillonnage de rejet, …

9 probability  simulation  bernoulli-distribution  rejection-sampling 

Je fais mes devoirs sur les arbres de décision, et l'une des questions auxquelles je dois répondre est "Pourquoi les estimateurs sont-ils construits à partir d'arbres biaisés, et comment l'ensachage aide-t-il à réduire leur variance?". Maintenant, je sais que les modèles surajustés ont tendance à avoir un biais vraiment faible, …

9 cart  bias 

Je suis habitué à connaître les "degrés de liberté" comme , où vous avez le modèle linéaire \ mathbf {y} = \ mathbf {X} \ boldsymbol {\ beta} + \ boldsymbol {\ epsilon} avec \ mathbf {y } \ in \ mathbb {R} ^ n , \ mathbf {X} \ …

9 t-test  degrees-of-freedom 

Dans leur article sur autoencoders pour la classification texte Hinton et Salakhutdinov démontré l'intrigue produit par 2 dimensions LSA (qui est étroitement liée à la PCA): . En appliquant l'ACP à des données dimensionnelles légèrement différentes, absolument différentes, j'ai obtenu un tracé similaire: (sauf dans ce cas, je voulais vraiment …

9 data-visualization  pca 

Existe-t-il une relation mathématique entre: la similitude cosinus de deux vecteurs et , etsim(A,B)sim⁡(A,B)\operatorname{sim}(A, B)AAABBB la similitude cosinus de et , mis à l'échelle de manière non uniforme via une matrice donnée ? Ici est une matrice diagonale donnée avec des éléments inégaux sur la diagonale.sim(MA,MB)sim⁡(MA,MB)\operatorname{sim}(MA, MB)AAABBBMMMMMM J'ai essayé de …

9 linear-algebra  cosine-similarity 

Je regarde actuellement un article sur le modèle d'effets aléatoires du processus de Dirichlet et la spécification du modèle est la suivante: où est le paramètre d'échelle et est la mesure de base. Plus loin dans l'article, cela suggère que nous intégrons une fonction sur la mesure de base telle …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

Je suis à la recherche de ressources (ne doit pas être un seul livre) qui couvriraient certains des cas les plus difficiles de conception expérimentale et d'analyse statistique. Certains des cas que je voudrais être couverts: 1. Cas où les unités de randomisation sont différentes des unités d'analyse Exemple: je …

9 references  experiment-design 

Considérons la perte quadratique , avec donné antérieurement où . Soit la probabilité. Trouvez l'estimateur de Bayes .L(θ,δ)=(θ−δ)2L(θ,δ)=(θ−δ)2L(\theta,\delta)=(\theta-\delta)^2π(θ)π(θ)\pi(\theta)π(θ)∼U(0,1/2)π(θ)∼U(0,1/2)\pi(\theta)\sim U(0,1/2)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπδπ\delta^\pi Considérons la perte quadratique pondérée où avec avant . Soit la probabilité. Trouvez l'estimateur de Bayes .Lw(θ,δ)=w(θ)(θ−δ)2Lw(θ,δ)=w(θ)(θ−δ)2L_w(\theta,\delta)=w(\theta)(\theta-\delta)^2w(θ)=I(−∞,1/2)w(θ)=I(−∞,1/2)w(\theta)=\mathbb{I}_{(-\infty,1/2)}π1(θ)=I[0,1](θ)π1(θ)=I[0,1](θ)\pi_1(\theta)=\mathbb{I}_{[0,1]}(\theta)f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|θ)=θxθ−1I[0,1](x),θ>0f(x|\theta)=\theta x^{\theta-1}\mathbb{I}_{[0,1]}(x), \theta>0δπ1δ1π\delta^\pi_1 Comparer etδπδπ\delta^\piδπ1δ1π\delta^\pi_1 J'ai d'abord remarqué que , et j'ai supposé …

9 self-study  bayesian  estimation  hierarchical-bayesian  loss-functions