Statistiques et Big Data

Je republie une "réponse" à une question que j'avais posée il y a environ deux semaines: Pourquoi le Jeffreys est-il utile avant? C'était vraiment une question (et je n'avais pas non plus le droit de poster des commentaires à l'époque), donc j'espère que c'est OK de le faire: Dans le …

17 bayesian  mathematical-statistics  fisher-information  jeffreys-prior  invariance 

J'ai travaillé avec la conviction que la médiane de l'échantillon est une mesure plus robuste de la tendance centrale que la moyenne de l'échantillon, car elle ignore les valeurs aberrantes. J'ai donc été surpris d'apprendre (dans la réponse à une autre question ) que pour les échantillons tirés d'une distribution …

17 distributions  median  intuition  mean  efficiency 

J'ai quatre variables indépendantes uniformément réparties a,b,c,da,b,c,da,b,c,d , chacune dans [0,1][0,1][0,1] . Je veux calculer la distribution de (a−d)2+4bc(a−d)2+4bc(a-d)^2+4bc . J'ai calculé la distribution de u2=4bcu2=4bcu_2=4bc pour être f2(u2)=−14lnu24f2(u2)=−14ln⁡u24f_2(u_2)=-\frac{1}{4}\ln\frac{u_2}{4} (d'oùu2∈(0,4]u2∈(0,4]u_2\in(0,4]), et deu1=(a−d)2u1=(a−d)2u_1=(a-d)^2àf1(u1)=1−u1−−√u1−−√.f1(u1)=1−u1u1.f_1(u_1)=\frac{1-\sqrt{u_1}}{\sqrt{u_1}}.Maintenant, la distribution d'une sommeu1+u2u1+u2u_1+u_2est (u1,u2u1,u2u_1,\, u_2 sont également indépendants)fu1+u2(x)=∫+∞−∞f1(x−y)f2(y)dy=−14∫401−x−y−−−−√x−y−−−−√⋅lny4dy,fu1+u2(x)=∫−∞+∞f1(x−y)f2(y)dy=−14∫041−x−yx−y⋅ln⁡y4dy,f_{u_1+u_2}(x)=\int_{-\infty}^{+\infty}f_1(x-y)f_2(y)dy=-\frac{1}{4}\int_0^4\frac{1-\sqrt{x-y}}{\sqrt{x-y}}\cdot\ln\frac{y}{4}dy,cary∈(0,4]y∈(0,4]y\in(0,4]. Ici, il doit êtrex>yx>yx>ydonc l'intégrale est égale àfu1+u2(x)=−14∫x01−x−y−−−−√x−y−−−−√⋅lny4dy.fu1+u2(x)=−14∫0X1-X-yX-y⋅ln⁡y4réy.f_{u_1+u_2}(x)=-\frac{1}{4}\int_0^{x}\frac{1-\sqrt{x-y}}{\sqrt{x-y}}\cdot\ln\frac{y}{4}dy.Maintenant je …

17 distributions  random-variable  pdf  uniform  mathematica 

Pourquoi les «séries chronologiques» sont-elles appelées ainsi? La série signifie la somme d'une séquence. Pourquoi est-ce une série temporelle, pas une séquence temporelle? Le temps est -il la variable indépendante?

17 time-series  self-study  references  terminology 

Je lisais la justification suivante (à partir des notes de cours cs229) sur la raison pour laquelle nous divisons les données brutes par son écart type: même si je comprends ce que dit l'explication, il n'est pas clair pour moi pourquoi la division par l'écart-type permettrait d'atteindre un tel objectif. …

17 machine-learning  pca  mathematical-statistics 

Selon cet article de wikipedia , on peut représenter le produit des probabilités x⋅ycomme -log(x) - log(y)rendant le calcul plus optimal en termes de calcul. Mais si j'essaie un exemple, dites: p1 = 0.5 p2 = 0.5 p1 * p2 = 0.25 -log(p1) - log(p2) = 2 p3 = 0.1 …

17 probability  logarithm  arithmetic 

J'ai remarqué que de nombreux packages et thèmes de traçage "à la pointe de la technologie" et de nombreux utilisateurs de données distingués utilisent un fond gris pour leurs tracés. Voici plusieurs exemples: ggplot2: Le site fivethirtyeight.com de Nate Silver: Alors que dans le premier exemple ci-dessus (ggplot2), on peut …

17 data-visualization  ggplot2 

Ces dernières années, l'approche structurale de l'économétrie par rapport à l'économétrie sous forme réduite est devenue plus populaire. Cela implique une combinaison étroite de modèles économiques théoriques et de statistiques afin d'estimer les paramètres d'intérêt. Imposer une structure plus théorique dans la façon dont nous utilisons les données et les …

17 econometrics  references 

Supposons que j'ai des données normalement distribuées. Pour chaque élément des données, je veux vérifier combien de SD il est éloigné de la moyenne. Il peut y avoir une valeur aberrante dans les données (probablement une seule, mais peut-être aussi deux ou trois) ou non, mais cette valeur aberrante est …

17 cross-validation  standard-deviation  mean  outliers 

Je considère par l'autorité suprême 1 que Gibbs Sampling est un cas particulier de l'algorithme Metropolis-Hastings pour l'échantillonnage Markov Chain Monte Carlo. L'algorithme MH donne toujours une probabilité de transition avec la propriété d'équilibre détaillée; Je pense que Gibbs devrait aussi. Alors, où dans le cas simple suivant ai-je mal …

17 mcmc  gibbs 

Considérons un processus AR (2) centré sur la moyenne Xt=ϕ1Xt−1+ϕ2Xt−2+ϵtXt=ϕ1Xt−1+ϕ2Xt−2+ϵtX_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\epsilon_t où est le processus de bruit blanc standard. Par souci de simplicité, permettez-moi d'appeler et . En me concentrant sur les racines de l'équation des caractéristiques, j'ai obtenu Les conditions classiques dans les manuels sont les suivantes:ϵtϵt\epsilon_tϕ1=bϕ1=b\phi_1=bϕ2=aϕ2=a\phi_{2}=az1,2=−b±b2+4a−−−−−−√2az1,2=−b±b2+4a2az_{1,2}=\frac{-b\pm\sqrt{b^2+4a}}{2a}{|a|&lt;1a±b&lt;1{|a|&lt;1a±b&lt;1\begin{cases}|a|<1 \\ a\pm b<1 …

17 self-study  stationarity  arma 

Ceci est mon premier article sur StackExchange, mais je l'utilise comme ressource depuis un bon moment, je ferai de mon mieux pour utiliser le format approprié et apporter les modifications appropriées. C'est également une question en plusieurs parties. Je ne savais pas si je devais diviser la question en plusieurs …

17 r  logistic  model-selection  regression-strategies 

Je viens de lire la mesure de la déviance pour la régression logistique. Cependant, la partie qui est appelée modèle saturé n'est pas claire pour moi. J'ai fait une recherche approfondie sur Google, mais aucun des résultats n'a répondu à ma question. Jusqu'à présent, j'ai découvert qu'un modèle saturé a …

17 logistic  deviance 

Je pourrais utiliser quelques conseils sur la présentation de certaines données. Ce premier tracé est une comparaison cas-témoins pour la cytokine IL-10. J'ai défini manuellement l'axe y pour inclure 99% des données. La raison pour laquelle j'ai défini cela manuellement est que le groupe de cas a une valeur aberrante …

17 r  data-visualization  outliers  boxplot  presentation 

Nous savons que la corrélation zéro n'implique pas l'indépendance. Je souhaite savoir si une corrélation non nulle implique une dépendance - c'est-à-dire si Corr(X,Y)≠0Corr(X,Y)≠0\text{Corr}(X,Y)\ne0 pour certaines variables aléatoires XXX et YYY , peut-on dire en général que fX,Y(x,y)≠fX(x)fY(y)fX,Y(x,y)≠fX(x)fY(y)f_{X,Y}(x,y) \ne f_X(x) f_Y(y) ?

17 correlation  independence