Statistiques et Big Data

L'erreur type du terme d'interception ( β 0 ) dans est donnée par où est la moyenne de la .β^0β^0\hat{\beta}_0y=β1x+β0+εy=β1x+β0+εy=\beta_1x+\beta_0+\varepsilonSE(β^0)2=σ2[1n+x¯2∑ni=1(xi−x¯)2]SE(β^0)2=σ2[1n+x¯2∑i=1n(xi−x¯)2]SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right]x¯x¯\bar{x}xixix_i D'après ce que je comprends, le SE quantifie votre incertitude - par exemple, dans 95% des échantillons, l'intervalle [β^0−2SE,β^0+2SE][β^0−2SE,β^0+2SE][\hat{\beta}_0-2SE,\hat{\beta}_0+2SE] contiendra le vrai β0β0\beta_0 . Je n'arrive pas à …

13 regression  interpretation  standard-error 

Supposons que j'ai une variable dont la distribution est biaisée positivement à un très haut degré, de sorte que la prise du log ne sera pas suffisante pour la ramener dans la plage de biais pour une distribution normale. Quelles sont mes options à ce stade? Que puis-je faire pour …

13 data-transformation  skewness 

J'ai lu sur le test t de Student, mais il semble fonctionner lorsque nous pouvons supposer que les distributions d'origine sont normalement distribuées. Dans mon cas, ils ne le sont certainement pas. De plus, si j'ai 13 distributions, dois-je faire des 13^2tests?

13 r  hypothesis-testing  distributions 

Je travaille dans R grâce à un excellent tutoriel PCA par Lindsay I Smith et je suis coincé dans la dernière étape. Le script R ci-dessous nous amène à l'étape (à la p.19) où les données originales sont reconstruites à partir de la composante principale (singulière dans ce cas), ce …

13 r  pca 

Pour le modèle linéaire , on peut avoir une belle interprétation géométrique du modèle estimé par OLS: y = x β + e . Y est la projection de y sur l'espace engendré par x et résiduel e est perpendiculaire à cet espace engendré par x.y= x β+ ey=Xβ+ey=x\beta+ey^= x …

13 regression  model  geometry 

En étudiant la distance de Kullback – Leibler, il y a deux choses que nous apprenons très rapidement, c'est qu'elle ne respecte ni l'inégalité du triangle ni la symétrie, propriétés requises d'une métrique. Ma question est de savoir s'il existe une métrique de fonctions de densité de probabilité qui remplit …

13 distributions  distance  metric 

Quand est-il préférable d'utiliser l'estimation du maximum de vraisemblance au lieu des moindres carrés ordinaires? Quelles sont les forces et les limites de chacune? J'essaie de rassembler des connaissances pratiques sur où les utiliser dans des situations courantes.

13 regression  maximum-likelihood  least-squares 

J'ai récemment appris l'utilisation de l'astuce du noyau, qui mappe les données dans des espaces de dimension supérieure pour tenter de linéariser les données dans ces dimensions. Y a-t-il des cas où je devrais éviter d'utiliser cette technique? S'agit-il simplement de trouver la bonne fonction du noyau? Pour les données …

13 machine-learning  svm  kernel-trick  heuristic 

J'ai écrit du code qui peut effectuer le filtrage de Kalman (en utilisant un certain nombre de filtres de type Kalman différents [Information Filter et al.]) Pour l'analyse linéaire de l'espace d'état gaussien pour un vecteur d'état à n dimensions. Les filtres fonctionnent très bien et j'obtiens une belle sortie. …

13 maximum-likelihood  algorithms  kalman-filter  likelihood 

Existe-t-il un conjugué préalable pour la distribution de Laplace ? Sinon, existe-t-il une expression de forme fermée connue qui se rapproche de la valeur postérieure pour les paramètres de la distribution de Laplace? J'ai beaucoup cherché sur Google sans succès, donc ma supposition actuelle est «non» sur les questions ci-dessus …

13 bayesian  conjugate-prior  laplace-distribution 

Les bandes de confiance et de prédiction autour d'une régression non linéaire sont-elles censées être symétriques autour de la droite de régression? Cela signifie qu'ils ne prennent pas la forme d'un sablier comme dans le cas des bandes pour la régression linéaire. Pourquoi donc? Voici le modèle en question: Voici …

13 confidence-interval  nonlinear-regression  prediction-interval 

Intro: Ayant noté l'attention reçue aujourd'hui par cette question, " L'ANOVA peut-elle être significative alors qu'aucun des tests t par paires ne l'est? " . Une variété de résultats incongrus (à leur valeur nominale) peut se produire lorsque la signification statistique est comprise comme une simple dichotomie et jugée sur …

13 hypothesis-testing  anova  statistical-significance  t-test  multiple-comparisons 

Quelle est la distribution d'entropie maximale pour une variable continue positive, compte tenu de ses premier et deuxième moments? Par exemple, une distribution gaussienne est la distribution d'entropie maximale pour une variable non bornée, compte tenu de sa moyenne et de l'écart-type, et une distribution Gamma est la distribution d'entropie …

13 distributions  standard-deviation  mean  maximum-entropy 

J'utilise la bibliothèque R 'multcomp' ( http://cran.r-project.org/web/packages/multcomp/ ) pour calculer le test de Dunnett. J'utilise le script ci-dessous: Group <- factor(c("A","A","B","B","B","C","C","C","D","D","D","E","E","F","F","F")) Value <- c(5,5.09901951359278,4.69041575982343,4.58257569495584,4.79583152331272,5,5.09901951359278,4.24264068711928,5.09901951359278,5.19615242270663,4.58257569495584,6.16441400296898,6.85565460040104,7.68114574786861,7.07106781186548,6.48074069840786) data <- data.frame(Group, Value) aov <- aov(Value ~ Group, data) summary(glht(aov, linfct=mcp(Group="Dunnett"))) Maintenant, si j'exécute ce script plusieurs fois dans la console R, j'obtiens à chaque …

13 r  multiple-comparisons 

Supposons que sont des variables aléatoires iid qui suivent la distribution de Poisson avec la moyenne . Comment puis-je prouver qu'il n'y a pas d'estimateur non biaisé de la quantité ?X0,X1,…,XnX0,X1,…,Xn X_{0},X_{1},\ldots,X_{n} λλ \lambda 1λ1λ \dfrac{1}{\lambda}

13 probability  poisson-distribution  unbiased-estimator  estimators  iid