Statistiques et Big Data

1

Correction d'une imprécision d'horloge normalement distribuée

J'ai une expérience qui est exécutée sur des centaines d'ordinateurs répartis dans le monde entier qui mesure les événements de certains événements. Les événements dépendent chacun les uns des autres pour que je puisse les commander dans l'ordre croissant et ensuite calculer la différence de temps. Les événements doivent être …

10 error measurement-error exponential

2

Confus au sujet de l'intervalle de confiance

Je suis confus quant au concept d'intervalle de confiance. Plus précisément, supposons qu'il existe une variable gaussienne X∼N(μ,σ)X∼N(μ,σ)X \sim N(\mu, \sigma) avec σσ\sigma connue, et je m'intéresse à la limite inférieure μLμL\mu_L de la moyenne avec un niveau de confiance de 95%95%95\% . Je vais faire l'expérience 555 fois et …

10 confidence-interval

2

La multicolinéarité est-elle implicite dans les variables catégorielles?

J'ai remarqué en bricolant avec un modèle de régression multivariée qu'il y avait un effet de multicolinéarité petit mais notable, mesuré par les facteurs d'inflation de la variance, dans les catégories d'une variable catégorielle (après avoir exclu la catégorie de référence, bien sûr). Par exemple, supposons que nous ayons un …

10 regression categorical-data multicollinearity

1

randomForest et bug d'importance variable?

Je n'ai pas la différence entre le rfobject$importanceet importance(rfobject)dans la colonne MeanDecreaseAccuracy. Exemple: > data("iris") > fit <- randomForest(Species~., data=iris, importance=TRUE) > fit$importance setosa versicolor virginica MeanDecreaseAccuracy MeanDecreaseGini Sepal.Length 0.027078501 0.019418330 0.040497602 0.02898837 9.173648 Sepal.Width 0.008553449 0.001962036 0.006951771 0.00575489 2.472105 Petal.Length 0.313303381 0.291818815 0.280981959 0.29216790 41.284869 Petal.Width 0.349686983 0.318527008 0.270975757 …

10 r random-forest importance

3

Sélection de fonctionnalités à l'aide d'informations mutuelles dans Matlab

J'essaie d'appliquer l'idée d'information mutuelle à la sélection des fonctionnalités, comme décrit dans ces notes de cours (à la page 5). Ma plateforme est Matlab. Un problème que je trouve lors du calcul d'informations mutuelles à partir de données empiriques est que le nombre est toujours biaisé vers le haut. …

10 matlab feature-selection information-theory mutual-information

2

Coefficient de régression logistique exponentiellement différent du rapport de cotes

Si je comprends bien, la valeur bêta exponentielle d'une régression logistique est le rapport de cotes de cette variable pour la variable dépendante d'intérêt. Cependant, la valeur ne correspond pas au rapport de cotes calculé manuellement. Mon modèle prédit le retard de croissance (une mesure de la malnutrition) en utilisant, …

10 regression logistic interpretation odds-ratio

1

Un modèle de P (Y | X) peut-il être formé par descente de gradient stochastique à partir d'échantillons non iid de P (X) et d'iid échantillons de P (Y | X)?

Lors de la formation d'un modèle paramétré (par exemple pour maximiser la probabilité) par descente de gradient stochastique sur certains ensembles de données, il est communément supposé que les échantillons d'apprentissage sont tirés de la distribution des données d'apprentissage. Donc, si l'objectif est de modéliser une distribution conjointe , alors …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Distribution asymptotique de la statistique d'ordre maximum des normales aléatoires IID

Y at - il une belle limitant la distribution de comme n va \ infty , en supposant qu'ils sont iid distributions normales avec la variance \ sigma ^ 2 .max(X1,X2,...,Xn)max(X1,X2,...,Xn)\max( X_1,X_2,...,X_n) nnn∞∞\inftyσ2σ2\sigma^2 C'est presque certainement un problème bien connu avec une preuve intelligente et une bonne solution, mais j'ai …

10 distributions probability extreme-value

2

Quelle est l'approximation normale de la distribution multinomiale?

S'il existe plusieurs approximations possibles, je recherche la plus élémentaire.

10 normal-distribution multinomial approximation

4

Régularisation induisant la rareté pour les matrices stochastiques

Il est bien connu (par exemple dans le domaine de la détection compressive) que la norme "induit la rareté", en ce sens que si nous minimisons la fonction (pour la matrice fixe et le vecteur ) pour assez grand \ lambda> 0 , il est probable que de nombreux choix …

10 regression matrix normalization regularization sparse

1

Génération de nombres aléatoires Log-Cauchy

J'ai besoin de tirer des nombres aléatoires à partir d'une distribution log-cauchy qui a la densité: Quelqu'un peut-il m'aider ou me diriger vers un livre / papier qui pourrait me montrer comment?F( x ; μ , σ) = 1x πσ[ 1 + ( l n ( x ) - μσ)2].F(X;μ,σ)=1Xπσ[1+(ln(X)-μσ)2].f(x;\mu,\sigma)=\frac{1}{x\pi\sigma\left[1+\left(\frac{ln(x)-\mu}{\sigma}\right)^2\right]}.

10 distributions random-generation

1

«Théorème central limite» pour la somme pondérée des variables aléatoires corrélées

Je lis un article qui prétend que X^k= 1N--√∑j = 0N- 1Xje- i 2 πk j / N,X^k=1N∑j=0N−1Xje−i2πkj/N,\hat{X}_k=\frac{1}{\sqrt{N}}\sum_{j=0}^{N-1}X_je^{-i2\pi kj/N}, (c'est-à-dire la transformée de Fourier discrète , DFT) par le CLT tend vers une variable aléatoire gaussienne (complexe). Cependant, je sais que ce n'est pas vrai en général. Après avoir lu …

10 time-series central-limit-theorem fourier-transform

2

Kurtosis gigantesque?

Je fais des statistiques descriptives des rendements quotidiens des indices boursiers. Autrement dit, si et sont les niveaux de l'indice au jour 1 et au jour 2, respectivement, alors est le retour que j'utilise (tout à fait standard dans la littérature).P 2 l o g e ( P 2P1P1P_1P2P2P_2l o …

10 distributions finance skewness kurtosis

1

Questions sur la spécification de modèles mixtes linéaires dans R pour les données de mesures répétées avec une structure d'imbrication supplémentaire

Structure de données > str(data) 'data.frame': 6138 obs. of 10 variables: $ RT : int 484 391 422 516 563 531 406 500 516 578 ... $ ASCORE : num 5.1 4 3.8 2.6 2.7 6.5 4.9 2.9 2.6 7.2 ... $ HSCORE : num 6 2.1 7.9 1 6.9 …

10 r mixed-model repeated-measures model-selection lme4-nlme

4

Pourquoi utiliser des variables de contrôle dans les différences de différences?

J'ai une question sur l'approche des différences dans les différences avec l'équation standard suivante: où Treat est une variable fictive pour le groupe et le poste traités. y= a + b1traiter + b2poste + b3traiter ⋅ post + uy=a+b1treat+b2post+b3treat⋅post+u y= a + b_1\text{treat}+ b_2\text{post} + b_3\text{treat}\cdot\text{post} + u Maintenant, ma …

10 regression multiple-regression causality