Statistiques et Big Data

2

Comment interpréter et faire des prévisions en utilisant le package tsoutliers et auto.arima

J'ai des données mensuelles de 1993 à 2015 et j'aimerais faire des prévisions sur ces données. J'ai utilisé le package tsoutliers pour détecter les valeurs aberrantes, mais je ne sais pas comment continuer à prévoir avec mon ensemble de données. Voici mon code: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) Ceci est ma sortie du …

9 r time-series forecasting arima outliers

1

Comment définir des contrastes personnalisés avec lmer dans R

J'utilise lmer dans R pour vérifier l'effet de condition ( cond) sur un résultat. Voici quelques données composées, où s est l'identifiant du sujet et a, bet csont des conditions. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, 1), c …

9 r lme4-nlme contrasts

1

Combien de faces a un dé? Inférence bayésienne dans JAGS

Problème Je voudrais faire une inférence sur un système analogue à mourir avec un nombre inconnu de côtés. Le dé est lancé plusieurs fois, après quoi je voudrais déduire une distribution de probabilité sur un paramètre correspondant au nombre de côtés du dé, θ. Intuition Si après 40 rouleaux vous …

9 r probability bayesian jags

7

Trouvez des paires proches dans un espace de dimension très élevé avec des vecteurs clairsemés

J'ai (~ un million) de vecteurs de caractéristiques. Il y a (~ un million) d'entités binaires, mais dans chaque vecteur, seulement (~ un millier) d'entre elles seraient égales à , les autres étant . Je recherche les paires de vecteurs qui ont au moins (~ cent) traits en commun ( …

9 algorithms high-dimensional

2

Perte logistique multinomiale vs (entropie croisée vs erreur carrée)

J'ai observé que Caffe (un cadre d'apprentissage en profondeur) a utilisé la couche de perte Softmax SoftmaxWithLoss comme couche de sortie pour la plupart des échantillons de modèle . Pour autant que je sache, la couche de perte Softmax est la combinaison de la couche de perte logistique multinomiale et …

9 multinomial entropy sums-of-squares softmax

3

Comment prouver cela

J'ai essayé d'établir l'inégalité |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} où X¯X¯\bar{X} est la moyenne de l'échantillon et SSS l'écart-type de l'échantillon, c'est-à-dire S=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} . Il est facile de voir que ∑ni = 1T2je= n - 1∑je=1nTje2=n-1\sum_{i=1}^n T_i^2 = n-1 et ainsi | Tje| < n …

9 self-study descriptive-statistics bounds

1

Tout est dans la famille; mais incluons-nous aussi les beaux-parents?

Supposons que j'ai une expérience avec deux ou plusieurs facteurs. Une ANOVA globale est construite, puis nous effectuons un suivi avec deux ou plusieurs ensembles de tests post hoc , par exemple des comparaisons multiples. Ma question est de savoir quelle taille --- et combien --- de familles doivent être …

9 multiple-comparisons post-hoc

1

Pourquoi en ajouter un en fréquence de document inverse?

Mon manuel répertorie l'idf comme oùl o g( 1 + Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) : nombre de documentsNNN : nombre de documents contenant le terme tntntn_tttt Wikipedia répertorie cette formule comme une version lissée du l o g réel ( N. Celui que je comprends: il varie delog(Nl o g( Nnt)log(Nnt)log(\frac{N}{n_t})à∞ce qui semble …

9 text-mining natural-language smoothing

1

En quoi le gradient augmente-t-il comme la descente en gradient?

Je lis l'entrée utile de Wikipedia sur l'augmentation du gradient ( https://en.wikipedia.org/wiki/Gradient_boosting ), et j'essaie de comprendre comment / pourquoi nous pouvons approximer les résidus par l'étape de descente la plus raide (également appelée pseudo-gradient ). Quelqu'un peut-il me donner l'intuition sur la façon dont la descente la plus raide …

9 self-study gradient-descent

1

Quand les modèles linéaires incorrects deviennent-ils robustes?

Des questions: Des modèles linéaires inappropriés sont-ils utilisés dans la pratique ou s'agit-il d'une sorte de curiosité décrite de temps en temps dans des revues scientifiques? Si oui, dans quels domaines sont-ils utilisés? Existe-t-il d'autres exemples de tels modèles? Enfin, les erreurs standard, les valeurs de , etc. extraites de …

9 regression references linear-model robust

2

Qu'est-ce que VectorSource et VCorpus dans le package 'tm' (Text Mining) dans R

Je ne sais pas exactement ce que VectorSource et VCorpus contiennent dans le paquet «tm». La documentation n'est pas claire à ce sujet, quelqu'un peut-il me faire comprendre en termes simples?

9 r text-mining

4

La distribution de probabilité d'une urne change-t-elle lorsque vous en tirez sans remplacement en moyenne?

Supposons que j'ai une urne contenant N couleurs de boules différentes et que chaque couleur différente puisse apparaître un nombre différent de fois (s'il y a 10 boules rouges, il n'est pas nécessaire qu'il y ait également 10 boules bleues). Si nous connaissons le contenu exact de l'urne avant de …

9 probability discrete-data distributions

1

Alternatives au test d'indépendance du chi carré pour les tables de plus de 2 x 2

Quelles sont les alternatives au test du chi carré pour les variables catégorielles avec des tableaux supérieurs à 2 x 2 et des cellules avec un nombre inférieur à 5, si je ne veux pas fusionner les classes?

9 chi-squared fishers-exact

5

Quelle est la bonne façon de représenter graphiquement un très grand nombre de points de données appariés?

Dans mon domaine, la façon habituelle de tracer des données appariées consiste en une série de segments de ligne en pente mince, en les superposant à la médiane et à l'IC de la médiane pour les deux groupes: Cependant, ce type de tracé devient beaucoup plus difficile à lire car …

9 generalized-linear-model data-visualization modeling interpretation paired-data

1

Apprivoiser l'inclinaison… Pourquoi y a-t-il autant de fonctions d'inclinaison?

J'espère avoir plus d'informations sur les quatre types de biais de cette communauté. Les types auxquels je fais référence sont mentionnés dans la page d' aide http://www.inside-r.org/packages/cran/e1071/docs/skewness . L'ancienne méthode n'était pas mentionnée dans la page d'aide, mais je l'inclus quand même. require(moments) require(e1071) x=rnorm(100) n=length(x) hist(x) ###############type=1 e1071::skewness(x,type=1) sqrt(n) …

9 skewness