Statistiques et Big Data

2

Statistiquement significatif vs indépendant / dépendant

Quelle est la différence entre avoir quelque chose de statistiquement significatif (comme une différence entre deux échantillons) et indiquer si un groupe de nombres est indépendant ou dépendant.

9 statistical-significance independence

5

Une variable est-elle significative dans un modèle de régression linéaire?

J'ai un modèle de régression linéaire avec l'échantillon et les observations variables et je veux savoir: Si une variable spécifique est suffisamment significative pour rester incluse dans le modèle. Si une autre variable (avec observations) doit être incluse dans le modèle. Quelles statistiques peuvent m'aider? Comment les obtenir le plus …

9 regression

4

Comment trouver un intervalle de confiance pour le nombre total d'événements

J'ai un détecteur qui détectera un événement avec une certaine probabilité p . Si le détecteur indique qu'un événement s'est produit, c'est toujours le cas, il n'y a donc pas de faux positifs. Après l'avoir exécuté pendant un certain temps, je reçois k événements détectés. Je voudrais calculer avec certitude …

9 probability confidence-interval

2

Comment puis-je empiler verticalement deux graphiques avec la même échelle x, mais une échelle y différente dans R?

Salutations, Actuellement, je fais ce qui suit dans R: require(zoo) data <- read.csv(file="summary.csv",sep=",",head=TRUE) cum = zoo(data$dcomp, as.Date(data$date)) data = zoo(data$compressed, as.Date(data$date)) data <- aggregate(data, identity, tail, 1) cum <- aggregate(cum, identity, sum, 1) days = seq(start(data), end(data), "day") data2 = na.locf(merge(data, zoo(,days))) plot(data2,xlab='',ylab='compressed bytes',col=rgb(0.18,0.34,0.55)) lines(cum,type="h",col=rgb(0,0.5,0)) Snip de summary.csv: date,revision,file,lines,nclass,nattr,nrel,bytes,compressed,diff,dcomp 2007-07-25,16,model.xml,96,11,22,5,4035,991,0,0 …

9 r time-series data-visualization entropy

4

Recherche opérationnelle versus analyse statistique?

Quelle est la différence entre la recherche opérationnelle et l'analyse statistique?

9 operations-research

2

Visualisation de plusieurs «histogrammes» (graphiques à barres)

J'ai des difficultés à sélectionner la bonne façon de visualiser les données. Disons que nous avons des librairies qui vendent des livres , et chaque livre a au moins une catégorie . Pour une librairie, si nous comptons toutes les catégories de livres, nous acquérons un histogramme qui montre le …

9 pca data-visualization histogram barplot

2

Comment puis-je déterminer si un modèle de survie avec des données manquantes est approprié?

Pour simplifier un peu, j'ai environ un million d'enregistrements qui enregistrent l'heure d'entrée et de sortie des personnes dans un système s'étalant sur une dizaine d'années. Chaque enregistrement a une heure d'entrée, mais pas chaque enregistrement a une heure de sortie. La durée moyenne dans le système est d'environ 1 …

9 survival missing-data

1

Comment puis-je utiliser une mise à l'échelle optimale pour mettre à l'échelle une variable catégorielle ordinale?

Dans une réponse à cette question sur le traitement des données catégorielles comme une mise à l'échelle optimale continue a été mentionnée. Comment fonctionne cette méthode et comment est-elle appliquée?

9 categorical-data data-transformation optimal-scaling

7

Distribution normale et transformations monotones

J'ai entendu dire que de nombreuses quantités présentes dans la nature sont normalement distribuées. Ceci est généralement justifié en utilisant le théorème de la limite centrale, qui dit que lorsque vous faites la moyenne d'un grand nombre de variables aléatoires iid, vous obtenez une distribution normale. Ainsi, par exemple, un …

9 data-transformation normality-assumption

2

L'implémentation de la validation croisée influence-t-elle ses résultats?

Comme vous le savez, il existe deux types populaires de validation croisée, le pliage en K et le sous-échantillonnage aléatoire (comme décrit dans Wikipedia ). Néanmoins, je sais que certains chercheurs rédigent et publient des articles où quelque chose qui est décrit comme un CV plié en K est en …

9 machine-learning cross-validation

4

Calcul du rapport des échantillons de données utilisés pour l'ajustement / la formation et la validation du modèle

A fourni une taille d'échantillon "N" que je prévois d'utiliser pour prévoir les données. Quelles sont certaines des façons de subdiviser les données afin que j'en utilise une partie pour établir un modèle et les autres données pour valider le modèle? Je sais qu'il n'y a pas de réponse en …

9 machine-learning modeling sample validation

8

Ressources pour apprendre Stata

Je connais la microéconométrie de Cameron et Trivedi utilisant Stata. Quels sont les autres bons textes pour apprendre Stata?

9 references stata

5

Expliquer la visualisation des données

Comment expliqueriez-vous la visualisation des données et pourquoi elle est importante pour un profane?

9 data-visualization intuition

10

Bibliothèques de visualisation recommandées pour les applications autonomes

Quelles bibliothèques de visualisation (tracés, graphiques, ...) suggéreriez-vous d'utiliser dans une application autonome (Linux, .Net, Windows, peu importe). Des performances raisonnables seraient également appréciables.

9 data-visualization software

3

Quel est le problème avec ma preuve de la loi de la variance totale?

Selon la loi de la variance totale, Var( X) = E( Var( X∣ Y) ) + Var( E( X∣ Y) )Var⁡(X)=E⁡(Var⁡(X∣Y))+Var⁡(E⁡(X∣Y))\operatorname{Var}(X)=\operatorname{E}(\operatorname{Var}(X\mid Y)) + \operatorname{Var}(\operatorname{E}(X\mid Y)) En essayant de le prouver, j'écris Var( X)= E( X- EX)2= E{ E[ ( X- EX)2∣ Y] }= E( Var( X∣ Y) )Var⁡(X)=E⁡(X−E⁡X)2=E⁡{E⁡[(X−E⁡X)2∣Y]}=E⁡(Var⁡(X∣Y)) \begin{equation} \begin{aligned} …

9 variance conditional-probability expected-value conditional-expectation moments