Statistiques et Big Data

2

L'augmentation du nombre de fonctionnalités entraîne une baisse de la précision mais une augmentation du préc / rappel

Je suis nouveau dans le Machine Learning. En ce moment, j'utilise un classifieur Naive Bayes (NB) pour classer les petits textes en 3 classes comme positifs, négatifs ou neutres, en utilisant NLTK et python. Après avoir effectué quelques tests, avec un ensemble de données composé de 300 000 instances (16 …

15 machine-learning classification naive-bayes precision-recall

9

L'écart type des données non négatives peut-il dépasser la moyenne?

J'ai des maillages 3D triangulés. Les statistiques pour les zones triangulaires sont les suivantes: Min 0,000 Max 2341.141 Moyenne 56,317 Std dev 98.720 Alors, cela signifie-t-il quelque chose de particulièrement utile à propos de l'écart-type ou suggère-t-il qu'il y a des bogues dans son calcul, lorsque les chiffres fonctionnent comme …

15 distributions mean standard-deviation

6

Comment détecter un changement significatif dans les données de séries temporelles dû à un changement de «politique»?

J'espère que c'est le bon endroit pour publier ceci, j'ai envisagé de le publier sur les sceptiques, mais je pense qu'ils diraient simplement que l'étude était statistiquement erronée. Je suis curieux de connaître le revers de la question, qui est de savoir comment le faire correctement. Sur le site Web …

15 time-series change-point

5

Quelle est une bonne ressource qui comprend une comparaison des avantages et des inconvénients des différents classificateurs?

Quel est le meilleur classificateur 2 classes prêt à l'emploi? Oui, je suppose que c'est la question à un million de dollars, et oui, je suis conscient du théorème du déjeuner gratuit , et j'ai également lu les questions précédentes: Quel est le meilleur classificateur 2 classes prêt à l'emploi …

15 machine-learning classification references

1

Comment tracer une fonction de marches d'escalier avec ggplot?

Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. J'ai le graphique comme ceci: Le code R pour le générer est: DF <- data.frame(date = as.Date(runif(100, 0, 800),origin="2005-01-01"), outcome = …

15 r data-visualization ggplot2

1

Fonctions propres d'une matrice d'adjacence d'une série chronologique?

Considérons une simple série chronologique: > tp <- seq_len(10) > tp [1] 1 2 3 4 5 6 7 8 9 10 nous pouvons calculer une matrice d'adjacence pour cette série temporelle représentant les liens temporels entre les échantillons. Dans le calcul de cette matrice, nous ajoutons un site imaginaire …

15 time-series matrix-decomposition svd

3

Comment puis-je estimer la probabilité qu'un membre aléatoire d'une population soit «meilleur» qu'un membre aléatoire d'une population différente?

Supposons que je possède des échantillons de deux populations distinctes. Si je mesure le temps qu'il faut à chaque membre pour accomplir une tâche, je peux facilement estimer la moyenne et la variance de chaque population. Si je fais maintenant l'hypothèse d'un appariement aléatoire avec un individu de chaque population, …

15 probability normal-distribution

2

Aire sous le «pdf» dans l'estimation de la densité du noyau dans R

J'essaie d'utiliser la fonction « densité » dans R pour faire des estimations de densité du noyau. J'ai de la difficulté à interpréter les résultats et à comparer divers ensembles de données car il semble que l'aire sous la courbe ne soit pas nécessairement 1. Pour toute fonction de densité …

15 r estimation pdf kernel-smoothing auc

1

Comment configurer et interpréter les contrastes ANOVA avec le package voiture dans R?

Disons que j'ai une simple expérience factorielle 2x2 sur laquelle je veux faire de l'ANOVA. Comme ça, par exemple: d <- data.frame(a=factor(sample(c('a1','a2'), 100, rep=T)), b=factor(sample(c('b1','b2'), 100, rep=T))); d$y <- as.numeric(d$a)*rnorm(100, mean=.75, sd=1) + as.numeric(d$b)*rnorm(100, mean=1.2, sd=1) + as.numeric(d$a)*as.numeric(d$b)*rnorm(100, mean=.5, sd=1) + rnorm(100); En l'absence d'interaction significative, par défaut (c.-à-d. contr.treatment) …

15 r anova contrasts

4

Comment générer des données de séries chronologiques binaires auto-corrélées aléatoires?

Comment puis-je générer des séries temporelles binaires telles que: La probabilité moyenne d'observer 1 est spécifiée (disons 5%); Probabilité conditionnelle d'observer 1 au temps étant donné la valeur à t - 1 (disons 30% si t - 1tttt−1t−1t-1t−1t−1t-1 valeur était 1)?

15 time-series random-variable simulation random-generation

2

Qu'est-ce qu'une «méthode de transmission des messages»?

J'ai une vague idée de ce qu'est une méthode de transmission de messages: un algorithme qui construit une approximation d'une distribution en construisant itérativement des approximations de chacun des facteurs de la distribution conditionnelle à toutes les approximations de tous les autres facteurs. Je crois que les deux sont des …

15 distributions bayesian references algorithms

4

Comment puis-je améliorer mon analyse des effets de la réputation sur le vote?

Récemment, j'avais fait une analyse des effets de la réputation sur les votes positifs (voir le blog ), et par la suite, j'avais quelques questions sur une analyse et des graphiques éventuellement plus éclairants (ou plus appropriés). Donc, quelques questions (et n'hésitez pas à répondre à quelqu'un en particulier et …

15 data-visualization large-data fixed-effects-model

1

Quels sont les avantages et les inconvénients de l'apprentissage d'une distribution algorithmique (simulations) par rapport à mathématique?

Quels sont les avantages et les inconvénients de l'apprentissage des propriétés d'une distribution par algorithme (via des simulations informatiques) par rapport à mathématique? Il semble que les simulations informatiques puissent être une méthode d'apprentissage alternative, en particulier pour les nouveaux étudiants qui ne se sentent pas forts en calcul. Il …

15 distributions algorithms teaching

5

Quelle pourrait être la raison de l'utilisation de la transformation de racine carrée sur les données?

Y a-t-il une raison de ce à quoi je peux penser, pour transformer les données avec une racine carrée? Je veux dire que ce que j'observe toujours, c'est que le R ^ 2 augmente. Mais c'est probablement juste à cause du centrage des données! Toute pensée est appréciée!

15 regression data-transformation variance-stabilizing

2

Divergence de Kullback – Leibler entre deux distributions gamma

Choisir de paramétrer la distribution gamma par le pdf La divergence de Kullback-Leibler entre et est donnée par [1] commeΓ(b,c)Γ(b,c)\Gamma(b,c)g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}Γ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)Γ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p) KLG a( bq, cq; bp, cp)= ( cq- 1 ) Ψ ( cq) - journalbq- cq- journalΓ ( cq)+logΓ ( cp)+ cpJournalbp- ( cp- 1 ) ( Ψ …

15 kullback-leibler gamma-distribution exponential-family