Statistiques et Big Data

1

Je compare la distribution de différents groupes à l'aide des parcelles de violon, mais la plupart des ressources en ligne que j'ai trouvées sont uniquement liées à la façon de créer les parcelles et à l'interprétation très basique des résultats (la variation médiane, les données sont regroupées ou non). Je …

9 data-visualization

1

Y a-t-il une signification conventionnelle de

Je lisais un article sur l'ajustement de courbe bayésienne ( Dimatteo et al., Ajustement de courbe bayésienne avec des splines à nœuds libres, 2001 ) et suis tombé sur le symbole \ bumpeq≏≏\bumpeq . Il est utilisé plusieurs fois dans le document, mais jamais défini de manière explicite. Après quelques …

9 notation definition

4

Y a-t-il un nom pour ce graphique - une sorte de croisement entre un graphique à secteurs et un tracé de Mekko

Y a-t-il un nom pour ce type de graphique ci-dessous (provenant du ministère néo-zélandais du commerce, de l'innovation et de l'emploi , pour lequel je travaille mais je n'ai pas participé à la création de ce graphique)? Il se compose de rectangles où la zone est proportionnelle à une variable …

9 data-visualization pie-chart

2

Mesure de performance du classificateur qui combine sensibilité et spécificité?

J'ai des données étiquetées à 2 classes sur lesquelles j'effectue une classification à l'aide de plusieurs classificateurs. Et les ensembles de données sont bien équilibrés. Lors de l'évaluation des performances des classificateurs, je dois prendre en compte la précision du classificateur pour déterminer non seulement les vrais positifs, mais aussi …

9 classification roc model-evaluation sensitivity-specificity

1

Expériences bonnes, utiles et caractéristiques pour une conception statistique (optimale) des expériences

Il y a plus de phénomènes auxquels la conception expérimentale peut être appliquée qu'il n'y a d'autres stratégies de conception valides. Cela devrait être vrai, bien qu'il existe de nombreuses façons de concevoir correctement une expérience. Quels sont les meilleurs "problèmes" qui démontrent vraiment la valeur et la nuance des …

9 experiment-design references optimal

5

Comment mesurer les performances d'un classificateur lorsque près de 100% des étiquettes de classe appartiennent à une classe?

Dans mes données, j'ai une variable de classe, notée . Les valeurs de cette variable de classe sont 0 , 1 (binaire). Presque toutes les observations de C sont 0 (près de 100%, plus précisément 97%). Je souhaiterais un test de "performance" sur différents modèles de classification (ce pourrait être …

9 classification binary-data model-evaluation

3

Recommandations pour le premier enseignant (introduction à la biostatistique)

J'enseigne mon premier cours cet automne (introduction à la biostatistique). Quelqu'un a-t-il des suggestions pour mieux enseigner les statistiques? Peut-être un exemple que vous souhaiteriez que votre premier professeur ait utilisé? J'utilise les principes de biostatistique de Pagano et Gauvreau. MODIFIER: DÉTAILS Ce cours est un cours en ligne qui …

9 biostatistics teaching

2

Confusion liée à l'échantillonnage de Gibbs

Je suis tombé sur cet article où il est dit que dans l'échantillonnage de Gibbs, chaque échantillon est accepté. Je suis un peu confus. Comment se fait-il que chaque échantillon qu'il a accepté converge vers une distribution stationnaire. En général, nous acceptons l'algorithme Metropolis comme min (1, p (x *) …

9 mcmc gibbs metropolis-hastings

1

Utiliser les centiles comme prédicteurs - bonne idée?

Je pense à un problème qui consiste à prédire le journal (dépenses) d'un client à l'aide d'une régression linéaire. Je réfléchis aux fonctionnalités à utiliser en entrée et je me demande si ce serait correct d'utiliser le centile d'une variable comme entrées. Par exemple, je pourrais utiliser les revenus de …

9 regression linear-model quantiles predictor

2

Ajout de pondérations pour des ensembles de données fortement asymétriques dans la régression logistique

J'utilise une version standard de régression logistique pour adapter mes variables d'entrée aux variables de sortie binaires. Cependant, dans mon problème, les sorties négatives (0s) dépassent de loin les sorties positives (1s). Le rapport est de 20: 1. Ainsi, lorsque je forme un classificateur, il semble que même les fonctionnalités …

9 regression logistic weighted-regression

1

R / caret: train et ensembles de test vs validation croisée?

Cela peut être peut-être une question stupide, mais lors de la génération d'un modèle avec caret et en utilisant quelque chose comme LOOCVou (plus précisément) LGOCV, quel est l'avantage de diviser les données en trains et ensembles de test si c'est essentiellement ce que l'étape de validation croisée fait de …

9 r machine-learning cross-validation caret

1

Terme d'interaction utilisant une analyse de régression hiérarchique à variables centrées? Quelles variables devons-nous centrer?

Je lance une analyse de régression hiérarchique et j'ai quelques petits doutes: Calculons-nous le terme d'interaction en utilisant les variables centrées? Faut-il centrer TOUTES les variables continues que nous avons dans l'ensemble de données, à l'exception de la variable dépendante? Lorsque nous devons enregistrer certaines variables (parce que leur sd …

9 interaction multicollinearity centering

2

AIC, erreur anova: les modèles ne sont pas tous ajustés au même nombre d'observations, les modèles ne sont pas tous ajustés à la même taille de jeu de données

J'ai des modèles comme celui-ci: require(nlme) set.seed(123) n <- 100 k <- 5 cat <- as.factor(rep(1:k, n)) cat_i <- 1:k # intercept per kategorie x <- rep(1:n, each = k) sigma <- 0.2 alpha <- 0.001 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) plot(x, y) m1 …

9 r mixed-model aic

3

LDA contre perceptron

J'essaie de me faire une idée de la façon dont LDA «s'inscrit» dans d'autres techniques d'apprentissage supervisé. J'ai déjà lu certains des articles de LDA ici sur LDA. Je connais déjà le perceptron, mais j'apprends juste le LDA maintenant. Comment le LDA s'intègre-t-il dans la famille des algorithmes d'apprentissage supervisé? …

9 machine-learning classification discriminant-analysis supervised-learning

4

Si j'ai de nombreux résultats positifs et insignifiants, puis-je tester «au moins de ces résultats sont positifs»?

Disons que j'ai effectué la même régression pour 100 individus différents séparément. Mes coefficients d'intérêt sont positifs (et assez différents les uns des autres) mais statistiquement non significatifs dans les 100 résultats (disons chaque valeur de p = 0,11). Existe-t-il un moyen de combiner ces valeurs de p pour conclure …

9 hypothesis-testing multiple-comparisons