Statistiques et Big Data

3

Est-il préférable de sélectionner des distributions basées sur la théorie, l'ajustement ou autre chose?

Ceci est à la limite d'une question philosophique, mais je suis intéressé par la façon dont d'autres personnes ayant plus d'expérience pensent la sélection de distribution. Dans certains cas, il semble clair que la théorie pourrait mieux fonctionner (les longueurs de queue des souris sont probablement normalement distribuées). Dans de …

12 distributions overfitting heuristic

3

Déduire la variance du boxplot

Je me demandais comment déduire la variance d'une variable à l'aide d'un boxplot. Est-il au moins possible de déduire si deux variables ont la même variance en observant leur boxplot?

12 variance boxplot

1

Comment former les HMM pour la classification?

Je comprends donc que lorsque vous formez des HMM à la classification, l'approche standard est la suivante: Séparez vos ensembles de données dans les ensembles de données pour chaque classe Former un HMM par classe Sur l'ensemble de test, comparez la probabilité de chaque modèle de classer chaque fenêtre Mais …

12 classification hidden-markov-model

2

Vérification de la normalité des résidus dans les modèles linéaires généralisés

Cet article utilise des modèles linéaires généralisés (distributions d'erreur binomiale et binomiale négative) pour analyser les données. Mais ensuite, dans la section analyse statistique des méthodes, il y a cette déclaration: ... et deuxièmement en modélisant les données de présence à l'aide de modèles de régression logistique et les données …

12 generalized-linear-model assumptions

1

Si la distribution de la statistique de test est bimodale, la valeur p signifie-t-elle quelque chose?

La valeur P est définie comme la probabilité d'obtenir une statistique de test au moins aussi extrême que ce qui est observé, en supposant que l'hypothèse nulle est vraie. En d'autres termes, P( X≥ t | H0)P(X≥t|H0)P( X \ge t | H_0 ) Mais que se passe-t-il si la statistique …

12 hypothesis-testing statistical-significance p-value descriptive-statistics bimodal

2

Dans les données asymétriques de gauche, quelle est la relation entre la moyenne et la médiane?

Je pense que la médiane ≤≤\leq moyenne. Est-ce le cas?

12 distributions self-study mean skewness median

1

Clopper-Pearson pour les non-mathématiciens

Je me demandais si quelqu'un pouvait m'expliquer l'intuition au-delà du Clopper-Pearson CI pour les proportions. Pour autant que je sache, chaque CI comprend une variance. Cependant, pour les proportions, même si ma proportion est de 0 ou 1 (0% ou 100%), l'IC Clopper-Pearson peut être calculé. J'ai essayé de regarder …

12 confidence-interval proportion

4

Estimation de la densité du noyau intégrant des incertitudes

Lors de la visualisation de données unidimensionnelles, il est courant d'utiliser la technique d'estimation de la densité du noyau pour tenir compte des largeurs de bac mal choisies. Lorsque mon ensemble de données unidimensionnel présente des incertitudes de mesure, existe-t-il un moyen standard d'incorporer ces informations? Par exemple (et pardonnez-moi …

12 uncertainty kde kernel-smoothing

1

Vous avez du mal à trouver un bon modèle adapté aux données de comptage avec des effets mixtes - ZINB ou autre chose?

J'ai un très petit ensemble de données sur l'abondance des abeilles solitaires que j'ai du mal à analyser. Ce sont des données de comptage, et presque tous les comptages sont dans un traitement avec la plupart des zéros dans l'autre traitement. Il existe également quelques valeurs très élevées (une sur …

12 count-data negative-binomial mixed-model zero-inflation lme4-nlme

2

Identification des questions inutiles à partir d'un questionnaire

J'élabore un questionnaire. Pour améliorer sa fiabilité et sa validité, je souhaite utiliser des méthodes statistiques. Je veux éliminer les questions dont les réponses sont toujours les mêmes. Cela signifie que presque tous les participants ont donné les mêmes réponses à ces questions. Maintenant mes questions sont: Quel est le …

12 survey reliability psychometrics validity

4

Pouvez-vous comparer différentes méthodes de clustering sur un ensemble de données sans vérité de fond par validation croisée?

Actuellement, j'essaie d'analyser un ensemble de données de document texte qui n'a aucune vérité fondamentale. On m'a dit que vous pouvez utiliser la validation croisée k-fold pour comparer différentes méthodes de clustering. Cependant, les exemples que j'ai vus dans le passé utilisent une vérité fondamentale. Existe-t-il un moyen d'utiliser les …

12 machine-learning clustering cross-validation unsupervised-learning

1

Inversion des baies

J'ai un grand ensemble de données de marché agrégées sur les ventes de vin aux États-Unis et je voudrais estimer la demande de certains vins de haute qualité. Ces parts de marché sont essentiellement dérivées d'un modèle d'utilité aléatoire de la forme où inclut les caractéristiques de produit observées, désigne …

12 logistic estimation multiple-regression categorical-data

2

Statistiques de pizza pour les masses

Une brève entrée sur le site Web du NY Times fournit les faits et chiffres de la consommation de pizza aux États-Unis. J'ai un intérêt occasionnel dans la façon dont les statistiques sont utilisées (ou utilisées abusivement) pour fournir des informations au grand public, et quelques questions se sont posées …

12 interpretation descriptive-statistics

1

Calculer log-vraisemblance «à la main» pour la régression généralisée des moindres carrés non linéaires (nlme)

J'essaie de calculer la log-vraisemblance pour une régression des moindres carrés non linéaires généralisée pour la fonction optimisée par le dans le package R , en utilisant la matrice de covariance de variance générée par les distances sur un arbre phylogénétique en supposant un mouvement brownien (à partir du package). …

12 r maximum-likelihood least-squares nonlinear-regression mixed-model

3

Comment transformer la distribution leptokurtique en normalité?

Supposons que j'ai une variable leptokurtique que je voudrais transformer en normalité. Quelles transformations peuvent accomplir cette tâche? Je suis bien conscient que la transformation des données n'est pas toujours souhaitable, mais en tant que poursuite académique, supposons que je veuille "marteler" les données en normalité. De plus, comme vous …

12 normal-distribution data-transformation kurtosis qq-plot