Statistiques et Big Data

2

Indice de stabilité de la population - division par zéro

L'indice de stabilité de la population quantifie le changement d'une distribution d'une variable en comparant des échantillons de données sur deux périodes. Il est très couramment utilisé pour mesurer les changements dans les scores. Il est calculé comme suit: 1) L'échantillon de la période de base est discrétisé. Habituellement, il …

9 distributions kullback-leibler

1

Coefficients de corrélation pour les données ordonnées: Tau de Kendall vs Polychoric vs Rho de Spearman

Il semble que pour la gestion avec des mesures ordonnées, les chercheurs traitent généralement de la corrélation polychorique . (Par exemple, pour faire une matrice avant de faire une analyse factorielle.) Pourquoi? Le coefficient de corrélation de rang de Kendall Tau et le coefficient de corrélation de rang de Spearman …

9 correlation ordinal-data spearman-rho kendall-tau polychoric

1

Formule d'inertie de clustering dans Scikit Learn

Je voudrais coder un cluster kmeans en python à l'aide de pandas et de scikit learn. Afin de sélectionner le bon k, je voudrais coder la statistique de l'écart de Tibshirani et al 2001 ( pdf ). Je voudrais savoir si je pourrais utiliser le résultat inertie_ de scikit et …

9 clustering python k-means scikit-learn metric

1

Valeur attendue de la statistique de commande minimale d'un échantillon normal

MISE À JOUR 25 janvier 2014: l'erreur est maintenant corrigée. Veuillez ignorer les valeurs calculées de la valeur attendue dans l'image téléchargée - elles sont erronées - je ne supprime pas l'image car elle a généré une réponse à cette question. MISE À JOUR 10 janvier 2014: l'erreur a été …

9 normal-distribution expected-value order-statistics minimum

2

Corrélation entre les catégories entre les variables nominales catégorielles

J'ai un ensemble de données avec deux variables nominales catégorielles (les deux avec 5 catégories). Je voudrais savoir si (et comment) je suis capable d'identifier des corrélations potentielles entre les catégories de ces deux variables. En d'autres termes, si par exemple les résultats de la catégorie dans la variable 1 …

9 correlation residuals contingency-tables categorical-data

1

R: Anova et régression linéaire

Je suis nouveau dans les statistiques et j'essaie de comprendre la différence entre l'ANOVA et la régression linéaire. J'utilise R pour explorer cela. J'ai lu divers articles sur les raisons pour lesquelles l'ANOVA et la régression sont différentes mais toujours les mêmes et comment elles peuvent être visualisées, etc. Je …

9 r regression anova

4

Lasso-ing l'ordre d'un décalage?

Supposons que j'ai des données longitudinales de la forme (j'ai plusieurs observations, ce n'est que la forme d'une seule). Je suis intéressé par les restrictions sur . Un sans restriction équivaut à prendre avec .Y =( Y1, … , YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, …

9 feature-selection lasso shrinkage

2

Attente du quotient des sommes des variables aléatoires IID (feuille de travail de l'Université de Cambridge)

Je me prépare pour un entretien qui nécessite une connaissance décente des probabilités de base (au moins pour passer l'entretien lui-même). Je travaille à travers la feuille ci-dessous de mes jours d'étudiant comme révision. Cela a surtout été assez simple, mais je suis complètement perplexe sur la question 12. http://www.trin.cam.ac.uk/dpk10/IA/exsheet2.pdf …

9 probability self-study random-variable

1

Coefficient de corrélation entre deux tableaux de points 2D?

J'ai deux tableaux de points 2D et j'ai besoin d'estimer leur corrélation. Quelle formule dois-je utiliser? Exemple de tableaux: X: ( ( 1 , 5 ) , ( 2 , 5 ) , ( 1 , 7 ) , ( 4 , 1 ) ) ,X:((1,5),(2,5),(1,7),(4,1)),X: ((1,5),(2,5),(1,7),(4,1)), Oui: ( ( …

9 correlation

2

Variance de la moyenne de l'échantillon de l'échantillon bootstrap

Soit des observations distinctes (pas de liens). Soit un échantillon bootstrap (un échantillon du CDF empirique) et laissez . Recherchez et . X * 1 , . . . , X ∗ n ˉ X ∗ n = 1X1, . . . ,XnX1,...,XnX_{1},...,X_{n}X∗1, . . . , X∗nX1∗,...,Xn∗X_{1}^{*},...,X_{n}^{*} E( ˉ …

9 self-study variance bootstrap cdf conditional-expectation

3

Évaluer la puissance d'un test de normalité (en R)

Je veux évaluer l'exactitude des tests de normalité sur différentes tailles d'échantillon dans R (je me rends compte que les tests de normalité peuvent être trompeurs ). Par exemple, pour examiner le test de Shapiro-Wilk, je procède à la simulation suivante (ainsi que le traçage des résultats) et je m'attends …

9 r simulation power-analysis normality-assumption

2

Trois problèmes philosophiques ouverts en statistique

J'ai récemment fini de lire The Lady Tasting Tea , un livre amusant sur l'histoire des statistiques. À la fin du livre, l'auteur, David Salsburg , propose trois problèmes philosophiques ouverts en statistique, dont les solutions selon lui auraient des implications plus importantes pour l'application de la théorie statistique à …

9 probability

1

Structure des données et appel de fonction pour les données d'événements récurrents avec des variables dépendantes du temps

J'essaie d'estimer l'effet de 2 médicaments ( drug1, drug2) sur la probabilité de chute d'un patient ( event). Les patients peuvent tomber plus d'une fois et peuvent être mis ou retirés des médicaments à tout moment. Ma question est de savoir comment les données doivent être structurées en fonction de …

9 r survival cox-model

6

Comment estimer la fonction d'autorégression vectorielle et de réponse impulsionnelle avec les données du panel

Je travaille sur l'auto-régression vectorielle (VAR) et l'estimation de la fonction de réponse impulsionnelle (IRF) basée sur des données de panel avec 33 individus sur 77 trimestres. Comment analyser ce type de situation? Quels algorithmes existent à cet effet? Je préférerais effectuer ces analyses en R, donc si quelqu'un connaît …

9 r econometrics panel-data var impulse-response

1

Modèle de Markov caché pour la prédiction d'événements

Question : La configuration ci-dessous est-elle une implémentation sensée d'un modèle de Markov caché? J'ai un ensemble de données d' 108,000observations (prises sur une période de 100 jours) et approximativement des 2000événements tout au long de la période d'observation. Les données ressemblent à la figure ci-dessous où la variable observée …

9 time-series machine-learning predictive-models markov-chain hidden-markov-model