Statistiques et Big Data

3

Comment puis-je tester la même variable catégorielle sur deux populations?

J'ai des données qui ressemblent un peu à ceci: ID Status 01 A 02 G 03 E ... ... 100 G Vous voyez l'idée, je pense. J'ai ces données de deux populations distinctes (cohortes) et je veux comparer la distribution de la variable de statut dans une population à la …

8 r hypothesis-testing categorical-data chi-squared

1

Du HMM standard au HMM bayésien

J'essaie de comprendre quelle est la différence entre un HMM standard et un HMM bayésien. Wikipedia mentionne brièvement à quoi ressemble le modèle, mais j'ai besoin d'un tutoriel plus détaillé. Quelqu'un connaît-il un document ou une mise en œuvre que je peux consulter? J'ai également des problèmes avec la terminologie …

8 bayesian hidden-markov-model

2

Comment trouver une association appropriée de couleur avec la valeur des données dans une visualisation?

Je travaille sur un projet logiciel qui consiste à créer un visualiseur pour les simulations de crue. Dans le cadre de ce projet, j'ai créé un gradient d'eau qui montre la profondeur de l'eau à des points particuliers. Pour définir quelles valeurs représenteront quelles couleurs, je passe en revue les …

8 data-visualization data-transformation

3

Instabilité numérique du calcul de la matrice de covariance inverse

J'ai 65 échantillons de données en 21 dimensions (collées ici ) et j'en construis la matrice de covariance. Lorsque calculé en C ++, je récupère la matrice de covariance collée ici . Et lorsque calculé dans matlab à partir des données (comme indiqué ci-dessous), je reçois la matrice de covariance …

8 clustering matlab covariance distance-functions matrix-inverse

1

Dans quelle mesure la somme des effets aléatoires doit-elle être proche de zéro dans GLMM (avec lme4)

J'utilise le lme4package dans R pour faire de la modélisation logistique à effets mixtes. J'ai cru comprendre que la somme de chaque effet aléatoire devait être nulle. Lorsque je crée des modèles mixtes linéaires de jouets à l'aide de lmer, les effets aléatoires sont généralement < confirmant ma conviction que …

8 r lme4-nlme random-effects-model glmm

1

Estimation bayésienne des paramètres de distribution de Dirichlet

Je veux estimer les paramètres des modèles de mélange de Dirichlet en utilisant l'échantillonnage de Gibbs et j'ai quelques questions à ce sujet: Un mélange de distributions de Dirichlet est-il équivalent à un processus de Dirichlet? Quelles sont leurs principales différences si ce n'est pas le cas? De plus, si …

8 bayesian estimation gibbs dirichlet-distribution

4

R: Calcul de la moyenne et de l'erreur standard de la moyenne pour les facteurs avec lm () vs calcul direct - édité

Lorsqu'il s'agit de données avec des facteurs, R peut être utilisé pour calculer les moyennes pour chaque groupe avec la fonction lm (). Cela donne également les erreurs types pour les moyennes estimées. Mais cette erreur standard diffère de ce que j'obtiens d'un calcul à la main. Voici un exemple …

8 r categorical-data mean lm

1

Biais variable omis dans la régression linéaire

J'ai une question philosophique concernant le biais variable omis. Nous avons le modèle de régression typique (modèle de population) où proviennent les échantillons , puis un tas de conditions dans lesquelles les estimations de l'OLS se comportent assez bien.Y=β0+β1X1+...+βnXn+υ,Y=β0+β1X1+...+βnXn+υ, Y= \beta_0 + \beta_1X_1 + ... + \beta_nX_n + \upsilon, (Y,X1,...,Xn)(Y,X1,...,Xn)(Y,X_1,...,X_n) …

8 regression model-selection assumptions bias

5

Classification vs régression pour la prédiction du signe d'une variable de réponse continue

Disons que je veux prédire si un projet sera rentable ou non. Dans mes données d'échantillon, la variable de réponse est en fait une variable continue: le $ profit / loss du projet. Parce que mon objectif ultime est juste une classification binaire (projet rentable ou projet non rentable), dois-je …

8 regression classification predictive-models

1

Avantages relatifs de l'imputation multiple et de la maximisation des attentes (EM)

J'ai un problème où y=a+by=a+by = a + b J'observe y, mais ni ni . Je veux estimeraaabbb b=f(x)+ϵb=f(x)+ϵb = f(x) + \epsilon Je peux estimer , en utilisant une sorte de modèle de régression. Cela me donne . Je pourrais alors estimeraaab^b^\hat b b^=f(x)+ϵb^=f(x)+ϵ\hat b = f(x) + \epsilon …

8 missing-data multiple-imputation expectation-maximization

1

La distribution des valeurs propres données est connue

Je suis familier avec l'utilisation des connaissances de la théorie des matrices aléatoires pour déterminer le nombre de composants principaux de l'ACP d'une matrice de covariance / corrélation à utiliser pour former des facteurs. Si la valeur propre associée au premier PC est grande, cela signifie que les valeurs propres …

8 correlation pca covariance eigenvalues random-matrix

2

Quelle est l'importance de la connaissance du domaine dans notre profession?

ou: La sélection d'un domaine lors de la saisie d'un emploi réduit-elle vos futures options pour les domaines et donc les emplois? Pour rendre cette question aussi largement applicable que possible ... profession fait référence à toutes sortes d'analystes de données, des statisticiens aux programmeurs d'apprenants machine en passant par …

8 careers

2

Comment comparer statistiquement deux algorithmes à travers trois ensembles de données dans la sélection et la classification d'entités?

Contexte du problème: Dans le cadre de mes recherches, j'ai écrit deux algorithmes qui peuvent sélectionner un ensemble de fonctionnalités à partir d'un ensemble de données (données d'expression génique de patients cancéreux). Ces caractéristiques sont ensuite testées pour voir dans quelle mesure elles peuvent classer un échantillon invisible comme cancéreux …

8 machine-learning statistical-significance computational-statistics standardization genetic-algorithms

2

Imputation avec des forêts aléatoires

J'ai deux questions sur l'utilisation de la forêt aléatoire (spécifiquement randomForest dans R) pour l'imputation des valeurs manquantes (dans l'espace des prédicteurs). 1) Comment fonctionne l'algorithme d'imputation - en particulier comment et pourquoi l'étiquette de classe est-elle requise pour l'imputation? la matrice de proximité qui sert à pondérer la valeur …

8 data-mining predictive-models missing-data random-forest data-imputation

2

Test post-hoc après mesures répétées à 2 facteurs ANOVA dans R?

J'ai des problèmes à trouver une solution concernant la façon d'exécuter un test post-hoc (Tukey HSD) après une ANOVA à mesures répétées à 2 facteurs (tous deux intra-sujets) en R. Pour l'ANOVA, j'ai utilisé la fonction aov: summary(aov(dv ~ x1 * x2 + Error(subject/(x1*x2)), data=df1)) Après avoir lu les réponses …

8 r anova repeated-measures post-hoc tukey-hsd goodness-of-fit curve-fitting sem latent-variable mplus anova post-hoc tukey-hsd markov-process image-processing r time-series causality granger-causality anova mixed-model lme4-nlme random-effects-model r matlab data-transformation multinomial notation estimation nonparametric logistic r missing-data multiple-imputation mice