Statistiques et Big Data

1

Suréchantillonnage avec des variables catégorielles

Je voudrais effectuer une combinaison de suréchantillonnage et de sous-échantillonnage afin d'équilibrer mon ensemble de données avec environ 4000 clients divisés en deux groupes, où l'un des groupes a une proportion d'environ 15%. J'ai examiné SMOTE ( http://www.inside-r.org/packages/cran/DMwR/docs/SMOTE ) et ROSE ( http://cran.r-project.org/web/packages/ROSE/ ROSE.pdf ), mais les deux créent de …

9 unbalanced-classes resampling oversampling

3

Validation croisée K-fold ou hold-out pour la régression de crête à l'aide de R

Je travaille sur la validation croisée de la prédiction de mes données avec 200 sujets et 1000 variables. Je suis intéressé par la régression des crêtes car le nombre de variables (que je veux utiliser) est supérieur au nombre d'échantillons. Je veux donc utiliser des estimateurs de retrait. Voici des …

9 r cross-validation prediction ridge-regression

1

Quelle est la relation entre les mesures de fiabilité de l'échelle (alpha de Cronbach, etc.) et les charges de composant / facteur?

Disons que j'ai un ensemble de données avec des scores sur un tas d'éléments de questionnaire, qui sont théoriquement composés d'un plus petit nombre d'échelles, comme dans la recherche en psychologie. Je sais qu'une approche courante consiste à vérifier la fiabilité des échelles en utilisant l'alpha de Cronbach ou quelque …

9 factor-analysis reliability psychometrics cronbachs-alpha scale-construction

1

test anova type III pour un GLMM

Je monte un glmermodèle dans le lme4package R. Je cherche une table anova avec une valeur de p montrée ici, mais je ne trouve aucun paquet qui lui convient. Est-il possible de le faire en R? Le modèle que je monte est de la forme: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four times …

9 r anova lme4-nlme mixed-model

2

Comment trouver des valeurs optimales pour les paramètres de réglage dans les arbres boostés?

Je me rends compte qu'il y a 3 paramètres de réglage dans le modèle de boosting trees, c'est-à-dire le nombre d'arbres (nombre d'itérations) paramètre de rétrécissement nombre de divisions (taille de chaque arbre constitutif) Ma question est: pour chacun des paramètres de réglage, comment dois-je trouver sa valeur optimale? Et …

9 machine-learning cross-validation computational-statistics boosting gbm

1

Le pouvoir en protéomique?

Les subventions nécessitent souvent une analyse de puissance pour prendre en charge une taille d'échantillon proposée. En protéomique (et la plupart des -omiques), il y a de 100 à 1000 caractéristiques / variables mesurées sur 10 échantillons (peut-être 100, mais peu probable). En outre, il est connu que certaines de …

9 nonparametric power-analysis

1

Comment glmnet gère-t-il la surdispersion?

J'ai une question sur la façon de modéliser le texte sur les données de comptage, en particulier comment pourrais-je utiliser la lassotechnique pour réduire les fonctionnalités. Supposons que j'ai N articles en ligne et le nombre de pages vues pour chaque article. J'ai extrait 1 gramme et 2 grammes pour …

9 poisson-distribution lasso glmnet overdispersion penalized

1

Pourquoi ne peut-on pas généraliser le test de Kolmogorov-Smirnov à 2 dimensions ou plus?

La question dit tout. J'ai lu à la fois que l'on ne peut pas généraliser KS à une dimension égale ou supérieure à deux , et que les implémentations célèbres comme celle dans les recettes numériques sont tout simplement erronées. Pourriez-vous expliquer pourquoi?

9 kolmogorov-smirnov bivariate ecdf

5

Régression logistique sur Big Data

J'ai un ensemble de données d'environ 5000 fonctionnalités. Pour ces données, j'ai d'abord utilisé le test du chi carré pour la sélection des fonctionnalités; après cela, j'ai obtenu environ 1500 variables qui ont montré une relation de signification avec la variable de réponse. Maintenant, je dois ajuster la régression logistique …

9 r logistic generalized-linear-model modeling regression-strategies

4

Aide à interpréter un complot d'interaction?

J'ai du mal à interpréter les graphiques d'interaction lorsqu'il y a une interaction entre les deux variables indépendantes. Les graphiques suivants proviennent de ce site: Ici, et sont les variables indépendantes et DV est la variable dépendante.UNEUNEABBBD VréVDV Question: Il y a interaction et effet principal de UNEUNEA , mais …

9 data-visualization interaction interpretation

1

Quelle distribution utiliser pour modéliser le temps de lecture des pages Web?

J'ai une fonction qui renvoie un temps d'attente moyen pour un internaute. Autrement dit, cela donne un temps moyen qu'un utilisateur moyen peut rester sur une page Web, étant donné la longueur des ressources Web en mots. Je veux utiliser cette fonction (et la moyenne résultante) conjointement avec une distribution …

9 distributions

1

Modèle de régression linéaire qui convient le mieux aux données contenant des erreurs

Je recherche un algorithme de régression linéaire qui convient le mieux à des données dont la variable indépendante (x) a une erreur de mesure constante et la variable dépendante (y) a une erreur dépendante du signal. L'image ci-dessus illustre ma question.

9 regression linear-model measurement-error measurement

3

Comment inclure et dans la régression et s'il faut les centrer?

Je veux inclure le terme et son carré (variables prédictives) dans une régression parce que je suppose que les faibles valeurs de ont un effet positif sur la variable dépendante et les valeurs élevées ont un effet négatif. Le devrait capturer l'effet des valeurs plus élevées. J'espère donc que le …

9 regression multiple-regression polynomial centering

3

Incompréhension de l'estimation de Monte Carlo Pi

Je suis assez sûr de comprendre comment fonctionne l'intégration de Monte-Carlo, mais je ne comprends pas la formulation de la façon dont elle est utilisée pour estimer Pi. Je vais suivre la procédure décrite dans la 5ème diapositive de cette présentation http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Je comprends les étapes préliminaires. Pi est égal …

9 monte-carlo indicator-function

1

Distribution de probabilité des fonctions des variables aléatoires?

J'ai un doute: considérons les variables aléatoires de valeur réelle et définies sur l'espace de probabilité .XXXZZZ(Ω,F,P)(Ω,F,P)(\Omega, \mathcal{F},\mathbb{P}) Soit , où est une fonction à valeur réelle. Puisque est une fonction de variables aléatoires, il s'agit d'une variable aléatoire.Y:=g(X,Z)Y:=g(X,Z)Y:= g(X,Z)g(⋅)g(⋅)g(\cdot)YYY Laissez soit une réalisation de .x:=X(ω)x:=X(ω)x:=X(\omega)XXX Est égal à ?P(Y|X=x)=P(g(X,Z)|X=x)P(Y|X=x)=P(g(X,Z)|X=x)\mathbb{P}(Y|X=x)=\mathbb{P}(g(X,Z)|X=x)P(g(x,Z))P(g(x,Z))\mathbb{P}(g(x,Z))

9 probability random-variable