Statistiques et Big Data

Je suis un épidémiologiste qui essaie de comprendre les GEE afin d'analyser correctement une étude de cohorte (en utilisant la régression de Poisson avec un lien log, pour estimer le risque relatif). J'ai quelques questions sur la "corrélation de travail" que j'aimerais que quelqu'un de mieux informé clarifie: (1) Si …

19 gee 

Je fais un master en statistique et on me conseille d'apprendre la géométrie différentielle. Je serais plus heureux d'entendre parler des applications statistiques de la géométrie différentielle car cela me motiverait. Quelqu'un connaît-il des applications de la géométrie différentielle en statistique?

19 mathematical-statistics  information-geometry 

Ce n'est pas une question strictement statistique - je peux lire tous les manuels sur les hypothèses ANOVA - j'essaie de comprendre comment les analystes qui travaillent réellement traitent des données qui ne répondent pas tout à fait aux hypothèses. J'ai parcouru beaucoup de questions sur ce site à la …

19 anova  heteroscedasticity  assumptions 

Je voudrais savoir s'il est logique d'effectuer une analyse en composantes principales (ACP) et une analyse factorielle exploratoire (ALE) sur le même ensemble de données. J'ai entendu des professionnels recommander expressément: Comprendre le but de l'analyse et choisir PCA ou EFA pour l'analyse des données; Après avoir fait une analyse, …

19 pca  factor-analysis 

J'ai vu un tracé LDA (analyse discriminante linéaire) avec les limites de décision de The Elements of Statistical Learning : Je comprends que les données sont projetées sur un sous-espace de dimension inférieure. Cependant, je voudrais savoir comment nous obtenons les limites de décision dans la dimension d'origine de telle …

19 r  references  discriminant-analysis 

Comment décider de l'asymétrie en regardant un boxplot construit à partir de ces données: 340, 300, 520, 340, 320, 290, 260, 330 Un livre dit: "Si le quartile inférieur est plus éloigné de la médiane que le quartile supérieur, alors la distribution est faussée." Plusieurs autres sources ont dit à …

19 outliers  skewness  boxplot 

Nous avons effectué un test fractionné d'une nouvelle fonctionnalité de produit et voulons mesurer si l'augmentation des revenus est significative. Nos observations ne sont certainement pas distribuées normalement (la plupart de nos utilisateurs ne dépensent pas, et parmi ceux qui le font, ils sont fortement biaisés vers de nombreux petits …

19 bootstrap  outliers 

Disons que je calcule certains paramètres du modèle en minimisant la somme des résidus au carré, et je suppose que mes erreurs sont gaussiennes. Mon modèle produit des dérivées analytiques, donc l'optimiseur n'a pas besoin d'utiliser des différences finies. Une fois l'ajustement terminé, je veux calculer les erreurs standard des …

19 standard-error  fitting 

Je suis intéressé à utiliser le curseur pour faire des inférences sur un ensemble de données particulier. Est-il possible de faire ce qui suit: produire des coefficients d'un modèle glmnet que j'ai formé au caret. Je voudrais utiliser glmnet en raison de la sélection de fonctionnalités inhérentes car je ne …

19 caret  glmnet 

Je me souviens avoir lu quelque part sur le Web une connexion entre la régression de crête (avec la régularisation ) et la régression PCA: lors de l'utilisation de la régression régularisée avec un hyperparamètre , si , la régression équivaut à supprimer le Variable PC avec la plus petite …

19 regression  pca  regularization  ridge-regression 

J'ai fait des recherches récemment sur la vision bayésienne des statistiques classiques. Après avoir lu sur le facteur Bayes, je me suis demandé si l'analyse de puissance était une nécessité dans cette vue des statistiques. Ma principale raison de me demander ceci est que le facteur Bayes semble vraiment être …

19 bayesian  power-analysis 

J'expérimente avec des forêts aléatoires avec scikit-learn et j'obtiens d'excellents résultats de mon ensemble d'entraînement, mais des résultats relativement médiocres sur mon ensemble de test ... Voici le problème (inspiré du poker) que j'essaie de résoudre: étant donné les cartes fermées du joueur A, les cartes fermées du joueur B …

19 classification  random-forest  scikit-learn 

Quelle est la meilleure façon de visualiser graphiquement une fonction de densité 3D? Comme dans je voudrais visualiser ?z= fX, Y( x , y)z=fX,Y(x,y)z=f_{X,Y}(x,y) Pas nécessaire, mais le Rcode serait génial.

19 r  data-visualization  methodology 

Comment obtenir des valeurs de p en utilisant la multinomfonction de nnetpackage dans R? J'ai un ensemble de données qui se compose de «scores de pathologie» (absents, légers, graves) comme variable de résultat, et deux effets principaux: l'âge (deux facteurs: vingt / trente jours) et le groupe de traitement (quatre …

19 r  regression  p-value  multinomial 

J'ai un problème avec la preuve de E(Y|X)∈argming(X)E[(Y−g(X))2]E(Y|X)∈arg⁡ming(X)E[(Y−g(X))2]E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big] qui révèlent très probablement une incompréhension plus profonde des attentes et des attentes conditionnelles. La preuve que je connais va comme suit (une autre version de cette preuve peut être trouvée ici ) ===argming(X)E[(Y−g(x))2]argming(X)E[(Y−E(Y|X)+E(Y|X)−g(X))2]argming(x)E[(Y−E(Y|X))2+2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]argming(x)E[2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]arg⁡ming(X)E[(Y−g(x))2]=arg⁡ming(X)E[(Y−E(Y|X)+E(Y|X)−g(X))2]=arg⁡ming(x)E[(Y−E(Y|X))2+2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]=arg⁡ming(x)E[2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]\begin{align*} &\arg \min_{g(X)} …

19 mathematical-statistics  conditional-probability  proof  conditional-expectation