Statistiques et Big Data

1

Peut-on conclure de que sont indépendants?

Eh bien, nous ne pouvons pas, voir par exemple https://en.wikipedia.org/wiki/Subindependence pour un contre-exemple intéressant. Mais la vraie question est: existe-t-il un moyen de renforcer la condition pour que l'indépendance suive? Par exemple, existe-t-il un ensemble de fonctions sorte que si pour tout alors l'indépendance suit? Et, quelle taille doit avoir …

9 probability mathematical-statistics references random-variable independence

2

Étudier les différences entre les populations

Disons que nous avons un échantillon de deux populations: Aet B. Supposons que ces populations sont constituées d'individus et nous choisissons de décrire les individus en termes de caractéristiques. Certaines de ces caractéristiques sont catégoriques (par exemple, conduisent-elles au travail?) Et certaines sont numériques (par exemple, leur hauteur). Appelons ces …

9 anova random-forest cart group-differences

2

Standardisation vs normalisation pour la régression Lasso / Ridge

Je sais qu'il est courant de normaliser les caractéristiques de régression de crête et de lasso, mais serait-il plus pratique de normaliser les caractéristiques sur une échelle (0,1) comme alternative à la standardisation du score z pour ces méthodes de régression?

9 normalization lasso standardization ridge-regression

4

Pourquoi le fait qu'une médiane soit inférieure à une autre médiane ne signifie-t-il pas que la plupart dans le groupe 1 sont inférieurs à la plupart dans le groupe 2?

Je pensais que les boîtes à moustaches ci-dessous pouvaient être interprétées comme «la plupart des hommes sont plus rapides que la plupart des femmes» (dans cet ensemble de données), principalement parce que le temps médian des hommes était inférieur à celui des femmes médianes. Mais le cours EdX sur la …

9 quantiles histogram boxplot eda

1

Pourquoi, dans les carrés latins, les lignes, les traitements et les colonnes sont orthogonaux

J'ai toujours entendu "orthogonal" dans le domaine de la géométrie (veuillez également noter que je ne suis pas natif anglophone). Je ne comprends pas ce qui suit pour les carrés latins (une citation d'un livre de texte): Chaque traitement (ABCD) apparaît une fois dans chaque ligne. Les traitements et les …

9 experiment-design combinatorics latin-square

1

Valeurs P et principe de vraisemblance

Cette question a été soulevée en classe: si nous utilisons des valeurs de p pour évaluer des hypothèses sur une expérience, à quelle partie du principe de vraisemblance ne respectons-nous pas: suffisance ou conditionnalité ? Mon intuition serait de dire Suffisance , puisque le calcul d'une valeur p repose sur …

9 likelihood philosophical likelihood-principle

2

Les courbes de Kaplan-Meier semblent dire autre chose que la régression de Cox

Dans R, je fais l'analyse des données de survie des patients cancéreux. J'ai lu des informations très utiles sur l'analyse de survie dans CrossValidated et dans d'autres endroits et je pense avoir compris comment interpréter les résultats de la régression de Cox. Cependant, un résultat me dérange toujours ... Je …

9 r survival cox-model kaplan-meier

1

L'analyse fonctionnelle et les espaces hilbert sont-ils utiles dans l'apprentissage automatique? Si c'est le cas, comment?

Je me demandais, en quoi les espaces hilbert et l'analyse fonctionnelle sont-ils utiles à l'apprentissage automatique? Je pensais que l'apprentissage automatique était un mélange de statistiques, d'informatique et d'optimisation. Quel est le lien entre l'analyse fonctionnelle et cela?

9 machine-learning mathematical-statistics computational-statistics

2

Problème d'anniversaire inversé avec plusieurs collisions

Supposons que vous ayez eu une année étrangère avec une longueur inconnue N. Si vous avez un échantillon aléatoire desdits étrangers et que certains partagent des anniversaires, pouvez-vous utiliser ces données pour estimer la longueur de l'année? Par exemple, dans un échantillon de 100, vous pourriez avoir deux triplets (c'est-à-dire …

9 estimation inference birthday-paradox

3

Sélection du modèle bayésien et intervalle crédible

J'ai un ensemble de données avec trois variables, où toutes les variables sont quantitatives. Appelons-le , et . Je monte un modèle de régression dans une perspective bayésienne via MCMC avecyyyX1X1x_1X2X2x_2rjags J'ai fait une analyse exploratoire et le nuage de points de suggère d'utiliser un terme quadratique. J'ai ensuite monté …

9 bayesian feature-selection model-selection model credible-interval

2

Quelle est la distribution de probabilité de cette somme aléatoire de variables de Bernoulli non iid?

J'essaie de trouver la distribution de probabilité d'une somme d'un nombre aléatoire de variables qui ne sont pas distribuées de manière identique. Voici un exemple: John travaille dans un centre d'appels du service client. Il reçoit des appels avec des problèmes et essaie de les résoudre. Ceux qu'il ne peut …

9 probability distributions random-variable

1

Quand utiliser la régression Deming

Je travaille actuellement sur un moyen de transformer deux valeurs différentes de test de phosphore l'une dans l'autre. Contexte Il existe de nombreuses méthodes (d'extraction) pour mesurer le phosphore disponible des plantes dans le sol. Différents pays appliquent des méthodes différentes.Par conséquent, pour comparer la fécondité P d'un pays à …

9 regression total-least-squares

1

Quel modèle d'apprentissage en profondeur peut classer des catégories qui ne s'excluent pas mutuellement

Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec softmaxfonction à la dernière …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

4

Comment déterminer si deux corrélations sont significativement différentes?

Je veux déterminer lequel des deux ensembles de données (B1, B2) correspond le mieux (pearsons r) à un autre ensemble (A). Il manque des données dans tous les ensembles de données. Comment puis-je déterminer si la corrélation résultante est significativement différente ou non? Par exemple, 8426 valeurs sont présentes dans …

9 hypothesis-testing correlation statistical-significance missing-data

3

Détermination de la signification statistique du coefficient de régression linéaire en présence de multicolinéarité

Supposons que j'ai un tas de villes avec différentes tailles de population, et je voulais voir s'il y avait une relation linéaire positive entre le nombre de magasins d'alcool dans une ville et le nombre de DUI. Où je détermine si cette relation est significative ou non sur la base …

9 regression multicollinearity