Statistiques et Big Data

2

Estimation d'erreur hors du sac pour augmenter?

Dans Random Forest, chaque arbre est cultivé en parallèle sur un échantillon boostrap unique des données. Étant donné que chaque échantillon boostrap devrait contenir environ 63% d'observations uniques, cela laisse environ 37% d'observations, qui peuvent être utilisées pour tester l'arbre. Maintenant, il semble que dans le boosting de gradient stochastique, …

9 machine-learning cross-validation data-mining random-forest boosting

1

Comment trouver et évaluer la discrétisation optimale pour une variable continue avec le critère

J'ai un ensemble de données avec une variable continue et une variable cible binaire (0 et 1). Je dois discrétiser les variables continues (pour la régression logistique) par rapport à la variable cible et avec la contrainte que la fréquence d'observation dans chaque intervalle soit équilibrée. J'ai essayé des algorithmes …

9 r machine-learning chi-squared discrete-data supervised-learning

4

Test exact de Fisher sur les données appariées

Compte tenu de cas de cancer du poumon et de témoins appariés (sans cancer du poumon) (appariement basé sur l'âge, le sexe, etc.). Pour essayer de trouver des preuves entre l'effet du tabagisme sur le cancer du poumon, j'ai utilisé le test exact de Fisher sur le tableau de contingence. …

9 contingency-tables fishers-exact paired-data mcnemar-test

2

Les arbres CART capturent-ils les interactions entre les prédicteurs?

Cet article affirme que dans CART, car une division binaire est effectuée sur une seule covariable à chaque étape, toutes les divisions sont orthogonales et donc les interactions entre les covariables ne sont pas prises en compte. Cependant, de nombreuses références très sérieuses affirment, au contraire, que la structure hiérarchique …

9 machine-learning classification data-mining cart

2

Combinaison linéaire de deux non normaux aléatoires qui est toujours membre de la même famille

Il est bien connu qu'une combinaison linéaire de 2 variables normales aléatoires est également une variable normale aléatoire. Y a-t-il des familles de distribution non normales communes (par exemple, Weibull) qui partagent également cette propriété? Il semble y avoir de nombreux contre-exemples. Par exemple, une combinaison linéaire d'uniformes n'est généralement …

9 distributions linear

2

Comment puis-je utiliser ces données pour calibrer des marqueurs avec différents niveaux de générosité dans la notation des articles des étudiants?

12 enseignants enseignent à 600 élèves. Les 12 cohortes enseignées par ces enseignants varient en taille de 40 à 90 étudiants, et nous nous attendons à des différences systématiques entre les cohortes, car les étudiants diplômés ont été répartis de manière disproportionnée dans des cohortes particulières, et l'expérience antérieure a …

9 teaching agreement-statistics

1

X, Y sont iid de N (0,1). Quelle est la probabilité que X> 2Y

Je pensais, puisque sont de et ils sont indépendants, alorsX,YX,YX, YN(0,1)N(0,1)N(0,1) X−2YX−2YX - 2Y a une distribution de . Alors a une probabilité de .N(0,5)N(0,5)N(0, 5)X−2Y>0X−2Y>0X-2Y > 01/21/21/2 Ce qui précède me semble correct, bien qu'il semble que aurait alors une probabilité de . Cela semble un peu faux. Ai-je …

9 probability normal-distribution

1

Utilisation de la théorie de l'information en science des données appliquée

Aujourd'hui, j'ai parcouru le livre "Théorie de l'information: une introduction au didacticiel" de James Stone et réfléchi un instant ou deux à l' étendue de l'utilisation de la théorie de l'information en science des données appliquée (si vous n'êtes pas à l'aise avec ce terme encore quelque peu flou, pensez …

9 information-theory

2

Comment représenter la consommation de kWh par an par rapport à la température moyenne?

Juste pour le plaisir, je veux représenter ma consommation mensuelle d'électricité d'une année à l'autre. Cependant, je souhaite inclure une référence à la température mensuelle afin de pouvoir déterminer si ma maison ou mon comportement s'améliore, s'aggrave ou se maintient en ce qui concerne l'utilisation du kWh. Les données avec …

9 data-visualization

5

Test d'hypothèse de Poisson pour deux paramètres

Donc, pour le plaisir, je prends certaines données d'appels du centre d'appels où je travaille et j'essaie de faire des tests d'hypothèse sur eux, en particulier le nombre d'appels reçus en une semaine, et j'utilise une distribution de Poisson pour l'adapter. En raison de l'objet de mon travail, il existe …

9 hypothesis-testing poisson-distribution

4

Le nombre prévu de lancers de dés nécessite de faire une somme supérieure ou égale à K?

Un dé à 6 faces est lancé de manière itérative. Quel est le nombre attendu de rouleaux requis pour faire une somme supérieure ou égale à K? Avant de modifier P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 …

9 self-study mean expected-value dice saddlepoint-approximation

1

Quelle est la différence entre le conditionnement sur les régresseurs et leur traitement comme fixe?

Parfois, nous supposons que les régresseurs sont fixes, c'est-à-dire qu'ils ne sont pas stochastiques. Je pense que cela signifie que tous nos prédicteurs, estimations de paramètres, etc. sont inconditionnels alors, non? Puis-je même aller si loin que ce ne sont plus des variables aléatoires? Si, d'un autre côté, nous acceptons …

9 regression inference philosophical conditioning ancillary-statistics

2

Conclusions de la sortie d'une analyse en composantes principales

J'essaie de comprendre la sortie de l'analyse des composants principaux effectuée comme suit: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa …

9 r pca interpretation

1

LASSO pour les modèles explicatifs: paramètres réduits ou non?

J'effectue une analyse dont l'objectif principal est de comprendre les données. L'ensemble de données est suffisamment grand pour la validation croisée (10k), et les prédicteurs incluent des variables continues et factices, et le résultat est continu. L'objectif principal était de voir s'il était judicieux de supprimer certains prédicteurs, afin de …

9 lasso explanatory-models

1

Comment générer des matrices orthogonales uniformément aléatoires de déterminant positif?

J'ai probablement une question stupide à propos de laquelle, je dois l'avouer, je suis confus. Imaginez la génération répétée d' une matrice orthogonale (orthonormale) aléatoire uniformément distribuée d'une certaine taille . Parfois, la matrice générée a le déterminant et parfois elle a le déterminant . (Il n'y a que deux …

9 mathematical-statistics matrix random-generation rotation determinant