Statistiques et Big Data

3

Pondération des données plus récentes dans le modèle de forêt aléatoire

J'entraîne un modèle de classification avec Random Forest pour faire la distinction entre 6 catégories. Mes données transactionnelles ont environ 60k + observations et 35 variables. Voici un exemple de son apparence approximative. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 | …

14 r machine-learning classification random-forest

1

Comment tirer des échantillons aléatoires d'une distribution estimée non paramétrique?

J'ai un échantillon de 100 points qui sont continus et unidimensionnels. J'ai estimé sa densité non paramétrique en utilisant les méthodes du noyau. Comment puis-je tirer des échantillons aléatoires de cette distribution estimée?

14 r sampling kernel-smoothing

2

Échantillons inégaux: quand l'appeler se ferme

Je passe en revue un article d'un journal universitaire par les pairs et les auteurs ont écrit ce qui suit pour justifier le fait de ne pas rapporter de statistiques inférentielles (j'ai identifié la nature des deux groupes): Au total, 25 des personnes interrogées 2349 (1,1%) ont rapporté X . …

14 hypothesis-testing sample-size power-analysis power group-differences

3

Comprendre la bande de confiance d'une régression polynomiale

J'essaie de comprendre le résultat que je vois dans mon graphique ci-dessous. Habituellement, j'ai tendance à utiliser Excel et à obtenir une ligne de régression linéaire, mais dans le cas ci-dessous, j'utilise R et j'obtiens une régression polynomiale avec la commande: ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth() Donc, mes questions …

14 r regression data-visualization outliers

4

La méthodologie de la forêt aléatoire peut-elle être appliquée aux régressions linéaires?

Les forêts aléatoires fonctionnent en créant un ensemble d'arbres de décision où chaque arbre est créé en utilisant un échantillon bootstrap des données de formation d'origine (échantillon à la fois de variables d'entrée et d'observations). Un processus similaire peut-il être appliqué pour la régression linéaire? Créer k modèles de régression …

14 regression predictive-models ensemble

3

Comment obtenir des prédictions en termes de temps de survie à partir d'un modèle Cox PH?

Je souhaite développer un modèle de prédiction (Cox PH) pour la mortalité toutes causes confondues dans un ensemble de données de participants dont (presque) tous sont décédés à la fin du suivi (par exemple 1 an). Au lieu de prédire le risque absolu de mourir à un certain moment, je …

14 survival prediction cox-model

3

P = 5,0% est-il significatif?

Aujourd'hui, on m'a demandé si une valeur de p de 0,05 (exactement) est considérée comme significative (étant donné alpha = 5%) ou non. Je ne connaissais pas la réponse et Google a donné les deux réponses: (a) le résultat est significatif si p est inférieur à 5% et (b) si …

14 hypothesis-testing statistical-significance p-value

1

Comment évaluer correctement la corrélation entre une variable ordinale et une variable continue?

Je voudrais estimer la corrélation entre: Une variable ordinale: les sujets sont invités à évaluer leur préférence pour 6 types de fruits sur une échelle de 1 à 5 (allant de très dégoûtant à très savoureux). En moyenne, les sujets n'utilisent que 3 points de l'échelle. Une variable continue: les …

14 correlation ordinal-data spearman-rho continuous-data

3

Algorithme d'arbre de régression avec des modèles de régression linéaire dans chaque feuille

Version courte: je recherche un package R capable de construire des arbres de décision alors que chaque feuille de l'arbre de décision est un modèle de régression linéaire complet. AFAIK, la bibliothèque rpartcrée des arbres de décision où la variable dépendante est constante dans chaque feuille. Y a-t-il une autre …

14 r regression rpart cart

2

Mesures répétées au fil du temps avec petit

On m'a donné des données à analyser pour une étude examinant les effets d'un traitement sur les niveaux de fer à quatre moments différents (avant le traitement, le jour de fin du traitement, 4 semaines après le traitement et 2 à 4 mois après le traitement). Il n'y a pas …

14 repeated-measures multiple-comparisons wilcoxon-signed-rank

3

D'où proviennent les descripteurs des valeurs alpha de Cronbach (par exemple, médiocre, excellent)?

Il semble assez courant de décrire les valeurs alpha de Cronbach comme suit: α ≥ 0,9 Excellent 0,7 ≤ α <0,9 Bon 0,6 ≤ α <0,7 Acceptable 0,5 ≤ α <0,6 Médiocre α <0,5 Inacceptable D'où viennent ces valeurs? Je ne trouve pas un article de recherche original les décrivant. …

14 reliability psychometrics cronbachs-alpha

1

Quand faut-il inclure le décalage de la variable dépendante dans un modèle de régression et quel décalage?

Les données que nous voulons utiliser comme variable dépendante ressemblent à ceci (ce sont des données de comptage). Nous craignons qu'étant donné sa composante cyclique et sa structure tendancielle, la régression se révèle en quelque sorte biaisée. Nous utiliserons une régression binomiale négative au cas où cela aiderait. Les données …

14 autocorrelation panel-data fixed-effects-model trend lags

1

Raccord de distribution bêta dans Scipy

Selon Wikipedia, la distribution de probabilité bêta a deux paramètres de forme: et β .αα\alphaββ\beta Lorsque j'appelle scipy.stats.beta.fit(x)en Python, où se xtrouve un groupe de nombres dans la plage , 4 valeurs sont renvoyées. Cela me semble étrange.[ 0 , 1 ][0,1][0,1] Après avoir recherché sur Google, j'ai trouvé que …

14 python scipy beta-distribution

2

Pourquoi k-means n'est-il pas optimisé en utilisant la descente de gradient?

Je sais que k-means est généralement optimisé à l'aide de la maximisation des attentes . Cependant, nous pourrions optimiser sa fonction de perte de la même manière que nous optimisons les autres! J'ai trouvé des articles qui utilisent réellement la descente de gradient stochastique pour les moyennes k à grande …

14 optimization k-means expectation-maximization loss-functions

2

Relation entre la plage et l'écart type

Dans un article, j'ai trouvé la formule de l'écart-type d'une taille d'échantillon NNN σ=R¯¯¯¯2.534σ=R¯2.534\sigma=\frac{\overline{R}}{2.534} où est la plage moyenne de sous-échantillons (taille ) de l'échantillon principal. Comment le nombre est-il calculé? C'est le bon numéro? 62,534R¯¯¯¯R¯\overline{R}6662.5342.5342.534

14 standard-deviation descriptive-statistics range