Statistiques et Big Data dataset

3

Les données d'entraînement sont déséquilibrées - mais mon ensemble de validation devrait-il l'être également?

J'ai étiqueté des données composées de 10000 exemples positifs et 50000 exemples négatifs, ce qui donne un total de 60000 exemples. Évidemment, ces données sont déséquilibrées. Disons maintenant que je veux créer mon ensemble de validation et que je souhaite utiliser 10% de mes données pour le faire. Ma question …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

5

Est-ce nominal, ordinal et binaire pour les données quantitatives, qualitatives ou les deux?

Je m'emballe autour des types de données et j'ai besoin d'aide: Si vous regardez l'image ci-dessus (prise d' ici ), elle a les types de données comme ceci: Quantitatif (discret, continu) Qualitatif (nominal (N), ordinal (O), binaire (B)). Mais si vous regardez cette photo suivante (d' ici ), les catégories …

9 categorical-data dataset ordinal-data binary-data

1

Pourquoi je n'obtiens pas de valeur p de cette ANOVA en R?

Voici les données: > tires <- data.frame(Wear = c(17, 14, 12, 13, 14, 14, 12, 11, 13, 13, 10, 11, 13, 8, 9, 9), Brand = rep(LETTERS[1:4], 4), Car = as.character(as.roman(rep(1:4, each = 4)))) > tires Wear Brand Car 1 17 A I 2 14 B I 3 12 C …

9 r anova dataset degrees-of-freedom

1

Meilleures pratiques pour mesurer et éviter le sur-ajustement?

Je développe des systèmes de trading automatisés pour le marché boursier. Le grand défi a été le sur-ajustement. Pouvez-vous recommander des ressources décrivant des méthodes pour mesurer et éviter le sur-ajustement? J'ai commencé avec des ensembles de formation / validation, mais l'ensemble de validation est toujours vicié. De plus, les …

9 time-series machine-learning dataset data-mining validation

1

Souhaitez-vous signaler ces données comme frauduleuses?

Supposons que vous ayez reçu des données d'un modèle de bloc aléatoire avec 4 répétitions et 23 traitements. Après une première inspection des données, vous constatez que pour 8 traitements toutes les répétitions sont identiques, ce qui est évidemment faux. Après avoir signalé le problème, vous êtes informé qu'il est …

8 probability anova dataset fraud

2

Problèmes avec la détection des valeurs aberrantes

Dans un article de blog, Andrew Gelman écrit : La régression pas à pas est l'une de ces choses, comme la détection des valeurs aberrantes et les graphiques circulaires, qui semblent être populaires parmi les non-statisticiens mais qui sont considérés par les statisticiens comme une plaisanterie. Je comprends la référence …

8 dataset outliers quality-control

2

Analyse des données de rotation de la roue de hamster

Avant de poster cette question, j'avais parcouru d'autres questions sur cette pile, et cela va probablement être une promenade dans le parc pour tous ceux qui la liront! Mais la description de cette pile comprend l'analyse et la visualisation des données, donc j'espère que c'est au bon endroit! </preapology> J'utilise …

8 data-visualization dataset

1

Pourquoi la variabilité est-elle mesurée par rapport à un point?

Pourquoi les mesures de dispersion sont-elles calculées par rapport à un point central? Pourquoi, par exemple, toutes les différences non répétées et par paire possibles dans l'ensemble de données ne seraient-elles pas une mesure valable de la propagation?

8 dataset standard-deviation theory variability

2

Fonction de vraisemblance des données tronquées

J'ai un peu de mal à comprendre le concept et la dérivation de la probabilité de données tronquées. Par exemple, si je veux trouver la fonction de vraisemblance basée sur un échantillon d'une distribution, mais en prenant un échantillon de la distribution, j'observe les valeurs tronquées (où il y a …

8 dataset likelihood

1

Intervalles de confiance lors de l'utilisation du théorème de Bayes

Je calcule des probabilités conditionnelles et des intervalles de confiance à 95% associés. Pour bon nombre de mes cas, j'ai un décompte simple des xsuccès des nessais (à partir d'un tableau de contingence), donc je peux utiliser un intervalle de confiance binomial, tel que celui fourni par binom.confint(x, n, method='exact')dans …

8 r bayesian confidence-interval conditional-probability hidden-markov-model segmentation hypothesis-testing statistical-significance multiple-comparisons multiple-regression r regression survey sample finite-population pca model-selection dataset partitioning clustering time-series least-squares regression standard-error causality r time-series outliers missing-data machine-learning svm hypothesis-testing discrete-data r data-visualization survey likert finance regression pca feature-selection stepwise-regression underdetermined svm natural-language

1

Comment générer un joli tableau récapitulatif?

Je veux que R affiche les données qu'il me donne de la summary()fonction dans un tableau afin que je puisse facilement les partager. Je suis actuellement en train de faire summary()dans la console, puis de prendre une capture d'écran, mais je préfère que cela soit généré comme un joli tableau, …

8 r dataset descriptive-statistics tables

1

Que signifie ce flou autour de la ligne dans ce graphique?

Je jouais avec ggplot2 en utilisant les commandes suivantes pour ajuster une ligne à mes données: ggplot(data=datNorm, aes(x=Num, y=Val)) + geom_point() + stat_summary(fun.data = "mean_cl_boot", geom="errorbar", colour="red", width=0.8) + stat_sum_single(median) + stat_sum_single(mean, colour="blue") + geom_smooth(level = 0.95, aes(group=1), method="lm") Les points rouges sont des valeurs médianes, le bleu est la …

8 r modeling dataset data-mining ggplot2

2

Jeux de données de jeux informatiques

Je cherchais des jeux de données de jeux informatiques, mais jusqu'à présent, je n'ai pu trouver que le jeu de données «Historique des avatars» pour WoW. Existe-t-il d'autres ensembles de données intéressants, peut-être pour d'autres genres?

8 data-mining dataset

Questions marquées «dataset»