Questions marquées «large-data»

Les `` données volumineuses '' font référence à des situations où le nombre d'observations (points de données) est si important qu'il nécessite des changements dans la façon dont l'analyste des données pense ou conduit l'analyse. (À ne pas confondre avec «haute dimensionnalité».)

3
Cluster efficace dans l'espace
La plupart des algorithmes de clustering que j'ai vus commencent par créer des distances de chaque point entre tous les points, ce qui devient problématique sur des ensembles de données plus importants. Y en a-t-il un qui ne le fait pas? Ou le fait-il dans une sorte d'approche partielle / …
4
Estimer la dimension d'un ensemble de données
Un collègue en statistique appliquée m'a envoyé ceci: "Je me demandais si vous connaissiez un moyen de découvrir la vraie dimension du domaine d'une fonction. Par exemple, un cercle est une fonction unidimensionnelle dans un espace bidimensionnel. Si je ne sais pas dessiner, y a-t-il un statistique que je peux …
1
Puis-je sous-échantillonner un grand ensemble de données à chaque itération MCMC?
Problème: je veux effectuer un échantillonnage de Gibbs pour en déduire une partie postérieure sur un grand ensemble de données. Malheureusement, mon modèle n'est pas très simple et donc l'échantillonnage est trop lent. J'envisagerais des approches variationnelles ou parallèles, mais avant d'aller aussi loin ... Question: Je voudrais savoir si …
1
Forêt aléatoire dans un cadre Big Data
J'ai un ensemble de données avec 5 818 446 lignes et 51 colonnes, dont 50 sont des prédicteurs. Ma réponse est quantitative, je suis donc intéressé par un modèle de régression. J'essaie d'adapter une forêt aléatoire à mes données en utilisant le package caret. Cependant, je n'ai pas assez de …
5
Pourquoi les régresseurs non pertinents deviennent-ils statistiquement significatifs dans de grands échantillons?
J'essaie de mieux comprendre la signification statistique, la taille des effets, etc. J'ai l'impression (peut-être que c'est faux) que même les régresseurs non pertinents deviennent souvent statistiquement significatifs dans les grands échantillons . Par non pertinent, je veux dire qu'il n'y a aucune explication de la raison pour laquelle le …
2
Pourquoi un modèle statistique serait-il surchargé s'il était doté d'un énorme ensemble de données?
Mon projet actuel peut m'obliger à construire un modèle pour prédire le comportement d'un certain groupe de personnes. l'ensemble de données de formation ne contient que 6 variables (id est uniquement à des fins d'identification): id, age, income, gender, job category, monthly spend dans laquelle se monthly spendtrouve la variable …
8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 
2
R comme alternative à SAS pour les données volumineuses
Je sais que R n'est pas particulièrement utile pour analyser de grands ensembles de données étant donné que R charge toutes les données en mémoire alors que quelque chose comme SAS fait une analyse séquentielle. Cela dit, il existe des packages tels que bigmemory qui permettent aux utilisateurs d'effectuer une …
8 r  sas  large-data 
3
À quoi servent les matrices denses en statistiques?
OK, je ne suis pas statisticien (même pas proche). Je suis un chercheur en calcul haute performance et je voulais quelques cas de test pour les matrices denses de grande taille (supérieures à 5000x5000). J'avais demandé ici et quelques autres endroits mais je n'ai jamais reçu de réponse d'un statisticien. …
3
Effectuer des régressions sur des échantillons d'un fichier très volumineux: les moyennes et les ES des coefficients d'échantillonnage sont-ils des estimateurs cohérents?
J'ai un fichier assez volumineux de 100 millions de lignes et 30 colonnes environ, sur lequel j'aimerais exécuter plusieurs régressions. J'ai un code spécialisé pour exécuter les régressions sur l'ensemble du fichier, mais ce que je voudrais faire est de tirer des échantillons aléatoires du fichier et de les exécuter …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.