Statistiques et Big Data

2

Comment choisir la meilleure transformation pour atteindre la linéarité?

Je veux faire une régression linéaire multiple puis prédire de nouvelles valeurs avec peu d'extrapolation. J'ai ma variable de réponse dans la plage de -2 à +7 et trois prédicteurs (les plages d'environ +10 à +200). La distribution est presque normale. Mais la relation entre la réponse et les prédicteurs …

10 regression data-transformation

3

Quelle est la probabilité que n personnes d'une liste de m personnes soient dans une sélection aléatoire de x personnes d'une liste de y personnes?

Si je sélectionne 232 personnes dans un groupe de 363 personnes sans remplacement, quelle est la probabilité que 2 personnes sur une liste de 12 personnes spécifiques figurent dans cette sélection? Il s'agit d'un tirage au sort pour une course ultra où il y avait 363 participants pour 232 places. …

10 combinatorics randomness hypergeometric

1

Effets aléatoires croisés et données déséquilibrées

Je modélise certaines données où je pense avoir deux effets aléatoires croisés. Mais l'ensemble de données n'est pas équilibré, et je ne suis pas sûr de ce qui doit être fait pour en tenir compte. Mes données sont un ensemble d'événements. Un événement se produit lorsqu'un client rencontre un fournisseur …

10 r mixed-model random-effects-model logistic

2

L'affichage de la taille de l'effet binomial (BESD) est-il une représentation trompeuse de la taille de l'effet?

Il m'est difficile d'accepter que Donald Rubin puisse jamais trouver un vrai citron d'une technique. Pourtant, c'est ma perception du BESD [ 1 , 2 , 3 ]. L'article original de Rosenthal et Rubin (1982) affirmait qu'il était utile de montrer «comment refondre toute corrélation produit-moment dans un tel affichage …

10 interpretation effect-size

3

Modèle linéaire Hétéroscédasticité

J'ai le modèle linéaire suivant: Pour résoudre l'hétéroscédasticité des résidus, j'ai essayé d'appliquer une transformation logarithmique à la variable dépendante comme mais je vois toujours le même effet de fan out sur les résidus. Les valeurs DV sont relativement petites, donc l'addition constante +1 avant de prendre le journal n'est …

10 regression data-transformation linear-model heteroscedasticity

2

Comment effectuer une régression de processus gaussienne lorsque la fonction étant approximée change au fil du temps?

Quelles sont les bonnes stratégies pour effectuer une régression du processus gaussien lorsque la fonction que j'essaie d'approcher les changements dans le temps? L'approche naïve qui me vient à l'esprit est de n'utiliser que les N points de données les plus récents pour effectuer la régression. Quelles sont les meilleures …

10 regression online gaussian-process

1

Aide à la modélisation SEM (OpenMx, polycor)

J'ai beaucoup de problèmes avec un ensemble de données auquel j'essaie d'appliquer SEM. Nous supposons l'existence de 5 facteurs latents A, B, C, D, E, avec des indicateurs resp. A1 à A5 (facteurs ordonnés), B1 à B3 (quantitatifs), C1, D1, E1 (tous les trois derniers facteurs ordonnés, avec seulement 2 …

10 r modeling multiple-regression sem

1

Au-delà des grains de Fisher

Pendant un certain temps, il semblait que Fisher Kernels pourrait devenir populaire, car ils semblaient être un moyen de construire des noyaux à partir de modèles probabilistes. Cependant, je les ai rarement vu utilisés dans la pratique, et j'ai la bonne foi qu'ils ont tendance à ne pas fonctionner très …

10 machine-learning probability kernel-trick generative-models

3

Comment faire des prévisions basées sur des données agrégées sur des intervalles irréguliers?

J'essaie de prévoir les ventes de produits dans un distributeur automatique. Le problème est que la machine est remplie à intervalles irréguliers et à chaque remplissage, nous ne pouvons enregistrer que les ventes agrégées depuis le dernier remplissage de la machine (c'est-à-dire que nous n'avons pas de données de vente …

10 time-series forecasting

1

Traiter de très grands ensembles de données chronologiques

J'ai accès à un très grand ensemble de données. Les données proviennent d' enregistrements MEG de personnes écoutant des extraits musicaux, de l'un des quatre genres. Les données sont les suivantes: 6 sujets 3 répétitions expérimentales (époques) 120 essais par époque 8 secondes de données par essai à 500 Hz …

10 machine-learning feature-selection large-data feature-construction

3

Approches lors de l'apprentissage à partir d'énormes ensembles de données?

Fondamentalement, il existe deux façons courantes d'apprendre contre d'énormes ensembles de données (lorsque vous êtes confronté à des restrictions de temps / d'espace): Tricher :) - utilisez juste un sous-ensemble "gérable" pour la formation. La perte de précision peut être négligeable en raison de la loi des rendements décroissants - …

10 machine-learning large-data model-evaluation train

3

Nettoyage automatique des données

Un problème courant est que le ML est la mauvaise qualité des données: erreurs dans les valeurs des entités, instances mal classées, etc., etc. Une façon de résoudre ce problème consiste à parcourir manuellement les données et à vérifier, mais existe-t-il d'autres techniques? (Je parie qu'il y en a!) Quels …

10 data-cleaning

1

Les MFCC sont-ils la méthode optimale pour représenter la musique dans un système de récupération?

Une technique de traitement du signal, la fréquence de Mel Cepstrum , est souvent utilisée pour extraire des informations d'une pièce musicale pour une utilisation dans une tâche d'apprentissage automatique. Cette méthode donne un spectre de puissance à court terme et les coefficients sont utilisés en entrée. Lors de la …

10 machine-learning classification signal-processing mfcc

3

Pourquoi y a-t-il une valeur R ^ 2 (et qu'est-ce qui la détermine) quand lm n'a aucune variance dans la valeur prédite?

Considérez le code R suivant: example <- function(n) { X <- 1:n Y <- rep(1,n) return(lm(Y~X)) } #(2.13.0, i386-pc-mingw32) summary(example(7)) #R^2 = .1963 summary(example(62)) #R^2 = .4529 summary(example(4540)) #R^2 = .7832 summary(example(104))) #R^2 = 0 #I did a search for n 6:10000, the result for R^2 is NaN for #n …

10 r regression

3

Modélisation d'équations structurelles de mesures répétées

J'ai besoin d'analyser un ensemble de données de données de réadaptation clinique. Je m'intéresse aux relations fondées sur des hypothèses entre les «intrants» quantifiés (quantité de thérapie) et les changements de l'état de santé. Bien que l'ensemble de données soit relativement petit (n ~ 70), nous avons des données répétées …

10 r repeated-measures panel-data sem