Statistiques et Big Data

2

Processus AR (1) avec des erreurs de mesure hétéroscédastiques

1. Le problème J'ai des mesures d'une variable ytyty_t , où t=1,2,..,nt=1,2,..,nt=1,2,..,n , pour lequel j'ai une distribution obtenue via MCMC, qui pour simplifier je suppose que c'est un gaussien de moyenne et de variance .fyt(yt)fyt(yt)f_{y_t}(y_t)μtμt\mu_tσ2tσt2\sigma_t^2 J'ai un modèle physique pour ces observations, disons , mais les résidus semblent être …

13 time-series mcmc autoregressive likelihood

2

Comment un perceptron multiclasse peut-il fonctionner?

Je n'ai aucune formation en mathématiques, mais je comprends comment fonctionne le simple Perceptron et je pense que je saisis le concept d'un hyperplan (je l'imagine géométriquement comme un avion dans l'espace 3D qui sépare deux nuages de points, tout comme une ligne sépare deux nuages de points dans l'espace …

13 machine-learning classification linear-model multi-class

1

Avec la validation croisée k-fold, faites-vous la moyenne de tous les modèles

Lors de la validation croisée de k-fold, je comprends que vous obtenez les mesures de précision en pointant tous les plis sauf un sur ce pli et faites des prédictions, puis répétez ce processus fois. Vous pouvez ensuite exécuter des métriques d'exactitude sur toutes vos instances (précision, rappel,% correctement classées), …

13 cross-validation

3

Besoin d'un algorithme pour calculer la probabilité relative que les données proviennent de la distribution normale vs lognormale

Disons que vous avez un ensemble de valeurs et que vous voulez savoir s'il est plus probable qu'elles aient été échantillonnées à partir d'une distribution gaussienne (normale) ou échantillonnées à partir d'une distribution lognormale? Bien sûr, idéalement, vous devriez savoir quelque chose sur la population ou sur les sources d'erreur …

13 normal-distribution lognormal

3

Quand la transformation z de Fisher est-elle appropriée?

Je veux tester la corrélation d'un échantillon pour la signification, en utilisant des valeurs de p, c'est-à-direrrr H0:ρ=0,H1:ρ≠0.H0:ρ=0,H1:ρ≠0.H_0: \rho = 0, \; H_1: \rho \neq 0. J'ai compris que je peux utiliser la transformée en z de Fisher pour calculer cela en zobs=n−3−−−−−√2ln(1+r1−r)zobs=n−32ln⁡(1+r1−r)z_{obs}= \displaystyle\frac{\sqrt{n-3}}{2}\ln\left(\displaystyle\frac{1+r}{1-r}\right) et trouver la valeur de p …

13 correlation sample-size fisher-transform

4

Une propriété quantitative de la population est-elle un «paramètre»?

Je connais relativement bien la distinction entre les termes statistique et paramètre. Je vois une statistique comme la valeur obtenue en appliquant une fonction aux données d'échantillon. Cependant, la plupart des exemples de paramètres concernent la définition d'une distribution paramétrique. Un exemple courant est la moyenne et l'écart type pour …

13 estimation terminology sample population

1

Calcul de l'ICC pour la régression logistique à effets aléatoires

J'utilise un modèle de régression logistique sous la forme: lmer(response~1+(1|site), family=binomial, REML = FALSE) Normalement, je calculerais l'ICC à partir des variances d'interception et résiduelles, mais le résumé du modèle n'inclut pas la variance résiduelle. Comment puis-je calculer cela?

13 logistic lme4-nlme glmm

4

Équivalent boxplot pour les distributions à queue lourde?

Pour les données distribuées approximativement normalement, les boîtes à moustaches sont un excellent moyen de visualiser rapidement la médiane et la répartition des données, ainsi que la présence de valeurs aberrantes. Cependant, pour les distributions plus lourdes, de nombreux points sont indiqués comme des valeurs aberrantes, car les valeurs aberrantes …

13 r distributions data-visualization data-transformation ggplot2

2

Régression linéaire vs non linéaire

J'ai un ensemble de valeurs xxx et yyy qui sont théoriquement liées de façon exponentielle: y=axby=axby = ax^b Une façon d'obtenir les coefficients consiste à appliquer des logarithmes naturels des deux côtés et à ajuster un modèle linéaire: > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] …

13 r regression linear-model model-selection nonlinear-regression

1

Lors de la construction d'un modèle de régression à l'aide d'ensembles de modélisation / validation distincts, est-il approprié de «recirculer» les données de validation?

Supposons que j'ai un partage 80/20 entre les observations de modélisation / validation. J'ai ajusté un modèle à l'ensemble de données de modélisation et je suis à l'aise avec l'erreur que je vois sur l'ensemble de données de validation. Avant de déployer mon modèle pour noter les observations futures, est-il …

13 regression predictive-models validation

3

Choisir un test statistique basé sur le résultat d'un autre (par exemple la normalité)

J'ai donc entendu dire que ce n'était pas une bonne idée de choisir un test statistique en fonction des résultats d'un autre. Cela me semble cependant étrange. Par exemple, les gens choisissent souvent d'utiliser un test non paramétrique lorsqu'un autre test suggère que les résidus ne sont pas normalement distribués. …

13 hypothesis-testing

1

Forêt aléatoire et prédiction

J'essaie de comprendre comment fonctionne Random Forest. J'ai une compréhension de la façon dont les arbres sont construits, mais je ne comprends pas comment Random Forest fait des prédictions sur l'échantillon hors du sac. Quelqu'un pourrait-il me donner une explication simple, s'il vous plaît? :)

13 random-forest prediction

1

Équations structurelles: comment spécifier les effets d'interaction dans le package R lavaan

J'utilise package R lavaan pour estimer un modèle d'équation structurelle. Disons que le modèle se compose de 1 variable manifeste endogène avec 1 variable explicative latente et 2 variables explicites manifestes: group = {0,1} attitude1 = latent,scale age = respondent's age Le modèle de lave souhaité est alors (ne fonctionne …

13 r interaction sem lavaan

4

Correspondance du score de propension avec les données du panel

J'ai un ensemble de données longitudinales d'individus et certains d'entre eux ont été soumis à un traitement et d'autres non. Tous les individus sont inclus dans l'échantillon de la naissance jusqu'à l'âge de 18 ans et le traitement a lieu à un âge compris entre cette plage. L'âge du traitement …

13 stata panel-data propensity-scores

1

Variable dépendante normalisée au sein d'un groupe dans les modèles de données de panel?

La normalisation d'une variable dépendante au sein du groupe d'identification est-elle logique? Le document de travail suivant (Ralentissement de la déforestation en Amazonie légale; prix ou politiques?, Pdf ) utilise une variable dépendante standardisée pour analyser l'effet du changement de politique générale au Brésil sur la déforestation. La normalisation se …

13 regression time-series panel-data standardization fixed-effects-model