Statistiques et Big Data

3

Je lisais cet article sur le filet élastique. Ils disent qu'ils utilisent un filet élastique parce que si nous utilisons simplement le Lasso, il a tendance à sélectionner un seul prédicteur parmi les prédicteurs qui sont fortement corrélés. Mais n'est-ce pas ce que nous voulons. Je veux dire que cela …

10 regression lasso elastic-net

1

Pourquoi les statisticiens n'utilisent-ils pas l'information mutuelle comme mesure d'association?

J'ai vu quelques discussions de non-statisticiens où ils semblent réinventer des mesures de corrélation en utilisant des informations mutuelles plutôt que de régression (ou des tests statistiques équivalents / étroitement liés). Je suppose qu'il y a une bonne raison pour laquelle les statisticiens n'adoptent pas cette approche. D'après mon profane, …

10 correlation mutual-information

3

Régression généralisée pondérée dans BUGS, JAGS

Dans Ron peut "pondérer préalablement" une glmrégression via le paramètre des poids . Par exemple: glm.D93 <- glm(counts ~ outcome + treatment, family = poisson(), weights=w) Comment cela peut-il être accompli dans un modèle JAGSou BUGS? J'ai trouvé un article sur ce sujet, mais aucun ne fournit d'exemple. Je m'intéresse …

10 bayesian generalized-linear-model jags bugs weighted-regression

2

L'ajout d'un effet aléatoire influence les estimations des coefficients

On m'a toujours enseigné que les effets aléatoires n'influencent que la variance (erreur) et que les effets fixes n'influencent que la moyenne. Mais j'ai trouvé un exemple où les effets aléatoires influencent également la moyenne - l'estimation du coefficient: require(nlme) set.seed(128) n <- 100 k <- 5 cat <- as.factor(rep(1:k, …

10 r mixed-model random-effects-model

2

Pourquoi est-il difficile d'incorporer l'incertitude dans les effets aléatoires lors des prévisions à partir de modèles mixtes?

Il existe plusieurs discussions sur R-sig-ME sur l'obtention d'intervalles de confiance pour les prédictions utilisant lme4et nlmedans R. Par exemple ici et ici en 2010, y compris certains commentaires de Dougals Bates, l'un des auteurs des deux packages. J'hésite à le citer mot pour mot, de peur de les sortir …

10 mixed-model

3

La réduction de dimension perd-elle toujours des informations?

Comme le dit le titre, la réduction de dimension perd-elle toujours des informations? Prenons l'exemple de l'ACP. Si les données dont je dispose sont très rares, je suppose qu'un "meilleur encodage" pourrait être trouvé (est-ce lié en quelque sorte au rang des données?), Et rien ne serait perdu.

10 pca information-theory information

4

Convergence des poids des réseaux de neurones

J'en suis arrivé à une situation où les poids de mon réseau neuronal ne convergent pas même après 500 itérations. Mon réseau de neurones contient 1 couche d'entrée, 1 couche cachée et 1 couche de sortie. Ils sont environ 230 nœuds dans la couche d'entrée, 9 nœuds dans la couche …

10 machine-learning neural-networks

3

La sélection des fonctionnalités doit-elle être effectuée uniquement sur les données d'entraînement (ou toutes les données)?

La sélection des fonctionnalités doit-elle être effectuée uniquement sur les données d'entraînement (ou toutes les données)? J'ai parcouru des discussions et des articles tels que Guyon (2003) et Singhi et Liu (2006) , mais je ne suis toujours pas sûr de la bonne réponse. La configuration de mon expérience est …

10 dataset cross-validation experiment-design feature-selection

2

Explorer une matrice de nuage de points pour de nombreuses variables

J'analyse un ensemble de données avec de nombreux paramètres (disons, 50-200) et je suis intéressé à regarder les relations entre les variables (par exemple en termes de diagrammes de dispersion à 2 variables ou d'histogrammes 2d). Cependant, pour ce nombre de paramètres, il semble impossible de dessiner un tableau 200x200 …

10 correlation data-visualization multivariate-analysis scatterplot

1

Comparaison des distributions de performances de généralisation

Disons que j'ai deux méthodes d'apprentissage pour un problème de classification , et , et que j'évalue leurs performances de généralisation avec quelque chose comme la validation croisée répétée ou le bootstrap. De ce processus, j'obtiens une distribution des scores et pour chaque méthode à travers ces répétitions (par exemple …

10 cross-validation model-selection

1

Qu'est-ce qui fait de l'inégalité de Hoeffding un concept statistique important?

Sur son blog, Larry Wasserman a publié un article sur ce qu'il prévoyait de couvrir dans son cours l'automne dernier. Il note qu'il abandonnait certains sujets classiques au profit de questions plus modernes. Un sujet qu'il mentionne est l'inégalité de Hoeffding. Qu'est-ce qui rend ce résultat particulièrement important pour les …

10 probability-inequalities

1

Ajustement de la valeur de p pour la statistique I de Moran local (LISA)

Je travaille avec une analyse spatiale exploratoire dans R en utilisant le package spdep. Je suis tombé sur une option pour ajuster les valeurs de p des indicateurs locaux d'association spatiale (LISA) calculés à l'aide de la localmoranfonction. Selon les documents, il vise à: ... ajustement de la valeur de …

10 r multiple-comparisons bonferroni

3

Quelles sont les raisons statistiques derrière la définition de l'indice d'IMC comme poids / taille ?

Peut-être que cette question a une réponse en médecine, mais y a-t-il des raisons statistiques pour lesquelles l' indice d'IMC est calculé comme ? Pourquoi pas par exemple juste ? Ma première idée est que cela a quelque chose à voir avec la régression quadratique. poids / taillepoids / taille2weight/height2\text{weight}/\text{height}^2poids …

10 biostatistics

3

Modèle à plusieurs niveaux vs modèles séparés pour chaque niveau

Quels sont les avantages et les inconvénients de l'exécution de modèles distincts par rapport à la modélisation à plusieurs niveaux? Plus particulièrement, supposons qu'une étude examine les patients nichés dans les cabinets de médecins nichés dans les pays. Quels sont les avantages / inconvénients de l'exécution de modèles distincts pour …

10 multilevel-analysis stratification

1

Étude de la robustesse de la régression logistique contre la violation de la linéarité du logit

Je procède à une régression logistique avec un résultat binaire (démarrage et non démarrage). Ma combinaison de prédicteurs sont toutes des variables continues ou dichotomiques. En utilisant l'approche Box-Tidwell, l'un de mes prédicteurs continus viole potentiellement l'hypothèse de linéarité du logit. Rien dans les statistiques de qualité de l'ajustement n'indique …

10 regression logistic references assumptions robust