Statistiques et Big Data

3

Score de distance euclidienne et similitude

Je travaille juste avec le livre Collective Intelligence (de Toby Segaran) et suis tombé sur le score de distance euclidienne. Dans le livre, l'auteur montre comment calculer la similitude entre deux tableaux de recommandations (c'est-à-dire .personne × film ↦ partition )person×movie↦score)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) Il calcule la distance euclidienne …

13 distance-functions similarities

2

Alternative de distribution empirique

PRIME: La prime complète sera attribuée à quelqu'un qui fournit une référence à tout article publié qui utilise ou mentionne l'estimateur F~F~\tilde{F} ci-dessous. Motivation: Cette section n'est probablement pas importante pour vous et je soupçonne qu'elle ne vous aidera pas à obtenir la prime, mais puisque quelqu'un a posé des …

13 distributions bernoulli-distribution stratification rejection-sampling ecdf

1

Entropie différentielle

L'entropie différentielle du RV gaussien est . Cela dépend de , qui est l'écart-type.log2(σ2πe−−−√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si nous normalisons la variable aléatoire pour qu'elle ait une variance unitaire, son entropie différentielle diminue. Pour moi, cela est contre-intuitif car la complexité de Kolmogorov de la constante de normalisation devrait être très …

13 information-theory entropy randomness

2

Espérance conditionnelle d'une variable aléatoire exponentielle

Pour une variable aléatoire X∼Exp(λ)X∼Exp(λ)X\sim \text{Exp}(\lambda) ( E[X]=1λE[X]=1λ\mathbb{E}[X] = \frac{1}{\lambda} ) Je sens intuitivement queE[X|X>x]E[X|X>x]\mathbb{E}[X|X > x]devrait être égal àx+E[X]x+E[X]x + \mathbb{E}[X]puisque par la propriété sans mémoire la distribution deX|X>xX|X>xX|X > xest le même que celui deXXXmais décalé vers la droite dexxx. Cependant, j'ai du mal à utiliser la propriété …

13 random-variable exponential conditional-expectation

1

Comment générer des courbes de survie prédites à partir de modèles de fragilité (en utilisant R coxph)?

Je veux calculer la fonction de survie prédite pour un modèle de risques proportionnels de Cox avec des termes de fragilité [en utilisant le package de survie]. Il semble que lorsque des termes de fragilité figurent dans le modèle, la fonction de survie prévue ne peut pas être calculée. ## …

13 r survival cox-model frailty

3

Machines Boltzmann restreintes pour la régression?

Je poursuis la question que j'avais posée plus tôt sur les mécanismes RBM . Je vois beaucoup de littérature qui les décrit, mais aucune qui parle réellement de régression (pas même de classification avec des données étiquetées). J'ai l'impression qu'il est utilisé uniquement pour les données non étiquetées. Existe-t-il des …

13 regression machine-learning classification neural-networks

3

Implémentation du lasso non négatif dans R

Je recherche une source ouverte ou une bibliothèque existante que je peux utiliser. Autant que je sache, le paquet glmnet n'est pas très facilement extensible pour couvrir le cas non négatif. Je peux me tromper, toute personne ayant des idées très appréciées. Par non négatif, je veux dire que tous …

13 r lasso

4

Séries chronologiques de différence avant Arima ou dans Arima

Est-il préférable de différencier une série (en supposant qu'elle en ait besoin) avant d'utiliser un Arima OU mieux d'utiliser le paramètre d dans Arima? J'ai été surpris de voir à quel point les valeurs ajustées diffèrent selon l'itinéraire emprunté avec le même modèle et les mêmes données. Ou est-ce que …

13 r time-series arima

3

Comment gérer des estimations

Stabilité bêta en régression linéaire avec multi-colinéarité élevée? Disons que dans une régression linéaire, les variables et x 2 ont une multi-colinéarité élevée (la corrélation est d'environ 0,9).X1x1x_1X2x2x_2 Nous sommes préoccupés par la stabilité du coefficient , nous devons donc traiter la multi-colinéarité.ββ\beta La solution du manuel serait de simplement …

13 regression multicollinearity

4

Que faire lorsque les moyennes de deux échantillons sont significativement différentes mais que la différence semble trop petite pour être importante

J'ai deux échantillons ( dans les deux cas). Les moyennes diffèrent d'environ deux fois la std groupée. dev. La valeur résultante est d'environ 10. Bien qu'il soit bon de savoir que j'ai démontré de façon concluante que les moyennes ne sont pas les mêmes, cela me semble être dicté par …

13 hypothesis-testing t-test

2

Comment tester si deux distributions multivariées sont échantillonnées à partir de la même population sous-jacente?

Supposons que l'on vous donne deux ensembles de données multivariés, disons un ancien et un nouveau, et qu'ils sont censés avoir été générés par le même processus (pour lequel vous n'avez pas de modèle) mais peut-être quelque part le long de la ligne de collecte / création les données, quelque …

13 multivariate-analysis

2

Quand LASSO sélectionne-t-il des prédicteurs corrélés?

J'utilise le paquet 'lars' dans R avec le code suivant: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) …

13 correlation feature-selection lasso regularization ridge-regression

2

Pourquoi utiliser une distribution bêta sur le paramètre Bernoulli pour la régression logistique hiérarchique?

Je suis en train de lire l'excellent livre de Kruschke «Faire l'analyse des données bayésiennes». Cependant, le chapitre sur la régression logistique hiérarchique (chapitre 20) est quelque peu déroutant. La figure 20.2 décrit une régression logistique hiérarchique où le paramètre de Bernoulli est défini comme la fonction linéaire sur les …

13 regression bayesian logistic multilevel-analysis

2

Trouver les meilleures fonctionnalités dans les modèles d'interaction

J'ai une liste de protéines avec leurs valeurs caractéristiques. Un exemple de tableau ressemble à ceci: ...............Feature1...Feature2...Feature3...Feature4 Protein1 Protein2 Protein3 Protein4 Les lignes sont des protéines et les colonnes sont des caractéristiques. J'ai également une liste de protéines qui interagissent également; par exemple Protein3, Protein4 Protein1, Protein2 Protein4, Protein1 Problème …

13 machine-learning statistical-significance feature-selection networks

2

Un problème avec e1071 libsvm?

J'ai un ensemble de données avec deux classes qui se chevauchent, sept points dans chaque classe, les points sont dans un espace à deux dimensions. Dans R, et je cours svmdepuis le e1071package pour construire un hyperplan de séparation pour ces classes. J'utilise la commande suivante: svm(x, y, scale = …

13 r machine-learning svm libsvm e1071