Statistiques et Big Data high-dimensional

2

Estimation de l'incertitude dans les problèmes d'inférence à haute dimension sans échantillonnage?

Je travaille sur un problème d'inférence de grande dimension (environ 2000 paramètres de modèle) pour lequel nous sommes capables d'effectuer de manière robuste une estimation MAP en trouvant le maximum global du log-postérieur en utilisant une combinaison d'optimisation basée sur un gradient et un algorithme génétique. J'aimerais beaucoup pouvoir faire …

9 bayesian uncertainty high-dimensional variational-bayes

1

Comment les enfants parviennent-ils à rassembler leurs parents dans une projection PCA d'un ensemble de données GWAS?

Prenez 20 points aléatoires dans un espace de 10 000 dimensions avec chaque coordonnée iid de . Répartissez-les en 10 paires («couples») et ajoutez la moyenne de chaque paire («un enfant») à l'ensemble de données. Ensuite, faites PCA sur les 30 points résultants et tracez PC1 vs PC2.N(0,1)N(0,1)\mathcal N(0,1) Une …

9 pca python high-dimensional genetics gwas

1

Données corrélées de grande dimension et principales caractéristiques / covariables découvertes; test d'hypothèses multiples?

J'ai un ensemble de données avec environ 5 000 caractéristiques / covariables souvent corrélées et une réponse binaire. Les données m'ont été données, je ne les ai pas collectées. J'utilise Lasso et boosting de gradient pour construire des modèles. J'utilise la validation croisée imbriquée itérée. Je rapporte les 40 coefficients …

9 machine-learning multiple-comparisons regression-coefficients lasso high-dimensional

3

PCA trop lent lorsque les deux n, p sont grands: Alternatives?

Configuration du problème J'ai des points de données (images) de grande dimension (4096), que j'essaie de visualiser en 2D. À cette fin, j'utilise t-sne d'une manière similaire à l' exemple de code suivant de Karpathy . La documentation de scikit-learn recommande d'utiliser PCA pour réduire d'abord la dimension des données: …

9 pca dimensionality-reduction high-dimensional java tsne

7

Trouvez des paires proches dans un espace de dimension très élevé avec des vecteurs clairsemés

J'ai (~ un million) de vecteurs de caractéristiques. Il y a (~ un million) d'entités binaires, mais dans chaque vecteur, seulement (~ un millier) d'entre elles seraient égales à , les autres étant . Je recherche les paires de vecteurs qui ont au moins (~ cent) traits en commun ( …

9 algorithms high-dimensional

Questions marquées «high-dimensional»