Statistiques et Big Data clustering

2

Détecter les schémas de tricherie lors d'un examen à plusieurs questions

QUESTION: J'ai des données binaires sur les questions d'examen (correctes / incorrectes). Certaines personnes peuvent avoir eu accès auparavant à un sous-ensemble de questions et à leurs réponses correctes. Je ne sais pas qui, combien ou quoi. S'il n'y avait pas de triche, supposons que je modélise la probabilité d'une …

25 r clustering classification psychometrics

5

Procédure de clustering où chaque cluster a un nombre égal de points?

J'ai quelques points dans R p , et je veux regrouper les points de sorte que:X= { x1, .. . , xn}X={X1,...,Xn}X=\{x_1,...,x_n\}RpRpR^p Chaque cluster contient un nombre égal d'éléments de . (Supposons que le nombre de clusters divise n .)XXXnnn Chaque grappe est "spatialement cohérente" dans un certain sens, comme …

25 machine-learning clustering k-means unsupervised-learning

3

Déterminer différents clusters de données 1d à partir de la base de données

J'ai une table de base de données de transferts de données entre différents nœuds. Il s'agit d'une énorme base de données (avec près de 40 millions de transferts). L'un des attributs est le nombre de transferts d'octets (nbytes) qui vont de 0 octet à 2 tera octets. Je voudrais regrouper …

24 clustering k-means

3

La réduction de dimensionnalité pour la visualisation doit-elle être considérée comme un problème «fermé», résolu par t-SNE?

J'ai beaucoup lu sur l' algorithme -snettt pour la réduction de dimensionnalité. Je suis très impressionné par les performances sur les ensembles de données "classiques", comme MNIST, où il réalise une séparation claire des chiffres ( voir l'article original ): Je l'ai également utilisé pour visualiser les fonctionnalités apprises par …

23 clustering data-visualization dimensionality-reduction high-dimensional tsne

2

Variables de clustering basées sur les corrélations entre elles

Des questions: J'ai une grande matrice de corrélation. Au lieu de regrouper les corrélations individuelles, je veux regrouper les variables en fonction de leurs corrélations l'une avec l'autre, c'est-à-dire si la variable A et la variable B ont des corrélations similaires aux variables C à Z, alors A et B …

23 correlation clustering correlation-matrix

1

Utilisation de la corrélation comme mesure de distance (pour le clustering hiérarchique)

Je voudrais regrouper hiérarchiquement mes données, mais plutôt que d'utiliser la distance euclidienne, je voudrais utiliser la corrélation. De plus, comme le coefficient de corrélation varie de -1 à 1, -1 et 1 désignant la «corégulation» dans mon étude, je traite à la fois -1 et 1 comme d = …

22 correlation clustering distance hierarchical-clustering

3

Clustering ou classification supervisée?

La deuxième question est que j'ai trouvé dans une discussion quelque part sur le Web parler de "clustering supervisé", pour autant que je sache, le clustering n'est pas supervisé, alors quelle est exactement la signification derrière "clustering supervisé"? Quelle est la différence en ce qui concerne la "classification"? Il existe …

22 clustering classification unsupervised-learning statistical-learning

2

Regroupement d'une matrice binaire

J'ai une matrice semi-petite de caractéristiques binaires de dimension 250k x 100. Chaque ligne est un utilisateur et les colonnes sont des "balises" binaires d'un certain comportement d'utilisateur, par exemple "likes_cats". user 1 2 3 4 5 ... ------------------------- A 1 0 1 0 1 B 0 1 0 1 …

22 r clustering binary-data

8

Effectuer un regroupement K-means (ou ses proches parents) avec uniquement une matrice de distance, pas des données de points par entités

Je veux effectuer un regroupement K-means sur les objets que j'ai, mais les objets ne sont pas décrits comme des points dans l'espace, c'est-à-dire par objects x featuresensemble de données. Cependant, je suis capable de calculer la distance entre deux objets quelconques (il est basé sur une fonction de similitude). …

22 machine-learning clustering data-mining k-means distance

2

Comment regrouper des séries chronologiques?

J'ai une question sur l'analyse de cluster. Il y a 3000 entreprises, qui doivent être regroupées en fonction de leur consommation d'énergie sur 5 ans. Chaque entreprise a des valeurs pour chaque heure pendant 5 ans. J'aimerais savoir si certaines entreprises ont le même modèle de puissance d'utilisation au cours …

22 time-series clustering spss

2

Comparaison des regroupements: indice Rand vs variation de l'information

Je me demandais si quelqu'un avait une idée ou une intuition derrière la différence entre la variation de l'information et l' indice Rand pour comparer les regroupements. J'ai lu l'article « Comparing Clusterings - An Information Based Distance » de Marina Melia (Journal of Multivariate Analysis, 2007), mais, à part …

21 machine-learning clustering metric

4

Pourquoi les données mixtes posent-elles un problème pour les algorithmes de clustering basés sur les euclidiens?

La plupart des algorithmes de clustering et de réduction de dimensionnalité classiques (clustering hiérarchique, analyse des composants principaux, k-means, cartes auto-organisées ...) sont conçus spécifiquement pour les données numériques, et leurs données d'entrée sont considérées comme des points dans un espace euclidien. C'est un problème bien sûr, car de nombreuses …

21 clustering dimensionality-reduction distance self-organizing-maps mixed-type-data

2

Si le clustering k-means est une forme de modélisation de mélange gaussienne, peut-il être utilisé lorsque les données ne sont pas normales?

Je lis Bishop sur l'algorithme EM pour GMM et la relation entre GMM et k-means. Dans ce livre, il est dit que k-means est une version difficile à attribuer de GMM. Je me demande si cela implique que si les données que j'essaie de regrouper ne sont pas gaussiennes, je …

21 clustering data-mining k-means gaussian-mixture

4

Comment projeter un nouveau vecteur sur l'espace PCA?

Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon vecteur par la matrice de rotation PCA. Les …

21 r pca r variance heteroscedasticity misspecification distributions time-series data-visualization modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio econometrics panel-data categorical-data scales survey distributions pdf histogram correlation algorithms r gpu parallel-computing approximation mean median references sample-size normality-assumption central-limit-theorem rule-of-thumb confidence-interval estimation mixed-model psychometrics random-effects-model hypothesis-testing sample-size dataset large-data regression standard-deviation variance approximation hypothesis-testing variance central-limit-theorem kernel-trick kernel-smoothing error sampling hypothesis-testing normality-assumption philosophical confidence-interval modeling model-selection experiment-design hypothesis-testing statistical-significance power asymptotics information-retrieval anova multiple-comparisons ancova classification clustering factor-analysis psychometrics r sampling expectation-maximization markov-process r data-visualization correlation regression statistical-significance degrees-of-freedom experiment-design r regression curve-fitting change-point loess machine-learning classification self-study monte-carlo markov-process references mathematical-statistics data-visualization python cart boosting regression classification robust cart survey binomial psychometrics likert psychology asymptotics multinomial

4

Existe-t-il un algorithme de type arbre de décision pour le clustering non supervisé?

J'ai un ensemble de données composé de 5 fonctionnalités: A, B, C, D, E. Ce sont toutes des valeurs numériques. Au lieu de faire un clustering basé sur la densité, ce que je veux faire, c'est grouper les données d'une manière d'arbre de décision. L'approche que je veux dire est …

20 r machine-learning clustering cart

Questions marquées «clustering»