Statistiques et Big Data clustering

1

Une routine pour choisir eps et minPts pour DBSCAN

DBSCAN est l'algorithme de clustering le plus cité selon certaines publications et il peut trouver des clusters de formes arbitraires en fonction de la densité. Il a deux paramètres eps (comme rayon de voisinage) et minPts (comme voisins minimum pour considérer un point comme point central) dont je crois que …

14 clustering dbscan

2

Existe-t-il une fonction dans R qui prend les centres des clusters trouvés et affecte des clusters à un nouvel ensemble de données

J'ai deux parties d'un ensemble de données multidimensionnelles, appelons-les trainet test. Et je veux construire un modèle basé sur l'ensemble de données du train, puis le valider sur l'ensemble de données de test. Le nombre de clusters est connu. J'ai essayé d'appliquer le clustering k-means dans R et j'ai obtenu …

14 r clustering k-means

4

Implémentation de k-means avec matrice de distance personnalisée en entrée

Quelqu'un peut-il me signaler une implémentation de k-means (ce serait mieux si dans matlab) qui peut prendre la matrice de distance en entrée? L'implémentation matlab standard nécessite la matrice d'observation en entrée et il n'est pas possible de modifier la mesure de similitude de façon personnalisée.

14 clustering matlab k-means

5

Clustering (k-means ou autre) avec une contrainte de taille de cluster minimum

J'ai besoin de regrouper les unités en grappes pour minimiser la somme des carrés au sein du groupe (WSS), mais je dois m'assurer que les grappes contiennent chacune au moins unités. Une idée si l'une des fonctions de clustering de R permet le clustering en clusters soumis à une contrainte …

14 r clustering

5

Comment puis-je convertir la distance (euclidienne) en score de similarité

J'utilise means clustering pour regrouper les voix des locuteurs. Lorsque je compare un énoncé avec des données de haut-parleur groupées, j'obtiens une distorsion moyenne (basée sur la distance euclidienne). Cette distance peut être comprise entre . Je veux convertir cette distance en un score de similitude . Veuillez me guider …

13 clustering k-means distance euclidean

1

État de l'art en matière de déduplication

Quelles sont les méthodes de pointe en matière de déduplication des enregistrements? La déduplication est aussi parfois appelée: couplage d'enregistrements, résolution d'entité, résolution d'identité, fusion / purge. Je connais par exemple CBLOCK [1]. J'apprécierais que les réponses incluent également des références aux logiciels existants mettant en œuvre les méthodes. Je …

13 clustering data-cleaning record-linkage

3

Cluster les Big Data dans R et l'échantillonnage est-il pertinent?

Je suis nouveau dans la science des données et j'ai du mal à trouver des clusters dans un ensemble de données avec 200 000 lignes et 50 colonnes en R. Étant donné que les données ont des variables numériques et nominales, des méthodes comme K-means qui utilise la mesure de …

13 r clustering sampling large-data

5

Des techniques de clustering appropriées pour les données temporelles?

J'ai des données temporelles de fréquences d'activité. Je veux identifier des grappes dans les données qui indiquent des périodes de temps distinctes avec des niveaux d'activité similaires. Idéalement, je veux identifier les clusters sans spécifier le nombre de clusters a priori. Quelles sont les techniques de clustering appropriées? Si ma …

13 machine-learning clustering

4

Initialisation des centres K-means au moyen de sous-échantillons aléatoires de l'ensemble de données?

Si j'ai un certain ensemble de données, comment serait-il intelligent d'initialiser des centres de cluster à l'aide d'échantillons aléatoires de cet ensemble de données? Par exemple, supposons que je veuille 5 clusters. Je prends la 5 random samplesparole size=20%de l'ensemble de données d'origine. Puis-je alors prendre la moyenne de chacun …

13 clustering k-means unsupervised-learning

2

Utilisation d'un test de signification statistique pour valider les résultats de l'analyse de grappes

J'étudie l'utilisation des tests de signification statistique (SST) pour valider les résultats de l'analyse en grappes. J'ai trouvé plusieurs articles sur ce sujet, tels que « Signification statistique du regroupement pour les données de grande taille et de faible taille d'échantillon » par Liu, Yufeng et al. (2008) " Sur …

13 hypothesis-testing clustering statistical-significance

2

Comprendre les comparaisons des résultats de clustering

J'expérimente avec la classification des données en groupes. Je suis assez nouveau sur ce sujet et j'essaie de comprendre le résultat de certaines analyses. En utilisant des exemples de Quick-R , plusieurs Rpackages sont suggérés. J'ai essayé d'utiliser deux de ces packages (en fpcutilisant la kmeansfonction, et mclust). Un aspect …

13 r clustering

1

LARS vs descente coordonnée pour le lasso

Quels sont les avantages et les inconvénients de l'utilisation de LARS [1] par rapport à l'utilisation de la descente de coordonnées pour ajuster la régression linéaire régularisée L1? Je m'intéresse principalement aux aspects de performance (mes problèmes ont tendance à avoir Ndes centaines de milliers et p<20). Cependant, toute autre …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

4

L'inégalité triangulaire est-elle satisfaite pour ces distances basées sur la corrélation?

Pour le clustering hiérarchique, je vois souvent les deux "métriques" suivantes (elles ne parlent pas exactement) pour mesurer la distance entre deux variables aléatoires et Y : XXXOuiYY\newcommand{\Cor}{\mathrm{Cor}} L'un ou l'autre remplit-il l'inégalité du triangle? Si oui, comment dois-je le prouver autrement que simplement faire un calcul de force brute? …

13 correlation clustering distance metric

4

Que faites-vous quand il n'y a pas de point de coude pour le regroupement de kmeans

J'ai appris que lors du choix d'un certain nombre de clusters, vous devez rechercher un point de coude pour différentes valeurs de K. J'ai tracé les valeurs de withinss pour des valeurs de k de 1 à 10, mais je ne vois pas de claire coude. Que faites-vous dans un …

13 clustering k-means

3

Dois-je supprimer des variables qui sont corrélées / colinéaires avant d'exécuter kmeans?

Je lance kmeans pour identifier les clusters de clients. J'ai environ 100 variables pour identifier les grappes. Chacune de ces variables représente le% des dépenses d'un client sur une catégorie. Donc, si j'ai 100 catégories, j'ai ces 100 variables telles que la somme de ces variables est de 100% pour …

13 clustering data-mining k-means multicollinearity compositional-data

Questions marquées «clustering»