Statistiques et Big Data metric

8

Pourquoi la distance euclidienne n'est-elle pas une bonne métrique dans les grandes dimensions?

J'ai lu que "la distance euclidienne n'est pas une bonne distance dans les grandes dimensions". Je suppose que cette déclaration a quelque chose à voir avec la malédiction de la dimensionnalité, mais quoi au juste? En outre, qu'est-ce que les «grandes dimensions»? J'appliquais la classification hiérarchique en utilisant la distance …

241 machine-learning clustering distance-functions metric high-dimensional

6

Pourcentage de régions qui se chevauchent de deux distributions normales

Je me demandais, étant donné deux distributions normales avec et σ 2 , μ 2σ1, μ 1σ1, μ1\sigma_1,\ \mu_1σ2, μ 2σ2, μ2\sigma_2, \ \mu_2 Comment puis-je calculer le pourcentage de régions qui se chevauchent de deux distributions? Je suppose que ce problème a un nom spécifique, connaissez-vous un nom particulier …

46 normal-distribution similarities metric bhattacharyya

4

Rappel et précision dans la classification

J'ai lu des définitions de rappel et de précision, bien que ce soit chaque fois dans le contexte de la recherche d'informations. Je me demandais si quelqu'un pourrait expliquer cela un peu plus dans un contexte de classification et peut-être illustrer quelques exemples. Disons par exemple que j'ai un classificateur …

40 machine-learning metric

1

Calcul de la répétabilité des effets d'un modèle lmer

Je viens de tomber sur cet article , qui décrit comment calculer la répétabilité (aka fiabilité, aka corrélation intraclasse) d'une mesure via la modélisation d'effets mixtes. Le code R serait: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute …

28 mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

3

Quels sont les avantages de la métrique Wasserstein par rapport à la divergence Kullback-Leibler?

Quelle est la différence pratique entre la métrique de Wasserstein et la divergence de Kullback-Leibler ? La métrique de Wasserstein est également appelée distance du moteur de la Terre . De Wikipédia: La métrique de Wasserstein (ou Vaserstein) est une fonction de distance définie entre les distributions de probabilité sur …

25 distributions kullback-leibler metric wasserstein

5

Comment contrôler le coût des erreurs de classification dans les forêts aléatoires?

Est-il possible de contrôler le coût des erreurs de classification dans le package R randomForest ? Dans mon propre travail, les faux négatifs (par exemple, le fait de manquer par erreur qu'une personne peut avoir une maladie) sont beaucoup plus coûteux que les faux positifs. Le package rpart permet à …

21 r classification random-forest loss-functions metric

2

Comparaison des regroupements: indice Rand vs variation de l'information

Je me demandais si quelqu'un avait une idée ou une intuition derrière la différence entre la variation de l'information et l' indice Rand pour comparer les regroupements. J'ai lu l'article « Comparing Clusterings - An Information Based Distance » de Marina Melia (Journal of Multivariate Analysis, 2007), mais, à part …

21 machine-learning clustering metric

2

Comment comparez-vous deux processus gaussiens?

La divergence de Kullback-Leibler est une métrique pour comparer deux fonctions de densité de probabilité, mais quelle métrique est utilisée pour comparer deux GP et ?YXXXYYY

14 gaussian-process metric

2

Jensen Shannon Divergence contre Kullback-Leibler Divergence?

Je sais que KL Divergence n'est pas symétrique et ne peut pas être strictement considéré comme une métrique. Si oui, pourquoi est-il utilisé lorsque JS Divergence satisfait les propriétés requises pour une métrique? Y a-t-il des scénarios où la divergence KL peut être utilisée mais pas la divergence JS ou …

14 probability distributions kullback-leibler metric

4

Y a-t-il une distance de probabilité qui préserve toutes les propriétés d'une métrique?

En étudiant la distance de Kullback – Leibler, il y a deux choses que nous apprenons très rapidement, c'est qu'elle ne respecte ni l'inégalité du triangle ni la symétrie, propriétés requises d'une métrique. Ma question est de savoir s'il existe une métrique de fonctions de densité de probabilité qui remplit …

13 distributions distance metric

4

L'inégalité triangulaire est-elle satisfaite pour ces distances basées sur la corrélation?

Pour le clustering hiérarchique, je vois souvent les deux "métriques" suivantes (elles ne parlent pas exactement) pour mesurer la distance entre deux variables aléatoires et Y : XXXOuiYY\newcommand{\Cor}{\mathrm{Cor}} L'un ou l'autre remplit-il l'inégalité du triangle? Si oui, comment dois-je le prouver autrement que simplement faire un calcul de force brute? …

13 correlation clustering distance metric

2

Mesures pour les matrices de covariance: inconvénients et forces

Quelles sont les «meilleures» mesures pour les matrices de covariance, et pourquoi? Il est clair pour moi que Frobenius & c n'est pas approprié, et les paramétrisations d'angle ont aussi leurs problèmes. Intuitivement, on pourrait vouloir un compromis entre ces deux, mais j'aimerais aussi savoir s'il y a d'autres aspects …

11 covariance metric

1

Formule d'inertie de clustering dans Scikit Learn

Je voudrais coder un cluster kmeans en python à l'aide de pandas et de scikit learn. Afin de sélectionner le bon k, je voudrais coder la statistique de l'écart de Tibshirani et al 2001 ( pdf ). Je voudrais savoir si je pourrais utiliser le résultat inertie_ de scikit et …

9 clustering python k-means scikit-learn metric

2

Une distance doit-elle être une «métrique» pour qu'un clustering hiérarchique soit valide sur celle-ci?

Disons que nous définissons une distance, qui n'est pas une métrique , entre N éléments. Sur la base de cette distance, nous utilisons ensuite un regroupement hiérarchique agglomératif . Pouvons-nous utiliser chacun des algorithmes connus (liaison simple / maximale / moyenne, etc.) pour obtenir des résultats significatifs? Ou autrement dit, …

9 clustering multilevel-analysis metric hierarchical-clustering

3

Utilisation de k-means avec d'autres mesures

Je me rends donc compte que cela a déjà été demandé: par exemple, quels sont les cas d'utilisation liés à l'analyse de cluster de différentes métriques de distance? mais j'ai trouvé les réponses quelque peu contradictoires avec ce qui est suggéré devrait être possible dans la littérature. Récemment, j'ai lu …

8 clustering k-means metric

Questions marquées «metric»