Comment puis-je convertir la distance (euclidienne) en score de similarité

13

J'utilise means clustering pour regrouper les voix des locuteurs. Lorsque je compare un énoncé avec des données de haut-parleur groupées, j'obtiens une distorsion moyenne (basée sur la distance euclidienne). Cette distance peut être comprise entre . Je veux convertir cette distance en un score de similitude . Veuillez me guider sur la façon dont je peux y parvenir. $k$ $[0,\infty]$ $[0,1]$

— Muhammad
source

15

Si $d(p_1,p_2)$ représente la distance euclidienne du point $p_1$ au point $p_2$ ,

\frac{1}{1 + d (p_{1}, p_{2})}

$\frac{1}{1 + d(p_1, p_2)}$

est couramment utilisé.

— TrynnaDoStat
source

S'il vous plaît me corriger si je me trompe, si nous avons

X = (x_{1}, x_{2}, x_{3}, . . ., x_{t})

$X = (x_1,x_2,x_3,...,x_t)$ et

Y = (Y_{1}, Y_{2}, Y_{3}, . . ., Y_{n})

$Y = (Y_1,Y_2,Y_3,...,Y_n)$ où chaque

x

$x$ et

y

$y$ est de dimension

D

$D$ . Ensuite, nous pouvons définir la similitude comme,

S i m i l a r i t y = \frac{1}{t} \sum_{i = 1}^{t} \frac{1}{1 + m i n D i s t a n c e (x_{i}, Y)}

$Similarity = \frac{1}{t} \sum\limits_{i=1}^t \frac{1}{ 1+ minDistance(x_i, Y)}$ .

— Muhammad

Je comprends que le plus 1 du dénominateur est d'éviter la division par une erreur nulle. Mais j'ai trouvé que la valeur plus un affecte de manière disproportionnée les valeurs d (p1, p2) qui sont supérieures à 1 et réduit finalement le score de similarité de manière significative. Y a-t-il une autre façon de procéder? Peut-être s = 1-d (p1, p2)

— aamir23

9

Vous pouvez également utiliser: où setrouve la fonction de distance souhaitée. $\frac{1}{e^{dist}}$ dist

— Exception non-gérée
source

Pouvez-vous s'il vous plaît donner un livre de référence / documentation liée à cette équation dans laquelle vous l'avez trouvée? @Dougal

— Justlife

@AnimeshKumarPaul Je n'ai pas écrit cette réponse, j'ai juste amélioré sa mise en forme. Mais il est fréquemment utilisé comme version, par exemple, d'un "noyau RBF généralisé"; voir par exemple ici . Cette question concerne la question de savoir si la sortie est un noyau défini positif; si vous ne vous souciez pas de cela, cependant, cela satisfait au moins une notion intuitive de similitude selon laquelle des points plus éloignés sont moins similaires.

— Dougal

@Justlife: Google pour celui-ci "encyclopédie des distances" et choisissez le résultat avec le document pdf.

— Exception non gérée

7

Il semble que vous vouliez quelque chose qui ressemble à la similitude cosinus, qui est en soi un score de similitude dans l'intervalle unitaire. En fait, il existe une relation directe entre la distance euclidienne et la similitude cosinus!

Observez cela

| | x - x^{'} | |^{2} = (x - x^{'})^{T} (x - x^{'}) = | | x | | + | | x^{'} | | - 2 | | x - x^{'} | | .

$||x-x^\prime||^2=(x-x^\prime)^T(x-x^\prime)=||x||+||x^\prime||-2||x-x^\prime||.$

Alors que la similitude cosinus est oùest l'angle entreet.

f (x, x^{'}) = \frac{x^{T} x^{'}}{| | x | | | | x^{'} | |} = \cos (θ)

$f(x,x^\prime)=\frac{x^T x^\prime}{||x||||x^\prime||}=\cos(\theta)$

θ

$\theta$

x

$x$

x^{'}

$x^\prime$

Quand nous avons et $||x||=||x^\prime||=1,$

| | x - x^{'} | |^{2} = 2 (1 - f (x, x^{'}))

$||x-x^\prime||^2=2(1-f(x,x^\prime))$

f (x, x^{'}) = x^{T} x^{'},

$f(x,x^\prime)=x^T x^\prime,$

donc

1 - \frac{| | x - x^{'} | |^{2}}{2} = f (x, x^{'}) = \cos (θ)

$1-\frac{||x-x^\prime||^2}{2}=f(x,x^\prime)=\cos(\theta)$

D'un point de vue informatique, il peut être plus efficace de simplement calculer le cosinus plutôt que la distance euclidienne, puis d'effectuer la transformation.

— Sycorax dit de réintégrer Monica
source

3

Que diriez-vous d'un noyau gaussien ?

$K(x, x') = \exp\left( -\frac{\| x - x' \|^2}{2\sigma^2} \right)$

The distance $\|x - x'\|$ is used in the exponent. The kernel value is in the range $[0, 1]$ . There is one tuning parameter $\sigma$ . Basically if $\sigma$ is high, $K(x, x')$ will be close to 1 for any $x, x'$ . If $\sigma$ is low, a slight distance from $x$ to $x'$ will lead to $K(x,x')$ being close to 0.

— wij
source

1

Note that this answer and @Unhandled exception's are very related: this is

\exp (- γ d (x, x^{'})^{2})

$\exp\left( - \gamma d(x, x')^2 \right)$ , where that one [introducing a scaling factor] is

\exp (- γ d (x, x^{'}))

$\exp\left( - \gamma d(x, x') \right)$ , a Gaussian kernel with

\sqrt{d}

$\sqrt{d}$ as the metric. This will still be a valid kernel, though the OP doesn't necessarily care about that.

— Dougal

0

If you are using a distance metric that is naturally between 0 and 1, like Hellinger distance. Then you can use 1 - distance to obtain similarity.

— Brad
source