Comment évaluer la similitude de deux histogrammes?

À partir de deux histogrammes, comment pouvons-nous évaluer s'ils sont similaires ou non?

Est-il suffisant de simplement regarder les deux histogrammes? La simple correspondance un à un pose le problème suivant: si un histogramme est légèrement différent et légèrement décalé, nous n'obtiendrons pas le résultat souhaité.

Aucune suggestion?

Un article récent qui mérite d'être lu est:

Cao, Y. Petzold, L. Limitations de précision et mesure des erreurs dans la simulation stochastique de systèmes à réaction chimique, 2006.

Bien que cet article se concentre sur la comparaison des algorithmes de simulation stochastiques, l’idée principale est essentiellement de savoir comment comparer deux histogrammes.

Vous pouvez accéder au pdf à partir de la page Web de l'auteur.

Il existe de nombreuses mesures de distance entre deux histogrammes. Vous pouvez lire une bonne catégorisation de ces mesures dans:

K. Meshgi et S. Ishii, «Extension de l'histogramme des couleurs avec des maillages pour améliorer la précision du suivi», dans Proc. of MVA'15, Tokyo, Japon, mai 2015.

Les fonctions de distance les plus populaires sont listées ici pour plus de commodité:

• $L_0$　Distance ou Hellinger

$D_{L0} = \sum\limits_{i} h_1(i) \neq h_2(i)$

• $L_1$ , Manhattan ou City Block Distance

$D_{L1} = \sum_{i}\lvert h_1(i) - h_2(i) \rvert$

• $L=2$ ou distance euclidienne

$D_{L2} = \sqrt{\sum_{i}\left( h_1(i) - h_2(i) \right) ^2 }$

• L ou distance de Chybyshev$_{\infty}$

$D_{L\infty} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• L ou distance fractionnelle (partie de la famille de distance Minkowski)$_p$

$D_{Lp} = \left(\sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert ^p \right)^{1/p}$ 0 < p < 1 et$0<p<1$

• Intersection d'histogramme

$D_{\cap} = 1 - \frac{\sum_{i} \left(min(h_1(i),h_2(i) \right)}{min\left(\vert h_1(i)\vert,\vert h_2(i) \vert \right)}$

• Cosinus Distance

$D_{CO} = 1 - \sum_i h_1(i)h2_(i)$

• Distance de Canberra

$D_{CB} = \sum_i \frac{\lvert h_1(i)-h_2(i) \rvert}{min\left( \lvert h_1(i)\rvert,\lvert h_2(i)\rvert \right)}$

• Coefficient de corrélation de Pearson

$D_{CR} = \frac{\sum_i \left(h_1(i)- \frac{1}{n} \right)\left(h_2(i)- \frac{1}{n} \right)}{\sqrt{\sum_i \left(h_1(i)- \frac{1}{n} \right)^2\sum_i \left(h_2(i)- \frac{1}{n} \right)^2}}$

• Divergence de Kolmogorov-Smirnov

$D_{KS} = max_{i}\lvert h_1(i) - h_2(i) \rvert$

• Match distance

$D_{MA} = \sum\limits_{i}\lvert h_1(i) - h_2(i) \rvert$

• Distance de Cramer-von Mises

$D_{CM} = \sum\limits_{i}\left( h_1(i) - h_2(i) \right)^2$

• $\chi^2$ Statistiques

$D_{\chi^2} = \sum_i \frac{\left(h_1(i) - h_2(i)\right)^2}{h_1(i) + h_2(i)}$

• Distance Bhattacharyya

$D_{BH} = \sqrt{1-\sum_i \sqrt{h_1(i)h_2(i)}}$ & hellinger

• Accord carré

$D_{SC} = \sum_i\left(\sqrt{h_1(i)}-\sqrt{h_2(i)}\right)^2$

• Divergance de Kullback-Liebler

$D_{KL} = \sum_i h_1(i)log\frac{h_1(i)}{m(i)}$

• Jefferey Divergence

$D_{JD} = \sum_i \left(h_1(i)log\frac{h_1(i)}{m(i)}+h_2(i)log\frac{h_2(i)}{m(i)}\right)$

• Earth Mover's Distance (C’est le premier membre de Transports distance qui intègre l’information de binning au loin, pour plus d’informations, veuillez vous reporter à l’article susmentionné ou à l’ entrée Wikipedia .$A$

$D_{EM} = \frac{min_{f_{ij}}\sum_{i,j}f_{ij}A_{ij}}{sum_{i,j}f_{ij}}$ $\sum_j f_{ij} \leq h_1(i) , \sum_j f_{ij} \leq h_2(j) , \sum_{i,j} f_{ij} = min\left( \sum_i h_1(i) \sum_j h_2(j) \right)$ et représente le flux de à$f_{ij}$$i$$j$

• Distance quadratique

$D_{QU} = \sqrt{\sum_{i,j} A_{ij}\left(h_1(i) - h_2(j)\right)^2}$

• Distance quadratique-chi

$D_{QC} = \sqrt{\sum_{i,j} A_{ij}\left(\frac{h_1(i) - h_2(i)}{\left(\sum_c A_{ci}\left(h_1(c)+h_2(c)\right)\right)^m}\right)\left(\frac{h_1(j) - h_2(j)}{\left(\sum_c A_{cj}\left(h_1(c)+h_2(c)\right)\right)^m}\right)}$ et$\frac{0}{0} \equiv 0$

Une implémentation Matlab de certaines de ces distances est disponible dans mon référentiel GitHub: https://github.com/meshgi/Histogram_of_Color_Advancements/tree/master/distance Vous pouvez également rechercher des gars comme Yossi Rubner, Ofir Pelé, Marco Cuturi et Haibin Ling pour plus de distances de pointe.

Mise à jour: Une explication alternative pour les distances apparaît ici et là dans la littérature, je les énumère donc par souci d'exhaustivité.

• Canberra distance (une autre version)

$D_{CB}=\sum_i \frac{|h_1(i)-h_2(i)|}{|h_1(i)|+|h_2(i)|}$

• Dissimilarité de Bray-Curtis, distance de Sorensen (puisque la somme des histogrammes est égale à un, elle est égale à )$D_{L0}$

$D_{BC} = 1 - \frac{2 \sum_i h_1(i) = h_2(i)}{\sum_i h_1(i) + \sum_i h_2(i)}$

• Distance Jaccard (c.-à-d. Intersection sur l'union, une autre version)

$D_{IOU} = 1 - \frac{\sum_i min(h_1(i),h_2(i))}{\sum_i max(h_1(i),h_2(i))}$

La réponse standard à cette question est le test du chi carré . Le test KS concerne les données non liées, pas les données combinées. (Si vous disposez de données non liées, utilisez un test de style KS, mais si vous ne disposez que de l'histogramme, le test KS n'est pas approprié.)

Vous recherchez le test de Kolmogorov-Smirnov . N'oubliez pas de diviser les hauteurs de barre par la somme de toutes les observations de chaque histogramme.

Notez que le test KS indique également une différence si, par exemple, les moyennes des distributions sont décalées les unes par rapport aux autres. Si la translation de l'histogramme le long de l'axe des x n'est pas significative dans votre application, vous souhaiterez peut-être soustraire d'abord la moyenne de chaque histogramme.

Comme le fait remarquer David dans sa réponse, le test du khi-carré est nécessaire pour les données regroupées, car le test KS suppose des distributions continues. En ce qui concerne la raison pour laquelle le test KS est inapproprié (commentaire de naught101), la question de la question dans la littérature de statistiques appliquées mérite d’être soulevée ici.

Un échange amusant a commencé avec l'affirmation ( García-Berthou et Alcaraz, 2004 ) qu'un tiers des articles de Nature contenaient des erreurs statistiques. Cependant, un article ultérieur ( Jeng, 2006 , " Erreur dans les tests statistiques d'erreur dans les tests statistiques " - peut-être mon titre de papier préféré de tous les temps) a montré que Garcia-Berthou et Alcaraz (2005) ont utilisé des tests KS sur des données discrètes, ce qui conduit à leur rapporter des valeurs p inexactes dans leur méta-étude. Le document Jeng (2006) fournit une discussion intéressante sur la question, montrant même que l’on peut modifier le test KS pour qu’il fonctionne avec des données discrètes. Dans ce cas particulier, la distinction se résume à la différence entre une distribution uniforme du dernier chiffre sur [0,9], P(x)=

Vous pouvez calculer la corrélation croisée (convolution) entre les deux histogrammes. Cela prendra en compte de légères traductions.