Distance Kullback – Leibler vs Kolmogorov-Smirnov

37

Je peux voir qu'il y a beaucoup de différences formelles entre les mesures de distance Kullback – Leibler vs Kolmogorov-Smirnov. Cependant, les deux sont utilisés pour mesurer la distance entre les distributions.

Y a-t-il une situation typique où l'un devrait être utilisé à la place de l'autre?
Quelle est la raison de le faire?

— Greg
source

Une question connexe: stats.stackexchange.com/questions/4/…

— GaBorgulya

23

La divergence KL est généralement utilisée dans les paramètres de théorie de l'information, ou même les paramètres bayésiens, pour mesurer le changement d'informations entre les distributions avant et après l'application d'une inférence, par exemple. Ce n'est pas une distance au sens typique (métrique), à cause du manque de symétrie et de l'inégalité des triangles, et donc utilisée dans des endroits où la directionnalité est significative.

La distance KS est généralement utilisée dans le cadre d'un test non paramétrique. En fait, je l' ai rarement vu utilisé comme une « distance entre les distributions » générique, où le la distance, la distance Jensen-Shannon, et d' autres distances sont plus fréquentes. $\ell_1$

— Suresh Venkatasubramanian
source

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

Effectivement. c'est un excellent exemple. Et en fait, la plupart des versions générales des limites de queue de Chernoff-Hoeffding utilisent la divergence KL.

— Suresh Venkatasubramanian

2

Une autre façon de dire la même chose que la réponse précédente en termes plus simples:

Divergence KL - fournit en réalité une mesure de la différence entre deux distributions. Comme mentionné dans la réponse précédente, cette mesure n'est pas une métrique de distance appropriée car elle n'est pas symétrique. La distance entre la distribution A et B est une valeur différente de la distance entre la distribution B et A.

Test de Kolmogorov-Smirnov - Il s’agit d’une mesure d’évaluation qui examine la plus grande séparation possible entre la distribution cumulative d’une distribution de test et celle de référence. En outre, vous pouvez utiliser cette mesure comme un z-score contre la distribution de Kolmogorov pour effectuer un test d'hypothèse sur le point de savoir si la distribution du test est la même distribution que la référence. Cette métrique peut être utilisée comme fonction de distance car elle est symétrique. C'est-à-dire que la plus grande séparation entre CDF de A et CDF de B est la même que la plus grande séparation entre CDF de B et CDF de A.

— SriK
source