Différences entre la distance de Bhattacharyya et la divergence KL

33

Je cherche une explication intuitive pour les questions suivantes:

En statistique et en théorie de l’information, quelle est la différence entre la distance de Bhattacharyya et la divergence de KL, en tant que mesures de la différence entre deux distributions de probabilité discrètes?

Ont-ils absolument aucune relation et mesurent-ils la distance entre deux distributions de probabilité de manière totalement différente?

— JewelSue
source

36

Le coefficient de Bhattacharyya est défini par

D_{B} (p, q) = \int \sqrt{p (x) q (x)} d x

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$ et peut être transformé en une distance

d_{H} (p, q)

$d_H(p,q)$ commequi s'appelle ladistance de Hellinger. Une connexion entre cettedistance de Hellingeret ladivergence de Kullback-Leiblerest

d_{H} (p, q) = {1 - D_{B} (p, q)}^{1 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

{ré}_{K L} (p ‖ q) \geq 2 {ré}_{H}^{2} (p, q) = 2 {1 - {ré}_{B} (p, q)} .

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

Cependant, ce n’est pas la question: si la distance de Bhattacharyya est définie comme étant

{ré}_{B} (p, q) \overset{def}{=} - bûche {ré}_{B} (p, q),

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$ alors

\begin{aligned} d_{B} (p, q) = - \log D_{B} (p, q) & = - \log \int \sqrt{p (x) q (x)} d x \\ \overset{def}{=} - \log \int h (x) d x \\ = - \log \int \frac{h (x)}{p (x)} p (x) d x \\ \leq \int - \log {\frac{h (x)}{p (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{h^{2} (x)}{p^{2} (x)}} p (x) d x \\ = \int \frac{- 1}{2} \log {\frac{q (x)}{p (x)}} p (x) d x = \frac{1}{2} d_{K L} (p ‖ q) \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$ D'où l'inégalité entre les deux distances sont

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) .

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ On peut alors se demander si cette inégalité découle de la première. Il se trouve que c'est l'inverse: depuis

- l o g (x) \geq 1 - x 0 \leq x \leq 1,

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ entrez la description de l'image ici

nous avons la commande complète

d_{K L} (p ‖ q) \geq 2 d_{B} (p, q) \geq 2 d_{H} (p, q)^{2} .

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— Xi'an
source

2

Brillant! Cette explication devrait être celle que je cherche avec impatience. Une dernière question: dans quel cas (ou quels types de P et Q) l’inégalité devient-elle égalité?

— JewelSue

1

Étant donné que la fonction

est strictement convexe, je suppose que le seul cas d’égalité est lorsque le rapport

est constant dans

.

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— Xi'an

5

Et le seul cas où

est constant dans

est quand

.

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— Xi'an

8

Je ne connais aucune relation explicite entre les deux, mais j'ai décidé de les examiner rapidement pour voir ce que je pourrais trouver. Donc, ce n’est pas vraiment une réponse, mais plutôt un point d’intérêt.

Pour plus de simplicité, travaillons sur des distributions discrètes. On peut écrire la distance BC comme

d_{BC} (p, q) = - \ln \sum_{x} (p (x) q (x))^{\frac{1}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

et la divergence KL comme

d_{KL} (p, q) = \sum_{x} p (x) \ln \frac{p (x)}{q (x)}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

$\text{BC}$ $\text{KL}$

d_{KL} (p, q) = - \ln \prod_{x} {(\frac{q (x)}{p (x)})}^{p (x)}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

$p$ $n$

d_{KL} (p, q) = - \ln n - \ln {(\prod_{x} q (x))}^{\frac{1}{n}} d_{BC} (p, q) = - \ln \frac{1}{\sqrt{n}} - \ln \sum_{x} \sqrt{q (x)}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

$p$ $q$

— Andy Jones
source