Quelle est la valeur maximale de la divergence Kullback-Leibler (KL)

Je vais utiliser la divergence KL dans mon code python et j'ai eu ce tutoriel .

Sur ce tutoriel, implémenter la divergence KL est assez simple.

kl = (model * np.log(model/actual)).sum()

Si je comprends bien, la distribution de probabilité de modelet actualdevrait être <= 1.

Ma question est, quelle est la valeur maximale liée / maximale possible de k ?. J'ai besoin de connaître la valeur maximale possible de la distance kl comme pour la limite maximale dans mon code.

Ou même avec le même support, quand une distribution a une queue beaucoup plus grosse que l'autre. Soit

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ lorsque $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ alors $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ et $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$ Il existe d'autres distances qui restent limitées telles que

• la distance $L¹$ , équivalente à la distance de variation totale,
• les distances de Wasserstein
• la distance Hellinger

Pour les distributions qui n'ont pas le même support, la divergence KL n'est pas limitée. Regardez la définition:

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

si P et Q n'ont pas le même support, il existe un point où p ( x ′ ) ≠ 0 et q ( x ′ ) = 0 , faisant passer KL à l'infini. Ceci s'applique également aux distributions discrètes, ce qui est votre cas.$x'$$p(x') \neq 0$$q(x') = 0$

Edit: Peut-être un meilleur choix pour mesurer la divergence entre les distributions de probabilité serait la distance dite de Wasserstein qui est une métrique et a de meilleures propriétés que la divergence KL. Il est devenu très populaire en raison de ses applications dans le deep-learning (voir réseaux WGAN)

Pour ajouter aux excellentes réponses de Carlos et Xi'an , il est également intéressant de noter qu'une condition suffisante pour que la divergence KL soit finie est que les deux variables aléatoires aient le même support compact et que la densité de référence soit limitée . Ce résultat établit également une borne implicite pour le maximum de la divergence KL (voir théorème et preuve ci-dessous).

---

Théorème: Si les densités et q ont le même support compact X et que la densité p est bornée sur ce support (c'est-à-dire qu'elle a une borne supérieure finie) alors K L ( P | | Q ) < ∞ .$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

Preuve: Puisque a un support compact X, cela signifie qu'il existe une valeur infimum positive:$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

De même, puisque a un support compact X, cela signifie qu'il existe une valeur de supremum positive:$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

De plus, comme ce sont les deux densités sur le même support, et que ce dernier est borné, on a . Cela signifie que:$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

Maintenant, en laissant la dernière borne supérieure, nous avons clairement 0 ⩽ L _ < ∞ de sorte que:$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

$\blacksquare$