Des questions sur la divergence KL?

Je compare deux distributions avec une divergence KL qui me renvoie un nombre non standardisé qui, selon ce que j'ai lu sur cette mesure, est la quantité d'informations nécessaires pour transformer une hypothèse en l'autre. J'ai deux questions:

a) Existe-t-il un moyen de quantifier une divergence KL afin qu'elle ait une interprétation plus significative, par exemple comme une taille d'effet ou un R ^ 2? Toute forme de normalisation?

b) Dans R, lorsque vous utilisez KLdiv (package flexmix), vous pouvez définir la valeur 'esp' (standard esp = 1e-4) qui définit tous les points plus petits que esp sur une certaine norme afin de fournir une stabilité numérique. J'ai joué avec différentes valeurs esp et, pour mon ensemble de données, j'obtiens une divergence KL de plus en plus grande, plus un nombre est petit. Que se passe-t-il? Je m'attends à ce que plus l'esp est petite, plus les résultats devraient être fiables car ils laissent plus de «valeurs réelles» faire partie de la statistique. Non? Je dois changer l'esp car sinon il ne calcule pas la statistique mais apparaît simplement comme NA dans le tableau des résultats ...

Supposons que l'on vous donne n échantillons IID générés par p ou par q. Vous souhaitez identifier la distribution qui les a générés. Prenez comme hypothèse nulle qu'elles ont été générées par q. Soit a une probabilité d'erreur de type I, rejetant par erreur l'hypothèse nulle, et b une probabilité d'erreur de type II.

Alors pour un grand n, la probabilité d'erreur de type I est au moins

$\exp(-n \text{KL}(p,q))$

En d'autres termes, pour une procédure de décision "optimale", la probabilité de type I diminue au maximum d'un facteur exp (KL (p, q)) à chaque point de donnée. L'erreur de type II diminue au maximum du facteur .$\exp(\text{KL}(q,p))$

Pour n arbitraire, a et b sont liés comme suit

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

et

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

Si nous exprimons la borne ci-dessus en tant que borne inférieure sur a en termes de b et KL et diminuons b à 0, le résultat semble approcher la borne "exp (-n KL (q, p))" même pour les petits n

Plus de détails à la page 10 ici , et aux pages 74-77 de "Theory Information and Statistics" de Kullback (1978).

En remarque, cette interprétation peut être utilisée pour motiver la métrique de Fisher Information, car pour toute paire de distributions p, q à la distance de Fisher k l'une de l'autre (petite k), vous avez besoin du même nombre d'observations pour les distinguer

KL a une signification profonde lorsque vous visualisez un ensemble de dentités comme un collecteur dans le tenseur métrique de Fisher , il donne la distance géodésique entre deux distributions "proches". Officiellement:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

Les lignes suivantes sont ici pour expliquer en détail ce que l'on entend par ces formules mathématiques las.

Définition de la métrique de Fisher.

Considérons une famille paramétrée de distributions de probabilité (donnée par les densités dans R n ), où x est une variable aléatoire et thêta est un paramètre dans R p . Vous savez tous que la matrice d’information du pêcheur F = ( F i j ) est$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

Avec cette notation, est une variété riemannienne et F ( θ ) est un tenseur métrique riemannien. (L'intérêt de cette métrique est donné par le théorème de la borne inférieure du cramer Rao)$D$$F(\theta)$

Vous pouvez dire ... OK abstraction mathématique mais où est KL?

$p=1$$F_{11}$

$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

and it is known to be twice the Kullback Leibler Divergence:

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

If you want to learn more about that I suggest reading the paper from Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779 (I think there is also a book from Amari about riemannian geometry in statistic but I don't remember the name)

The KL(p,q) divergence between distributions p(.) and q(.) has an intuitive information theoretic interpretation which you may find useful.

Suppose we observe data x generated by some probability distribution p(.). A lower bound on the average codelength in bits required to state the data generated by p(.) is given by the entropy of p(.).

Now, since we don't know p(.) we choose another distribution, say, q(.) to encode (or describe, state) the data. The average codelength of data generated by p(.) and encoded using q(.) will necessarily be longer than if the true distribution p(.) was used for the coding. The KL divergence tells us about the inefficiencies of this alternative code. In other words, the KL divergence between p(.) and q(.) is the average number of extra bits required to encode data generated by p(.) using coding distribution q(.). The KL divergence is non-negative and equal to zero iff the actual data generating distribution is used to encode the data.

For part (b) of your question, you might be running into the problem that one of of your distributions has density in a region where the other does not.

This diverges if there exists an $i$ where $p_i>0$ and $q_i=0$. The numerical epsilon in the R implementation "saves you" from this problem; but it means that the resulting value is dependent on this parameter (technically $q_i=0$ is no required, just that $q_i$ is less than the numerical epsilon).