Divergence de Kullback-Leibler SANS théorie de l'information

Après beaucoup de chalutage de Cross Validated, je n'ai toujours pas l'impression d'être plus proche de la compréhension de la divergence KL en dehors du domaine de la théorie de l'information. Il est plutôt étrange que quelqu'un ayant une formation en mathématiques trouve beaucoup plus facile de comprendre l'explication de la théorie de l'information.

Pour décrire ma compréhension dans un contexte de théorie de l'information: si nous avons une variable aléatoire avec un nombre fini de résultats, il existe un encodage optimal qui nous permet de communiquer le résultat avec quelqu'un d'autre avec en moyenne le message le plus court (je trouve cela le plus facile à image en termes de bits). La longueur attendue du message dont on aurait besoin pour communiquer le résultat est donnée par si le codage optimal est utilisé. Si vous deviez utiliser un codage sous-optimal, alors la divergence KL nous indique en moyenne combien de temps notre message serait.

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

J'aime cette explication, car elle traite de manière assez intuitive de l'asymétrie de la divergence KL. Si nous avons deux systèmes différents, c'est-à-dire deux pièces chargées différemment, elles auront des codages optimaux différents. Je ne pense pas instinctivement que l'utilisation de l'encodage du deuxième système pour le premier soit "tout aussi mauvaise" que l'utilisation de l'encodage du premier système pour le second. Sans passer par le processus de réflexion sur la façon dont je me suis convaincu, je suis maintenant assez heureux que vous donne cette "longueur de message supplémentaire attendue", lorsque vous utilisez l'encodage de pour .

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

Cependant, la plupart des définitions de la divergence KL, y compris Wikipédia, font alors la déclaration (en gardant cela en termes discrets afin qu'elle puisse être comparée à l'interprétation de la théorie de l'information qui fonctionne beaucoup mieux en termes discrets car les bits sont discrets) que si nous avons deux probabilités discrètes distributions, puis KL fournit une mesure de "comment ils sont différents". Je n'ai pas encore vu une seule explication de la façon dont ces deux concepts sont même liés. Il me semble que dans son livre sur l'inférence, Dave Mackay souligne que la compression et l'inférence des données sont fondamentalement la même chose, et je soupçonne que ma question est vraiment liée à cela.

Peu importe si c'est le cas ou non, le genre de question que j'ai à l'esprit concerne les problèmes d'inférence. (Garder les choses discrètes), si nous avons deux échantillons radioactifs, et nous savons que l'un d'eux est un certain matériau avec une radioactivité connue (c'est une physique douteuse mais supposons que l'univers fonctionne comme ça) et ainsi nous connaissons la "vraie" distribution des clics radioactifs que nous devrions mesurer devrait être poissonien avec un connu , est-il juste de construire une distribution empirique pour les deux échantillons et de comparer leurs divergences KL à la distribution connue et dire que le plus faible est plus susceptible d'être ce matériau?$\lambda$

S'éloigner de la physique douteuse, si je sais que deux échantillons sont tirés de la même distribution, mais je sais qu'ils ne sont pas sélectionnés au hasard, comparerait leurs divergences KL à la distribution mondiale connue, me donnerait une idée de la façon dont les échantillons sont biaisés. , par rapport à l'un et à l'autre de toute façon?

Et enfin, si la réponse aux questions précédentes est oui, alors pourquoi? Est-il possible de comprendre ces choses d'un seul point de vue statistique sans établir de liens (éventuellement ténus) avec la théorie de l'information?

Il existe une approche purement statistique de la divergence de Kullback-Leibler: prendre un échantillon iid d'une distribution inconnue et considérer l'ajustement potentiel par une famille de distributions, La probabilité correspondante est définie comme et son le logarithme est Par conséquent, qui est la partie intéressante de la divergence Kullback-Leibler entre etp ⋆ F = { p $X_1,\ldots,X_n$$p^\star$L ( θ | x 1 , … , x n ) = n ∏ i = 1 p θ ( x i ) ℓ ( θ | x 1 , … , x n ) = n ∑ i = 1 log p θ ( x i )

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ p θ p ⋆ H ( p θ | p ⋆ ) def = ∫ log { p ⋆ ( x ) / p θ ( x ) $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ ∫ log { p ⋆ ( x ) $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ l'autre partie étant là pour avoir le minimum [in ] de égal à zéro.θ H ( p θ | p ⋆ $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

Un livre qui relie la divergence, la théorie de l'information et l'inférence statistique est l' estimation optimale des paramètres de Rissanen , que j'ai passée en revue ici .

Voici une interprétation statistique de la divergence Kullback-Leibler, extraite de IJ Good ( poids de la preuve: une brève enquête , Bayesian Statistics 2, 1985).

Le poids des preuves.

Supposons que vous observiez les points de données qui, selon vous, sont des échantillons indépendants d'une distribution inconnue ayant une densité . Dans le cas le plus simple, vous avez deux hypothèses et sur ce qui est , disons et . Ainsi, vous avez modélisé l'inconnu comme étant l'un de ou .$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$$f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

Le poids de la preuve de l'échantillon pour contre est défini comme C'est une grandeur facile à interpréter, surtout étant donné un antérieur sur les hypothèses et . En effet, dans ce cas, les cotes de log postérieures sont plus les cotes de log antérieures: Cette quantité possède également un certain nombre de propriétés pratiques, telles que l'additivité pour les échantillons indépendants: $x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ Good fournit une justification supplémentaire pour l'utilisation du poids de la preuve, et est également mentionné par Kullback et Leibler (dans l'article qui a introduit la divergence KL) comme "les informations en pour la discrimination entre et ".$W(x)$$x$$H_1$$H_2$

En résumé, étant donné un échantillon , le poids des preuves est un nombre concret destiné à vous aider à comprendre combien de preuves vous avez sous la main. Certaines personnes utilisent même des règles empiriques telles que " est une preuve solide " (je n'encourage pas l'utilisation aveugle de ces tableaux, remarquez).$x$$W(x)$$W(x) > 2$

La divergence Kullback-Leibler

Maintenant, la divergence de Kullback-Leibler entre et est le poids de preuve attendu dans un échantillon . Autrement dit, f 2 x ∼ f 1 K L ( f 1 , f 2 ) = E x ∼ f 1 W ( x ) = ∫ f 1 log f $f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

Nous devrions intuitivement nous attendre à ce qu'un échantillon fournisse des preuves positives en faveur de contre , et cela se reflète en effet par l'inégalité H 1 = { f 1 } H 2 E x ∼ f 1 W ( x ) ≥ $x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

Je n'ai pas encore vu une seule explication de la façon dont ces deux concepts sont même liés.

Je ne connais pas grand-chose à la théorie de l'information, mais voici ce que j'en pense: quand j'entends une personne de la théorie de l'information dire «longueur du message», mon cerveau dit «surprise». La surprise est 1.) aléatoire et 2.) subjective.

$X$$q(X)$$- \log q(X)$

$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

Au lieu de penser à «leur différence», je pense à «l'augmentation de la surprise attendue de l'utilisation d'une mauvaise distribution». Tout cela provient des propriétés du logarithme.

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

modifier

$−\log(q(x))$$q$

$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

$-\log$

$q(x) > 1$

$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

$(X-EX)^2$

Edit 2: on dirait que je ne suis pas le seul à penser à cela comme "surprise". D' ici :

$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$