Est-il possible d'appliquer une divergence KL entre distribution discrète et distribution continue?

12

Je ne suis pas mathématicien. J'ai recherché sur Internet KL Divergence. Ce que j'ai appris, c'est que la divergence KL mesure les informations perdues lorsque nous approchons la distribution d'un modèle par rapport à la distribution d'entrée. Je les ai vues entre deux distributions continues ou discrètes. Peut-on le faire entre continu et discret ou vice versa?

distributions mathematical-statistics kullback-leibler

— prakash
source

EN RELATION

— cardinal

4

Non: la divergence KL n'est définie que sur les distributions sur un espace commun. Il pose des questions sur la densité de probabilité d'un point sous deux distributions différentes, et . Si est une distribution sur et une distribution sur , alors n'a pas de sens pour les points et n'a pas de sens pour les points . En fait, nous ne pouvons même pas le faire pour deux distributions continues sur des espaces de dimensions différentes (ou discrètes, ou dans tous les cas où les espaces de probabilité sous-jacents ne correspondent pas). $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$

Si vous avez un cas particulier à l'esprit, il peut être possible de trouver une mesure de dissimilarité similaire entre les distributions. Par exemple, il pourrait être judicieux de coder une distribution continue sous un code pour une distribution discrète (évidemment avec des informations perdues), par exemple en arrondissant au point le plus proche dans le cas discret.

— Dougal
source

Notez que la divergence KL entre les distributions discrètes et absolument continues est bien définie.

— Olivier

@Olivier La définition habituelle requiert une mesure dominante commune, non?

— Dougal

1

Vous avez raison lorsque P et Q sont définis sur des espaces différents. Mais sur un espace mesurable commun, une telle mesure existe toujours (prenez P + Q par exemple), et la divergence KL ne dépend pas du choix particulier de la mesure dominante.

— Olivier

8

Oui, la divergence KL entre les variables aléatoires continues et discrètes est bien définie. Si et sont des distributions sur un certain espace , alors et ont des densités , par rapport à et $P$ $Q$ $\mathbb{X}$ $P$ $Q$ $f$ $g$ $\mu = P+Q$

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

Par exemple, si , est la mesure de Lebesgue et est une masse ponctuelle à , alors , et $\mathbb{X} = [0,1]$ $P$ $Q = \delta_0$ $0$ $f(x) = 1-\mathbb{1}_{x=0}$ $g(x) = \mathbb{1}_{x=0}$

{ré}_{K L} (P, Q) = \infty .

$D_{KL}(P, Q) = \infty.$

— Olivier
source

Comment prouvez-vous que

est indépendant de la mesure dominante?

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$

— Gabriel Romon

Théorème du changement de mesure.

— Olivier

1

Pas en général. La divergence KL est

{ré}_{K L} (P | | Q) = \int_{X} Journal (\frac{ré P}{ré Q}) ré P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

$P$ $Q$ $P$ $Q$ $\sigma$ $\frac{dP}{dQ}$

$\sigma$

— jtobin
source