Estimer la divergence Kullback Leibler (KL) avec Monte Carlo

10

Je veux estimer la divergence KL entre deux distributions continues f et g. Cependant, je ne peux pas écrire la densité pour f ou g. Je peux échantillonner à la fois f et g via une méthode (par exemple, la chaîne markov monte carlo).

La divergence KL de f à g est définie comme ceci

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

C'est l'attente de par rapport à f, donc vous pourriez imaginer une estimation de monte carlo $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1}{N} \sum_{i}^{N} \log (\frac{f (x_{i})}{g (x_{i})})

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

Où i indexe N échantillons tirés de f (c'est-à-dire pour i = 1, ..., N) $x_i \sim f()$

Cependant, comme je ne connais pas f () et g (), je ne peux même pas utiliser cette estimation de monte carlo. Quelle est la méthode standard d'estimation du KL dans cette situation?

EDIT: Je ne connais PAS la densité non normalisée pour f () ou g ()

kullback-leibler

— frelk
source

Avez-vous pensé à utiliser les ecdfs?

— Toby

cela fonctionnera mais cela peut être arbitrairement lent pour un choix difficile de f et g (fermer ou fermer les queues). Si vous décidez d'ignorer les échantillons loin des queues, vous pourriez avoir plus de chance avec la limite supérieure du roc.

— Christian Chapman

Essentiellement un doublon: stats.stackexchange.com/questions/211175/…

— kjetil b halvorsen

7

Je suppose que vous pouvez évaluer et jusqu'à une constante de normalisation. Notons et . $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

Un estimateur cohérent qui peut être utilisé est où est un estimateur d'échantillonnage d'importance pour le rapport . Ici, vous utilisez et comme densités instrumentales pour et respectivement, et pour cibler le rapport de log des densités non normalisées.

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / n} \frac{\sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})}{\sum_{j} g_{u} (y_{j}) / π_{g} (y_{j})} . \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

Soit donc , et . Le numérateur de (1) converge vers . Le dénominateur converge vers . Le rapport est cohérent par le théorème de cartographie continue. Le log du rapport est cohérent par cartographie continue à nouveau. $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

En ce qui concerne l'autre partie de l'estimateur, par la loi des grands nombres.

\frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] \overset{as}{\to} c_{f} E [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})})]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

Ma motivation est la suivante:

\begin{aligned} D_{K L} (f | | g) & = \int_{- \infty}^{\infty} f (x) \log (\frac{f (x)}{g (x)}) d x \\ = \int_{- \infty}^{\infty} f (x) {\log [\frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}]} d x \\ = E_{f} [\log \frac{f_{u} (x)}{g_{u} (x)}] + \log [\frac{c_{g}}{c_{f}}] \\ = c_{f}^{- 1} E_{π_{r}} [\log \frac{f_{u} (x)}{g_{u} (x)} \frac{f_{u} (x)}{π_{r} (x)}] + \log [\frac{c_{g}}{c_{f}}] . \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ Je le décompose donc en morceaux traitables.

Pour plus d'idées sur la façon de simuler le rapport de probabilité, j'ai trouvé un article qui en contient quelques-uns: https://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— Taylor
source

(+1) Il convient de noter ici que l'échantillonnage d'importance peut avoir une variance extrêmement élevée (même une variance infinie) si la distribution cible a des queues plus grosses que la distribution à partir de laquelle vous échantillonnez et / ou si le nombre de dimensions est important.

— David J. Harris

@ DavidJ.Harris très très vrai

— Taylor

6

Ici, je suppose que vous pouvez uniquement échantillonner à partir des modèles; une fonction de densité non normalisée n'est pas disponible.

Tu écris ça

D_{K L} (f | | g) = \int_{- \infty}^{\infty} f (x) \log (\underset{=: r}{\underset{⏟}{\frac{f (x)}{g (x)}}}) d x,

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

où j'ai défini le rapport de probabilités à . Alex Smola écrit, bien que dans un contexte différent, vous pouvez estimer ces ratios "facilement" en formant simplement un classificateur. Supposons que vous avez obtenu un classificateur , qui peut vous indiquer la probabilité qu'une observation ait été générée par . Notez que . Alors: $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

r = \frac{p (x | f)}{p (x | g)} = \frac{p (f | x) p (x) p (g)}{p (g | x) p (x) p (f)} = \frac{p (f | x)}{p (g | x)},

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

où la première étape est due à Bayes et la dernière découle de l'hypothèse que . $p(g) = p(f)$

Obtenir un tel classificateur peut être assez facile pour deux raisons.

Tout d'abord, vous pouvez effectuer des mises à jour stochastiques. Cela signifie que si vous utilisez un optimiseur basé sur un gradient, comme c'est généralement le cas pour la régression logistique ou les réseaux de neurones, vous pouvez simplement tirer des échantillons de chaque et et effectuer une mise à jour. $f$ $g$

Deuxièmement, comme vous avez des données pratiquement illimitées - vous pouvez simplement échantillonner et à mort - vous n'avez pas à vous soucier du sur-ajustement ou similaire. $f$ $g$

— bayerj
source

0

Outre la méthode de classification probabiliste mentionnée par @bayerj, vous pouvez également utiliser la borne inférieure de la divergence KL dérivée dans [1-2]:

K L [f ‖ g] \geq sup_{T} {E_{x \sim f} [T (x)] - E_{x \sim g} [\exp (T (x) - 1)]},

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ où est un arbitraire une fonction. Dans certaines conditions douces, la limite est serrée pour:

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

T (x) = 1 + \ln [\frac{f (x)}{g (x)}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

Pour estimer la divergence KL entre et , nous maximisons la limite inférieure wrt à la fonction . $f$ $g$ $T(x)$

Références:

[1] Nguyen, X., Wainwright, MJ et Jordan, MI, 2010. Estimation des fonctions de divergence et du rapport de vraisemblance par minimisation convexe du risque. Transactions IEEE sur la théorie de l'information, 56 (11), pp.5847-5861.

[2] Nowozin, S., Cseke, B. et Tomioka, R., 2016. f-gan: formation d'échantillonneurs neuronaux génératifs utilisant la minimisation de la divergence variationnelle. Dans Advances in neural information processing systems (pp. 271-279).

— Cuong
source