Identité intégrale du lemme contenue dans le papier infoGAN

8

J'ai rencontré un lemme dans le papier infoGAN . Je ne comprends pas la dérivation du lemme 5.1 dans l'addendum du document. Il se déroule comme suit (inclus en png):

Je ne comprends pas la dernière étape. Pourquoi peut-on tirer dans l'intégrale la plus intérieure, en la transformant en ? Quelles sont les conditions de régularité appropriées de ? $f(x,y)$ $f(x',y)$ $f$

— spurra
source

J'ai regardé le papier et je ne pense pas que la preuve que vous avez écrite ci-dessus soit exactement la même que celle du papier. Il m'a semblé que f (x, y) avait été retiré de l'intégrale la plus intérieure parce qu'il ne dépend pas de x '.

— Michael R. Chernick

Le png est une capture d'écran du papier :)

— spurra

5

Considérez la différence obtenu en déplaçant dans l' intégrale , et en prenant la différence avec remplacé par . Conditionner sur , Cet objet intérieur est antisymétrique après l'échange des variables fictives et

D = \int_{x} \int_{y} P (x, y) \int_{x^{'}} P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x d y

$D = \int_x \int_y P(x,y) \int_{x'} P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx dy$

f (x, y)

$f(x,y)$

x^{'}

$x'$

x

$x$

x^{'}

$x'$

x

$x$

y

$y$

D = \int_{y} P (y) \int_{x} \int_{x^{'}} P (x | y) P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x d y .

$D = \int_y P(y) \int_x \int_{x'} P(x|y) P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx dy.$

δ = \int_{x} \int_{x^{'}} P (x | y) P (x^{'} | y) [f (x, y) - f (x^{'}, y)] d x^{'} d x

$\delta = \int_x \int_{x'} P(x|y) P(x'|y) \left[ f(x,y) - f(x',y) \right] \, dx' dx$

x

$x$

x^{'}

$x'$ , devenant son propre négatif, et il est donc égal à zéro. Je soupçonne que les conditions de régularité sont simplement celles qui empêchent ces intégrales de diverger.

— jwimberley
source

Je n'ai pas encore eu le temps de revenir sur votre réponse. Je vous ai accordé la prime de bonne foi car elle est sur le point de se terminer dans 10 minutes, et je vous répondrai avec d'éventuelles questions de clarification.

— spurra

1

Est-ce une astuce bien connue? Sans votre explication, je pense qu'il est assez difficile de suivre la preuve dans le document.

— Attila Kun

1

@kahoon, la réponse de William ci-dessous est à peu près identique à la mienne mais beaucoup plus simple. En fait, je m'inquiétais des conditions de régularité, mais je pense qu'une autre réponse montre qu'elles sont immatérielles. Je dirais que les deux astuces sont bien connues, mais le simple changement de marque et d'échange de William montre probablement la façon dont les lecteurs devaient suivre; Je pense que cela aurait été plus clair s'ils avaient ajouté la ligne supplémentaire que William montre.

— jwimberley

@jwimberley Merci! La partie "swap x and x '" de la réponse de William m'a dérouté pendant un moment mais je suppose que c'est légal de le faire car nous ne faisons que réétiqueter les variables fictives, n'est-ce pas?

— Attila Kun

@kahoon Exactly

— jwimberley

3

Ou, après la troisième ligne

\begin{aligned} = \int_{x} \int_{y} p (x | y) p (y) f (x, y) \int_{x^{'}} p (x^{'} | y) d x^{'} d y d x \\ = \int_{x} \int_{y} p (x | y) f (x, y) \int_{x^{'}} p (x^{'}, y) d x^{'} d y d x . \end{aligned}

$\begin{align} &=\int_x\int_yp(x|y)p(y)f(x,y)\int_{x'}p(x'|y)dx'dydx\\ &=\int_x\int_yp(x|y)f(x,y)\int_{x'}p(x',y)dx'dydx. \end{align}$

Échangez et puis échangez l'ordre des variables. Terminé $x$ $x'$

— William
source

0

Eh bien, je pense que ce sera plus intuitif si nous dérivons l'équation inversement comme

\begin{aligned} E_{x \sim X, y \sim Y | x, x^{'} \sim X | y} [f (x^{'}, y)] & = \int_{x} p (x) \int_{y} p (y | x) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) d x^{'} d y d x \\ = \int_{y} p (y) \int_{x} p (x | y) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) d x^{'} d x d y \\ = \int_{y} p (y) \int_{x^{'}} p (x^{'} | y) f (x^{'}, y) \underset{= 1}{\underset{⏟}{\int_{x} p (x | y) d x}} d x^{'} d y \\ = \int_{y} p (y) \int_{x} p (x | y) f (x, y) d x d y \\ = \int_{x} p (x) \int_{y} p (y | x) f (x, y) d y d x \\ = E_{x \sim X, y \sim Y | x} [f (x, y)] \end{aligned}

$\begin{align*} E_{x \sim X, y \sim Y|x, x' \sim X|y} \left[ f(x', y) \right] & = \int_x p(x) \int_y p(y|x) \int_{x'} p(x'|y) f(x', y) dx'dydx \\ & = \int_y p(y) \int_x p(x|y) \int_{x'} p(x'|y) f(x', y) dx'dxdy \\ & = \int_y p(y) \int_{x'} p(x'|y) f(x', y) \underbrace{\int_x p(x|y) dx}_{=1}dx'dy \\ & = \int_y p(y) \int_{x} p(x|y) f(x, y) dxdy \\ & = \int_x p(x) \int_{y} p(y|x) f(x, y) dydx \\ & = E_{x \sim X, y \sim Y|x} \left[ f(x, y) \right] \end{align*}$

— Éviter
source

0

L'assertion dit vraiment:

\begin{matrix} (1) & E_{x \sim X, y \sim Y | x} [f (x, y)] = E_{x \sim X, y \sim Y | x, x^{'} \sim X | y} [f (x^{'}, y)] \end{matrix}

$E_{x \sim X, y \sim Y|x} \left[ f(x, y) \right] = E_{x \sim X, y \sim Y|x, x' \sim X|y} \left[ f(x', y) \right]\tag1$

Si le vecteur aléatoire a une distribution conjointe puis . $(X,Y,X')$
$\begin{matrix} (2) & P_{X, Y, X^{'}} (x, y, z) = P_{X} (x) P_{Y | X} (y | x) P_{X | Y} (z | y), \end{matrix}$ $P_{X,Y,X'}(x,y,z)=P_X(x)P_{Y|X}(y|x)P_{X|Y}(z|y),\tag2$ $E[f(X,Y)] = E[f(X',Y)]$

Le résultat découle du fait que a la même distribution que , comme le montre: Peu de régularité est requise ici à part l'existence de l'espérance . $(X,Y)$ $(X',Y)$

P_{X^{'} | Y} (z | y) = \int_{x} \frac{P_{X, Y, X^{'}} (x, y, z)}{P_{Y} (y)} d x \overset{(2)}{=} \int_{x} P_{X | Y} (x | y) P_{X | Y} (z | y) d x = P_{X | Y} (z | y) .

$P_{X'|Y}(z|y)=\int_x\frac{ P_{X,Y,X'}(x,y,z)}{P_Y(y)}\,dx\stackrel{(2)}= \int_x P_{X|Y}(x|y)P_{X|Y}(z|y)\,dx=P_{X|Y}(z|y).$

E f (X, Y)

$Ef(X,Y)$

— grand_chat
source