Comment répartir de manière optimale les tirages lors du calcul de plusieurs attentes

Supposons que nous voulons calculer une certaine attente:

E_{Oui} E_{X | Oui} [F (X, Oui)]

$E_YE_{X|Y}[f(X,Y)]$

Supposons que nous voulions l'approcher en utilisant la simulation de Monte Carlo.

E_{Oui} E_{X | Oui} [F (X, Oui)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} F (X^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

Mais supposons qu'il est coûteux de prélever des échantillons des deux distributions, de sorte que nous ne pouvons nous permettre de tirer un nombre fixe . $K$

Comment devrions-nous allouer ? Les exemples incluent dessine à chaque distribution, ou à l'extrême, un tirage à l'extérieur et dessine à l'intérieur, vice versa etc ..... $K$ $K/2$ $K-1$

Mon intuition me dit que cela aura à voir avec la variance / entropie des distributions les unes par rapport aux autres. Supposons que l'une externe est un point de masse, puis la division de qui minimise l' erreur MC serait dessiner une de l' et dessiner du . $K$ $Y$ $K-1$ $X|Y$

J'espère que c'était clair.

— Wolfsatthedoor
source

Réparé pour vous

— wolfsatthedoor

Le "vice versa" et votre commentaire à la réponse @ Xi'ans semblent indiquer que vous considérez qu'il est possible de dessiner la variable externe plus de fois que la variable interne, mais comment cela pourrait-il avoir un sens - ne sont pas tous des outers pour lesquels

les inners sont dessinés gaspillés?

0

$0$

— Juho Kokkala

Assez juste, au moins un tirage par extérieur, je suppose. Ou vous pourriez penser à le programmer pour enregistrer le tirage je suppose

— wolfsatthedoor

@robertevansanders Veuillez confirmer si l'interprétation de votre question dans les deux premières phrases de la réponse de Xi'ans est correcte

— Juho Kokkala

Comme vous l'avez dit, oui, mais changez y et x

— wolfsatthedoor

C'est une question très intéressante avec peu de documentation dans la littérature de Monte Carlo, sauf en rapport avec la stratification et la Rao-Blackwellisation . Cela est peut-être dû au fait que les calculs de la variance conditionnelle attendue et de la variance de l'espérance conditionnelle sont rarement réalisables.

Supposons d'abord que vous exécutez des simulations partir de , et que pour chaque simulé , vous exécutez des simulations partir de , . Votre estimation de Monte Carlo est alors $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$ La variance de cette estimation se décompose comme suit

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} F (X_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

conséquentsion veut minimiser cet écart le choix optimal est

. Cela implique que

. Sauf lorsque le premier terme de variance est nul, auquel cas cela n'a pas d'importance. Cependant, comme discuté dans les commentaires, l'hypothèse

est irréaliste car elle ne tient pas compte de la production d'un

[ou suppose que cela vient gratuitement].

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} F (X_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Oui | X} {\sum_{s = 1}^{S} F (X_{r}, y_{r s}) | X_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Oui | X} {\sum_{s = 1}^{S} F (X_{r}, y_{r s}) | X_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Oui | X} [F (X_{r}, Oui) | X_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Oui | X} {F (X_{r}, Oui) | X_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Oui | X} [F (X_{r}, Oui) | X_{r}]} + \frac{1}{R S} E_{X} [{var}_{Oui | X} {F (X_{r}, Oui) | X_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Oui | X} [F (X_{r}, Oui) | X_{r}]} + \frac{1}{K} E_{X} [{var}_{Oui | X} {F (X_{r}, Oui) | X_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$

R = K

$R=K$

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Maintenant , supposons différents coûts de simulation et la contrainte budgétaire , ce qui signifie que les « coût s fois de plus pour simuler que le » s. La décomposition ci-dessus de la variance est alors $R+aRS=b$ $y_{rs}$ $a$ $x_r$ qui peut être minimisé danscomme

\frac{1}{R} {var}_{X} {E_{Oui | X} [F (X_{r}, Oui) | X_{r}]} + \frac{1}{R (b - R) / une R} E_{X} [{var}_{Oui | X} {F (X_{r}, Oui) | X_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

[le nombre entierplus proche sous les contraintes

], sauf lorsque la première variance est égale à zéro, auquel cas

. Lorsque

R^{*} = b / 1 + {une E_{X} [{var}_{Oui | X} {F (X_{r}, Oui) | X_{r}} / {var}_{X} {E_{Oui | X} [F (X_{r}, Oui) | X_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$

, la variance minimale correspond à un maximum

, ce qui conduit à

dans le formalisme actuel.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Notez également que cette solution doit être comparée à la solution symétrique lorsque l'intégrale interne est dans étant donné et l'intégrale externe est contre la marginale dans (en supposant que les simulations sont également réalisables dans cet ordre). $X$ $Y$ $Y$

$S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Xi'an
source

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

@ Xi'an oui Kolkata est correct, votre solution ne peut généralement pas tenir. Supposons maintenant que la variable interne ait une distribution dégénérée et que la variable externe ait une variance significative, alors vous voudriez échantillonner le moins de tirages internes possible

— wolfsatthedoor

Je pense que votre réponse ne peut pas être juste. Supposons que la distribution intérieure soit dégénérée et que l'extérieur soit de grande variance, comment S peut-il être 1

— wolfsatthedoor

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$ .

— Xi'an