Avantage de multiples simulations à Monte-Carlo à l'ancienne?

L'esprit de cette question vient de "l'Ordinaire de Monte-Carlo", aussi appelé "bon vieux Monte-Carlo"

Supposons que j'ai une variable aléatoire $X$, avec

$$\mu := E[X]\\ \sigma^2:=Var[X]$$

Les deux sont des valeurs inconnues, car la fonction de distribution de probabilité de $X$ est inconnu (ou les calculs sont intraitables).

Quoi qu'il en soit, supposons que nous pouvons simuler en quelque sorte $n$ dessine $X_1,X_2,\dots,X_n$ (ceux-ci sont indépendants et identiques) de la distribution des $X$. Définissons les exemples de paramètres

$$\hat{\mu}_n := \frac{1}{n}\sum_{i=1}^{n}X_i\\ \hat{\sigma}_n^2 : = \frac{1}{n}\sum_{i=1}^{n}(X_i-\hat{\mu}_n)^2$$

Selon le théorème central limite, comme $n$ devient très grand, la moyenne de l'échantillon $\hat{\mu}_n$ obéira de près à une distribution normale

$$\hat{\mu} \sim N(\mu,\frac{\sigma^2}{n})$$

Avant de pouvoir calculer les intervalles de confiance, l'auteur déclare que, comme nous ne savons pas $\sigma^2$, nous ferons l'estimation que $\sigma^2 \approx \hat{\sigma}^2$, ou plus précisément pour une estimation non biaisée $\sigma^2 \approx \frac{n}{n-1}\hat{\sigma}^2$, et nous pouvons procéder à partir de là en utilisant des techniques standard.

Maintenant, alors que l'auteur mentionne l'importance de $n$suffisamment grand ( nombre de tirages par simulation), il n'y a aucune mention du nombre de simulations et de son effet sur notre confiance.

Y a-t-il un avantage à courir $k$ simulations (exécution $n$ tire à chaque fois) pour obtenir plusieurs moyennes d'échantillonnage $\hat{\mu}_{n,1}, \hat{\mu}_{n,2}, \dots \hat{\mu}_{n,k}$, puis utiliser les moyens des moyens pour améliorer nos estimations et notre confiance à l'égard de l'inconnu $\mu,\sigma$ de $X$?

Ou suffit-il de simplement dessiner $n$ des échantillons de $X$ dans une seule simulation, tant que $n$ est suffisamment grand?

Tant que les problèmes concernant la génération de nombres pseudo-aléatoires sont évités (voir note à la fin), les deux approches ($k$ simulations avec $n$ tirages vs simulation unique avec suffisamment grand $n$) sont équivalents en ce qui concerne l'estimation de la moyenne . Concernant la mémoire, notez que, dans le$k$ cas de simulations, vous devez stocker les moyens d'échantillonnage $\hat{\mu}_{n,1}, \dots, \hat{\mu}_{n,k}$avant d'effectuer la moyenne finale, alors que cela ne se produit pas dans le scénario de simulation unique. Avec des ordinateurs modernes, effectuer une seule simulation avec suffisamment$n$ ne devrait pas être plus difficile que ce qui a été décrit précédemment et, en fait, devrait faire gagner du temps.

La raison mathématique au-delà de l'équivalence est la linéarité. Pour être plus précis, dans le$k$ scénario de simulation, vous calculez la moyenne de l'échantillon "final" $\hat{\mu}$ comme suit

$$\hat{\mu} = \frac{1}{k} \sum_{h=1}^k \hat{\mu}_{n,h} = \frac{1}{k} \sum_{h=1}^k \frac{1}{n} \sum_{i=1}^n X^{(h)}_i = \frac{1}{nk} \sum_{h=1}^k \sum_{i=1}^n X^{(h)}_i$$ où $X_i^{(h)}$ désigne le tirage numéroté $i$ à simulation $h$. Cette ordination est arbitraire si rien d'étrange ne se produit, vous pouvez donc ré-étiqueter chaque$X_i^{(h)}$ avec un nouvel indice, disons $m=1,\dots,nk$, obtention $$\hat{\mu} = \frac{1}{nk} \sum_{m=1}^{nk} X_m$$ Mais cela équivaut à effectuer une seule simulation avec $nk$ tirages (évidemment, les tirages doivent être iid, comme déjà remarqué).

Remarque: Les problèmes potentiels avec les PRNG sont décrits dans la page Wikipedia .