L'échantillonnage d'hypercube latin est-il efficace dans plusieurs dimensions?

J'utilise actuellement un Latin Hypercube Sampling (LHS) pour générer des nombres aléatoires uniformes bien espacés pour les procédures de Monte Carlo. Bien que la réduction de variance que j'obtiens du LHS soit excellente pour 1 dimension, elle ne semble pas être efficace dans 2 dimensions ou plus. Voyant comment le LHS est une technique bien connue de réduction de la variance, je me demande si je peux mal interpréter l'algorithme ou le mal utiliser d'une manière ou d'une autre.

En particulier, l'algorithme LHS que j'utilise pour générer variables aléatoires uniformes espacées en dimensions est:$N$$D$

• Pour chaque dimension , générez un ensemble de nombres aléatoires uniformément distribués tels que , ...$D$$N$$\{u^1_D,u^2_D...u^N_D\}$$u^1_D \in [0,\frac{1}{N+1}]$$u^2_D \in [\frac{1}{N+1}, \frac{2}{N+1}]$$u^N_D \in [\frac{N}{N+1}, 1]$

• Pour chaque dimension , réorganisez au hasard les éléments de chaque ensemble. Le premier produit par LHS est le vecteur dimensionnel contenant le premier élément de chaque ensemble réorganisé, le second produit par LHS est le vecteur dimensionnel contenant le second élément de chaque ensemble réorganisé, et ainsi de suite ...$D \geq 2$$U(0,1)^D$$D$$U(0,1)^D$$D$

J'ai inclus quelques graphiques ci-dessous pour illustrer la réduction de variance que j'obtiens en et pour une procédure de Monte Carlo. Dans ce cas, le problème consiste à estimer la valeur attendue d'une fonction de coût où , et est une variable aléatoire de dimension répartie entre . En particulier, les graphiques montrent la moyenne et l'écart type de 100 estimations moyennes d'échantillon de pour des tailles d'échantillon de 1 000 à 10 000.$D = 1$$D = 2$$E[c(x)]$$c(x) = \phi(x)$$x$$D$$[-5,5]$$E[c(x)]$

J'obtiens le même type de résultats de réduction de variance, que j'utilise ma propre implémentation ou la lhsdesignfonction dans MATLAB. De plus, la réduction de variance ne change pas si je permute tous les ensembles de nombres aléatoires au lieu de seulement ceux correspondant à .$D \geq 2$

Les résultats sont logiques puisque l'échantillonnage stratifié en signifie que nous devrions échantillonner à partir de carrés au lieu de carrés qui sont garantis d'être bien répartis.$D = 2$$N^2$$N$

J'ai divisé les problèmes décrits dans votre message en trois questions ci-dessous. Une bonne référence pour les résultats sur l'échantillonnage de l'hypercube latin et d'autres techniques de réduction de la variance est ce chapitre de livre . En outre, ce chapitre de livre fournit des informations sur certaines des «bases» de la réduction de la variance.

Q0. Qu'est-ce que la réduction de la variance? Avant d'entrer dans les détails, il est utile de rappeler ce que signifie réellement «réduction de la variance». Comme expliqué dans le chapitre du livre «Notions de base», la variance d'erreur associée à une procédure Monte Carlo est généralement de la forme sous échantillonnage IID. Pour réduire la variance d'erreur, nous pouvons soit augmenter la taille de l'échantillon soit trouver un moyen de réduire . La réduction de la variance concerne les moyens de réduire , de sorte que ces méthodes peuvent ne pas avoir d'effet sur la façon dont la variance d'erreur change lorsque varie.$\sigma^2/n$$n$$\sigma$$\sigma$$n$

Q1. L'échantillonnage Latin Hypercube a-t-il été correctement mis en œuvre? Votre description écrite me semble correcte et correspond à la description du chapitre du livre. Mon seul commentaire est que les plages des variables ne semblent pas remplir tout l'intervalle unitaire; il semble que vous ayez réellement besoin de , mais j'espère que cette erreur ne s'est pas glissée dans votre implémentation. Quoi qu'il en soit, le fait que les deux implémentations aient donné des résultats similaires suggère que votre implémentation est probablement correcte.$u^i_D$$u^i_D \in [\frac{i-1}{N}, \frac{i}{N}]$

Q2. Vos résultats correspondent-ils à ce que vous attendez du LHS? La proposition 10.4 du chapitre livre indique que la variance LHS ne peut jamais être (bien) pire que la variance obtenue à partir de l'échantillonnage IID. Souvent, la variance LHS est bien inférieure à la variance IID. Plus précisément, la proposition 10.1 déclare que, pour l'estimation LHS , nous avons où est le 'résiduel de l'additivité' de la fonction ie moins sa meilleure approximation additive (voir p.10 du chapitre du livre pour plus de détails, est additif si on peut écrire$\hat{\mu}_{LHS}=\frac{1}{n} \sum_{i=1}^n f(X_i)$

Pour , chaque fonction est additive donc et de la proposition 10.1. En fait, pour LHS équivaut à une stratification basée sur la grille (section 10.1 dans le chapitre du livre), la variance est en fait (équation 10.2 dans le chapitre du livre; suppose que est continuellement différenciable). Cela ne semble pas incompatible avec votre premier graphique. Le point principal est que est un cas très spécial!$D=1$$e=0$$\mathrm{Var}(\hat{\mu}_{LHS})=o(n^{-1})$$D=1$$O(n^{-3})$$f$$D=1$

Pour , il est probable que , vous pouvez donc vous attendre à une variance d'ordre . Encore une fois, ce n'est pas incompatible avec votre deuxième graphique. La réduction réelle de la variance obtenue (par rapport à l'échantillonnage IID) dépendra de la proximité de la fonction choisie avec l'addition.$D=2$$e\neq 0$$O(n^{-1})$

En résumé, le LHS peut être efficace dans des dimensions faibles à modérées et surtout pour des fonctions bien approximées par des fonctions additives.

http://statweb.stanford.edu/~owen/mc/Ch-var-adv.pdf

Cet article discute de la réduction de la variance de l'échantillonnage des hypercubes latins dans plusieurs dimensions. LHS n'applique pas l'uniformité lors de l'échantillonnage dans plusieurs dimensions, car il échantillonne simplement dans chaque dimension indépendamment, puis combine les dimensions de manière aléatoire. L'échantillonnage stratifié des bacs N ^2, comme vous le mentionnez, est également appelé échantillonnage orthogonal, comme indiqué sur la page Wikipédia: https://en.wikipedia.org/wiki/Latin_hypercube_sampling et renforce davantage l'uniformité multidimensionnelle en échantillonnant à partir des bacs du toutes les dimensions combinées à la place.

Avec quelques ajustements à ce style d'échantillonnage, la variance d'erreur peut être montrée à O (N ^{-1-2 / d} ) (dans la référence ci-dessus). Bien que cela offre des gains importants pour les petites dimensions, dans les plus grandes dimensions, il commence à se dégrader pour revenir aux performances du Monte Carlo ordinaire.

Je veux commenter "l'additivité". LHS s'assure par exemple que X1 et X2 sont bien distribués (généralement en (0,1)), donc si un plan ne dépend que d'une variable, vous obtiendrez un histogramme "parfait" et une forte réduction de variance. Pour l'intégration de f = 100 * X1 + X2, vous obtiendrez également de bons résultats, mais pas pour X1-X2! Cette différence a une distribution aléatoire presque iid, pas de caractéristiques LHS. En électronique, les conceptions exploitent souvent le fait que les influences de 2 paramètres s'annuleront la plupart du temps (paire différentielle, miroir de courant, circuits de réplique, etc.), mais l'effet du décalage X1-X2 est toujours présent et souvent dominant. Ainsi, l'analyse LHS MC ne se comporte pas mieux que rnd MC dans de nombreuses conceptions électriques.