Est-ce correct ? (génération d'une gaussienne multivariée à normes tronquées)

Si c'est-à-dire $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Je veux une version analogue d'une distribution normale tronquée dans un cas multivarié.

Plus précisément, je veux générer une norme-contrainte (à une valeur ) gaussienne multivariée st oùY f Y ( y ) = { c . f X ( y ) ,  si  | | y | | ≥ a 0 ,  sinon  . c = $\geq a$$Y$

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Maintenant, j'observe ce qui suit:

Si ,| | x | | ≥ $x=(x_1,x_2,\ldots,x_n)$$||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Par conséquent, en choisissant $x_1,\ldots,x_{n-1}$ comme échantillons gaussiens, on peut restreindre $x_n$ comme échantillon à une distribution normale tronquée (suivant une queue gaussienne $\geq T$ ) distribution $\mathcal{N}_T(0,\sigma^2)$ , à l'exception de son signe choisi au hasard avec une probabilité $1/2$ .

Maintenant ma question est la suivante,

Si je génère chaque échantillon vectoriel $(x_1,\ldots,x_n)$ de $(X_1,\ldots,X_n)$ comme,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

et

Z 1 ∼ { ± 1 w.p. 1 / 2 } Z 2 ~ N T ( 0 , σ 2 ) T ( x 1 , ... , x n - 1 ) ≜ $x_n = Z_1 *Z_2~$ où, , , (c'est-à-dire un RV tronqué-scalaire-normal avec$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Est-ce que une contrainte normative ( ) à plusieurs variables gaussienne? (c'est-à-dire identique à défini ci-dessus). Comment dois-je vérifier? D'autres suggestions si ce n'est pas le cas?≥ a $(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

ÉDITER:

Voici un nuage de points des points dans le cas 2D avec une norme tronquée à des valeurs supérieures à "1"

Remarque: Il y a quelques bonnes réponses ci-dessous, mais la justification de la raison pour laquelle cette proposition est erronée manque. En fait, c'est le point principal de cette question.

La distribution normale multivariée de est sphériquement symétrique. La distribution que vous recherchez tronque le rayon ci-dessous en . Étant donné que ce critère ne dépend que de la longueur de , la distribution tronquée reste sphérique symétrique. Puisque est indépendant de l'angle sphériqueet a la distribution , vous pouvez donc générer des valeurs de la distribution tronquée en quelques étapes simples de:ρ = | | X | | 2 a X ρ X / | | X | | $X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$χ ( n )$\rho\,\sigma$$\chi(n)$

1. Générez .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Générez comme racine carrée d'une tronquée en .χ 2 ( d ) ( a / σ ) $P$$\chi^2(d)$$(a/\sigma)^2$

3. Soit.$Y = \sigma P\, X/||X||$

À l'étape 1, est obtenu comme une séquence de réalisations indépendantes d'une variable normale standard.$X$$d$

À l'étape 2, est facilement généré en inversant la fonction quantile d'une : générer une variable uniforme supportée dans la plage (de quantiles) entre et et définissez .F - 1 χ 2 ( d ) U F ( ( a / σ ) 2 ) 1 P = $P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Voici un histogramme de telles réalisations indépendantes de pour en dimensions, tronquées ci-dessous à . Il a fallu environ une seconde pour générer, attestant de l'efficacité de l'algorithme. σ P σ = 3 n = 11 a = $10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

La courbe rouge est la densité d'une tronquée mise à l'échelle par . Sa correspondance étroite avec l'histogramme prouve la validité de cette technique.σ = $\chi(11)$$\sigma=3$

Pour obtenir une intuition pour la troncature, considérons le cas , dans dimensions. Voici un nuage de points de contre (pour réalisations indépendantes). Il montre clairement le trou au rayon :σ = 1 n = 2 Y 2 Y 1 10 4$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Enfin, notez que (1) les composants doivent avoir des distributions identiques (en raison de la symétrie sphérique) et (2) sauf lorsque , cette distribution commune n'est pas normale. En fait, à mesure grandit, la diminution rapide de la distribution normale (univariée) fait que la plupart des probabilités que la normale multivariée tronquée sphérique se regroupent près de la surface de la sphère (de rayon ). La distribution marginale doit donc se rapprocher d'une distribution symétrique Beta concentrée dans l'intervalle . Ceci est apparent dans le diagramme de dispersion précédent, où$X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$est déjà grand en deux dimensions: les points limn un anneau (une sphère ) de rayon .$2-1$$3\sigma$

Voici des histogrammes des distributions marginales d'une simulation de taille en dimensions avec , (pour laquelle la distribution approximative Beta est uniforme):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

Étant donné que les premiers marginaux de la procédure décrite dans la question sont normaux (par construction), cette procédure ne peut pas être correcte.$n-1$

---

Le Rcode suivant a généré la première figure. Il est conçu pour des mesures parallèles 1-3 pour générer . Il a été modifié pour générer le deuxième chiffre par des variables changeantes , , et puis de lancer la commande plot après a été généré.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

La génération de est modifié dans le code de résolution numérique plus élevé: le code génère effectivement et l' utilise pour calculer .$U$$1-U$$P$

La même technique de simulation des données selon un algorithme supposé, de les résumer avec un histogramme et de superposer un histogramme peut être utilisée pour tester la méthode décrite dans la question. Il confirmera que la méthode ne fonctionne pas comme prévu.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

J'ai écrit ceci en supposant que vous ne voulez pas que les points aient || y || > a, qui est l'analogue de la troncature unidimensionnelle habituelle. Cependant, vous avez écrit que vous souhaitez conserver les points avec | y || > = a et jetez les autres. Néanmoins, l'ajustement évident à ma solution peut être fait si vous voulez vraiment garder des points avec | y || > = a.

La manière la plus simple, qui se trouve être une technique très générale, consiste à utiliser Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_sampling . Ce sera assez rapide tant que Prob (|| X ||> a) est assez faible, car alors il n'y aura pas beaucoup de rejets.

Générez un échantillon de valeur x à partir de la normale multivariée sans contrainte (même si votre problème indique que la normale multivariée est sphérique, la technique peut être appliquée même si elle ne l'est pas). Si || x || <= a, acceptez, c'est-à-dire, utilisez x, sinon rejetez-le et générez un nouvel échantillon. Répétez ce processus jusqu'à ce que vous ayez autant d'échantillons acceptés que nécessaire. L'application de cette procédure a pour effet de générer y tel que sa densité soit c * f_X (y), si || y || <= a, et 0 si || y || > a, par ma correction à la partie d'ouverture de votre question. Vous n'avez jamais besoin de calculer c; il est en effet auto-déterminé par l'algorithme en fonction de la fréquence de rejet des échantillons.

C'est une belle tentative mais cela ne fonctionne pas à cause de la "constante de normalisation": si vous considérez la densité conjointe la décomposition

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ qui s'intègre à dans , montre que $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. La distribution conditionnelle de étant donné les autres composants, , est une distribution normale tronquée;$X_n$$X_{-n}$
2. La distribution marginale des autres composants, , n'est pas une distribution normale en raison du terme supplémentaire ; P ( X $X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

La seule façon dont je peux voir en tirant parti de cette propriété est d'exécuter un échantillonneur Gibbs, un composant à la fois, en utilisant les distributions conditionnelles normales tronquées.

La question provient de l'idée d'utiliser - la décomposition conditionnelle de base des distributions conjointes - pour dessiner des échantillons vectoriels.

Soit un gaussien multivarié avec des composants iid.$X$

Soit et $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

L'algorithme en question est proposé sur la base de la factorisation conditionnelle suivante (tout à fait correcte mais trompeuse):

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

La réponse la plus courte est que ce dernier facteur n'est pas un gaussien tronqué, (surtout) pas même une distribution.

---

Voici l'explication détaillée des raisons pour lesquelles la factorisation ci-dessus elle-même a un défaut fondamental. En une seule phrase: toute factorisation conditionnelle d'une distribution conjointe donnée doit satisfaire à certaines propriétés très fondamentales, et la factorisation ci-dessus ne les satisfait pas (voir ci-dessous).

En général, si nous factorisons jamais alors est la marge de et est la distribution conditionnelle de . Ce qui signifie:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. Le facteur de "supposé" doit être une distribution. Et,$f(x,y)$$f_X(x)$
2. Le deuxième facteur "supposé" doit être une distribution pour chaque choix de$f_{Y|X}(y|x)$$x$

Dans l'exemple ci-dessus, nous essayons de conditionner comme . Cela signifie que la propriété-1 devrait être valable pour le facteur des Gaussiens et la propriété-2 devrait être valable pour la dernière partie.$Y_n|(Y_1\ldots Y_{n-1})$

Il est clair que la propriété-1 tient bon sur le premier facteur. Mais le problème est avec la propriété-2. Le dernier facteur ci-dessus n'est malheureusement pas du tout une distribution (oubliez le gaussien tronqué) pour presque toutes les valeurs de !!$(Y_1\ldots Y_{n-1})$

---

Une telle proposition d'algorithme est probablement le résultat de l'idée fausse suivante: Une fois qu'une distribution factorise naturellement une distribution conjointe (comme les Gaussiennes ci-dessus), elle conduit à une factorisation conditionnelle. ---- Ce n'est pas le cas! ---- L'autre (deuxième) facteur doit également être bon.

---

Remarque: Il y a une excellente réponse de @whuber plus tôt, qui résout en fait le problème de la génération d'une norme gaussienne multivariée tronquée. J'accepte sa réponse. Cette réponse n'est que pour clarifier et partager ma propre compréhension et la genèse de la question.