Que signifie la distribution tronquée?

14

Dans un article de recherche sur l'analyse de sensibilité d'un modèle d'équation différentielle ordinaire d'un système dynamique, l'auteur a fourni la distribution d'un paramètre de modèle en tant que distribution normale (moyenne = 1e-4, std = 3e-5) tronquée à la plage [0,5e -4 1,5e-4]. Il utilise ensuite des échantillons de cette distribution tronquée pour des simulations du modèle. Que signifie avoir une distribution tronquée et un échantillon de cette distribution tronquée?

Je pourrais trouver deux façons de procéder:

Échantillonner à partir d'une distribution normale mais ignorer toutes les valeurs aléatoires tombant en dehors de la plage spécifiée avant les simulations.
D'une manière ou d'une autre, obtenez une distribution spéciale "Normal tronqué" et obtenez-en des échantillons.

Ces approches sont-elles valides et équivalentes?

Je crois que dans le premier cas, si l'on devait tracer le cdf / pdf expérimental de l'échantillon, cela ne ressemblerait pas à une distribution normale car les courbes ne s'étendent pas à $\pm\infty$ .

distributions simulation truncation

— Kavka
source

16

Tronquer une distribution revient à restreindre ses valeurs à un intervalle et à normaliser à nouveau la densité de sorte que l'intégrale sur cette plage soit 1.

Donc, tronquer la distribution à un intervalle reviendrait à générer une variable aléatoire de densité $N(\mu, \sigma^{2})$ $(a,b)$

p_{a, b} (x) = \frac{ϕ_{μ, σ^{2}} (x)}{\int_{a}^{b} ϕ_{μ, σ^{2}} (y) d y} \cdot I {x \in (a, b)}

$p_{a,b}(x) = \frac{ \phi_{\mu, \sigma^{2}}(x) }{ \int_{a}^{b} \phi_{\mu, \sigma^{2}}(y) dy } \cdot \mathcal{I} \{ x \in (a,b) \}$

où $\phi_{\mu, \sigma^{2}}(x)$ est la densité $N(\mu, \sigma^2)$ . Vous pouvez échantillonner à partir de cette densité de plusieurs façons. Une façon (la façon la plus simple à laquelle je peux penser) de le faire serait de générer $N(\mu, \sigma^2)$ valeurs et de jeter celles qui se situent en dehors des $(a,b)$ intervalle, comme vous l'avez mentionné. Donc, oui, ces deux balles que vous avez énumérées atteindraient le même objectif. De plus, vous avez raison de dire que la densité empirique (ou histogramme) des variables de cette distribution ne s'étendrait pas à $\pm \infty$ . Il serait limité à $(a,b)$ , bien sûr.

— Macro
source

17

La simulation à partir de la distribution normale de jusqu'à ce que le résultat tombe dans un intervalle est correcte lorsque la probabilité $\mathcal{N}(\mu,\sigma^2)$ $(a,b)$ est assez grand. S'il est trop petit, cette procédure est trop coûteuse car le nombre moyen de tirages pour une acceptation est de .

ϱ = \int_{a}^{b} φ_{μ, σ^{2}} (x) d x

$\varrho = \int_a^b \varphi_{\mu,\sigma^2}(x)\,\text{d} x$

1 / ϱ

$1/\varrho$

Comme décrit dans Monte Carlo Statistical Methods (Chapitre 2, Exemple 2.2), ainsi que dans mon article arXiv , un moyen plus efficace de simuler cette normale tronquée consiste à utiliser une méthode d'acceptation-rejet basée sur une distribution exponentielle . $\mathcal{E}(\alpha)$

Considérons, sans perte de généralité, le cas et . Lorsque , une distribution instrumentale potentielle est la distribution exponentielle traduite, , avec une densité $\mu = 0$ $\sigma = 1$ $b=+\infty$ $\mathcal{E} (\alpha,{ a})$ Le rapport est alors délimitée par si et par autrement. La limite (supérieure) correspondante est

g_{α} (z) = α e^{- α (z - a)} I_{z \geq a} .

$g_{\alpha}(z) = \alpha e^{- \alpha(z - {a})} \; \mathbb{I}_{z \geq {a }} \;.$

p_{a, \infty} (z) / g_{α} (z) \propto e^{- α (z - a)} e^{- z^{2} / 2}

$p_{a,\infty}(z)/g_{\alpha}(z) \propto e^{- \alpha(z - a )}e^{-z^{2}/2}$

\exp (α^{2} / 2 - α a)

$\exp(\alpha^{2}/2 - \alpha{a })$

α > a

$\alpha > a$

\exp (- a^{2} / 2)

$\exp(- a^{2}/2)$

La première expression est minimisée par

{\begin{cases} 1 / α \exp (α^{2} / 2 - α a) & if α > a, \\ 1 / α \exp (- a^{2} / 2) & autrement. \end{cases}

$\begin{cases} 1/\alpha \; \exp (\alpha^{2}/2 - \alpha{a }) & \hbox{if } \alpha > a , \cr 1/\alpha \; \exp (- a^{2}/2) & \hbox{otherwise.} \cr \end{cases}$

alors que

minimise la deuxième borne. Le choix optimal de

est donc (1).

α^{*} = \frac{1}{2} une + \frac{1}{2} \sqrt{{une}^{2} + 4}, (1)

$\begin{equation} \alpha^{*} = \frac{1}{2}a + \frac{1}{2} \sqrt{a^2 + 4}\;,\qquad (1) \end{equation}$

\tilde{α} = a

$\tilde\alpha = a$

α

$\alpha$

— Xi'an
source

2

Je peux manquer quelque chose, mais ce qui ne va pas avec juste prendre

et laisser

? Cela ne donne-t-il pas la distribution souhaitée?

U \sim Unif (Φ (a), Φ (b))

$U \sim \text{Unif}(\Phi(a),\Phi(b))$

X = Φ^{- 1} (U)

$X = \Phi^{-1}(U)$

— bnaul

2

a

$a$

0

$0$

1

Xi'an a raison, @bnaul. Courir qnormdans une boucle R n'est pas une bonne idée.

— Stéphane Laurent

@ Xi'an: C'est vrai, mais ces fonctions peuvent être conçues pour avoir une précision arbitraire.

— Neil G

9

Échantillonner à partir d'une distribution normale mais ignorer toutes les valeurs aléatoires tombant en dehors de la plage spécifiée avant les simulations.

Cette méthode est correcte, mais, comme l'a mentionné @ Xi'an dans sa réponse, cela prendrait beaucoup de temps lorsque la plage est petite (plus précisément, lorsque sa mesure est petite sous la distribution normale).

$F^{-1}(U)$ $F$ $U\sim\text{Unif}(0,1)$ $F$ $G$ $(a,b)$ $G^{-1}(U)$ $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$

$G^{-1}$ $G^{-1}$ $G$ $G^{-1}$ $a$ $b$ $G$

Simuler une distribution tronquée à l'aide d'un échantillonnage d'importance

${\cal N}(0,1)$ $G$ $G$ $\boxed{G(q)=\frac{\arctan(q)}{\pi}+\frac12}$ $\boxed{G^{-1}(q)=\tan\bigl(\pi(q-\frac12)\bigr)}$

$U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ $G^{-1}(U)$ $\tan(U')$ $U'\sim\text{Unif}\bigl(\arctan(a),\arctan(b)\bigr)$

a <- 1
b <- 5
nsims <- 10^5
sims <- tan(runif(nsims, atan(a), atan(b)))

$x_i$ $\phi(x)/g(x)$

w (X) = \exp (- X^{2} / 2) (1 + X^{2}),

$w(x) = \exp(-x^2/2)(1+x^2),$

log_w <- -sims^2/2 + log1p(sims^2)
w <- exp(log_w) # unnormalized weights
w <- w/sum(w)

$(x_i,w(x_i))$ $[u,v]$

u <- 2; v<- 4
sum(w[sims>u & sims<v])
## [1] 0.1418

Cela fournit une estimation de la fonction cumulative cible. Nous pouvons rapidement l'obtenir et le tracer avec le spatsatpackage:

F <- spatstat::ewcdf(sims,w)
# estimated F:
curve(F(x), from=a-0.1, to=b+0.1)
# true F:
curve((pnorm(x)-pnorm(a))/(pnorm(b)-pnorm(a)), add=TRUE, col="red")

ewcdf

# approximate probability of u<x<v:
F(v)-F(u)
## [1] 0.1418

$(x_i)$

msample <- rmultinom(1, nsims, w)[,1]
resims <- rep(sims, times=msample)
hist(resims)

hist

mean(resims>u & resims<v)
## [1] 0.1446

Une autre méthode: l'échantillonnage à transformée inverse rapide

Olver et Townsend ont développé une méthode d'échantillonnage pour une large classe de distribution continue. Il est implémenté dans la bibliothèque chebfun2 pour Matlab ainsi que dans la bibliothèque ApproxFun pour Julia . J'ai récemment découvert cette bibliothèque et elle semble très prometteuse (pas seulement pour un échantillonnage aléatoire). Fondamentalement, c'est la méthode d'inversion, mais en utilisant des approximations puissantes du cdf et du cdf inverse. L'entrée est la fonction de densité cible jusqu'à la normalisation.

L'exemple est simplement généré par le code suivant:

using ApproxFun
f = Fun(x -> exp(-x.^2./2), [1,5]);
nsims = 10^5;
x = sample(f,nsims);

$[2,4]$

sum((x.>2) & (x.<4))/nsims
## 0.14191

— Stéphane Laurent
source