Échantillonnage CDF inverse pour une distribution mixte

La version courte hors contexte

Soit une variable aléatoire avec CDF $y$

F (\cdot) \equiv {\begin{cases} θ & y = 0 \\ θ + (1 - θ) \times {CDF}_{log-normal} (\cdot; μ, σ) & y > 0 \end{cases}

$F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0}$

Disons que je voulais simuler des tirages de utilisant la méthode CDF inverse. Est-ce possible? Cette fonction n'a pas exactement d'inverse. Là encore, il y a l' échantillonnage par transformation inverse pour la distribution du mélange de deux distributions normales, ce qui suggère qu'il existe un moyen connu d'appliquer l'échantillonnage par transformation inverse ici. $y$

Je connais la méthode en deux étapes, mais je ne sais pas comment l'appliquer à ma situation (voir ci-dessous).

La version longue avec fond

J'ai ajusté le modèle suivant pour une réponse vectorielle, , en utilisant MCMC (spécifiquement, Stan): $y^i = \left( y_1 , \dots , y_K \right)^i$

θ_{k}^{i} \equiv {logit}^{- 1} (α_{k} x^{i}), μ_{k}^{i} \equiv β_{k} x^{i} - \frac{σ_{k}^{2}}{2} F (\cdot) \equiv {\begin{cases} θ & y = 0 \\ θ + (1 - θ) \times {CDF}_{log-normal} (\cdot; μ, σ) & y > 0 \end{cases} u_{k} \equiv F (y_{k}), z_{k} \equiv Φ^{- 1} (u_{k}) z \sim N (0, R) \times \prod_{k} f (y_{k}) (α, β, σ, R) \sim priors

$\theta_k^i \equiv \operatorname{logit}^{-1}\left( \alpha_k x^i \right), \quad \mu_k^i \equiv \beta_k x^i - \frac{ \sigma^2_k }{ 2 } \\ F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0} \\ u_k \equiv F(y_k), \quad z_k \equiv\Phi^{-1}{\left( u_k \right)} \\ z \sim \mathcal{N}(\mathbf{0}, R) \times \prod_k f(y_k) \\ \left( \alpha, \beta, \sigma, R \right) \sim \text{priors}$

où indexe observations, est une matrice de corrélation et est un vecteur de prédicteurs / régresseurs / caractéristiques. $i$ $N$ $R$ $x$

Autrement dit, mon modèle est un modèle de régression dans lequel la distribution conditionnelle de la réponse est supposée être une copule gaussienne avec des marginaux log-normaux gonflés à zéro. J'ai déjà publié des articles sur ce modèle; il s'avère que Song, Li et Yuan (2009, gated ) l'ont développé et ils l'appellent un vecteur GLM ou VGLM. Ce qui suit est leur spécification aussi proche du mot que je pourrais l'obtenir: Mon

f (y; μ, φ, Γ) = c {G_{1} (y_{1}), \dots, G_{m} (y_{m}) | Γ} \prod_{i = 1}^{m} g (y_{i}; μ_{i}, φ_{i}) c (u | Γ) = {| Γ |}^{- 1 / 2} \exp (\frac{1}{2} q^{T} (I_{m} - Γ^{- 1}) q) q = {(q_{1}, \dots, q_{m})}^{T}, q_{i} = Φ^{- 1} (u_{i})

$f(\mathbf{y}; \mathbf{\mu}, \mathbf{\varphi}, \Gamma) = c\{ G_1(y_1), \dots, G_m(y_m) | \Gamma \} \prod_{i=1}^m g(y_i; \mu_i, \varphi_i) \\ c(\mathbf{u} | \Gamma) = \left| \Gamma \right|^{-1/2}\exp\left( \frac{1}{2} \mathbf{q}^T \left( I_m - \Gamma^{-1} \right) \mathbf{q} \right) \\ \mathbf{q} = \left( q_1, \dots, q_m \right)^T, \quad q_i = \Phi^{-1}(u_i)$

F_{K}

$F_K$ correspond à leur , mon correspond à leur , et mon correspond à leur ; les détails se trouvent à la page 62 (page 3 du fichier PDF) mais ils sont par ailleurs identiques à ce que j'ai écrit ici.

G_{m}

$G_m$

z

$z$

q

$\mathbf{q}$

R

$R$

Γ

$\Gamma$

La partie zéro gonflée suit à peu près la spécification de Liu et Chan (2010, non fermée ).

Maintenant, je voudrais simuler des données à partir des paramètres estimés, mais je suis un peu confus quant à la façon de procéder. J'ai d'abord pensé que je pouvais simuler directement (en code R): $y$

for (i in 1:N) {
    for (k in 1:K) {
        Y_hat <- rbinom(1, 1, 1 - theta[i, k])
        if (Y_hat == 1)
            Y_hat <- rlnorm(1, mu[i, k], sigma[k])
    }
}

qui n'utilise pas du tout. Je voudrais essayer d'utiliser la matrice de corrélation que j'ai estimée. $R$

Mon idée suivante était de prendre des tirages de , puis de les reconvertir en . Cela semble également coïncider avec les réponses dans Génération d'échantillons à partir de la copule en R et échantillonnage bivarié pour la distribution exprimée dans le théorème de la copule de Sklar? . Mais que diable est mon ici? L'échantillonnage par transformation inverse pour la distribution de mélange de deux distributions normales donne l'impression que cela est possible, mais je ne sais pas comment le faire. $z$ $y$ $F^{-1}$

— shadowtalker
source

@ Xi'an c'est une copule gaussienne, pour estimer la dépendance entre les composantes .

y

$y$

— shadowtalker

Le fil que vous référencez sur l'échantillonnage à partir de mélanges de normales s'applique directement à votre problème sans modification essentielle: au lieu d'utiliser les CDF inverses de normales, utilisez les CDF inverses de vos deux composants. Le CDF inverse de l'atome à est la fonction constante, toujours égale à .

y = 0

$y=0$

0

$0$

— whuber

@whuber Je suis juste confus quant à la façon d'utiliser les CDF inverses des deux composants: de quoi puis-je dessiner, de quoi puis-je tirer, puis à quoi dois-je brancher chaque chose?

— shadowtalker

@ Xi'an explique gentiment que dans sa réponse à la question du mélange normal: vous utilisez une variable uniforme pour sélectionner le composant de mélange, puis vous tirez une valeur de ce composant (comme vous le souhaitez). Dans votre cas, il est exceptionnellement facile de tirer une valeur du premier composant: c'est toujours ! Pour tirer une valeur du deuxième composant, utilisez n'importe quel générateur de nombres aléatoires lognormal que vous aimez. Dans chaque cas, vous vous retrouvez avec un nombre: il n'y a pas de "branchement" à accomplir; tout l'objectif de la génération de nombres aléatoires est d'obtenir ce nombre.

0

$0$

— whuber

@whuber la nouvelle réponse m'a éclairé. Merci à vous deux.

— shadowtalker

Réponses:

La réponse à la version longue avec fond:

Cette réponse à la version longue aborde quelque peu un autre problème et, comme nous semblons avoir des difficultés à formuler le modèle et le problème, j'ai choisi de le reformuler ici, espérons-le correctement.

Pour , le but est de simuler les vecteurs tels que, conditionnellement à une covariable , avec . Par conséquent, si l'on veut simuler des données de ce modèle, on pourrait procéder comme suit: $1\le i\le I$ $y^i=(y^i_1,\ldots,y^i_K)$ $x^i$

y_{k}^{i} = {\begin{cases} 0 & with probability {logit}^{- 1} (α_{k} x^{i}) \\ \log (σ_{k} z_{k}^{i} + β_{k} x^{i}) & with probability 1 - {logit}^{- 1} (α_{k} x^{i}) \end{cases}

$y_k^i = \begin{cases} 0 &\text{ with probability }\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\\ \log(\sigma_k z_k^i + \beta_k x^i) &\text{ with probability }1-\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\end{cases}$

z^{i} = (z_{1}^{i}, \dots, z_{K}^{i}) \sim N_{K} (0, R)

$z^i=(z^i_1,\ldots,z^i_K)\sim\mathcal{N}_K(0,R)$

Pour , $1\le i\le I$

Générer $z^i=(z^i_1,\ldots,z^i_K)\sim\mathcal{N}_K(0,R)$
Générez $u^i_1,\ldots,u^i_K \stackrel{\text{iid}}{\sim} \mathcal{U}(0,1)$
Derive pour $y^i_k=\mathbb{I}\left\{u^i_k>\operatorname{logit}^{-1}\left( \alpha_k x^i \right)\right\}\, \log\{ \sigma_k z_k^i + \beta_k x^i\}$ $1\le k\le K$

Si l'on s'intéresse à la génération à partir de la partie postérieure de étant donné le , c'est un problème plus difficile, bien que réalisable par échantillonnage de Gibbs ou ABC. $(\alpha,\beta,\mu,\sigma,R)$ $y^i_ k$

— Xi'an
source

Je savais que je manquais quelque chose. "Tout est évident avec le recul." Mon intention: je suis intéressé par la valeur de , donc oui, je suis intéressé à dessiner à partir de la position postérieure conjointe des paramètres. Je veux que les simulés si le modèle convient.

F (y^{i} | x^{i})

$F(y^i | x^i)$

y

$y$

— shadowtalker

Comment le deuxième problème est-il beaucoup plus difficile? J'ai déjà estimé le modèle et j'ai des dessins postérieurs. Nous pouvons continuer à discuter si vous le souhaitez, pour ne pas encombrer les commentaires ici.

— shadowtalker

Oh, en général, oui. Heureusement, Stan et l'échantillonneur No-U-Turn font le travail dur pour moi là-bas.

— shadowtalker

La réponse à la version courte hors contexte:

"Inverser" un cdf qui n'est pas inversible au sens mathématique (comme votre distribution mixte) est faisable, comme décrit dans la plupart des manuels de Monte Carlo. (Comme le nôtre , voir le lemme 2.4.) Si vous définissez l'inverse généralisé alors Cela signifie que, lorsque a un saut de à , pour . En d'autres termes, si vous dessinez un uniforme et qu'il finit par être plus petit que , votre génération de

F^{-} (u) = inf {x \in R; F (x) \geq u}

$F^{-}(u) = \inf\left\{ x\in\mathbb{R};\ F(x)\ge u \right\}$

X \sim F is equivalent to X = F^{-} (U) when U \sim U (0, 1) .

$X \sim F \text{ is equivalent to } X=F^{-}(U)\text{ when } U\sim\mathcal{U}(0,1)\,.$

F (y)

$F(y)$

θ

$\theta$

y = 0

$y=0$

F^{-} (u) = 0

$F^{-}(u)=0$

u \leq θ

$u\le\theta$

U (0, 1)

$\mathcal{U}(0,1)$

θ

$\theta$

X

$X$ est . Sinon, quand , vous finissez par générer à partir de la partie continue, à savoir la log-normale dans votre cas. Cela signifie utiliser une deuxième génération aléatoire uniforme, , indépendante du premier tirage uniforme et définir pour obtenir une génération log-normale.

x = 0

$x=0$

u > θ

$u>\theta$

v

$v$

y = \exp (μ + σ Φ^{- 1} (v))

$y=\exp(\mu+\sigma\Phi^{-1}(v))$

C'est presque ce que votre code R

Y_hat <- rbinom(1, 1, theta[i, k]) if (Y_hat == 1) Y_hat <- rlnorm(1, mu[i, k], sigma[k])

fait. Vous générez un Bernoulli avec une probabilité et s'il est égal à , vous le transformez en log-normal. Puisqu'il est égal à 1 avec une probabilité vous devriez plutôt le transformer en une simulation log-normale quand il est égal à zéro à la place, pour finir avec le code R modifié: $\theta_k^i$ $1$ $\theta_k^i$

Y_hat <- rbinom(1, 1, theta[i, k])
    if (Y_hat == 0)
        Y_hat <- rlnorm(1, mu[i, k], sigma[k])

— Xi'an
source

Donc, tous ensemble, ma procédure de simulation serait: 1) dessiner , 2) calculer , puis 3) calculer si et sinon. Correct?

z

$z$

u_{k} = Φ (z_{k})

$u_k = \Phi(z_k)$

y_{k} = 0

$y_k = 0$

u_{k} \leq θ

$u_k \leq \theta$

y_{k} = F_{log-normal}^{- 1} (u_{k})

$y_k = F^{-1}_\text{log-normal}(u_k)$

— shadowtalker

Non, incorrect. Vous dessinez un premier uniforme pour choisir entre et log-normal, puis un deuxième uniforme au cas où vous auriez opté pour un log-normal. Voir la version éditée de ma réponse.

0

$0$

— Xi'an

Mais cela ignore la composante ; d'où ma question. J'ai fait un montage clarifiant et j'ai également corrigé l'erreur dans mon pseudocode.

z

$z$

— shadowtalker

Ma réponse est pour la version courte et pour le code R que vous avez fourni. J'espère que cela aide pour la version longue, mais votre formule pour le modèle commun est toujours incorrecte. Vous devez définir le modèle sur les sans utiliser les uniformes ...

y

$y$

— Xi'an

Comment ce modèle est-il incorrect? Je viens de brancher mon dans la formule fournie par l'article que j'ai cité (correspondant à dans leur notation). Est-ce invalide?

F_{1}, \dots, F_{K}

$F_1, \dots, F_K$

G_{1}, \dots, G_{m}

$G_1, \dots, G_m$

— shadowtalker