Comment générer un nombre non entier de succès consécutifs de Bernoulli?

18

Donné:

Une pièce avec un biais inconnu (tête). $p$
Un réel strictement positif . $a > 0$

Problème:

Générez une variable de Bernoulli aléatoire avec le biais . $p^{a}$

Est-ce que quelqu'un sait comment faire ça? Par exemple, quand est un entier positif, alors on peut lancer la pièce fois et voir si tous les résultats étaient chefs: si elles sont alors question « 0 », sinon question « 1 ». La difficulté réside dans le fait que n'est pas nécessairement un entier. De plus, si je connaissais le biais , je pourrais simplement construire une autre pièce avec le biais souhaité. $a$ $a$ $a$ $p$

sampling

— Pedro A. Ortega
source

2

@gung: Je pense que ce que l'on veut, c'est un algorithme pour générer une variable de Bernoulli avec une pièce.

— Neil G

1

Je pense que le point est là, quand vous garder seulement une moyenne de 1 sur tous tête qui apparaît et quand , vous dupliquez chacune des têtes soit une moyenne de fois.

a > 1

$a>1$

a

$a$

a < 1

$a < 1$

1 / a

$1/a$

— Macro

3

@Macro, pourriez-vous développer l'idée?

— Pedro A. Ortega

1

Cher Pedro, (+1) pour votre message, c'est le genre de question qui rend le CV très vivifiant et stimulant, du moins pour moi. Puis-je demander quelle est l'origine de cette question?

— Cardinal

@cardinal: Merci encore pour votre réponse! Ce problème fait partie d'un échantillonneur pour résoudre les problèmes de contrôle stochastique sur lesquels je travaille. La raison pour laquelle est inconnu est qu'il nécessiterait de connaître la constante de normalisation (qui dans ce cas est une fonction de partition désagréable), mais nous pouvons toujours en échantillonner à l'aide de l'échantillonnage de rejet. Btw, ce serait bien de vous citer par son nom, pas seulement le lien vers CV ;-).

p

$p$

— Pedro A. Ortega

19

Nous pouvons résoudre ce problème via quelques "astuces" et un peu de mathématiques.

Voici l'algorithme de base:

Générer une variable aléatoire géométrique avec probabilité de succès . $p$
Le résultat de cette variable aléatoire détermine une valeur connue fixe . $f_n \in [0,1]$
Générez une variable aléatoire utilisant des retournements de pièces justes générés à partir de retournements appariés par blocs de notre pièce . $\mathrm{Ber}(f_n)$ $\mathrm{Ber}(p)$
Le résultat résultant sera pour tout , ce qui est tout ce dont nous avons besoin. $\mathrm{Ber}(p^a)$ $a \in (0,1)$

Pour rendre les choses plus digestes, nous allons les diviser en morceaux.

Pièce 1 : Sans perte de généralité, supposons que . $0 < a < 1$

Si , alors, nous pouvons écrire pour un entier positif et un . Mais, pour deux Bernoulli indépendants, nous avons Nous pouvons générer un Bernoulli à partir de notre pièce de manière évidente. Par conséquent, nous n'avons qu'à nous préoccuper de générer le quand . $a \geq 1$ $p^a = p^n p^b$ $n$ $0 \leq b < 1$

P (X_{1} = X_{2} = 1) = p_{1} p_{2} .

$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$

p^{n}

$p^n$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

a \in (0, 1)

$a \in (0,1)$

Pièce 2 : Savoir comment générer un arbitraire à partir de tours de pièces justes. $\mathrm{Ber}(q)$

Il existe une manière standard de procéder. Développez dans son expansion binaire, puis utilisez nos équitables pour "faire correspondre" les chiffres de . La première correspondance détermine si nous déclarons un succès ("têtes") ou un échec ("queues"). Si et que notre lancer de monnaie est des têtes, déclarer des têtes, si et notre lancer de pièce est des queues, déclarer des queues. Sinon, considérez le chiffre suivant par rapport à un nouveau lancer de pièce. $q = 0.q_1 q_2 q_3 \ldots$ $q$ $q_n = 1$ $q_n = 0$

Pièce 3 : Savoir comment générer un lancer de pièce équitable à partir de pièces injustes avec un biais inconnu.

Cela se fait, en supposant , en retournant la pièce par paires. Si nous obtenons , déclarons une tête; si nous obtenons , déclarer une queue, et sinon répéter l'expérience jusqu'à ce que l'un des deux résultats susmentionnés se produise. Ils sont également probables, ils doivent donc avoir une probabilité . $p \in (0,1)$ $HT$ $TH$ $1/2$

Pièce 4 : Quelques mathématiques. (Taylor à la rescousse.)

En développant autour de , le théorème de Taylor affirme que Notez que parce que chaque terme après le premier est négatif, nous avons donc où sont connus a priori . D'où où , et $h(p) = p^a$ $p_0 = 1$

p^{a} = 1 - a (1 - p) - \frac{a (1 - a)}{2!} (1 - p)^{2} - \frac{a (1 - a) (2 - a)}{3!} (1 - p)^{3} \dots .

$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$

0 < a < 1

$0 < a < 1$

p^{a} = 1 - \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n},

$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$

0 \leq b_{n} \leq 1

$0 \leq b_n \leq 1$

1 - p^{a} = \sum_{n = 1}^{\infty} b_{n} (1 - p)^{n} = \sum_{n = 1}^{\infty} b_{n} P (G \geq n) = \sum_{n = 1}^{\infty} f_{n} P (G = n) = E f (G),

$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$

G \sim G e o m (p)

$G \sim \mathrm{Geom}(p)$

f_{0} = 0

$f_0 = 0$

f_{n} = \sum_{k = 1}^{n} b_{k}

$f_n = \sum_{k=1}^n b_k$ pour .

n \geq 1

$n \geq 1$

Et, nous savons déjà comment utiliser notre pièce pour générer une variable géométrique aléatoire avec une probabilité de succès . $p$

Pièce 5 : Un tour de Monte-Carlo.

Soit une variable aléatoire discrète prenant des valeurs dans avec . Soit . Alors $X$ $[0,1]$ $\Pr(X = x_n) = p_n$ $U \mid X \sim \mathrm{Ber}(X)$

P (U = 1) = \sum_{n} x_{n} p_{n} .

$\Pr(U = 1) = \sum_n x_n p_n.$

Mais, en prenant et , nous voyons maintenant comment générer une variable aléatoire et cela équivaut à générer une un. $p_n = p(1-p)^n$ $x_n = f_n$ $\mathrm{Ber}(1-p^a)$ $\mathrm{Ber}(p^a)$

— cardinal
source

Comment puis-je vous citer (ou votre solution)?

— Pedro A. Ortega

2

@Pedro: Je suppose que vous pouvez cliquer sur le lien "partager" au bas de cette réponse. Ce devrait être un lien stable. Math.SE dispose d'un mécanisme de citation , qui ne semble pas activé sur ce site, mais vous pourrez peut-être l'adapter.

— Cardinal

1

Maintenant, c'est une réponse brillante!

— Zen

1

J'ai écrit cela dans le forum de discussion générale de la classe Coursera sur la combinatoire analytique, car c'était une belle utilisation des séries de puissance liées à certains des matériaux couverts. class.coursera.org/introACpartI-001/forum/thread?thread_id=108

— Douglas Zare

@Douglas: Merci! Existe-t-il une version accessible au public de ce fil ou devrais-je m'inscrire au cours pour le voir? Pedro et moi avons discuté (par e-mail) des pistes possibles pour inclure cette approche dans certaines de ses recherches.

— cardinal

6

La réponse suivante est-elle idiote?

Si sont indépendants et a la distribution , alors sera approximativement distribué comme , quand . $X_1,\dots,X_n$ $\mathrm{Ber}(p)$ $Y_n$ $\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$ $Y_n$ $\mathrm{Ber}(p^a)$ $n\to\infty$

Par conséquent, si vous ne connaissez pas , mais vous pouvez lancer cette pièce beaucoup de fois, il est possible de l' échantillon (environ) à partir d' un variable aléatoire. $p$ $\mathrm{Ber}(p^a)$

Exemple de Rcode:

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Résultats:

p^a = 0.01234568 
est = 0.012291

— Zen
source

2

J'aime cette réponse mais je soupçonne qu'elle manque le point de la question, que j'ai interprété comme demandant un algorithme qui génère à partir de la distribution demandée sans connaître (ou des informations empiriques sur ). Mais, le problème suppose que vous pouvez générer des variables aléatoires , donc c'est une réponse parfaitement raisonnable et pas idiote du tout! +1

p

$p$

p

$p$

B e r n o u l l i (p)

${\rm Bernoulli}(p)$

— Macro

1

+1: J'aime ça. Je suppose que vous voulez dire que est distribué…?

Y_{n}

$Y_n$

— Neil G

Bien mieux! Tks, @Neil G!

— Zen

1

C'est mignon (+1), mais nous pouvons le faire exactement en un nombre presque sûrement fini de flips (et, en moyenne, ce nombre sera relativement petit).

— Cardinal

5

J'ai posté l'exposition suivante de cette question et la réponse du cardinal au forum de discussion générale de la classe actuelle de combinatoire analytique sur Coursera, "Application des séries de puissance à la construction d'une variable aléatoire." J'en publie une copie ici en tant que wiki communautaire pour le rendre public et plus accessible en permanence.

Il y avait une question et une réponse intéressantes sur stat.stackexchange.com concernant la série de puissance: "Comment générer un nombre non entier de succès consécutifs de Bernoulli?" Je vais paraphraser la question et la réponse du cardinal.

$p$ $\alpha$ $p^\alpha$

$\alpha$ $\alpha$ $\alpha$ $1/2$ $0 \lt \alpha \lt 1$ $p^{3.5}$ $p^3$ $p^{0.5}$

$p' \in [0,1]$ $HT$ $1$ $TH$ $0$ $HH$ $TT$ $p' = 0.a_1a_2a_3..._2$ $a_i=1$ $p'$ $p^\alpha$

$p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ $p=1-q$ $q^n$ $n$ $p' q^n$ $p'$ $n$

$G$ $p$ $P(G=n) = (1-p)^np = q^n p$ $1$

$t_0, t_1, t_2, ...$ $t_G$ $G$ $G$ $t_n \in [0,1]$ $t_G$ $[0,1]$ $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

$p$ $p^\alpha$ $q$

1 = p + q p + q^{2} p + q^{3} p + . . .

$1 = p + qp + q^2p + q^3p + ...$

q^{n} = q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .

$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$

\begin{array}{rcl} \sum_{n} s_{n} q^{n} & = & \sum_{n} s_{n} (q^{n} p + q^{n + 1} p + q^{n + 2} p + . . .) \\ = & \sum_{n} (s_{0} + s_{1} + . . . + s_{n}) q^{n} p \end{array}

$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$

$1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$ $t_n$ $q$ $q^n$ $1-p^\alpha = \sum_n t_n q^n p$ $t_n\in [0,1]$ $1-0^\alpha = 1$ $1-p^\alpha$ $t_G$ $p^\alpha$

Encore une fois, l'argument est dû au cardinal.

— Douglas Zare
source

1

(+1) Merci d'avoir pris la peine de poster ceci. Les différences d'exposition, bien que relativement légères, contribuent à rendre l'approche plus claire.

— cardinal

4

La réponse très complète du cardinal et des contributions ultérieures a inspiré la remarque / variante suivante.

$q:=1-p$ $X_n$ $q$ $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ $q^n$ $n$ $N \geq 1$ $M_N$

P r {M_{N} = 0} = \sum_{n = 1}^{\infty} P r {M_{N} = 0 | N = n} P r {N = n} = \sum_{n = 1}^{\infty} P r {N = n} q^{n} .

$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$

0 < a < 1

$0 < a < 1$

P r {N = n} = b_{n}

$\mathrm{Pr}\{N =n\} =b_n$

P r {M_{N} = 0} = 1 - p^{a}

$\mathrm{Pr}\{M_N =0\} = 1- p^a$

1 - M_{N}

$1-M_N$

B e r (p^{a})

$\mathrm{Ber}(p^a)$

b_{n}

$b_n$

b_{n} ⩾ 0

$b_n \geqslant 0$

1

$1$

$N$ $a$ $0 < a < 1$

P r {N = n} = \frac{a}{n} \prod_{k = 1}^{n - 1} (1 - a / k) (n \geq 1) .

$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$

n b_{n} \sim c / n^{a}

$n \,b_n \sim c/n^a$

c = - 1 / Γ (- a) > 0

$c = -1/\Gamma(-a) >0$

$M_N$ $N$ $X_k$ $\leq N$ $X_k$ $1$ $X_k$

— Yves
source

X_{k}

$X_k$

θ

$\theta$

(0 < θ < 1)

$(0 < \theta < 1)$

M_{n}

$M_n$

q^{n θ}

$q^{n\theta}$

q^{n}

$q^n$

n θ = a

$n\theta = a$

a > 0

$a>0$

X_{n}

$X_n$

X_{n}^{⋆}

$X_n^\star$

θ

$\theta$ standard Frechet'' by

b_{n} q^{n}

$b_n q^n$

B e r (p)

$\mathrm{Ber}(p)$

N

$N$

— Cardinal

(0, 1)

$(0,1)$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

N

$N$

n b_{n} \sim c n^{- (1 + a)}

$n b_n \sim c n^{-(1+a)}$

f_{n} = \sum_{i = 1}^{n} b_{i}

$f_n = \sum_{i=1}^n b_i$

B e r (p)

$\mathrm{Ber}(p)$

1

c

$c$

- 1 / Γ (- a)

$-1/\Gamma(-a)$

n

$n$

Γ (z)

$\Gamma(z)$

z := - a

$z:=-a$

\prod_{k = 1}^{n - 1}

$\prod_{k=1}^{n-1}$

— Yves

b_{n}

$b_n$

n b_{n}

$n b_n$