coût d'échantillonnage de par rapport à

Je suis tombé sur le problème de simulation suivant: étant donné un ensemble de nombres réels connus, une distribution sur est définie par où désigne la partie positive de . Bien que je puisse penser à un échantillonneur Metropolis-Hastings ciblant cette distribution, je me demande s'il existe un échantillonneur direct efficace, profitant du grand nombre de probabilités nulles pour diminuer l'ordre de l'algorithme de à . $\{\omega_1,\ldots,\omega_d\}$ $\{-1,1\}^d$

P (X = (x_{1}, \dots, x_{d})) \propto (x_{1} ω_{1} + \dots + x_{d} ω_{d})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$

(z)_{+}

$(z)_+$

z

$z$

O (2^{d})

$O(2^d)$

O (d)

$O(d)$

— Xi'an
source

Voici un échantillonneur récursif assez évident qui est dans le meilleur des cas (en termes de poids ), mais exponentiel dans le pire des cas. $O(d)$ $\omega_i$

Supposons que nous ayons déjà sélectionné et souhaitons choisir . Nous devons calculer et choisissez avec probabilité Le dénominateur sera différent de zéro pour tout choix valide d'échantillons . $x_1, \dots, x_{i-1}$ $x_{i}$

w (x_{1}, \dots, x_{i - 1}, x_{i}) = \sum_{x_{i + 1} \in {- 1, 1}} \dots \sum_{x_{d} \in {- 1, 1}} {(\sum_{j = 1}^{d} ω_{j} x_{j})}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$

x_{i} = 1

$x_i = 1$

\frac{w (x_{1}, \dots, x_{i - 1}, 1)}{w (x_{1}, \dots, x_{i - 1}, 1) + w (x_{1}, \dots, x_{i - 1}, - 1)} .

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$

Maintenant, bien sûr, la question est de savoir comment calculer . $w(x_1, \dots, x_i)$

Si nous avons ce , alors pour tout avec les entrées principales , et donc devient: $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \ge 0$ $x$ $x_{1:i}$ $w$

\begin{aligned} \sum_{x_{i + 1}} \dots \sum_{x_{d}} ω \cdot x & = ω \cdot (\sum_{x_{i + 1}} \dots \sum_{x_{d}} x) \\ = \sum_{j = 1}^{i} ω_{j} \underset{2^{d - i} x_{j}}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} + \sum_{j = i + 1}^{d} ω_{j} \underset{0}{\underset{⏟}{(\sum_{x_{i + 1}} \dots \sum_{x_{d}} x_{j})}} \\ = 2^{d - i} C . \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

Dans le cas contraire, , nous avons cela et ainsi . $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ $\omega \cdot x \le 0$ $w(x_1, \dots, x_i) = 0$

Sinon, nous devons récapituler, en utilisant . $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$

Supposons que la mémoire n'est pas un problème et que nous pouvons mettre en cache tous les sous-calculs dans , dans une arborescence - jusqu'au point où nous atteignons l'un des "beaux" cas, après quoi tout les appels prennent un temps constant. (Nous devrons quand même calculer tout cet arbre pour sélectionner .) Ensuite, une fois cet arbre de calculs construit, l'échantillonneur ne prendra que temps. La question est de savoir combien de temps il faut pour construire l'arbre, ou de façon équivalente sa taille. $w(1)$ $w(-1)$ $x_1$ $w$ $O(d)$

Nous atteindrons bien sûr les "jolis" cas plus rapidement si les sont triés, . $\omega_i$ $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$

Dans le meilleur des cas, . Ensuite, nous frappons immédiatement un "joli" cas pour ou , donc la construction de l'arborescence prend un temps constant et l'échantillonneur entier prend le temps . $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ $w(1)$ $w(-1)$ $w$ $O(d)$

Dans le pire des cas (triés), . Alors la question est: quelle est la taille totale de l'arbre? $\omega_1 = \omega_2 = \dots = \omega_d$

Eh bien, les premiers chemins à terminer sont bien sûr et de longueur . L'arbre est donc complet jusqu'à cette profondeur, et contient donc au moins nœuds. (Il en a plus; vous pouvez probablement le trouver avec un argument comme ceux utilisés dans les problèmes de ruine du joueur, mais je ne l'ai pas trouvé en deux minutes de recherche sur Google et ne m'en soucie pas particulièrement - est mauvais suffisant....) $(1, 1, \dots, 1)$ $(-1, -1, \dots, -1)$ $\lceil d/2 \rceil$ $O(2^{d/2})$ $2^{d/2}$

Si votre paramètre n'a que quelques très volumineux , il s'agit probablement d'une approche raisonnablement pratique. Si les sont tous de même ampleur, c'est probablement encore exponentiel et trop cher pour les grands . $\omega_i$ $\omega_i$ $d$

— Dougal
source

Merci pour ce type d'élimination de Viterbi. Lorsque vous écrivez "Dans le cas contraire", Je que vous ne voulez pas dire le complément du premier cas

C_{i} \leq - \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$

C_{i} \geq \sum_{j = i + 1}^{d} | ω_{j} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— Xi'an

Non, pas le complément: quand il est très grand, vous savez que la troncature n'est pas appliquée, quand elle est très petite, elle est toujours appliquée, et entre les deux, vous devez vous renseigner pour savoir quand elle est ou non appliquée.

— Dougal