Algorithme efficace pour générer au hasard deux permutations diffuses et dérangées d'un multiset

Contexte

$\newcommand\ms[1]{\mathsf #1}\def\msD{\ms D}\def\msS{\ms S}\def\mfS{\mathfrak S}\newcommand\mfm[1]{#1}\def\po{\color{#f63}{\mfm{1}}}\def\pc{\color{#6c0}{\mfm{c}}}\def\pt{\color{#08d}{\mfm{2}}}\def\pth{\color{#6c0}{\mfm{3}}}\def\pf{4}\def\pv{\color{#999}5}\def\gr{\color{#ccc}}\let\ss\gr$ Supposons que j'ai deux lots identiques de billes. Chaque marbre peut être l'une des couleurs , où . Soit le nombre de billes de couleur dans chaque lot. $n$ $c$ $c≤n$ $n_i$ $i$

Soit $\msS$ le multiset $\small\{\overbrace{\po,…,\po}^{n_1},\;\overbrace{\pt,…,\pt}^{n_2},\;…,\;\overbrace{\vphantom 1\pc,…,\pc}^{n_c}\}$ représentant un lot. Dans la représentation fréquentielle , $\msS$ peut également s'écrire $(\po^{n_1} \;\pt^{n_2}\; … \;\pc^{n_c})$ .

Le nombre de permutations distinctes de $\msS$ est donné par le multinomial :

| S_{S} | = (\binom{n}{n_{1}, n_{2}, \dots, n_{c}}) = \frac{n!}{n_{1}! n_{2}! \dots n_{c}!} = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} .

$\left|\mfS_{\msS}\right|=\binom{n}{n_1,n_2,\dots,n_c}=\frac{n!}{n_1!\,n_2!\cdots n_c!}=n! \prod_{i=1}^c \frac1{n_i!}.$

Question

Existe-t-il un algorithme efficace pour générer au hasard deux permutations diffuses et dérangées $P$ et $Q$ de $\msS$ ? (La distribution doit être uniforme.)

Une permutation $P$ est diffus si pour chaque élément distinct $i$ de $P$ , les instances de $i$ sont espacées à peu près uniformément dans $P$ .
Par exemple, supposons $\msS=(\po^4\;\pt^4)=\{\po,\po,\po,\po,\pt,\pt,\pt,\pt\}$ .
- $\{\po, \po, \po, \pt, \pt, \pt, \pt, \po\}$ n'est pas diffus
- $\{\po, \pt, \po, \pt, \po, \pt, \po, \pt\}$ est diffus
Plus rigoureusement:
- Si , il n'y a qu'une seule instance de pour «espacer» dans , alors soit . $n_i=1$ $i$ $P$ $\Delta(i)=0$
- Sinon, soit est la distance entre instance et l' instance de dans . Soustrayez-en la distance attendue entre les instances de , en définissant ce qui suit: Si est régulièrement espacé dans , alors doit être nul, ou très proche de zéro si . $d(i,j)$ $j$ $j+1$ $i$ $P$ $i$ $δ (i, j) = d (i, j) - \frac{n}{n_{i}} Δ (i) = \sum_{j = 1}^{n_{i} - 1} δ (i, j)^{2}$ $\delta(i,j)=d(i,j)-\frac n{n_i}\qquad\qquad\Delta(i)=\sum_{j=1}^{n_i-1} \delta(i,j)^2$ $i$ $P$ $\Delta(i)$ $n_i\nmid n$
Définir maintenant la statistique pour mesurer combien chaque est régulièrement espacées dans . Nous appelons diffus si est proche de zéro, ou à peu près . (On peut choisir un seuil propre à pour que soit diffus si ) $s(P)=\sum_{i=1}^c\Delta(i)$ $i$ $P$ $P$ $s(P)$ $s(P)\ll n^2$ $k\ll1$ $\msS$ $P$ $s(P)<kn^2$

Cette contrainte rappelle un problème d'ordonnancement en temps réel plus strict appelé problème de moulin à vent avec multiset (de sorte que ) et la densité . L'objectif est de programmer une séquence cyclique infinie telle que toute sous-séquence de longueur contienne au moins une instance de . En d'autres termes, un programme réalisable nécessite tout ; si est dense ( ), alors et . Le problème du moulinet semble être NP-complet. $\ms A=n/\msS$ $a_i=n/n_i$ $\rho=\sum_{i=1}^c n_i/n=1$ $P$ $a_i$ $i$ $d(i,j)≤a_i$ $\ms A$ $\rho= 1$ $d(i,j)=a_i$ $s(P)=0$
Deux permutations et sont dérangées si est un dérangement de ; c'est-à-dire pour chaque index . $P$ $Q$ $P$ $Q$ $P_i ≠ Q_i$ $i\in[n]$
Par exemple, supposons . $\msS=(\po^2\;\pt^2)=\{\po,\po,\pt,\pt\}$
- $\{\po, \pt, \po, \pt\}$ et ne sont pas dérangés $\{\po, \po, \pt, \pt\}$
- $\{\po, \pt, \po, \pt\}$ et sont dérangés $\{\pt, \po, \pt, \po\}$

Analyse exploratoire

Je m'intéresse à la famille des multisets avec et pour . En particulier, laissez . $n=20$ $n_i=4$ $i\lesssim4$ $\msD=(\gr1^4\,\gr2^4\,\gr3^4\,\gr4^3\,\gr5^2\,\gr6^1\,\gr7^1\,\gr8^1)$

La probabilité que deux permutations aléatoires et de soient dérangées est d'environ 3%. $P$ $Q$ $\msD$

Ceci peut être calculé comme suit, où est le ème polynôme de Laguerre: Voir ici pour une explication. $L_k$ $k$
$\begin{aligned} | D_{D} | & = \int_{0}^{\infty} d t e^{- t} \prod_{i = 1}^{c} L_{n_{i}} (t) = \int_{0}^{\infty} d t e^{- t} (L_{4} (t))^{3} (L_{3} (t)) (L_{2} (t)) (L_{1} (t))^{3} \\ = 4.5 \times 10^{11} \\ | S_{D} | & = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} = \frac{20!}{(4!)^{3} (3!) (2!) (1!)^{3}} = 1.5 \times 10^{13} \\ p & = | D_{D} | / | S_{D} | \approx 0.03 \end{aligned}$ $\begin{align*} \left|{\mathfrak D}_{\msD}\right| &=\int_0^\infty \!\!dt\; e^{-t}\, \prod_{i=1}^c L_{n_i}(t) =\int_0^\infty \!\!dt\; e^{-t}\, \bigl(L_4(t)\bigr)^3\bigl(L_3(t)\bigr)\bigl(L_2(t)\bigr)\bigl(L_1(t)\bigr)^3\\ &=4.5\times10^{11}\\ \left|\mfS_{\msD}\right| &=n!\prod_{i=1}^c \frac1{n_i!} =\frac{20!}{(4!)^3\,(3!)\,(2!)\,(1!)^3} =1.5\times10^{13}\\ p&=\left|{\mathfrak D}_{\msD}\right|/ \left|\mfS_{\msD}\right|\approx0.03\end{align*}$
La probabilité qu'une permutation aléatoire de soit diffuse est d'environ 0,01%, fixant le seuil arbitraire à environ . $P$ $\msD$ $s(P)<25$

Ci-dessous se trouve un diagramme de probabilité empirique de 100 000 échantillons de où est une permutation aléatoire de . $s(P)$ $P$ $\msD$

Pour des échantillons de taille moyenne, . $s(P)\sim \text{Gamma}(\alpha\approx8,\beta\approx18)$

$\begin{array}{ccl} P & s (P) & cdf (s (P)) \\ {1, 8, 2, 3, 4, 1, 5, 2, 3, 6, 1, 4, 2, 3, 7, 1, 5, 2, 4, 3} & \frac{11}{9} \approx 1 & < 10^{- 5} \\ {8, 2, 3, 4, 1, 6, 5, 2, 3, 4, 1, 7, 1, 2, 3, 5, 4, 1, 2, 3} & \frac{140}{9} \approx 16 & < 10^{- 4} \\ {3, 6, 5, 1, 3, 4, 2, 1, 2, 7, 8, 5, 2, 4, 1, 3, 3, 2, 1, 4} & \frac{650}{9} \approx 72 & 0.05 \\ {3, 1, 3, 4, 8, 2, 2, 1, 1, 5, 3, 3, 2, 6, 4, 4, 2, 1, 7, 5} & \frac{1223}{9} \approx 136 & 0.45 \\ {4, 1, 1, 4, 5, 5, 1, 3, 3, 7, 1, 2, 2, 4, 3, 3, 8, 2, 2, 6} & \frac{1697}{9} \approx 189 & 0.80 \end{array}$ $\begin{array}{ccl}\renewcommand\mfm[1]{\textbf{#1}} \hline P & s(P) & \text{cdf}(s(P)) \\ \hline \{\po, \ss8, \pt, \pth, \pf, \po, \pv, \pt, \pth, \ss6, \po, \pf, \pt, \pth, \ss7, \po, \pv, \pt, \pf, \pth\} & \frac{11}9\approx1\, & <10^{-5} \\ \{\ss8, \pt, \pth, \pf, \po, \ss6, \pv, \pt, \pth, \pf, \po, \ss7, \po, \pt, \pth, \pv, \pf, \po, \pt, \pth\} & \frac{140}9\approx16 & <10^{-4} \\ \{\pth, \ss6, \pv, \po, \pth, \pf, \pt, \po, \pt, \ss7, \ss8, \pv, \pt, \pf, \po, \pth, \pth, \pt, \po, \pf\} & \frac{650}9\approx72 & \phantom{<1}0.05 \\ \{\pth, \po, \pth, \pf, \ss8, \pt, \pt, \po, \po, \pv, \pth, \pth, \pt, \ss6, \pf, \pf, \pt, \po, \ss7, \pv\} & \frac{1223}9\approx136 & \phantom{<1}0.45 \\ \{\pf, \po, \po, \pf, \pv, \pv, \po, \pth, \pth, \ss7, \po, \pt, \pt, \pf, \pth, \pth, \ss8, \pt, \pt, \ss6\} & \frac{1697}9\approx189 & \phantom{<1}0.80 \\ \hline \end{array}$

La probabilité que deux permutations aléatoires soient valides (à la fois diffuses et dérangées) est d'environ . $v\approx(0.03)(0.0001)^2\approx10^{-10}$

Algorithmes inefficaces

Un algorithme «rapide» commun pour générer un dérangement aléatoire d'un ensemble est basé sur le rejet:

faire
     P ← permutation_aléatoire ( D )
jusqu'à is_derangement ( D , P )
retour P

ce qui prend environ itérations, car il y a à peu près dérangements possibles. Cependant, un algorithme randomisé basé sur le rejet ne serait pas efficace pour ce problème, car il prendrait l'ordre de itérations. $e$ $n!/e$ $1/v\approx10^{10}$

Dans l'algorithme utilisé par Sage , un dérangement aléatoire d'un multiset "se forme en choisissant un élément au hasard dans la liste de tous les dérangements possibles". Pourtant, cela aussi est inefficace, car il existe des permutations valides pour énumérer, et en plus, il faudrait un algorithme juste pour le faire de toute façon. $v\,|\mfS_{\msD}|^2\approx10^{16}$

D'autres questions

Quelle est la complexité de ce problème? Peut-il être réduit à n'importe quel paradigme familier, tel que le flux réseau, la coloration des graphiques ou la programmation linéaire?

— hftf
source

Concernant votre définition de "espacé", ne voulez-vous pas pour avec comme sentinelles? C'est-à-dire qu'un seul élément doit être au milieu, deux doivent partitionner la permutation en tiers, et ainsi de suite.

d (i, j) - n / (n_{i} + 1)

$d(i,j) - n/(n_i + 1)$

0 \leq i \leq j \leq n + 1

$0 \leq i \leq j \leq n+1$

P_{0} = P_{n + 1} = i

$P_0 = P_{n+1} = i$

— Raphael

Que se passe-t-il si pour le mal (petit, mais assez grand); pouvons-nous même avons diffus permutations que? Nous ne supportons certainement pas un changement pour en trouver deux dérangés! Semble qu'aucun élément ne peut se produire plus de fois.

S = {1^{n - k}, 2^{k}}

$S = \{ 1^{n-k}, 2^k\}$

k

$k$

n / 2

$n/2$

— Raphael

Quel est le rapport de toutes les paires de permutations dérangées parmi toutes les paires de permutations diffuses ? De même, sur toutes les paires de permutations dérangées, combien se composent de deux diffusions? (Si l'un des ratios est «élevé», nous pouvons concentrer nos efforts sur une moitié du processus, laissant l'autre au rejet.)

— Raphael

@Raphael (# 3a) Sur 1 million de permutations aléatoires de , ces 561 diffuses avaient . des paires sont dérangées.

D

$\mathsf D$

s (P) \leq 30

$s(P)\le 30$

6118 / (\binom{561}{2}) = 6118 / 157080 \approx 3.9 %

$6118/\binom{561}{2}=6118/157080\approx3.9\%$

— hftf

@Raphael (# 3b) Sur 10 millions de paires aléatoires de permutations de , 306893 paires ont été dérangées. Seulement 29 de ces paires avaient les deux permutations avec . Voici un histogramme ( valeurs ).

D

$\mathsf D$

s (P) \leq 50

$s(P)\le50$

— hftf

Réponses:

Une approche: vous pouvez réduire cela au problème suivant: Étant donné une formule booléenne , choisissez une affectation uniformément au hasard parmi toutes les affectations satisfaisantes de . Ce problème est difficile à NP, mais il existe des algorithmes standard pour générer un qui est approximativement uniformément distribué, empruntant des méthodes aux algorithmes #SAT. Par exemple, une technique consiste à choisir une fonction de hachage dont la plage a une taille soigneusement choisie (environ la même taille que le nombre d'assignations satisfaisantes de $\varphi(x)$ $x$ $\varphi(x)$ $x$ $h$ $\varphi$ ), de choisir uniformément au hasard une valeur dans la plage de $y$ $h$ , puis utilisez un solveur SAT pour trouver une affectation satisfaisante à la formule . Pour le rendre efficace, vous pouvez choisir comme une carte linéaire clairsemée. $\varphi(x) \land (h(x)=y)$ $h$

Cela pourrait être de tirer sur une puce avec un canon, mais si vous n'avez pas d'autres approches qui semblent réalisables, c'est celle que vous pouvez essayer.

— DW
source

trouver cela difficile à suivre. est une valeur booléenne et est une chaîne binaire (ensemble de variables binaires)? donc l'équation finale signifie ...?

φ (x)

$\varphi(x)$

h (x)

$h(x)$

— vzn

une discussion / analyse approfondie de ce problème a commencé dans le chat cs avec un contexte supplémentaire qui a révélé une certaine subjectivité dans les exigences complexes du problème mais n'a trouvé aucune erreur ou omission pure et simple. ¹

voici du code testé / analysé qui, par rapport à l'autre solution basée sur SAT, est relativement "rapide et sale" mais n'était pas trivial / difficile à déboguer. son concept est vaguement basé sur un schéma d'optimisation pseudo-aléatoire / gourmand local quelque peu similaire à par exemple 2-OPT pour TSP . l'idée de base est de commencer par une solution aléatoire qui correspond à une contrainte, puis de la perturber localement pour rechercher des améliorations, de rechercher avidement des améliorations et de les parcourir, et de terminer lorsque toutes les améliorations locales ont été épuisées. l'un des critères de conception était que l'algorithme devait être aussi efficace / éviter le rejet autant que possible.

il existe des recherches sur les algorithmes de dérangement [4], par exemple utilisés dans SAGE [5], mais ils ne sont pas orientés autour de multisets.

la perturbation simple n'est que des «échanges» de deux positions dans le (s) tuple (s). l'implémentation est en rubis. Voici un aperçu / notes avec des références aux numéros de ligne.

qb2.rb (gist-github)

l'approche est ici de commencer avec deux tuples dérangés (# 106) et ensuite d'améliorer localement / avidement la dispersion (# 107), combinés dans un concept appelé derangesperse(# 97), en préservant le dérangement. noter que l'échange de deux mêmes positions dans la paire de tuples préserve le dérangement et peut améliorer la dispersion, ce qui fait (partie de) la méthode / stratégie dispersée.

le derangesous - programme fonctionne de gauche à droite sur le tableau (multiset) et échange avec des éléments plus tard dans le tableau où l'échange n'est pas avec le même élément (# 10). l'algorithme réussit si, sans autre échange à la dernière position, les deux tuples sont toujours dérangés (# 16).

il existe 3 approches différentes pour déranger les tuples initiaux. le 2e tuple p2est toujours mélangé. on peut commencer par le tuple 1 ( p1) ordonné par a."les plus hautes puissances 1er ordre" (# 128), l' b.ordre mélangé (# 127) c.et les "puissances les plus basses 1er ordre" ("les plus hautes puissances dernier ordre") (# 126).

la routine de dispersion disperseest plus complexe mais conceptuellement pas si difficile. encore une fois, il utilise des swaps. plutôt que d'essayer d'optimiser la dispersion en général sur tous les éléments, il essaie simplement d'atténuer de manière itérative le pire cas actuel. l'idée est de trouver le 1 ^er élément le moins dispersé, de gauche à droite. la perturbation consiste à échanger les éléments gauche ou droit ( x, yindex) de la paire la moins dispersée avec d'autres éléments, mais jamais entre la paire (ce qui diminuerait toujours la dispersion), et à ignorer également toute tentative d'échange avec les mêmes éléments ( selectdans # 71) . mest l'indice médian de la paire (# 65).

cependant, la dispersion est mesurée / optimisée sur les deux tuples de la paire (# 40) en utilisant la dispersion "la plus basse / la plus à gauche" de chaque paire (# 25, # 44).

l'algorithme tente d'échanger les éléments "les plus éloignés" 1 ^er ( sort_by / reverse# 71).

il y a deux stratégies différentes true, falsepour décider de permuter l'élément gauche ou droit de la paire la moins dispersée (# 80), soit l'élément gauche pour la position de permutation vers l'élément gauche / droit vers le côté droit, soit l'élément le plus éloigné gauche ou droit dans la paire dispersée de l'élément d'échange.

l'algorithme se termine (# 91) quand il ne peut plus améliorer la dispersion (soit en déplaçant le pire emplacement dispersé vers la droite, soit en augmentant la dispersion maximale sur toute la paire de tuple (# 85)).

des statistiques sont produites pour les rejets supérieurs à c1000 dérangements sur les 3 approches (n ° 116) et c= 1000 dérangements (n ° 97), en examinant les 2 algorithmes dispersés pour une paire dérangée par rejet (n ° 19, n ° 106). ce dernier suit la dispersion moyenne totale (après dérangement garanti). un exemple d'exécution est le suivant

c       0.661000
b       0.824000
a       0.927000
[2.484, 2, 4]
[2.668, 2, 4]

cela montre que l' a-truealgorithme donne les meilleurs résultats avec ~ 92% de non-rejet et une pire distance de dispersion moyenne de ~ 2,6, et un minimum garanti de 2 sur 1000 essais, soit au moins 1 élément intermédiaire non égal entre toutes les paires de mêmes éléments. il a trouvé des solutions allant jusqu'à 3 éléments intermédiaires non égaux.

l'algorithme de dérangement est une pré-réjection de temps linéaire, et l'algorithme de dispersion (fonctionnant sur une entrée dérangée) semble être probablement ~ . $O(n \log n)$

¹ le problème est de trouver des arrangements de paquets quizbowl qui satisfont ce que l'on appelle le "feng shui" [1] ou un ordre aléatoire "agréable" où "agréable" est quelque peu subjectif et pas encore "officiellement" quantifié; l'auteur du problème l'a analysé / réduit aux critères de dérange / dispersion sur la base de recherches menées par la communauté des quizbowl et des "experts du feng shui". [2] il existe différentes idées sur les «règles du feng shui». des recherches "publiées" ont été faites sur les algorithmes mais elles apparaissent à un stade précoce. [3]

[1] Paquet feng shui / QBWiki

[2] Paquets Quizbowl et feng shui / Lifshitz

[3] Placement des questions , forum du centre de ressources HSQuizbowl

[4] Génération de dérangements aléatoires / Martinez, Panholzer, Prodinger

[5] Algorithme de dérangement de Sage (python) / McAndrew

— vzn
source

Pour plus de réflexion, il y a un problème dans la routine derange et ça ne dérange pas toujours. la position de swap peut avancer sans permuter quoi que ce soit. theres une solution simple pour tester correctement le succès.

— vzn