Principe Minimax de Yao sur les algorithmes de Monte Carlo

Le célèbre principe Minimax de Yao établit la relation entre la complexité distributionnelle et la complexité aléatoire. Laissez $P$ un problème avec un ensemble fini des entrées et un ensemble fini de l' algorithme déterministe pour résoudre . Soit également la distribution d'entrée et let la distribution de probabilité sur . Le principe énonce alors $\mathcal{X}$ $\mathcal{A}$ $P$ $\mathcal{D}$ $\mathcal{R}$ $\mathcal{A}$

min_{A \in A} E c o s t (A, D) \leq max_{x \in X} E c o s t (R, x) for all D and R .

$\min_{A\in\mathcal{A}}\quad\mathbb{E} cost(A,\mathcal{D}) \leq \max_{x\in\mathcal{X}}\quad\mathbb{E} cost(\mathcal{R},x) \quad\quad\text{for all $\mathcal{D}$ and $\mathcal{R}$}.$ Cette preuve découle directement du théorème de minimax de von Neumann pour les jeux à somme nulle.

La plupart du temps, le principe de Yao ne concerne que les algorithmes de Las Vegas , mais il peut être généralisé aux algorithmes de Monte Carlo comme suit.

\frac{1}{2} min_{A \in A} E c o s t_{2 ϵ} (A, D) \leq max_{x \in X} E c o s t_{ϵ} (R, x) for all D, R and ϵ \in [0, 1 / 2]

$\frac12 \min_{A\in\mathcal{A}}\quad\mathbb{E} cost_{2\epsilon}(A,\mathcal{D}) \leq \max_{x\in\mathcal{X}}\quad\mathbb{E} cost_{\epsilon}(\mathcal{R},x)\quad\quad\text{for all $\mathcal{D}$, $\mathcal{R}$ and $\epsilon\in [0,1/2]$}$ où

c o s t_{ϵ} (\cdot, \cdot)

$cost_\epsilon(\cdot,\cdot)$ représente le coût des algorithmes de Monte Carlo qui errent la probabilité au plus

ϵ

$\epsilon$ .

Dans l'article original de Yao , la relation pour les algorithmes de Monte Carlo est donnée au Théorème 3 sans preuve. Une astuce pour le prouver?

randomized-algorithms

— Federico Magallanez
source

Ceci est juste un commentaire étendu sur la réponse de Marcos, en utilisant sa notation. Je ne suis pas tout à fait en mesure de suivre les détails de son argument, et celui ci-dessous est assez court et facile.

En faisant la moyenne,

\sum_{A} q (A) \sum_{x} d (x) ϵ (A, x) = \sum_{x} d (x) \sum_{A} q (A) ϵ (A, x) \leq λ .

$\sum_A{q(A)\sum_x{d(x)\epsilon(A, x)}} = \sum_x{d(x)\sum_A{q(A)\epsilon(A, x)}} \leq \lambda.$

Le fait ci-dessus et l'inégalité de Markov impliquent . $\sum_{A \in \beta(2\lambda)}{q(A)} \geq 1/2$

Nous obtenons donc:

\begin{aligned} max_{x} \sum_{A} q (A) r (A, x) & \geq \sum_{x} d (x) \sum_{A} q (A) r (A, x) \\ = \sum_{A} q (A) \sum_{x} d (x) r (A, x) \\ \geq \sum_{A \in β (2 λ)} q (A) \sum_{x} d (x) r (A, x) \\ \geq (\sum_{A \in β (2 λ)} q (A)) min_{A \in β (2 λ)} \sum_{x} d (x) r (A, x) \\ \geq \frac{1}{2} min_{A \in β (2 λ)} \sum_{x} d (x) r (A, x) \end{aligned}

$\begin{align*} \max_x \sum_A{q(A)r(A,x)} &\geq \sum_x{d(x)\sum_A{q(A)r(A, x)}}\\ &= \sum_A{q(A)\sum_x{d(x)r(A, x)}}\\ &\geq \sum_{A \in \beta(2\lambda)}{q(A)\sum_x{d(x)r(A, x)}}\\ &\geq \left(\sum_{A \in \beta(2\lambda)}{q(A)}\right) \min_{A \in \beta(2\lambda)}{\sum_x{d(x)r(A, x)}}\\ &\geq \frac{1}{2}\min_{A \in \beta(2\lambda)}{\sum_x{d(x)r(A, x)}} \end{align*}$

— Sasho Nikolov
source

Je vais essayer ça. Je vais utiliser la notation originale de Yao. De cette façon, il sera plus facile de contraster avec son article et ses définitions.

Soit un ensemble fini d'entrées, et soit un ensemble fini d'algorithmes déterministes qui peuvent ne pas donner de réponse correcte pour certaines entrées. Soit également si donne la bonne réponse pour , et sinon. Notons également le nombre de requêtes effectuées par sur l'entrée , ou de manière équivalente, la profondeur de l' arbre de décision de $\mathcal{I}$ $\mathcal{A}_0$ $\epsilon(A,x)=0$ $A$ $x$ $\epsilon(A,x)=1$ $r(A,x)$ $A$ $x$ $A$

Coût moyen: étant donné une distribution de probabilité sur , le coût moyen d'un algorithme est . $d$ $\mathcal{I}$ $A\in \mathcal{A}_0$ $C(A,d)=\sum_{x\in\mathcal{I}} d(x)\cdot r(A,x)$

Complexité distributionnelle: Soit . Pour toute distribution sur les entrées, soit le sous-ensemble de donné par $\lambda\in[0,1]$ $d$ $\beta(\lambda)$ $\mathcal{A}_0$ $\beta(\lambda)=\{A : A\in \mathcal{A}_0, \sum_{x\in\mathcal{I}} d(x)\cdot \epsilon(A,x)\leq \lambda\}$ . La complexité distributionnelle avec l'erreur pour un problème de calcul est définie comme . $\lambda$ $P$ $F_{1,\lambda}(P)=\max_{d} \min_{A\in \beta(\lambda)} C(A,d)$

-tolérance: $\lambda$ Une distribution sur la famille est -tolérante si . $q$ $\mathcal{A}_0$ $\lambda$ $\max_{x\in \mathcal{I}} \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x)\leq \lambda$

Coût prévu: Pour un algorithme randomisé , soit une distribution de probabilité qui est tolérante à sur . Le coût attendu de pour une entrée donnée est . $R$ $q$ $\lambda$ $\mathcal{A}_0$ $R$ $x$ $E(R,x)=\sum_{A\in \mathcal{A}_0} q(A)\cdot r(A,x)$

Complexité aléatoire: Soit . La complexité aléatoire avec l'erreur est . $\lambda\in[0,1]$ $\lambda$ $F_{2,\lambda}=\min_R \max_{x\in\mathcal{I}} E(R,x)$

Nous sommes maintenant prêts à nous lancer en affaires. Ce que nous voulons prouver est donné une distribution sur les entrées et un algorithme randomisé (ie, une distribution sur ) $d$ $R$ $q$ $\mathcal{A}_0$

Principe Minimax de Yao pour les algorithmes de Montecarlo pour.
$max_{x \in I} E (R, x) \geq \frac{1}{2} min_{A \in β (2 λ)} C (A, d)$ $\begin{equation}\max_{x\in\mathcal{I}} E(R,x)\geq \frac{1}{2}\min_{A\in \beta(2\lambda)} C(A,d) \end{equation}$ $\lambda\in[0,1/2]$

Je suivrai une approche donnée par Fich, Meyer auf der Heide, Ragde et Wigderson (voir Lemme 4). Leur approche ne donne pas de caractérisation pour les algorithmes de Las Vegas (seulement la borne inférieure), mais elle est suffisante pour nos besoins. D'après leur preuve, il est facile de voir que pour tout et $\mathcal{A}_0$ $\mathcal{I}$

Réclamation 1. . $\max_{x\in \mathcal{I}} E(R,x)\geq \min_{A\in \mathcal{A}_0} C(A,d)$

Pour obtenir les bons chiffres, nous ferons quelque chose de similaire. Étant donné que la distribution de probabilité donnée par l'algorithme randomisé est -tolérante sur nous avons que $q$ $R$ $\lambda$ $\mathcal{A}_0$ Si nous remplaçons la familleparnous voyons que

\begin{aligned} λ & \geq max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \\ \geq \sum_{x \in I} d (x) \sum_{A \in A_{0}} q (a) \cdot ϵ (A, x) \\ = \sum_{A \in A_{0}} q (a) \sum_{x \in I} d (x) \cdot ϵ (A, x) \\ \geq min_{A \in A_{0}} {\sum_{x \in I} d (x) \cdot ϵ (A, x)} . \end{aligned}

$\begin{align*} \lambda &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \sum_{x\in\mathcal{I}} d(x) \sum_{A\in \mathcal{A}_0} q(a)\cdot \epsilon(A,x)\\ &= \sum_{A\in \mathcal{A}_0} q(a)\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x)\\ &\geq \min_{A\in \mathcal{A}_0}\left\{ \sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}. \end{align*}$

A_{0}

$\mathcal{A}_0$

β (2 λ)

$\beta(2\lambda)$

\begin{aligned} λ & \geq max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \\ \geq max_{x \in I} {\sum_{A \in β (2 λ)} q (A) \cdot ϵ (A, x)} \\ \geq \sum_{x \in I} d (x) \sum_{A \in β (2 λ)} q (a) \cdot ϵ (A, x) \\ = \sum_{A \in β (2 λ)} q (a) \sum_{x \in I} d (x) \cdot ϵ (A, x) \\ \geq min_{A \in β (2 λ)} {\frac{1}{2} \sum_{x \in I} d (x) \cdot ϵ (A, x)}, \end{aligned}

$\begin{align*} \lambda &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \max_{x\in \mathcal{I}}\left\{ \sum_{A\in\beta(2\lambda)} q(A)\cdot \epsilon(A,x) \right\}\\ &\geq \sum_{x\in\mathcal{I}} d(x) \sum_{A\in \beta(2\lambda)} q(a)\cdot \epsilon(A,x)\\ &= \sum_{A\in \beta(2\lambda)} q(a)\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x)\\ &\geq \min_{A\in \beta(2\lambda)}\left\{ \frac{1}{2}\sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}, \end{align*}$

où la deuxième inégalité suit parce que , et la dernière inégalité est donnée par la définition de où la somme divisée par 2 ne peut pas être supérieure à . Par conséquent, $\beta(2\lambda) \subseteq \mathcal{A}_0$ $\beta(2\lambda)$ $\lambda$

max_{x \in I} {\sum_{A \in A_{0}} q (A) \cdot ϵ (A, x)} \geq \frac{1}{2} min_{A \in β (2 λ)} {\sum_{x \in I} d (x) \cdot ϵ (A, x)} .

$\begin{equation}\max_{x\in \mathcal{I}}\left\{ \sum_{A\in\mathcal{A}_0} q(A)\cdot \epsilon(A,x) \right\}\geq\frac{1}{2} \min_{A\in \beta(2\lambda)}\left\{ \sum_{x\in\mathcal{I}} d(x) \cdot \epsilon(A,x) \right\}. \end{equation}$

En notant que correspond à et correspond à et à la revendication 1 ci-dessus, nous pouvons maintenant remplacer en toute sécurité la fonction dans l'inégalité ci-dessus par pour obtenir l'inégalité souhaitée. $\epsilon$ $\{0,1\}$ $r$ $\mathbb{N}$ $\epsilon$ $r(A,x)$

— Marcos Villagra
source

Existe-t-il une brève explication de l'origine du facteur 2?

— Robin Kothari

en bref, cela vient de la définition de

. La somme dans la définition divisée par 2 est au plus

β (2 λ)

$\beta(2\lambda)$

λ

$\lambda$

— Marcos Villagra

max_{A \in β (2 λ))} {\frac{1}{2} \sum_{x \in I} d (x), ϵ (A, x)} \leq λ

$\max_{A \in \beta(2\lambda))} \left\{\frac{1}{2} \sum_{x \in \mathcal{I}}{d(x), \epsilon(A,x)}\right\} \leq \lambda$

ϵ

$\epsilon$

r

$r$

concernant votre première question, j'ai ajouté plus de détails.

— Marcos Villagra