Des preuves qui révèlent une structure plus profonde

35

La preuve standard de la borne de Chernoff (du manuel Randomized Algorithms ) utilise les fonctions d'inégalité de Markov et de génération de moments, avec un peu de développement de Taylor, rien de trop difficile, mais plutôt mécanique.

Mais il existe d'autres preuves liées de Chernoff qui exposent la structure plus profonde qui conduit au résultat. Par exemple, il existe une version de la théorie de l'information qui passe par la méthode des types, illustrée par cet article d' Impagliazzo et de Kabanets , ainsi que par ce bref article de Sanjoy Dasgupta . Ces dernières preuves sont plus "intuitives" en ce qu'elles fournissent une généralisation du résultat standard, tout en expliquant d'où viennent les termes amusants de l'exposant (c'est une divergence KL).

Quels sont de bons exemples de telles choses? Pour être plus concret, voici les règles:

La déclaration devrait être assez bien connue (le genre de chose qui serait enseigné dans une sorte de classe de troisième cycle)

Il devrait y avoir une preuve "standard" disponible dans les manuels scolaires ou le matériel de référence standard enseigné "couramment"

Il devrait exister une autre preuve moins bien connue, qui n'est PAS enseignée couramment et qui prouve soit un énoncé plus général, soit le lie à une structure mathématique plus profonde.

Je commencerai par deux exemples.

Le chernoff lié
- preuve de "manuel": inégalité de Markov, fonctions génératrices de moment, expansion de Taylor (MR)
- Preuve rare et perspicace: méthode des types, exposant de queue avec divergence KL
La lemma de Schwartz-Zippel
- preuve "de manuel": cas de base impliquant un polynôme univarié. Induction sur nombre de variables
- preuve "peu commune": argument géométrique via Dana Moshkovitz (et Per Vognsen )

Un exemple par réponse s'il vous plaît.

ps Je n'insinue pas nécessairement qu'il faut enseigner la preuve peu commune : une preuve directe est souvent plus facile pour les étudiants. Mais dans le sens où "les preuves nous aident à comprendre", ces preuves alternatives sont très utiles.

big-list proofs

— Suresh Venkat
source

23

Je ne suis pas sûr que ce soit tout à fait ce que vous recherchez, car j'ai déjà vu la preuve "inhabituelle" dans les manuels, mais: le temps O (n log n) pour le tri rapide.

Preuve "manuel": établissez une relation de récurrence aléatoire, prouvez par induction qu'elle possède la solution désirée.
Preuve "peu commune": trouvez une formule simple pour la probabilité que deux éléments quelconques soient comparés (c'est juste 2 / (d + 1) où d est la différence entre leurs rangs dans l'ordre de tri), et utilisez la linéarité des attentes et des séries harmoniques pour calculer le nombre attendu de paires comparées.

La preuve de manuel nécessite moins de perspicacité créative, mais la preuve peu commune introduit une technique très utile dans l’analyse d’autres algorithmes, par exemple pour les algorithmes incrémentaux aléatoires en géométrie de calcul.

— David Eppstein
source

3

Je pense que ça marche. c'est un bel exemple. vous avez raison de dire que la preuve "inhabituelle" se trouve également dans les manuels scolaires, mais qu'elle n'est pas courante.

— Suresh Venkat

1

J'enseigne aux étudiants de premier cycle cette preuve "inhabituelle" depuis plus d'une décennie.

— Jeffε

Je ne sais pas ce que les autres en pensent; mais Jon Bentley a donné une analyse d'exécution très élégante pour le temps d'exécution attendu du tri rapide dans le texte Beautiful Code. Vous pouvez également accéder à sa vidéo sur le même sujet <a href=" youtube.com/watch?v=aMnn0Jq0J-E"> ici </ a >. Je suis à peu près sûr que ceci est "l'analyse du livre" de la durée d'exécution prévue de quicksort

— Akash Kumar le

19

J'en jetterai un de la complexité, la preuve que BPP est dans . La preuve du manuel est due à Lautemann, écrivez simplement l' expression et montrez qu'elle fonctionne avec un simple argument probabiliste. La preuve peu commune: Devinez une fonction difficile ( pour deviner, pour vérifier la dureté) et branchez-la au générateur Nisan-Wigderson. $\Sigma_2^p$ $\exists\forall$ $\exists$ $\forall$

— Lance Fortnow
source

Ajoutant à cela, la preuve de Lautemann simplifie grandement la preuve de Sipser (1983), qui est attribuée par Sipser à Gacs.

— MS Dousti,

1

Existe-t-il une référence à la preuve "inhabituelle" ou s'agit-il de folklore?

— MS Dousti,

2

La preuve est dans le papier de Nisan-Wigderson.

— Lance Fortnow

2

C'est une "preuve peu commune", mais quelle est la "nouvelle compréhension" de cette preuve? Je pense que la preuve de Lautemann est plus éclairante. Est-ce que j'ai râté quelque chose?

— V Vinay

13

Nous savons tous que pour Bernoulli devrait se comporter comme un gaussien avec écart type , n'est-ce pas? Alors prouvons-le en nous rapportant directement aux Gaussiens! Prenant un entier, $\sum_i a_iX_i$ $\pm 1$ $X_i$ $\sigma = \|a\|_2$ $t \ge 2$

\begin{array}{rcl} E [{(\sum_{i} a_{i} X_{i})}^{t}] & = & \sum_{i_{1}, \dots, i_{t}} (\prod_{j = 1}^{t} a_{i_{j}}) E [\prod_{j = 1}^{t} X_{i_{j}}] \\ \leq & \sum_{i_{1}, \dots, i_{t}} (\prod_{j = 1}^{t} | a_{i_{j}} |) E [\prod_{j = 1}^{t} X_{i_{j}}] \\ = & \sum_{\begin{matrix} i_{1} < \dots < i_{m} \\ r_{1}, \dots, r_{m} \\ \sum_{j} r_{j} = t \\ \forall j r_{j} > 0 \end{matrix}} (\binom{t}{r_{1}, \dots, r_{m}}) (\prod_{j = 1}^{m} | a_{i_{j}} |^{r_{j}}) (\prod_{j = 1}^{m} E [X_{i_{j}}^{r_{j}}]) \end{array}

$\begin{eqnarray*} \mathbf{E}\left[\left(\sum_i a_iX_i\right)^t\right] &=& \sum_{i_1,\ldots,i_t} \left(\prod_{j=1}^t a_{i_j}\right) \mathbf{E}\left[\prod_{j=1}^t X_{i_j}\right]\\ &\le& \sum_{i_1,\ldots,i_t} \left(\prod_{j=1}^t |a_{i_j}|\right) \mathbf{E}\left[\prod_{j=1}^t X_{i_j}\right]\\ &=& \sum_{\substack{i_1<\ldots< i_m\\ r_1,\ldots,r_m\\ \sum_j r_j = t\\ \forall j\ r_j > 0}} \binom{t}{r_1,\ldots,r_m}\left(\prod_{j=1}^m |a_{i_j}|^{r_j}\right)\left(\prod_{j=1}^m \mathbf{E}[X_{i_j}^{r_j}]\right) \end{eqnarray*}$

Maintenant, regardons la somme ci-dessus à droite. Dans tout sommand donné, soit certains sont impairs, rendant l'espérance égale à , soit tous sont pairs, ce qui donne . Imaginez que vous tous les par des Gaussian . Nous serions alors dans un scénario similaire: impair donnerait , et même ferait le produit au moins à . Ainsi, le cas gaussien terme par terme domine le cas Bernoulli. Ainsi, $r_j$ $0$ $1$ $X_i$ $G_i$ $r_j$ $0$ $r_j$ $1$

E [{(\sum_{i} a_{i} X_{i})}^{t}] \leq E [{(\sum_{i} | a_{i} | G_{i})}^{t}]

$\mathbf{E}\left[\left(\sum_i a_iX_i\right)^t\right] \le \mathbf{E}\left[\left(\sum_i |a_i|G_i\right)^t\right]$

Mais, par stabilité du gaussien, est lui-même un gaussien avec écart type , nous connaissons donc ses moments! Ainsi, notre e moment est délimité par (Approximativement ); c'est ce qu'on appelle l'inégalité de Khintchine. Ensuite, $2$ $\sum_i |a_i| G_i$ $\|a\|_2$ $t$ $\|a\|_2^t \cdot t! / (2^{t/2} \cdot (t/2)!)$ $\|a\|_2^tt^{t/2}$

P r [| \sum_{i} a_{i} X_{i} | > λ] < 2^{O (t)} \cdot λ^{- t} \cdot ‖ a ‖_{2}^{t} t^{t / 2}

$\mathbf{Pr}\left[\left|\sum_i a_iX_i\right| > \lambda\right] < 2^{O(t)}\cdot \lambda^{-t}\cdot \|a\|_2^t t^{t/2}$ Définissez pour une constante suffisamment grande et vous obtenez la queue gaussienne liée à . J'ai d'abord entendu cette preuve de l'inégalité de Khintchine lorsque je discutais avec Daniel Kane, mais il y a probablement une référence plus ancienne. Notez que la preuve indique également quel niveau d’indépendance parmi les vous avez besoin pour obtenir différentes limites.

t = λ^{2} / (C \cdot ‖ a ‖_{2}^{2})

$t = \lambda^2 / (C\cdot \|a\|_2^2)$

C

$C$

e x p (- Ω (λ^{2} / ‖ a ‖_{2}^{2}))

$\mathrm{exp}(-\Omega(\lambda^2 / \|a\|_2^2))$

X_{i}

$X_i$

— Jelani Nelson
source

6

Minc a conjecturé et Brégman a prouvé que si est une matrice 0-1 avec 1 dans la rangée , alors le permanent de est au plusLa méthode probabiliste d' Alon et Spencer contient une courte preuve , mais on peut soutenir que la preuve de "livre" est la preuve utilisant l'entropie de Jaikumar Radhakrishnan ( J. Combin. Theory Ser. A 77 (1997), 161-164). Il ne ressort pas du tout de l’énoncé du résultat que le concept d’entropie est ici sous-jacent. $A$ $r_i$ $i$ $A$

\prod_{i} (r_{i}!)^{1 / r_{i}} .

$\prod_i (r_i!)^{1/r_i}.$

— Timothy Chow
source