La théorie de l'information est-elle utilisée pour prouver des déclarations combinatoires ordonnées?

Quels sont vos exemples préférés dans lesquels la théorie de l’information est utilisée pour prouver de façon simple une déclaration combinatoire nette?

Certains exemples auxquels je peux penser sont liés aux limites inférieures pour les codes localement décodables, par exemple, dans cet article: supposons que pour un tas de chaînes binaires de longueur il en est de même pour chaque , pour différent paires { },Alors m est au moins exponentiel dans n, où l’exposant dépend linéairement du rapport moyen de . n i k i j 1 , j 2 e i = x j 1 ⊕ x j 2 . k i /$x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

Un autre exemple (lié) est certaines inégalités isopérimétriques sur le cube booléen (n'hésitez pas à en parler dans vos réponses).

Avez-vous d'autres exemples intéressants? De préférence, court et facile à expliquer.

La preuve de Moser de la lemma locale constructive de Lovasz . Il montre fondamentalement que, dans les conditions du lemme local, le deuxième algorithme le plus simple pour SAT auquel on puisse penser fonctionne. (La première solution peut être d’essayer simplement une assignation aléatoire jusqu’à ce que celle-ci fonctionne. La deuxième solution consiste à choisir une assignation aléatoire, à trouver une clause non satisfaite, à la satisfaire, puis à voir quelles autres clauses vous avez rompues, rappelées et répétées jusqu’à fin.) La preuve que cela fonctionne en temps polynomial est peut-être l'utilisation la plus élégante de la théorie de l'information (ou de la complexité de Kolmogorov, comme vous voulez l'appeler dans ce cas) que j'ai jamais vue.

Mon exemple préféré de ce type est la preuve du lemme de Shearer basée sur l'entropie. (J'ai appris cette preuve et plusieurs autres très jolies grâce à Entropy and Counting de Jaikumar Radhakrishnan .)

Revendication: Supposons que vous avez points dans qui ont projections distinctes sur le plan , projections distinctes sur le plan et projections distinctes sur le plan . Ensuite, .R 3 n x y z n y x z n z x y n 2 ≤ n x n y n $n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

Preuve: Soit un point uniformément choisi au hasard parmi les points. Soit , , ses projections sur les plans , et respectivement. n p x p y p z y z x z x $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

D'une part, , , et , par les propriétés de base de l'entropie.H [ p x ] ≤ log n x H [ p y ] ≤ log n y H [ p z ] ≤ log n $H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

Par contre, nous avons et aussi L'ajout des trois dernières équations nous donne: H [ z | x ] + H [ z | y ] ≥ 2 H [ x ] + 2 H [ y | x ] + 2 H [ z | x ,H [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [ z | x ] H

Nous avons donc , ou n 2 ≤ n x n y n z .$2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

La preuve entropie de Radhakrishnan du théorème de Bregman, que le nombre de couplages parfaits dans un graphe biparti ( L ∪ R , E ) est au plus Π v ∈ L ( d ( v ) ! ) 1 / d ( v ) . La preuve utilise deux idées très intelligentes. Voici un croquis de la preuve:$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• Sélectionnez une correspondance parfaite uniformément. L'entropie de cette variable est H ( M ) = log p .$M$$H(M) = \log p$
• Pour , que X v soit le sommet de R qui est adapté à v dans M .$v \in L$$X_v$$R$$v$$M$
• La variable a la même information que M , donc H ( M ) = H ( X ) .$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• Intelligent Idea 1: Par hasard (uniformément) sélectionner un ordre sur L , Radhakrishnan fournit une "règle de la chaîne aléatoire" indiquant H ( X ) = Σ v ∈ L H ( X v | X u : u < v , ≤ ) .$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• À partir des informations dans les conditions ( ), nous pouvons déterminer N v = | N ( v ) ∖ X u : u < v | (à peu près: le nombre de choix pour la correspondance v ).${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• Puisque est déterminé à partir de cette information, l'entropie conditionnée ne change pas dans l'égalité H ( X v | X u : u < v , ≤ ) = H ( X v | X u : u < v , ≤ , N v ) .$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• Idée intelligente 2: En "oubliant" l'information , on ne peut qu'augmenter l'entropie: H ( X v | X u : u < v , ≤ , N v ) ≤ H ( X v | N v ) .${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Fait fou: La variable est uniformément distribuée sur l’ensemble 1 , … , d ( v ) .$N_v$${1,\dots, d(v)}$
• Maintenant, pour calculer l'entropie , nous additionnons toutes les valeurs de N v : H ( X v | N v ) = ∑ d ( v ) i = 1$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• Le résultat est ensuite obtenu en combinant toutes les inégalités et en prenant des exposants.

La généralisation de cette inégalité est Kahn-Lovász Théorème: Le nombre de appariements parfaits dans tout graphe est au plus Π v ∈ V ( G ) ( d ( v ) ! ) 1 / 2 d ( v ) . Une preuve d'entropie de ce résultat a été prouvée par Cutler et Radcliffe .$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

De très bons exemples sont contenus dans deux articles de Pippenger. Une méthode de la théorie de l'information en théorie combinatoire. J. Comb. Théorie, Ser. A 23 (1): 99-104 (1977) et Entropie et énumération des fonctions booléennes. Transactions IEEE sur la théorie de l'information 45 (6): 2096-2100 (1999). En fait, plusieurs articles de Pippenger contiennent de jolies preuves de faits combinatoires par entropie / information mutuelle. En outre, les deux livres: Jukna, La combinatoire extrême avec des applications en informatique et Aigner, La recherche combinatoire en ont de bons exemples. J'aime aussi les deux papiers Madiman et al. Inégalités de la théorie de l'information dans la combinatoire additive et Terence Tao, estimations du jeu d'entropie (vous pouvez les trouver avec Google Scholar). J'espère que ça aide.

Un autre bon exemple est la preuve alternative de Terry Tao du lemme de régularité des graphes de Szemerédi . Il utilise une perspective théorique de l'information pour prouver une version forte du lemme de régularité, ce qui s'avère extrêmement utile pour prouver le lemme de régularité des hypergraphes . La preuve de Tao est de loin la preuve la plus concise pour le lemme de régularité de l'hypergraphe.

Permettez-moi d'essayer d'expliquer à un très haut niveau cette perspective de la théorie de l'information.

$G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$

$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$$E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$$E$$x_1 | U_1$$x_2 | U_2$$x_1$$x_2$

Il existe essentiellement un cours entier consacré à cette question:

https://catalyst.uw.edu/workspace/anuprao/15415/86751

Le cours est toujours en cours. Toutes les notes ne sont donc pas disponibles au moment de la rédaction. En outre, certains exemples du cours ont déjà été mentionnés.

$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$$\sim \log(1 / \epsilon)$

$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

$t > 1$

$P$$P$$O(\log |X|)$$X$$P$

Analyse de cas moyens d'algorithmes utilisant la complexité de Kolmogorov par Jiang, Li, Vitanyi.

«L'analyse de la complexité moyenne des algorithmes est un problème très pratique mais très difficile en informatique. Ces dernières années, nous avons démontré que la complexité de Kolmogorov est un outil important pour l'analyse de la complexité moyenne des cas des algorithmes. Nous avons développé la méthode d'incompressibilité [7]. Dans cet article, nous utilisons plusieurs exemples simples pour démontrer davantage la puissance et la simplicité de cette méthode. Nous prouvons des bornes sur le nombre moyen de cas de piles (files d'attente) nécessaires au tri séquentiel ou parallèle de Queueusort ou Stacksort. '

Voir aussi, par exemple, la complexité de Kolmogorov et un problème triangulaire de type Heilbronn .

L'équivalence de l'échantillonnage et de la recherche par Scott Aaronson. Il montre ici l’équivalence des problèmes d’échantillonnage et de recherche dans la théorie de la complexité en ce qui concerne la validité de la thèse étendue de Church-Turing. La théorie de l'information standard, la théorie de l'information algorithmique et la complexité de Kolmogorov sont utilisées de manière fondamentale.

Il souligne:
" Soulignons que nous n'utilisons pas la complexité de Kolmogorov uniquement pour des raisons de commodité technique, ni pour abréger un argument de comptage. Au contraire, la complexité de Kolmogorov semble essentielle même pour définir un problème de recherche .. "

Celui-ci est simple et approximatif: combien de combinaisons de 10 ⁶ choses sur 10 ⁹ , permettant des doublons? La bonne formule est

N = (10 ⁶ + 10 ⁹ )! / (10 ⁶ ! 10 ⁹ !) ~ = 2 ^{11409189.141937371}

Mais imaginez donner des instructions pour marcher le long d'une rangée de milliards de seaux, laissant tomber un million de billes dans les seaux le long du chemin. Il y aura ~ 10 ⁹ instructions "Pas à pas vers le seau suivant" et 10 ⁶ instructions "Laisser tomber une bille". L'information totale est

log ₂ (N) ~ = -10 ⁶ log ₂ (10 ⁶ / (10 ⁶ + 10 ⁹ )) - 10 ⁹ log ₂ (10 ⁹ / (10 ⁶ + 10 ⁹ )) ~ = 11409200.432742426

ce qui est drôle, mais très bon moyen d’approximer le (journal du) compte. J'aime ça parce que ça marche si j'oublie comment faire de la combinatoire. Cela équivaut à dire que

(a + b)! / une! b! ~ = (a + b) ^{(a + b)} / a ^a b ^b

ce qui revient à utiliser l'approximation de Stirling, à annuler et à rater quelque chose.

Une très belle application récente de Linial et Luria pour donner des limites supérieures aux permutations de grandes dimensions est ici: http://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf