Deviner une faible valeur d'entropie en plusieurs tentatives

9

Supposons qu'Alice ait une distribution sur un domaine fini (mais peut-être très grand), de telle sorte que l'entropie (Shannon) de soit délimitée par une constante arbitrairement petite . Alice tire une valeur de , puis demande à Bob (qui connaît ) de deviner . $\mu$ $\mu$ $\varepsilon$ $x$ $\mu$ $\mu$ $x$

Quelle est la probabilité de réussite de Bob? S'il n'a qu'une seule supposition, alors on peut limiter cette probabilité comme suit: l'entropie limite la min-entropie, donc il y a un élément qui a une probabilité d'au moins . Si Bob choisit cet élément comme estimation, sa probabilité de succès sera de . $2^{-\varepsilon}$ $2^{-\varepsilon}$

Supposons maintenant que Bob soit autorisé à faire plusieurs suppositions, disons , et Bob gagne si l'une de ses suppositions est correcte. Existe-t-il un schéma de devinettes qui améliore la probabilité de réussite de Bob? En particulier, est-il possible de montrer que la probabilité de défaillance de Bob diminue exponentiellement avec $t$ $t$ ?

it.information-theory pr.probability

— Ou Meir
source

10

Le meilleur pari de Bob est de deviner les valeurs avec la plus grande probabilité. $t$

Si vous êtes prêt à utiliser l'entropie Rényi à la place, la proposition 17 de Boztaş ' Entropies, Guessing and Cryptography indique que la probabilité d'erreur après devine est au plus $t$ oùest la taille du domaine. Certes, la dépendance à l'égard deest assez mauvaise, et Boztaş était peut-être concentré sur un régime différent de l'entropie.

1 - 2^{- H_{2} (μ) (1 - \frac{\log t}{\log n})} \approx \ln 2 (1 - \frac{\log t}{\log n}) H_{2} (μ),

$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$

n

$n$

t

$t$

Pour l'entropie de Shannon, vous pouvez essayer de résoudre le problème de la double optimisation: étant donné une probabilité de défaillance fixe , trouvez l'entropie maximale d'une telle distribution. En utilisant la convexité de , nous savons que la distribution a la forme , où , $\delta$ $-x\log x$ $\mu$ $a,b,\ldots,b;b,\ldots,b,c$ $a\geq b\geq c$ $a+(t-1)b = 1-\delta$ , et . Nous avons $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$ valeurs qui obtiennent une probabilité. Conditionnement sur $t-1+\lfloor\frac{\delta}{b}\rfloor$ $b$ , nous pouvons essayer de trouverqui minimise l'entropie. Pour la valeur correcte de, ce sera un point interne (auquel la dérivée disparaît). Je ne sais pas comment obtenir des estimations asymptotiques en utilisant cette approche. $s = \lfloor\frac{\delta}{b}\rfloor$ $b$ $s$

— Yuval Filmus
source

Merci d'avoir répondu! J'ai essayé l'approche d'optimisation que vous proposez, mais je n'ai pas pu obtenir de bonnes estimations.

— Ou Meir

Salut Yuval, après quelques travaux supplémentaires, il semble que cette approche d'optimisation donne la solution. Malheureusement, dans ce cas également, l'erreur ne diminue que de manière inversement logarithmique dans le nombre de suppositions. Merci!

— Ou Meir

7

$X$ $N$ $N+H(X)$ $1/2$

C'est en partie la raison pour laquelle les gens ont continué à examiner les entropies de Renyi.

— kodlu
source