Existe-t-il une généralisation de la théorie de l'information aux informations connaissables polynomialement?

9

Je m'excuse, c'est une question un peu "douce".

La théorie de l'information n'a pas de concept de complexité informatique. Par exemple, une instance de SAT ou une instance de SAT plus un bit indiquant la satisfiabilité transportent la même quantité d'informations.

Existe-t-il un moyen de formaliser le concept de "polynomialement connaissable"?

Un tel cadre pourrait définir par exemple la notion de divergence polynomiale-KL entre une variable aléatoire X relative Y comme le nombre de bits nécessaires pour calculer X en temps polynomial étant donné Y.

De même, l'entropie d'une variable aléatoire X pourrait être définie comme le nombre de bits nécessaires pour coder X d'une manière qui peut être décodée en temps polynomial.

Une telle généralisation a-t-elle été étudiée? Peut-il être rendu cohérent?

cc.complexity-theory it.information-theory polynomial-time

— Arthur B
source

1

Avez-vous essayé de poser cette question sur Cryptography SE crypto.stackexchange.com ?

— Zsbán Ambrus

2

Il est possible que les gens de la cryptographie aient une réponse, mais la question est parfaitement sur le sujet ici, et je soupçonne qu'elle pourrait avoir une meilleure chance d'obtenir une bonne réponse ici. Juste une petite note: veuillez ne pas republier la même question sur Crypto.SE; la publication croisée sur plusieurs sites SE est interdite par les règles du site.

— DW

9

$U$ $t(n)$ $x$ $y$ $U$ $K^t_U(x | y)$ $U$ $p$ $U$ $U(p,y)=x$ $U(p,y)$ $t(|x|)$

Cependant, dans ce contexte limité dans le temps, tous les théorèmes habituels de la théorie de l'information ne sont pas connus. Par exemple, la symétrie de l'information est connue pour sa complexité habituelle de Kolmogorov (sans limite de temps), mais elle n'est pas connue pour sa durée. Voir, par exemple, le chapitre 6 de la thèse de Troy Lee .

Si vous craignez que cela s'applique aux chaînes plutôt qu'aux distributions, je suggère de lire les articles suivants, qui disent qu'en fait, la complexité des chaînes de Kolmogorov et l'entropie des distributions de Shannon sont très étroitement liées:

Grunwald et Vitanyi. L'information de Shannon et la complexité de Kolmogorov
Marteau, Romashchenko, Shen, Vereshchagin. Inégalités pour l'entropie de Shannon et la complexité de Kolmogorov .

(D'un autre côté, il existe certaines propriétés qui ne sont pas partagées entre les deux, voir Muchnik & Vereshchagin, Shannon Entropy vs. Kolmogorov Complexity .)

— Joshua Grochow
source

Ma principale préoccupation serait que le temps dépend de la machine de Turing. Comme les machines de Turing peuvent s'émuler entre elles avec au plus une accélération ou un ralentissement polynomial, pénaliser la complexité par log (log (t)) semblerait les rendre équivalentes jusqu'à une constante additive. Cependant, la complexité de Levin utilise log (t), je ne sais pas pourquoi.

— Arthur B

1

t (n)

$t(n)$

\log \log t

$\log \log t$

2

Un problème est que bon nombre des théorèmes auxquels nous sommes habitués en théorie de l'information, ne tiennent pas dans le monde informatique. Par conséquent, même si nous formalisions un analogue informatique de l'entropie, la théorie résultante pourrait ne plus ressembler à la théorie de l'information.

$f$ $H(f(X)) \le H(X)$ $H(f(X)) \le H(X)$

— DW
source

Je comprends, je me demande juste combien peut être récupéré ou patché. Dans ce cas, vous pouvez ajouter la contrainte que f est polynomialement inversible, mais cela semble ad hoc

— Arthur B

Je pense que la graine contient plus d'informations que la chaîne générée par pseudo-aléatoire, car nous pouvons calculer la chaîne générée à partir de la graine.

— Kaveh

@Kaveh, si vous parlez dans un sens théorique de l'information: si le générateur pseudo-aléatoire est inversible (peut-être pas en temps polynomial, mais en principe), alors ses entrées et sorties ont la même quantité d'informations, théoriquement informationnelles; sinon, si le subjectif pseudo-aléatoire n'est pas inversible, alors vous avez raison.

— DW

0

Je ne connais pas de modèle de calcul théroétique de l'information, mais il existe des applications claires de la théorie de l'information à la complexité de calcul.

$n \log n$

Plus généralement, les résultats de la théorie de l'information peuvent servir de limites inférieures à la complexité de calcul. Par exemple, le résultat «théorique de l'information» de Yao sur la complexité de la communication {1} implique des limites inférieures de calcul pour déterminer si deux ensembles sont égaux. Des applications plus sophistiquées de la complexité des communications fournissent des compromis temps-espace pour les machines de Turing {2}.

{1} Yao, Andrew Chi-Chih. "Quelques questions de complexité liées à l'informatique distributive (rapport préliminaire)." Actes du onzième symposium annuel de l'ACM sur la théorie de l'informatique. ACM, 1979.

{2} Eyal Kushilevitz: complexité de la communication. Advances in Computers 44: 331-360 (1997).

— Ari Trachtenberg
source