Questions marquées «it.information-theory»

Questions en théorie de l'information

13
La théorie de l'information est-elle utilisée pour prouver des déclarations combinatoires ordonnées?
Quels sont vos exemples préférés dans lesquels la théorie de l’information est utilisée pour prouver de façon simple une déclaration combinatoire nette? Certains exemples auxquels je peux penser sont liés aux limites inférieures pour les codes localement décodables, par exemple, dans cet article: supposons que pour un tas de chaînes …
3
Quel est le volume d'informations?
Cette question a été posée à Jeannette Wing après sa présentation de PCAST sur la science informatique. «Du point de vue de la physique, y a-t-il un volume maximal d'informations que nous pouvons avoir?» (Une question intéressante pour la communauté informatique théorique, car je pense que cela soulève la question …
1
Hash de filtres Bloom: plus ou plus gros?
Dans l'implémentation d'un filtre Bloom, l'approche traditionnelle nécessite plusieurs fonctions de hachage indépendantes. Kirsch et Mitzenmacher ont montré que vous n'en avez besoin que de deux et que vous pouvez générer le reste sous forme de combinaisons linéaires. Ma question est: quelle est vraiment la différence entre deux fonctions de …
5
L'utilité des entropies Renyi?
La plupart d'entre nous connaissent - ou du moins ont entendu parler - l'entropie de Shannon d'une variable aléatoire, H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , et toutes les mesures théoriques de l'information connexes telles que l'entropie relative, informations mutuelles, etc. Il existe quelques autres mesures de l'entropie couramment utilisées …
4
L'équivalence eta pour les fonctions est-elle compatible avec l'opération seq de Haskell?
Lemme: En supposant une équivalence éta, nous avons cela (\x -> ⊥) = ⊥ :: A -> B. Preuve: ⊥ = (\x -> ⊥ x)par eta-équivalence, et (\x -> ⊥ x) = (\x -> ⊥)par réduction sous lambda. Le rapport Haskell 2010, section 6.2 spécifie la seqfonction par deux équations: …
1
L'entropie d'une convolution sur l'hypercube
Supposons que nous ayons une fonction f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R} , telle que ∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1 (nous pouvons donc penser à {f(x)2}x∈Zn2{f(x)2}x∈Z2n\{ f(x)^2\} _{x\in \mathbb{Z}_2^n} comme une distribution) . Il est naturel de définir l'entropie d'une telle fonction comme suit: H(f)=−∑x∈Zn2f(x)2log(f(x)2).H(f)=−∑x∈Z2nf(x)2log⁡(f(x)2).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x)^2 \log …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.