Questions marquées «shannon-entropy»

4
L'équivalence eta pour les fonctions est-elle compatible avec l'opération seq de Haskell?
Lemme: En supposant une équivalence éta, nous avons cela (\x -> ⊥) = ⊥ :: A -> B. Preuve: ⊥ = (\x -> ⊥ x)par eta-équivalence, et (\x -> ⊥ x) = (\x -> ⊥)par réduction sous lambda. Le rapport Haskell 2010, section 6.2 spécifie la seqfonction par deux équations: …
3
Sur l'entropie d'une somme
Je cherche une borne sur l'entropie de la somme de deux variables aléatoires discrètes indépendantes X et Y . Naturellement, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Cependant, appliqué à la somme de n variables aléatoires Bernoulli indépendantes …
2
Résultats de codage de canal utilisant la complexité de Kolmogorov
L'entropie de Shannon est généralement utilisée pour prouver les résultats du codage de canal. Même pour les résultats de séparation source-canal, l'entropie shannon est utilisée. Étant donné l'équivalence entre les notions d'information de Shannon (global) et de Kolmogorov (local), y a-t-il eu une étude pour utiliser la complexité de Kolmogorov …
1
Qui a inventé le terme «entropie empirique»?
Je connais le travail de Shannon avec l'entropie, mais récemment j'ai travaillé sur des structures de données succinctes dans lesquelles l' entropie empirique est souvent utilisée dans le cadre de l'analyse du stockage. Shannon a défini l'entropie des informations produites par une source d'informations discrète comme −∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i} , …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.