L'entropie d'une distribution bruyante

Supposons que nous ayons une fonction telle que et est une distribution, c'est-à-dire .$f:\mathbb{Z}_2^n \to \mathbb{R}$

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ $f$$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

L'entropie de Shannon de est définie comme suit: $f$

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

Soit une constante. Disons que nous obtenons une version de , c'est-à-dire que nous obtenons une fonction telle que pour chaque . Quel est l'effet du bruit sur l'entropie? Autrement dit, pouvons-nous lié par une fonction "raisonnable" de et , comme: ou même, pour certaines constantes .$\epsilon$$\epsilon$$f(x)$$\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$$|\tilde{f}(x)- f(x) | < \epsilon$$x\in \mathbb{Z}_2^n$$H(\tilde{f})$$\epsilon$$H(f)$

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ $c,d$

Edit: Essayer d'avoir une idée de l'effet du bruit sur l'entropie de Shannon, tout additif "raisonnable" lié à serait également très intéressant.$H(\tilde{f})$

Une telle limite n'est pas possible. Considérons le cas où est la distribution uniforme sur un ensemble de taille , et que soit la distribution qui avec probabilité génère un élément uniformément distribué de , et génère sinon une chaîne uniformément distribuée.$f$$S$$2^{\delta \cdot n}$$\tilde{f}$$\delta$$S$

Il n'est pas difficile de voir que vous pouvez passer de à vous avez seulement besoin d'un bruit d'au plus . Cependant, tandis que . Ainsi, vous obtenez une différence de pour arbitrairement petit pour un bruit extrêmement faible.$f$$\tilde{f}$$(1-\delta) \cdot 2^{-\delta \cdot n}$$H(f)= \delta \cdot n$$H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$$(1 - \delta)^2 \cdot n$$\delta$

En particulier, vous pouvez définir , et obtenir le bruit et la différence d'entropie .$\delta = \frac{\log(1/\varepsilon)}{n}$$\varepsilon$$\approx n - 2\log(1/\varepsilon)$