Sur l'entropie d'une somme

12

Je cherche une borne sur l'entropie de la somme de deux variables aléatoires discrètes indépendantes et . Naturellement, Cependant, appliqué à la somme de variables aléatoires Bernoulli indépendantes , cela donne $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

En d'autres termes, la borne croît linéairement avec

lorsqu'elle est appliquée de façon répétée. Cependant,

est supporté sur un ensemble de taille

, donc son entropie est au plus

. En fait, par le théorème delimite centrale, je suppose que

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

car il est essentiellement supporté sur un ensemble de taille

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$

.

\sqrt{n}

$\sqrt{n}$

En bref, la borne dépasse largement dans cette situation. En parcourant ce billet de blog , je suppose que toutes sortes de limites sur sont possibles; Existe-t-il une limite qui donne les bonnes asymptotiques (ou, du moins, des asymptotiques plus raisonnables) lorsqu'elle est appliquée à plusieurs reprises à la somme des variables aléatoires de Bernoulli? $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— robinson
source

2

Je ne sais pas vraiment ce que vous demandez. Si vous voulez une borne supérieure sur H (X + Y) en termes de H (X) et H (Y) qui est applicable à deux variables aléatoires discrètes indépendantes X et Y, alors H (X + Y) ≤H (X ) + H (Y) est clairement le meilleur que vous puissiez obtenir; considérons le cas où les sommes x + y sont toutes distinctes lorsque x s'étend sur le support de X et y s'étend sur le support de Y. Si vous appliquez ce général lié à un cas très spécial, alors il est naturel que vous obteniez un très reliure lâche.

— Tsuyoshi Ito du

1

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

1

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

2

Cela signifie que ce que vous recherchez n'est pas une limite supérieure sur H (X + Y) en termes de H (X) et H (Y) . Veuillez modifier la question.

— Tsuyoshi Ito du

1

Z_{i}

$Z_i$

n

$n$

19

$X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

$|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

$|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

$A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— Boaz Barak
source

5

$n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
source

0

Vous pourriez peut-être utiliser l'équation:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

Cela ressemblerait à un terme que vous avez mentionné dans les commentaires, malheureusement je ne connais pas de résultats sur la cardinalité des termes négatifs ou des limites perspicaces sur eux.

— Meule
source