A l'inverse de l'inégalité de Fano?

10

L'inégalité de Fano peut être exprimée sous de nombreuses formes, et une particulièrement utile est due (avec une modification mineure) à Oded Regev :

Soit une variable aléatoire, et soit où est un processus aléatoire. Supposons l'existence d'une procédure qui, avec puisse reconstruire avec une probabilité . Alors $X$ $Y = g(X)$ $g(\cdot)$ $f$ $y = g(x)$ $x$ $p$
$I (X; Y) \geq p H (X) - H (p)$ $I(X; Y) \ge pH(X) − H(p)$

En d'autres termes, si je peux reconstruire, il y a beaucoup d'informations mutuelles dans le système.

Y a-t-il une "réciproque" à l'inégalité de Fano: quelque chose de la forme

"Étant donné un canal avec suffisamment d'informations mutuelles, il existe une procédure pour reconstruire l'entrée à partir de la sortie avec une erreur qui dépend des informations mutuelles"

Il serait excessif de s'attendre à ce que cette procédure soit également efficace, mais il serait également intéressant de voir des exemples (naturels) où la reconstruction existe mais doit être inefficace.

it.information-theory randomized-algorithms

— Suresh Venkat
source

12

Considérons la procédure de reconstruction : étant donné , la sortie telle que est maximisée. La probabilité de cette procédure est . C'est aussi , où est l' entropie min de la variable aléatoire conditionnée à . Nous savons que , où est l'entropie de Shannon norme de la variable aléatoire . Il ne nous reste plus qu'à borne supérieure $P(y)$ $y$ $x$ $\Pr[X = x \mid Y = y]$ $\max_x \Pr[x \mid Y = y]$ $2^{-H_\infty(X | Y = y)}$ $H_\infty(X \mid Y = y)$ $X$ $Y = y$ $H_\infty(X) \leq H_1(X)$ $H_1(X)$ $X$ $H_\infty(X|Y = y)$ en termes d'informations mutuelles . $I(X:Y)$

Écrivez . En utilisant l'inégalité mentionnée ci-dessus, , ou . $I(X:Y) = H(X) - H(X|Y) = H(X) - \mathbb{E}_y[H(X \mid Y = y)]$ $I(X:Y) \leq H(X) - \mathbb{E}_y[H_\infty(X \mid Y = y)]$ $\mathbb{E}_y[H_\infty(X \mid Y = y)] \leq H(X) - I(X:Y)$

La probabilité que la procédure réussisse lorsque et sont choisis au hasard est , qui par concavité est d'au moins . Ainsi, la probabilité que la procédure réussisse est d'au moins . $X$ $Y$ $\mathbb{E}_y [2^{-H_\infty(X\mid Y = y)}]$ $2^{-\mathbb{E}_y[H_\infty(X \mid Y = y)]}$ $2^{I(X:Y) - H(X)}$

Cette procédure est optimale: pour toute procédure aléatoire , la probabilité de succès est , qui est maximisé au niveau du point lorsque génère de manière déterministe le le plus probable . $P$ $\mathbb{E}_y [ \sum_{x} \Pr(X = x \mid Y = y) \Pr(P(y) = x) ]$ $P(y)$ $x$

— Henry Yuen
source

1

Alors, y a-t-il un énoncé quantitatif qui est l'inverse de l'inégalité de Fano qui découle de cet argument?

— mobius dumpling

Qu'entendez-vous par quantitatif? L'argument que j'ai donné ci-dessus devrait dire: "Étant donné un canal avec des informations mutuelles , il existe une procédure de reconstruction avec une erreur au plus ."

I (X : Y)

$I(X:Y)$

1 - 2^{I (X : Y) - H (X)}

$1 - 2^{I(X:Y) - H(X)}$

— Henry Yuen

2

Belle réponse et preuve. Ainsi, la limite de votre réponse peut également être réécrite puisque par définition. Cela est apparu dans IEEE ISIT 1994, dans une conférence de Baumer, à ma connaissance.

p_{e r r} \leq 1 - 2^{I (X; Y) - H (X)} = 1 - 2^{- H (X | Y)}, (1)

$p_{err} \leq 1-2^{I(X;Y)-H(X)}=1-2^{-H(X|Y)},\quad\quad(1)$

I (X; Y) = H (X) - H (X | Y)

$I(X;Y)=H(X)-H(X|Y)$

Dans la même veine, on peut obtenir où est l'entropie Renyi d'ordreIci, donc la borne (2) est plus serrée que (1).

p_{e r r} \leq 1 - \sum_{y \in Y} P_{Y} (y) 2^{- H_{2} (X | Y)}, (2)

$p_{err} \leq 1 - \sum_{y \in {\cal Y}} P_Y(y) 2^{-H_2(X|Y)},\quad\quad(2)$

H_{α} (Z) = \frac{1}{1 - α} (\sum_{z \in Z} P_{Z} (z)^{α})

$H_{\alpha}(Z)=\frac{1}{1-\alpha}\left( \sum_{z \in {\cal Z}} P_Z(z)^{\alpha}\right)$

α \in (0, 1) \cup (1, \infty) .

$\alpha \in (0,1)\cup(1,\infty).$

α = 2,

$\alpha=2,$

— kodlu
source