Limiter les informations mutuelles en fonction des informations mutuelles ponctuelles

Supposons que j'ai deux ensembles $X$ et $Y$ et une distribution de probabilité conjointe sur ces ensembles $p(x,y)$ . Soit $p(x)$ et $p(y)$ les distributions marginales sur $X$ et $Y$ respectivement.

Les informations mutuelles entre $X$ et $Y$ sont définies comme suit:

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

c'est-à-dire qu'il s'agit de la valeur moyenne de l'information mutuelle ponctuelle pmi $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$ .

Supposons que je connaisse les bornes supérieures et inférieures sur pmi $(x,y)$ : c'est-à-dire que je sais que pour tout $x,y$ les conditions suivantes sont réunies:

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

Quelle limite supérieure cela implique-t-il sur $I(X; Y)$ . Bien sûr, cela implique que $I(X; Y) \leq k$ , mais j'aimerais une limite plus serrée si possible. Cela me semble plausible parce que p définit une distribution de probabilité, et pmi $(x,y)$ ne peut pas prendre sa valeur maximale (ou même être non négative) pour chaque valeur de $x$ et $y$ .

entropy mutual-information information-theory

— Florian
source

Lorsque les probabilités conjointe et marginale sont uniformes, pmi (

) est uniformément nul (et donc non négatif, contredisant apparemment votre dernière affirmation, mais à peine). Il me semble, si je ne me trompe pas, que perturber cette situation sur de petits sous-ensembles de

indique que les bornes sur pmi ne disent presque rien sur

lui-même.

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— whuber

En fait, si

sont indépendants, alors

est constant, quelles que soient les distributions marginales. Il y a donc toute une classe de distributions

pour laquelle

obtient sa valeur maximale pour chaque

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— Cardinal

Oui, il est certainement vrai que pmi

peut être égal pour tous les

, mais cela n'exclut pas une limite plus stricte. Par exemple, il n'est pas difficile de prouver que

. Il s'agit de

lorsque

, et est un renforcement non trivial de la borne

lorsque

. Je me demande s'il y a des limites non triviales qui tiennent plus généralement.

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian

Je doute que vous ayez une meilleure limite que

pour

. Si vous voulez regarder plus loin, essayez de reformuler votre question en termes de divergence KL entre p (x) p (y) et p (x, y). L'inégalité de Pinsker fournit une limite inférieure sur le MI qui pourrait confirmer mon intuition. Voir également la section 4 de ajmaa.org/RGMIA/papers/v2n4/relog.pdf .

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

Réponses:

Ma contribution consiste en un exemple. Il illustre certaines limites sur la façon dont les informations mutuelles peuvent être limitées, étant donné les limites des informations mutuelles ponctuelles.

Prendre et pour tout . Pour tout soit la solution de l'équation $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$ Ensuite, nous plaçons la masse ponctuelle

points dans l'espace produit

de telle sorte qu'il y ait

de ces points dans chaque ligne et chaque colonne. (Cela peut être fait de plusieurs manières. Commencez, par exemple, avec les premiers

points de la première ligne, puis remplissez les lignes restantes en décalant les

points de un à droite avec une condition de limite cyclique pour chaque ligne). On place la masse ponctuelle

dans les

restants

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$

e^{- k} / n^{2}

$e^{-k}/n^2$

points. La somme de ces masses ponctuelles est

n^{2} - n m

$n^2 - nm$

ils donnent donc une mesure de probabilité. Toutes les probabilités ponctuelles marginales sont

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

afindeux distributions marginales sont uniformes.

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

Par la construction, il est clair que pour tout , et (après quelques calculs) $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$ avec l'information mutuellecomportant commepouret commepour.

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
source

Je ne sais pas si c'est ce que vous recherchez, car il est principalement algébrique et ne tire pas vraiment parti des propriétés de p étant une distribution de probabilité, mais voici quelque chose que vous pouvez essayer.

$\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

I'm not sure if that's helpful or not.

EDIT: Upon further review I believe this is actually less useful than the original upper bound of k. I won't delete this though in case it might hint at a starting point.

— Michael McGowan
source

The value of this bound becomes apparent after you note

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$ and (since

k \geq 0

$k \ge 0$ ) that

e^{k} \geq 1

$e^k \ge 1$ .

— whuber

Yes, when I realized that I made my edit.

— Michael McGowan