Comment le journal (p (x, y)) normalise-t-il les informations mutuelles point par point?

9

J'essaie de comprendre la forme normalisée d'informations mutuelles ponctuelles.

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

Pourquoi la probabilité log-jointe normalise-t-elle les informations mutuelles ponctuelles entre [-1, 1]?

L'information mutuelle point par point est:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p (x, y) est borné par [0, 1] donc log (p (x, y)) est borné par (, 0]. Il semble que le log (p (x, y)) devrait en quelque sorte équilibrer les changements le numérateur, mais je ne comprends pas exactement comment. Cela me rappelle aussi l'entropie , mais encore une fois je ne comprends pas la relation exacte. $h=-log(p(x))$

entropy information-theory mutual-information

— 2cents
source

Pour commencer, les informations mutuelles ponctuelles utilisent un logarithme (je ne sais pas si sa faute de frappe ou si vous utilisez une autre quantité ).

— Piotr Migdal

12

À partir de l'entrée Wikipedia sur les informations mutuelles ponctuelles :

Les informations mutuelles ponctuelles peuvent être normalisées entre [-1, + 1], ce qui donne -1 (dans la limite) pour ne jamais se produire ensemble, 0 pour l'indépendance et +1 pour une cooccurrence complète.

Pourquoi cela arrive-t-il? Eh bien, la définition de l'information mutuelle ponctuelle est

p m i \equiv \log [\frac{p (x, y)}{p (x) p (y)}] = \log p (x, y) - \log p (x) - \log p (y),

$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$

alors que pour une information mutuelle normalisée ponctuelle, on entend :

n p m i \equiv \frac{p m i}{- \log p (x, y)} = \frac{\log [p (x) p (y)]}{\log p (x, y)} - 1.

$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$

Le quand il y a:

pas de co-occurrences, , donc nmpi est -1, $\log p(x,y)\to -\infty$
co-occurrences au hasard, , donc nmpi vaut 0, $\log p(x,y)= \log[p(x) p(y)]$
cooccurrences complètes, , donc nmpi vaut 1. $\log p(x,y)= \log p(x) = \log p(y)$

— Piotr Migdal
source

Ce serait une réponse plus complète pour montrer pourquoi npmi est sur l'intervalle . Voir ma preuve dans l'autre réponse.

[- 1, 1]

$[-1,1]$

— Hans

1

Bien que la réponse de Piotr Migdal soit informative en donnant les exemples où nmpi atteint trois valeurs extrêmes, cela ne prouve pas qu'il se trouve dans l'intervalle . Voici l'inégalité et sa dérivation. as pour tout événement . En divisant les deux côtés par le non négatif , nous avons $[-1,1]$

\begin{aligned} \log p (x, y) \\ \leq & \log p (x, y)) - \log p (x) - \log p (y) \\ = & \log \frac{p (x, y)}{p (x) p (y)} =: pmi (x; y) \\ = & \log p (y | x) + \log p (y | x) - \log p (x, y) \\ \leq & - \log p (x, y) \end{aligned}

$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$

- \log p (A) \geq 0

$-\log\,p(A)\ge0$

A

$A$

h (x, y) := - \log p (x, y)

$h(x,y):=-\log\,p(x,y)$

- 1 \leq nmpi (x; y) := \frac{mpi(x;y)}{h (x, y)} \leq 1.

$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$

— Hans
source