Qui a inventé le terme «entropie empirique»?

Je connais le travail de Shannon avec l'entropie, mais récemment j'ai travaillé sur des structures de données succinctes dans lesquelles l' entropie empirique est souvent utilisée dans le cadre de l'analyse du stockage.

Shannon a défini l'entropie des informations produites par une source d'informations discrète comme $-\sum_{i=1}^k p_i \log{p_i}$ , où $p_i$ est la probabilité que l'événement $i$ se produise, par exemple un caractère spécifique généré, et il y a $k$ événements possibles.

Comme le souligne MCH dans les commentaires, l' entropie empirique est l'entropie de la distribution empirique de ces événements, et est donc donnée par $-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$ où $n_{i}$ est le nombre d'occurrences observées de l'événement $i$ et $n$ est le nombre total d'événements observés. C'est ce qu'on appellel'entropie empirique d'ordre zéro. La notion d'entropie conditionnellede Shannona uneversion empiriquesimilaired'ordre supérieur.

Shannon n'a pas utilisé le terme entropie empirique, bien qu'il mérite certainement une partie du crédit pour ce concept. Qui a utilisé cette idée en premier et qui a utilisé le nom (très logique) d' entropie empirique pour la décrire?

reference-request shannon-entropy succinct

— utilisateur supprimé 42
source

"défini par point pour chaque chaîne" sonne comme la complexité de Kolmogorov: c'est à cela que vous faites référence? Sinon, pouvez-vous pointer vers un lien qui le définit, ou mieux encore fournir un defn dans la question elle-même?

— Suresh Venkat

On l'appelle ainsi parce que l'entropie empirique est l'entropie de la distribution empirique d'une séquence.

— Mahdi Cheraghchi

@SureshVenkat J'ai essayé d'élaborer la question.

— utilisateur supprimé 42

Jetez un œil à Kosaraju S. Rao, Manzini G., "Compression of low entropy strings with Lempel-Ziv algorithms" (1998), aussi. Ils analysent les performances des algorithmes de Lempel-Ziv en utilisant la " soi-disant entropie empirique ".

— Marzio De Biasi

Notez que la "distribution empirique" est vraiment la distribution ML pour un ensemble donné de comptes de fréquence. Je me demande donc si cela remonte à Bayes. Même Laplace avait réfléchi au problème de la définition d'une distribution à partir de dénombrements empiriques.

— Suresh Venkat

Je m'intéresse à "l'entropie empirique" comme vous et le premier article que je trouve est celui de Kosaraju comme l'a dit l'utilisateur "Marzio De Biasi" dans son commentaire.

Mais à mon avis, les vraies définitions de "l'entropie empirique" sont faites plus tard en généralisant les premiers concepts:

"Grands alphabets et incompressibilité" de Travis Gagie (2008)
"Entropie empirique" de Paul MB Vitányi (2011)

$k$

$H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

où est un processus de Markov d'ordre . Il a également montré que cette définition est équivalente à la précédente. L'étape suivante de Vitányi a été une généralisation à des classes arbitraires de processus (pas seulement les processus de Markov): $Q$ $k$

$H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

où est la classe des processus autorisés et est la complexité de Kolmogorov. Si nous choisissons pour être la classe des processus de Markov d'ordre produisant une séquence devariables aléatoires et en ignorant la complexité de Kolmogorov, cela conduit également à la définition de Gagie (multiplié par ). $\mathcal{X}$ $K(X)$
$\mathcal{X}$ $k$ $|w|$ $|w|$

— Danny
source