Bonne introduction à différents types d'entropie

18

Je recherche un livre ou une ressource en ligne qui explique les différents types d'entropie tels que Sample Entropy et Shannon Entropy et leurs avantages et inconvénients. Quelqu'un peut me diriger dans la bonne direction?

references entropy

— Christian
source

9

La couverture et le livre de Thomas Elements of Information Theory sont une bonne source sur l'entropie et ses applications, bien que je ne sache pas qu'il traite exactement les problèmes que vous avez en tête.

— Mark Meckes
source

4

De plus, l'article "Information Theoretic Inequality" de Dembo Cover et Thomas révèle beaucoup d'aspects profonds

— Robin Girard

1

Pourtant, aucun de ces livres ne prétend qu'il y a plus d'une entropie.

5

Ces notes de cours sur la théorie de l'information par O. Johnson contiennent une bonne introduction à différents types d'entropie.

— Alekk
source

4

Si vous êtes intéressé par la statistique mathématique autour de l'entropie, vous pouvez consulter ce livre

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

il est disponible gratuitement!

— Robin Girard
source

2

L'entropie n'est qu'un (en tant que concept) - la quantité d'informations nécessaires pour décrire un système; il n'y a que beaucoup de généralisations. L'échantillon d'entropie n'est qu'un descripteur de type entropique utilisé dans l'analyse de la fréquence cardiaque.

Je sais, cependant, cela ne m'aide pas à décider si l'utilisation de l'entropie échantillon ou de l'entropie shannon ou d'un autre type d'entropie est appropriée pour les données avec lesquelles je travaille.

— Christian

2

Ce que j'ai écrit dans mon article, c'est juste que pour un certain type de données / processus / système, il n'y a qu'une seule vraie définition d'entropie. L'échantillon d'entropie n'est pas une mesure d'entropie, c'est juste une statistique avec un nom déroutant. Posez une question où vous définissez les données pour lesquelles vous souhaitez calculer l'entropie, et obtiendrez la formule.

Je ne suis pas intéressé par la vérité mais par l'obtention d'une fonction qui fonctionne. Je suis bioinformaticien et j'ai appris à ne pas rechercher la vérité dogmatique mais à rechercher des statistiques qui fonctionnent. Je ne pense pas qu'il y ait un travail effectué avec le type de données avec lesquelles je veux travailler qui spécifie ce que l'entropie fonctionne le mieux. C'est un peu la raison pour laquelle je veux travailler avec les données.

— Christian

2

D'accord, mais ce n'est pas une discussion sur les vérités dogmatiques mais sur les mots. Vous avez posé des questions sur l'entropie, alors j'ai répondu sur l'entropie. Parce que maintenant je vois que vous avez vraiment besoin d'une réponse sur les descripteurs de séries chronologiques, écrivez une question sur les descripteurs de séries chronologiques, alors seulement vous obtiendrez une réponse utile.

2

Jaynes montre comment dériver l'entropie de Shannon des principes de base de son livre .

$n!$ $n^n$

\frac{1}{n} Journal \frac{n!}{(n p_{1})! \dots (n p_{ré})!}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— Yaroslav Bulatov
source

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

L'article de Grünwald et Dawid Théorie des jeux, entropie maximale, divergence minimale et solide théorie de la décision bayésienne discutent des généralisations de la notion traditionnelle d'entropie. Étant donné une perte, sa fonction d'entropie associée est le mappage d'une distribution à la perte attendue minimale réalisable pour cette distribution. La fonction d'entropie habituelle est l'entropie généralisée associée à la perte de log. D'autres choix de pertes produisent une entropie différente telle que l'entropie de Rényi.

— Mark Reid
source

1

Alors, sigma est l'entropie de N (0, sigma) correspondant à l'erreur quadratique, et min (p, 1-p) est l'entropie de Bernoulli (p) correspondant à 0,1 perte de prédiction? Cela ressemble à une généralisation!

— Yaroslav Bulatov

Oui. L'entropie pour la perte carrée est constante et l'entropie pour la perte 0-1 est min (p, 1-p). Ce qui est également intéressant, c'est que ceux-ci ont également de fortes correspondances avec les divergences. La perte carrée à la divergence de Hellinger et la perte 0-1 à la divergence variationnelle. Puisque les entropies définies comme ceci, ce sont nécessairement des fonctions concaves et il s'avère que la f-divergence construite en utilisant f (p) = -entropy (p). Bob Williamson et moi avons exploré une partie de cela dans notre article: arxiv.org/abs/0901.0356 . C'est amusant.

— Mark Reid,

1

Voici quelque chose d'intéressant que j'ai trouvé à propos des divergences récemment - chaque étape de la propagation de la croyance peut être considérée comme une projection Bregman ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav Bulatov