L'entropie différentielle est-elle toujours inférieure à l'infini?

Pour une variable aléatoire continue arbitraire, disons , son entropie différentielle est-elle toujours inférieure à ? (C'est ok si c'est .) Sinon, quelle est la condition nécessaire et suffisante pour qu'elle soit inférieure à ? $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
source

Avez-vous essayé des exemples? Comme, distribution uniforme sur un intervalle de longueur

L

$L$

— Piotr Migdal

En effet, l'entropie différentielle d'une distribution uniforme (sur tout intervalle fini) est toujours finie, ie log (L), donc bornée. En fait, j'ai pu identifier 2 classes de distributions continues dont l'entropie est toujours bornée - (1) toute distribution dont le support est contenu dans un intervalle fini, et (2) toute distribution dont le 2ème moment est fini. Le premier est délimité par la distribution uniforme; tandis que ce dernier est délimité par la distribution gaussienne.

— syeh_106

En fait, je peux également construire une distribution avec un 2ème moment infini et toujours avec une entropie finie. Par exemple, considérons f (x) = 3 / (x ^ 2), x> 3. Clairement E [X ^ 2] est infini, mais h (X) ~ = -3,1 nats. Cependant, je n'ai pas été en mesure de confirmer si cela est vrai pour les variables aléatoires continues arbitraires, ou de trouver un contre-exemple pour le réfuter. J'aurais vraiment apprécié que quelqu'un puisse le montrer.

— syeh_106

Merci pour vos commentaires et les liens, Piotr. Soit dit en passant, j'ai également vérifié celui de mon matériel de cours et trouvé exactement le même exemple d'une variable aléatoire discrète avec un support infiniment comptable. Motivé par cela, il n'est pas difficile de construire un analogue continu. La réponse à la première question est donc évidente. Je vais le résumer ci-dessous pour les autres personnes qui pourraient avoir la même question. BTW, j'ai besoin de faire une correction dans mon 2ème commentaire ci-dessus, spécifiquement, pour f (x) = 3 / (x ^ 2), h (X) devrait être positif, soit 3,1 nats.

— syeh_106

Cette question et la réponse sont ambiguës car elles n'indiquent pas sur quels ensembles les limites doivent être appliquées. Si

est un RV, alors il a une entropie, point. S'il s'agit d'un RV continu "arbitraire", alors (évidemment) il n'y a pas de limite supérieure possible. Quelles contraintes comptez-vous imposer à

? D'après les commentaires et votre réponse, il semble que vous souhaitiez peut-être corriger le support de

- ou peut-être pas? Peut-être voulez-vous limiter

à ces variables avec des limites données à certains moments? Peut-être que vous voulez que

soit dans une famille paramétrique - ou peut-être pas? Veuillez modifier cette question pour clarifier.

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— whuber

J'ai réfléchi un peu plus à cette question et j'ai réussi à trouver un contre-exemple, grâce également aux commentaires de Piotr ci-dessus. La réponse à la première question est non - l'entropie différentielle d'une variable aléatoire continue (RV) n'est pas toujours inférieure à . Par exemple, considérons un RV X continu dont le pdf est $\infty$ pour

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$ .

Il n'est pas difficile de vérifier que son entropie différentielle est infinie. Il croît cependant assez lentement (environ logarithmiquement).

Pour la 2ème question, je ne connais pas de condition simple nécessaire et suffisante. Cependant, une réponse partielle est la suivante. Catégorisez un VR continu dans l'un des 3 types suivants en fonction de son support, à savoir

Type 1: un RV continu dont le support est borné, c'est-à-dire contenu dans [a, b].
Type 2: un VR continu dont le support est à moitié délimité, c'est-à-dire contenu dans [a, ) ou ( , a] Type 3: un RV continu dont le support est illimité. $\infty$ $-\infty$

Ensuite nous avons le suivant -

$\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

$log(b-a)$ $1+log(|\mu-a|)$ $\frac{1}{2} log(2{\pi}e\sigma^2)$

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
source

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

Merci, Piotr, pour les conseils sur les politiques SE. (Oui, je suis évidemment nouveau ici.) À propos des moments finis menant à une entropie limitée, voudriez-vous partager votre preuve? Merci!

— syeh_106

@PiotrMigdal Je prévois de laisser la réponse à cette question dans son état actuel après avoir ajouté une touche finale. Motivé par le commentaire de Piotr ci-dessus, j'ai considéré si la moyenne finie conduisait à une entropie finie. Je ne pouvais pas conclure cela en général. Ce que j'ai trouvé, c'est que c'était vrai si le support du VR est à moitié limité. Veuillez consulter la réponse révisée ci-dessus. J'attends avec impatience une meilleure réponse de quelqu'un un jour.

— syeh_106

"Il n'est pas difficile de vérifier que son entropie différentielle est infinie." Pouvez-vous montrer comment vérifier cela? Cela semble vrai pour l'intégrale de Riemann, mais l'entropie différentielle l'est par rapport à la mesure de Lebesgue. J'ai du mal à vérifier que l'intégrale de Lebesgue correspondante ne converge pas.

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$