Quelle distribution a l'entropie maximale pour un écart absolu moyen connu?

Je lisais la discussion sur Hacker News à propos de l'utilisation de l'écart-type par opposition à d'autres mesures telles que l'écart absolu moyen. Donc, si nous devions suivre le principe de l'entropie maximale, avec quel type de distribution utiliserions-nous si nous ne connaissions que la moyenne de la distribution et l'écart absolu moyen?

Ou est-il plus logique d'utiliser la médiane et l'écart moyen absolu par rapport à la médiane?

J'ai trouvé un article sur le principe de l'entropie maximale avec des mesures d'écart général par Grechuk, Molyboha et Zabarankin qui semble avoir l'information dont je suis curieux, mais il me faut du temps pour la déchiffrer.

distributions maximum-entropy mad

— Dietrich Epp
source

Question interessante; bienvenue chez Cross Validated!

— Nick Stauner

Ces sages messieurs, Kotz, S., Kozubowski, TJ, et Podgorski, K. (2001). The Laplace Distribution and Generalizations: A Revisit with Applications to Communications, Economics, Engineering, and Finance (No. 183). Springer.

nous mettre au défi avec un exercice:

entrez la description de l'image ici

La preuve peut suivre la preuve théorique de l'information que la normale est l'entropie maximale pour une moyenne et une variance données. Plus précisément: Soit la densité de Laplace ci-dessus, et toute autre densité, mais ayant la même moyenne et la même déviation absolue. Cela signifie que l'égalité suivante est valable: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (X) | X - c_{1} | ré X = c_{2} = \int F (X) | X - c_{1} | ré X = E_{F} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ Considérons maintenant la divergence de Kullback-Leibler des deux densités:

0 \leq {ré}_{K L} (g | | F) = \int g (X) \ln (\frac{g (X)}{F (X)}) ré X = \int g (X) \ln g (X) ré X - \int g (X) \ln F (X) ré X [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

La première intégrale est le négatif de l'entropie (différentielle) de , notons . La seconde intégrale est (en écrivant explicitement le pdf laplacien) $g$ $-h(g)$

\int g (X) \ln [F (X)] ré X = \int g (X) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | X - c_{1} |}] ré X

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (X) ré X - \frac{1}{c_{2}} \int g (X) | X - c_{1} | ré X

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ La première intégrale s'intègre à l'unité, et en utilisant également l'éq. on obtient

[1]

$[1]$

\int g (X) \ln [F (X)] ré X = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int F (X) | X - c_{1} | ré X = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ Mais c'est le négatif de l'entropie différentielle du laplacien, notons .

- h (f)

$-h(f)$

L'insertion de ces résultats dans l'eq. nous avons Puisque était arbitraire, cela prouve que le au-dessus de la densité laplacienne est l'entropie maximale parmi toutes les distributions avec les prescriptions ci-dessus. $[2]$

0 \leq ré (g | | F) = - h (g) - (- h (F)) \Rightarrow h (g) \leq h (F)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— Alecos Papadopoulos
source

Une distribution si simple, et une belle rédaction aussi! Je soupçonnais que la distribution serait fluide sauf à 0.

— Dietrich Epp

Merci. Parfois, «c'est la même chose avec le même» - donc, puisque la distribution de Laplace implique la valeur absolue, c'était un suspect principal.

— Alecos Papadopoulos