Pourquoi l'entropie est-elle maximisée lorsque la distribution de probabilité est uniforme?

32

Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire $X \in$ set $A$ : - $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$ . Dans le livre sur l'entropie et la théorie de l'information de MacKay, il fournit cette déclaration dans Ch2

L'entropie est maximisée si p est uniforme.

Intuitivement, je peux le comprendre, comme si tous les points de données dans l'ensemble $A$ sont choisis avec une probabilité égale $1/m$ ( $m$ étant la cardinalité de l'ensemble $A$ ), alors le caractère aléatoire ou l'entropie augmente. Mais si nous savons que certains points de l'ensemble $A$ se produiront avec plus de probabilité que d'autres (par exemple, dans le cas d'une distribution normale, où la concentration maximale de points de données se situe autour de la moyenne et de la petite zone d'écart type qui l'entoure, alors le caractère aléatoire ou l'entropie devrait diminuer.

Mais y a-t-il une preuve mathématique pour cela? Comme l'équation pour $H(X)$ je le différencie par rapport à $p(x)$ et je le mets à 0 ou quelque chose comme ça.

Soit dit en passant, y a-t-il un lien entre l'entropie qui se produit dans la théorie de l'information et les calculs d'entropie en chimie (thermodynamique)?

uniform entropy maximum-entropy

— user76170
source

2

On répond (en passant) à cette question sur stats.stackexchange.com/a/49174/919 .

— whuber

Je suis assez confus avec une autre déclaration donnée dans le livre de Christopher Bishops qui déclare que "pour une seule variable réelle, la distribution qui maximise l'entropie est la gaussienne". Il indique également que "la distribution multivariée avec entropie maximale, pour une covariance donnée, est gaussienne". Comment cette déclaration est-elle valable? L'entropie de la distribution uniforme n'est-elle pas toujours maximale?

— user76170

6

La maximisation est toujours effectuée sous réserve de contraintes sur la solution possible. Lorsque les contraintes sont que toute probabilité doit disparaître au-delà des limites prédéfinies, la solution d'entropie maximale est uniforme. Lorsque, au contraire, les contraintes sont que l'espérance et la variance doivent être égales à des valeurs prédéfinies, la solution ME est gaussienne. Les déclarations que vous citez doivent avoir été faites dans des contextes particuliers où ces contraintes ont été énoncées ou au moins implicitement comprises.

— whuber

2

Je devrais probablement également mentionner que le mot «entropie» signifie quelque chose de différent dans le contexte gaussien que dans la question d'origine ici, car nous discutons ensuite de l'entropie des distributions continues . Cette «entropie différentielle» est un animal différent de l'entropie des distributions discrètes. La principale différence est que l'entropie différentielle n'est pas invariante sous un changement de variables.

— whuber

Donc, ce qui signifie que la maximisation est toujours par rapport aux contraintes? Et s'il n'y a pas de contraintes? Je veux dire, je ne peux pas avoir une question comme ça? Quelle distribution de probabilité a l'entropie maximale?

— user76170

25

Heuristique, la fonction de densité de probabilité sur avec entropie maximale se révèle être celui qui correspond à un minimum de connaissances de , c'est-à-dire la distribution uniforme. $\{x_1, x_2,..,.x_n\}$ $\{x_1, x_2,..,.x_n\}$

Maintenant, pour une preuve plus formelle, considérez ce qui suit:

Une fonction de densité de probabilité sur est un ensemble de nombres réels non négatifs qui ajoutent à 1. L' entropie est une fonction continue des - uplets $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ , et ces points se trouvent dans un sousensemble compact de ,sorte qu'il est un $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ uplet où l' entropie est maximisée. Nous voulons montrer que cela se produit à et nulle part ailleurs. $(1/n,...,1/n)$

Supposons que les ne soient pas tous égaux, disons . (Clairement ) Nous trouverons une nouvelle densité de probabilité avec une entropie plus élevée. Il s'ensuit alors, puisque l'entropie est maximisée à un certain tuple, que l'entropie est maximisée uniquement au tuple avec pour tout . $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

Puisque , pour les petits positifs, nous avons . L'entropie de moins l'entropie de $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ est égal $\{p_1,p_2,p_3,...,p_n\}$

Pour compléter la preuve, nous voulons montrer que cela est positif pour suffisamment petit. Réécrivez l'équation ci-dessus comme

- p_{1} bûche (\frac{p_{1} + ε}{p_{1}}) - ε bûche (p_{1} + ε) - p_{2} bûche (\frac{p_{2} - ε}{p_{2}}) + ε bûche (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

Rappelant que pour les petits , l'équation ci-dessus est qui est positif lorsque $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε \log p_{1} + ε + ε \log p_{2} + O (ε^{2}) = ε \log (p_{2} / p_{1}) + O (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

est suffisamment petit puisque

.

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

Une preuve moins rigoureuse est la suivante:

Considérons d'abord le lemme suivant:

$p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{I} p \log p d x \leq - \int_{I} p \log q d x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

p (x) = q (x)

$p(x) = q(x)$

x

$x$

$p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$

- \sum_{i = 1}^{n} p_{i} \log q_{i} = \sum_{i = 1}^{n} p_{i} \log n = \log n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$ , with equality if and only if

p

$p$ is uniform.

Also, wikipedia has a brief discussion on this as well: wiki

— mitchus
source

11

J'admire l'effort de présenter une preuve élémentaire (sans calcul). Une démonstration rigoureuse sur une seule ligne est disponible via l' inégalité pondérée AM-GM en notant que

\exp (H)

$\exp(H)$ =

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$ avec égalité tenant si toutes les

1 / p_{i}

$1/p_i$ sont égaux, QED.

— whuber

Je ne comprends pas comment

\sum \log n

$\sum{\log{n}}$ peut être égal à

\log n

$\log{n}$ .

— user1603472

4

@user1603472 do you mean

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$ ? Its because

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

— HBeel

@Roland I pulled the

\log n

$\log n$ outside of the sum since it does not depend on

i

$i$ . Then the sum is equal to

1

$1$ because

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$ are the densities of a probability mass function.

— HBeel

Same explanation with more details can be found here: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— Roland

14

Entropy in physics and information theory are not unrelated. They're more different than the name suggests, yet there's clearly a link between. The purpose of entropy metric is to measure the amount of information. See my answer with graphs here to show how entropy changes from uniform distribution to a humped one.

The reason why entropy is maximized for a uniform distribution is because it was designed so! Yes, we're constructing a measure for the lack of information so we want to assign its highest value to the least informative distribution.

Example. I asked you "Dude, where's my car?" Your answer is "it's somewhere in USA between Atlantic and Pacific Oceans." This is an example of the uniform distribution. My car could be anywhere in USA. I didn't get much information from this answer.

However, if you told me "I saw your car one hour ago on Route 66 heading from Washington, DC" - this is not a uniform distribution anymore. The car's more likely to be in 60 miles distance from DC, than anywhere near Los Angeles. There's clearly more information here.

Hence, our measure must have high entropy for the first answer and lower one for the second. The uniform must be least informative distribution, it's basically "I've no idea" answer.

— Aksakal
source

7

The mathematical argument is based on Jensen inequality for concave functions. That is, if $f(x)$ is a concave function on $[a,b]$ and $y_1, \ldots y_n$ are points in $[a,b]$ , then: $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

Apply this for the concave function $f(x) = -x \log(x)$ and Jensen inequality for $y_i = p(x_i)$ and you have the proof. Note that $p(x_i)$ define a discrete probability distribution, so their sum is 1. What you get is $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$ , with equality for the uniform distribution.

— Octavian Ganea
source

1

I actually find the Jensen's inequality proof to be a much deeper proof conceptually than the AM-GM one.

— Casebash

4

On a side note, is there any connnection between the entropy that occurs information theory and the entropy calculations in chemistry (thermodynamics) ?

Yes, there is! You can see the work of Jaynes and many others following his work (such as here and here, for instance).

But the main idea is that statistical mechanics (and other fields in science, also) can be viewed as the inference we do about the world.

As a further reading I'd recommend Ariel Caticha's book on this topic.

— kaslusimoes
source

1

An intuitive explanation:

If we put more probability mass into one event of a random variable, we will have to take away some from other events. The one will have less information content and more weight, the others more information content and less weight. Therefore the entropy being the expected information content will go down since the event with lower information content will be weighted more.

As an extreme case imagine one event getting probability of almost one, therefore the other events will have a combined probability of almost zero and the entropy will be very low.

— Roland
source

0

Main idea: take partial derivative of each $p_i$ , set them all to zero, solve the system of linear equations.

Take a finite number of $p_i$ where $i=1,...,n$ for an example. Denote $q = 1-\sum_{i=0}^{n-1} p_i$ .

\begin{aligned} H & = - \sum_{i = 0}^{n - 1} p_{i} \log p_{i} - (1 - q) \log q \\ H * \ln 2 & = - \sum_{i = 0}^{n - 1} p_{i} \ln p_{i} - (1 - q) \ln q \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial H}{\partial p_{i}} & = \ln \frac{q}{p_{i}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$ Then

q = p_{i}

$q = p_i$ for every

i

$i$ , i.e.,

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$ .

— Jan Fan
source

I am glad you pointed out this is the "main idea," because it's only a part of the analysis. The other part--which might not be intuitive and actually is a little trickier--is to verify this is a global minimum by studying the behavior of the entropy as one or more of the

p_{i}

$p_i$ shrinks to zero.

— whuber