Théorème de la limite centrale de la théorie de l'information

La forme la plus simple de la théorie de l'information CLT est la suivante:

Soit iid avec la moyenne et la variance . Soit la densité de la somme normalisée et la densité gaussienne standard. Alors la théorie de l'information CLT déclare que, si est fini pour certains n , alors D (f_n \ | \ phi) \ à 0 comme n \ to \ infty .0 1 f n ∑ n i = 1 X $X_1, X_2,\dots$$0$$1$$f_n$$\frac{\sum_{i=1}^n X_i}{\sqrt{n}}$$\phi$$D(f_n\|\phi)=\int f_n \log(f_n/\phi) dx$$n$$D(f_n\|\phi)\to 0$$n\to \infty$

Certes, cette convergence, dans un sens, est "plus forte" que les convergences bien établies dans la littérature, la convergence dans la distribution et la convergence en $L_1$ métrique, grâce à l'inégalité de Pinsker $\left(\int |f_n-\phi|\right)^2\le 2\cdot \int f_n \log(f_n/\phi)$ . C'est-à-dire que la convergence dans la divergence KL implique la convergence dans la distribution et la convergence dans la distance $L_1$ .

Je voudrais savoir deux choses.

1. Qu'est-ce qui est si génial dans le résultat $D(f_n\|\phi)\to 0$ ?

2. Est - ce juste à cause de la raison indiquée dans le troisième paragraphe , nous disons que la convergence KL-divergence ( c. -à , $D(f_n\|\phi)\to 0$ ) est plus forte?

NB: J'ai posé cette question il y a quelque temps dans math.stackexchange où je n'ai obtenu aucune réponse.

Ce qui est bien avec ce théorème, c'est qu'il suggère des théorèmes limites dans certains contextes où le théorème central limite habituel ne s'applique pas. Par exemple, dans les situations où la distribution d'entropie maximale est une distribution non normale, comme pour les distributions sur le cercle, elle suggère une convergence vers une distribution uniforme.

Après avoir regardé autour de moi, je n'ai trouvé aucun exemple de convergence dans la distribution sans convergence dans l'entropie relative, il est donc difficile de mesurer la «grandeur» de ce résultat.

Pour moi, il semble que ce résultat décrit simplement l'entropie relative des produits de convolution. Il est souvent considéré comme une interprétation alternative et un cadre de preuve du théorème de la limite centrale, et je ne suis pas sûr qu'il ait une implication directe dans la théorie des probabilités (même si c'est le cas dans la théorie de l'information).

À partir de la théorie de l'information et du théorème central limite (page 19).

La deuxième loi de la thermodynamique stipule que l'entropie thermodynamique augmente toujours avec le temps, ce qui implique une sorte de convergence vers l'état de Gibbs. La conservation de l'énergie signifie que reste constant pendant cette évolution temporelle, nous pouvons donc dire dès le début quel état de Gibbs sera la limite. Nous considérerons le théorème de la limite centrale de la même manière, en montrant que l'entropie théorique de l'information augmente à son maximum lorsque nous prenons des convolutions, impliquant une convergence vers le gaussien. Normaliser de manière appropriée signifie que la variance reste constante pendant les convolutions afin que nous puissions dire dès le début quelle gaussienne sera la limite.$E$

$D(f_n\|\phi)\rightarrow 0$ assure qu'il n'y a pas de "distance" entre la distribution de la somme des variables aléatoires et la densité gaussienne en juste à cause de la définition de la divergence KL, c'est donc la preuve lui-même. J'ai peut-être mal compris votre question.$n\rightarrow\infty$

À propos du deuxième point que vous avez nommé, il est répondu dans votre paragraphe.