La quantité

La quantité est-elle utile

$$\int f(x)^2 dx$$ en statistique ou en théorie de l'information?

Soit une fonction de densité de probabilité (respectivement par rapport à Lebesgue ou à une mesure de comptage), la quantité$f$$\newcommand{\rd}{\mathrm{d}}$ est connu comme l'entropiedeRenyid'ordreα≥0. Il s'agit d'une généralisation de l'entropie de Shannon qui conserve bon nombre des mêmes propriétés. Pour le casα=1, nous interprétonsH1(f)comme

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$, ce qui correspond à l'entropie standard de ShannonH(f).$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

Renyi a présenté cela dans son article

A. Renyi, Sur les mesures d'information et d'entropie , Proc. 4e Berkeley Symp. en mathématiques., Stat. et Prob. (1960), p. 547-561.

ce qui vaut la peine d'être lu, non seulement pour les idées mais pour le style d'exposition exemplaire.

$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$ où le côté droit indique l'entropie de Shannon. Par conséquent, l'entropie de Renyi fournit une limite inférieure pour l'entropie de Shannon et, dans de nombreux cas, est plus facile à calculer.

$X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

L'entropie (générale) de Renyi est également apparemment liée à l'énergie libre d'un système en équilibre thermique, bien que je ne sois pas personnellement à ce sujet. Un article (très) récent sur le sujet est

JC Baez, Renyi entropy and free energy , arXiv [quant-ph] 1101.2098 (février 2011).