Comprendre les inégalités de concentration de mesure

Dans l'esprit de cette question Comprendre la preuve d'un lemme utilisé dans l'inégalité de Hoeffding , j'essaie de comprendre les étapes qui conduisent à l'inégalité de Hoeffding.

Ce qui détient le plus de mystère pour moi dans la preuve, c'est la partie où les moments exponentiels sont calculés pour la somme des variables iid, après quoi l'inégalité de Markov est appliquée.

Mon objectif est de comprendre: pourquoi cette technique donne-t-elle une forte inégalité et est-ce la plus serrée que nous puissions atteindre? Une explication typique se réfère au moment de la génération des propriétés de l'exposant. Pourtant, je trouve cela trop vague.

Un article dans le blog de Tao, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , pourrait contenir quelques réponses.

Avec cet objectif à l'esprit, ma question porte sur trois points du post de Tao auxquels je suis bloqué et qui, je l'espère, pourraient donner un aperçu une fois expliqué.

Tao dérive l'inégalité suivante en utilisant le k-ième moment Si cela est vrai pour tout k, il conclut une borne exponentielle. C'est là que je suis perdu.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
Le lemme de Hoeffding est présenté: Lemme 1 (lemme de Hoeffding) Soit une variable scalaire prenant des valeurs dans un intervalle . Alors pour tout , ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V a r (X) \exp (O (t (b - a)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ En particulier La preuve du lemme 1 commence par prendre une espérance sur l'expansion du taylor $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - a)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$ .Pourquoi l'expansion peut-elle être limitée par ce terme quadratique? et comment l'équation 10 suit-elle?
Enfin, un exercice est donné:
Exercice 1 Montrer que l' facteur (10) peut être remplacé par , et que cela est forte. Cela fournirait une preuve beaucoup plus courte que celle de Comprendre la preuve d'un lemme utilisé dans l'inégalité de Hoeffding , mais je ne sais pas comment résoudre ce problème. ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Toute autre intuition / explication concernant la preuve de l'inégalité ou la raison pour laquelle nous ne pouvons pas tirer une limite plus stricte est certainement la bienvenue.

probability probability-inequalities

— Leo
source

Avez-vous lu l'article original de Hoeffding?

— Alecos Papadopoulos

@AlecosPapadopoulos Je ne l'ai pas fait. J'ai l'impression que la dérivation consiste en des étapes algébriques généralement enseignées dans des cours de mathématiques sans l'explication que je recherche. Pouvez-vous dire le contraire?

— Leo

Je vous suggère de le lire. L'URL stable dans jstor est jstor.org/stable/2282952 . Ce qui "vous réserve le plus de mystère", ce sont les théorèmes 1, 2 et 3 de l'article, dont les preuves se trouvent dans la section 4 de l'article (pas à la fin), et elles me semblent assez claires. Je ne sais pas si vous recherchez une intuition "non mathématique" - si oui, elle n'existe pas toujours.

— Alecos Papadopoulos

$\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ $\mathbb{E}X$ $X$

— gmravi2003
source

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

Je ne l'ai pas étudié, mais je soupçonne que l'exponentielle jouit de certaines propriétés particulières, y compris celles que vous nommez, qui sont essentielles: tous les coefficients doivent être strictement positifs et il est pratique qu'il converge absolument partout. Mais je crois qu'il y a des raisons plus profondes pour lesquelles cette fonction est essentielle, liée aux propriétés des transformées de Fourier et de Laplace. Il peut être éclairant d'explorer les dérivations des inégalités de mesure pour voir quelles propriétés de l'exponentielle sont réellement utilisées! (+1)

— whuber

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

Je voudrais vous intéresser à une question sur l'étanchéité de cette borne: stats.stackexchange.com/questions/77019/…

— Leo