Quelle est la preuve de cette version non standard de l'inégalité d'Azuma?

Dans l'annexe B de Boosting and Differential Privacy de Dwork et al., Les auteurs indiquent le résultat suivant sans preuve et le qualifient d'inégalité d'Azuma:

Soit $C_1, \dots, C_k$ des variables aléatoires à valeurs réelles telles que pour tout $i \in [k]$ ,

$\Pr[|C_i| \leq \alpha] = 1$

pour chaque , nous avons . $(c_1, \dots, c_{i - 1}) \in \text{Supp}(C_1, \dots, C_{i - 1})$ $\text{E}[C_i \mid C_1 = c_1, \dots, C_{i - 1} = c_{i - 1}] \leq \beta$

Alors pour chaque , nous avons . $z > 0$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z \sqrt{k} \cdot \alpha] \leq e^{-z^2/2}$

J'ai du mal à le prouver. La version standard de l'inégalité d'Azuma dit:

Supposons que est une martingale et presque sûrement. Alors pour tout , on a . $\{X_0, X_1, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq \gamma_i$ $t > 0$ $\Pr[X_k \geq t] \leq \exp(-t^2/(2 \sum_{i = 1}^k \gamma_i^2))$

Pour prouver la version de l'inégalité d'Azuma énoncée par Dwork et al., J'ai pensé que nous devrions prendre et . De cette façon, je pense que est une martingale. Mais tout ce que nous pouvons dire, c'est que presque sûrement, non? Ce facteur de deux cause des problèmes, car il signifie qu'après substitution, nous constatons simplement que , ce qui est plus faible que la conclusion énoncée par Dwork et al. $X_0 = 0$ $X_i = X_{i - 1} + C_i - \text{E}[C_i \mid C_1, C_2, \dots, C_{i - 1}]$ $\{X_0, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq 2\alpha$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z\sqrt{k} \cdot 2\alpha] \leq e^{-z^2/2}$

Y a-t-il une astuce simple qui me manque? La déclaration de Dwork et al. manque un facteur de deux?

pr.probability

— William Hoza
source

La déclaration dans le document est vraie, mais ne découle pas de la version "habituelle" de l'inégalité d'Azuma. Le problème est que l'instruction habituelle suppose mais tout intervalle de la même longueur fera l'affaire; il n'y a aucune raison de supposer un intervalle symétrique.

X_{i} - X_{i - 1} \in [- a, a]

$X_i-X_{i-1}\in[-a,a]$

— Thomas soutient Monica le

Je ne trouve pas de référence, donc je vais juste esquisser la preuve ici.

Théorème. Soit vraies variables aléatoires. Soit constantes. Supposons que, pour tout et tous dans le support de , on a $X_1, \cdots, X_n$ $a_1, \cdots, a_n, b_1, \cdots, b_n$ $i \in \{1,\cdots,n\}$ $(x_1,\cdots,x_{i-1})$ $(X_1, \cdots, X_{i-1})$

$\mathbb{E}[X_i | X_1=x_1, \cdots, X_{i-1}=x_{i-1}] \leq 0$ et

$\mathbb{P}[X_i \in [a_i,b_i]]=1$ .

Ensuite, pour tout , $t\geq0$
$P [\sum_{i = 1}^{n} X_{i} \geq t] \leq \exp (\frac{- 2 t^{2}}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}) .$ $\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right] \leq \exp\left(\frac{-2t^2}{\sum_{i=1}^n (b_i-a_i)^2}\right).$

Preuve. Définissez . Nous affirmons que Pour tout et , nous avons Par hypothèse, et pour tous les dans le support de $Y_i = \sum_{j=1}^i X_j$

\begin{matrix} (*) & \forall i \in {1, \dots, n} \forall λ \geq 0 E [e^{λ Y_{i}}] \leq e^{\frac{1}{8} λ^{2} \sum_{j = 1}^{i} (b_{j} - a_{j})^{2}} . \end{matrix}

$\forall i \in \{1,\cdots,n\}~\forall \lambda \geq 0 ~~~~~ \mathbb{E}\left[e^{\lambda Y_i}\right] \leq e^{\frac18 \lambda^2 \sum_{j=1}^i (b_j-a_j)^2}.\tag*{(*)}$

i

$i$

λ

$\lambda$

E [e^{λ Y_{i}}] = E [e^{λ Y_{i - 1}} \cdot e^{λ X_{i}}] = E [e^{λ Y_{i - 1}} \cdot E [e^{λ X_{i}} | Y_{i - 1}]] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{\lambda X_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot \mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}\right]\right].$

μ (y_{i - 1}) := E [X_{i} | Y_{i - 1} = y_{i - 1}] \leq 0

$\mu(y_{i-1}):=\mathbb{E}[X_i|Y_{i-1}=y_{i-1}]\leq 0$

P [X_{i} \in [a_{i}, b_{i}]] = 1

$\mathbb{P}[X_i \in [a_i,b_i]] =1$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$ . (Notez que .) Ainsi, par le lemme de Hoeffding , pour tous les dans le support de et tout . Puisque , nous avons, pour tous , L'induction donne maintenant l'allégation (*) ci-dessus.

Y_{i - 1} = X_{1} + \dots + X_{i - 1}

$Y_{i-1}=X_1+\cdots+X_{i-1}$

E [e^{λ X_{i}} | Y_{i - 1} = y_{i - 1}] \leq e^{λ μ (y_{i - 1}) + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}

$\mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}=y_{i-1}\right] \leq e^{\lambda\mu(y_{i-1})+\frac18 \lambda^2(b_i-a_i)^2}$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$

λ \in R

$\lambda \in \mathbb{R}$

μ (y_{i - 1}) \leq 0

$\mu(y_{i-1})\leq 0$

λ \geq 0

$\lambda \geq 0$

E [e^{λ Y_{i}}] \leq E [e^{λ Y_{i - 1}} \cdot e^{0 + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] \leq \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{0+\frac18 \lambda^2(b_i-a_i)^2}\right].$

Maintenant, nous appliquons l'inégalité de Markov à et utilisons notre revendication (*). Pour tout , Enfin, définissez pour minimiser l'expression de la main droite et obtenir le résultat. $e^{\lambda Y_n}$ $t, \lambda > 0$

P [\sum_{i = 1}^{n} X_{i} \geq t] = P [Y_{n} \geq t] = P [e^{λ Y_{n}} \geq e^{λ t}] \leq \frac{E [e^{λ Y_{n}}]}{e^{λ t}} \leq \frac{e^{\frac{1}{8} λ^{2} \sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}}{e^{λ t}} .

$\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right]=\mathbb{P}[Y_n \geq t] = \mathbb{P}\left[e^{\lambda Y_n} \geq e^{\lambda t}\right] \leq \frac{\mathbb{E}\left[e^{\lambda Y_n}\right]}{e^{\lambda t}} \leq \frac{e^{\frac18 \lambda^2 \sum_{i=1}^n (b_i-a_i)^2}}{e^{\lambda t}}.$

λ = \frac{4 t}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}

$\lambda=\frac{4t}{\sum_{i=1}^n (b_i-a_i)^2}$

\begin{matrix} ◼ \end{matrix}

$\tag*{$\blacksquare$}$

Comme je l'ai mentionné dans mon commentaire, la principale différence entre cela et l'énoncé "habituel" de l'inégalité d'Azuma est d'exiger , plutôt que . Le premier permet plus de flexibilité et cela économise un facteur 2 dans certains cas. $X_i \in [a_i,b_i]$ $X_i \in [-a,a]$

Notez que les variables aléatoires dans la preuve sont une supermartingale. Vous pouvez obtenir la version habituelle de l'inégalité d'Azuma en prenant une Martingale , en définissant et (où ), puis en appliquant le résultat ci-dessus. $Y_i$ $Y_1, \cdots, Y_n$ $X_i=Y_i-Y_{i-1}$ $[a_i,b_i]=[-c_i,c_i]$ $\mathbb{P}[|Y_i-Y_{i-1}|\leq c_i]=1$

— Thomas soutient Monica
source

Dans la première ligne de la preuve, ce devrait être vraisemblablement (borne supérieure de la somme as plutôt que ) ....

Y_{i} = \sum_{j = 1}^{i} X_{j}

$Y_i = \sum_{j=1}^i X_j$

i

$i$

n

$n$

— Dougal

La preuve en est également donnée dans la monographie de Dubhashi et Panconesi.

— Kristoffer Arnsfelt Hansen

@KristofferArnsfeltHansen: Super. avez vous un lien?

— Thomas soutient Monica le