Limite inférieure pour tester la proximité dans la norme

Je me demandais s'il y avait une limite inférieure (en termes de complexité d'échantillon) connue pour le problème suivant:

Étant donné un exemple d'accès oracle à deux distributions inconnues , sur , testez (whp) si$D_1$$D_2$$\{1,\dots,n\}$

• $D_1=D_2$
• ou$\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] a montré que les échantillons $O\left(\frac{1}{\epsilon^4}\right)$ étaient suffisants, mais je n'ai trouvé aucune mention d'une borne inférieure?

Je pense que l'on pourrait toujours montrer une limite inférieure $\Omega(\frac{1}{\epsilon^2})$ en réduisant la tâche de distinguer une pièce biaisée juste par rapport à $\epsilon$ à ce problème (simulant une distribution prise en charge sur seulement deux points, et répondant aux interrogations du testeur selon les lancers de pièces iid), mais cela laisse encore un écart quadratique ...

(Un autre point qui m'intéresserait est une borne inférieure dans l' estimation (jusqu'à un additif $\epsilon$ ) de cette distance $L_2$ - encore une fois, je n'ai trouvé aucune référence à un tel résultat dans la littérature)

Merci de votre aide,

Il semble que les échantillons - comme nous l'avons montré ci-dessous - suffisent pour les tests, de sorte que la complexité de l'échantillon est exactement ; en fait, il s'avère que ce nombre d'échantillons nous suffit encore pour apprendre jusqu'à un additif rapport à la norme .Θ ( 1 / ϵ 2 ) D ϵ L $O(1/\epsilon^2)$$\Theta(1/\epsilon^2)$ $D$$\epsilon$$L_2$

---

Soit la fonction de densité empirique obtenue en dessinant iid échantillons et en définissant Ensuite où . Le ms1,...,sm~D D (k$\hat{D}$$m$$s_1,\dots, s_m\sim D$‖ D - D ‖ 2

$$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$$ X $$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$$ Xkk∈[n] E ‖D - D ‖ 2 $X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$$X_k$(pour ) ne sont pas indépendants, mais nous pouvons écrire sorte que pour , et appliquant l'inégalité de Markov $k\in[n]$ m≥ $$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$$ E‖D - D ‖ 2 2 ≤ε$m\geq \frac{3}{\epsilon^2}$ P{‖D - D ‖2≥e}≤ $$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$$ $$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$$

Je vais essayer de réparer mon erreur précédente en montrant quelque chose en face - que les échantillons sont suffisants (la borne inférieure de est presque serré)! Voyez ce que vous pensez ....1/ϵ$\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$$1/\epsilon^2$

L'intuition clé part de deux observations. Premièrement, pour que les distributions aient une distance de , il doit y avoir des points avec une probabilité élevée ( ). Par exemple, si nous avions points de probabilité , nous aurions . ϵ Ω ( ϵ 2 ) 1 / ϵ 3 ϵ 3 ‖ D 1 - D 2 ‖ 2 ≤ $L_2$$\epsilon$$\Omega(\epsilon^2)$$1/\epsilon^3$$\epsilon^3$$\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

Deuxièmement, considérons des distributions uniformes avec une distance de . Si nous avions points de probabilité , alors ils différeraient chacun par et échantillons suffiraient. D'autre part, si nous avions points, ils devraient chacun différer de et encore échantillons (un nombre constant par point) suffit. On peut donc espérer que, parmi les points de forte probabilité mentionnés plus haut, il y a toujours un point différant "assez" que dessine le distingue. ϵ O ( 1 ) O ( 1 ) O ( ϵ ) 1 $L_2$$\epsilon$$O(1)$$O(1)$$O(\epsilon)$ O ( 1 / ϵ 2 ) O ( ϵ 2 ) O ( 1 / ϵ 2 ) O ( 1 / ϵ 2$1/\epsilon^2$$O(1/\epsilon^2)$$O(\epsilon^2)$$O(1/\epsilon^2)$$O(1/\epsilon^2)$

Algorithme. Étant donné et un paramètre de confiance , soit . Dessinez des échantillons de chaque distribution. Soit le nombre d'échantillons respectivement supérieur et inférieur pour le point . S'il y a un point pour lequel et , déclarez le distributions différentes. Sinon, déclarez-les de la même manière.M X = M log ( 1 / ϵ 2 ) $\epsilon$$M$$X = M \log(1/\epsilon^2)$ ai,biii∈[n]ai≥$\frac{X}{\epsilon^2}$$a_i,b_i$$i$$i \in [n]$ ai-bi≥$a_i \geq \frac{X}{8}$$a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Les limites d'exactitude et de confiance ( ) dépendent du lemme suivant qui dit que toute la déviation de la distance provient de points dont les probabilités diffèrent par . L 2 Ω ( ϵ 2$1-e^{-\Omega(M)}$$L_2$$\Omega(\epsilon^2)$

Prétendre. Supposons . Soit. Soit . Puis δ i = | D 1 ( i ) - D 2 ( i ) | S k = { i : δ i > ϵ $\|D_1 - D_2\|_2 \geq \epsilon$$\delta_i = |D_1(i) - D_2(i)|$∑i∈ S k δ 2 i ≥ϵ2(1-$S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$

$$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$$

Preuve . Nous avons Relions la seconde somme; nous souhaitons maximiser sous réserve de . Puisque la fonction est strictement convexe et croissante, nous pouvons augmenter l'objectif en prenant n'importe quel et en augmentant by tout en diminuant by . Ainsi, l'objectif sera maximisé avec autant de termes que possible à leurs valeurs maximales, et le reste à∑ i ∉ S k δ 2 i ∑ i ∉ S k δi≤2

$$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$$ $\sum_{i \not\in S_k} \delta_i^2$$\sum_{i \not\in S_k} \delta_i \leq 2$δ i ≥ δ j δ i γ δ j γ 0 ϵ $x \mapsto x^2$$\delta_i \geq \delta_j$$\delta_i$$\gamma$$\delta_j$$\gamma$$0$. La valeur maximale de chaque terme est , et il y a au plus termes de cette valeur (puisqu'ils totalisent au plus ). Donc 2$\frac{\epsilon^2}{k}$ 2∑i∉Skδ 2 i ≤2$\frac{2k}{\epsilon^2}$$2$ $$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$$

Réclamation . Soit . Si , il existe au moins un point avec et .‖ D 1 - D 2 ‖ 2 ≥ ϵ i ∈ [ n ] p i > ϵ $p_i = \max\{D_1(i),D_2(i)\}$$\|D_1 - D_2\|_2 \geq \epsilon$$i \in [n]$ δi≥ϵ$p_i > \frac{\epsilon^2}{4}$$\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Preuve . Tout d'abord, tous les points de ont par (et ne peut pas être vide pour par la revendication précédente).p i ≥ δ i > ϵ $S_k$ Skk>$p_i \geq \delta_i > \frac{\epsilon^2}{k}$$S_k$$k > 2$

Deuxièmement, parce que , nous avons or, réarrangement, donc l'inégalité vaut pour au moins un point dans . Maintenant, choisissez . ∑ i ∈ S k δ 2 i ≥ ϵ 2 ( $\sum_i p_i \leq 2$

$$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$$ δ 2 i ≥piϵ2 ( $$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$$ Skk=4 $$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$$ $S_k$$k=4$$\square$

Réclamation (faux positifs) . Si , notre algorithme les déclare différents avec probabilité au plus .e - Ω ( M $D_1 = D_2$$e^{-\Omega(M)}$

Croquis . Considérons deux cas: et . Dans le premier cas, le nombre d'échantillons de ne dépassera pas de l'une ou l'autre distribution: le nombre moyen d'échantillons est et une limite de queue indique qu'avec la probabilité , les échantillons de ne dépassent pas leur moyenne par un additif ; si nous prenons soin de garder la valeur dans la limite de queue, nous pouvons l'union liée sur eux quel que soit le nombre de ces points (intuitivement, la limite diminue de façon exponentielle dans le nombre de points possibles).p i ≥ e 2 / seize i X / 8 < $p_i < \epsilon^2/16$$p_i \geq \epsilon^2/16$$i$$X/8$e - Ω ( X / p i ) = ε 2 $< X/16$ iX / 16 p $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$$i$$X/16$$p_i$

Dans le cas , nous pouvons utiliser une borne de Chernoff: Elle dit que, lorsque nous prenons échantillons et qu'un point est tracé avec la probabilité , la probabilité de différer de sa moyenne par est au plus . Ici, soit , donc la probabilité est limitée par .m p p m c $p_i \geq \epsilon^2/16$$m$$p$$pm$ e - Ω ( ( c $c \sqrt{pm}$c=$e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ e-Ω(X)=ϵ2e-Ω(M$c = \frac{\sqrt{X}}{16}$$e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Donc, avec la probabilité , (pour les deux distributions) le nombre d'échantillons de est dans de sa moyenne . Ainsi, notre test n'attrapera pas ces points (ils sont très proches les uns des autres), et nous pouvons l'union liée sur les d'entre eux. i $1-\epsilon^2e^{-\Omega(M)}$$i$ pi$\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ 16/ϵ2$p_i\frac{X}{\epsilon^2}$$16/\epsilon^2$$\square$

Réclamation (faux négatifs) . Si , notre algorithme les déclare identiques avec une probabilité au plus .ϵ 2 e - Ω ( M $\|D_1 - D_2\|_2 \geq \epsilon$$\epsilon^2 e^{-\Omega(M)}$

Croquis . Il y a un point avec et . La même limite de Chernoff que dans la revendication précédente dit qu'avec la probabilité , le nombre d'échantillons de diffère de sa moyenne d'au plus . C'est pour la distribution (WLOG) qui a ; mais il y a une probabilité encore plus faible du nombre d'échantillons de de la distributionp i > ε deux / quatre δ i ≥ ε $i$$p_i > \epsilon^2/4$1-ϵ2e-Ω(M)ipim$\delta_i \geq \epsilon \sqrt{p_i}/2$$1-\epsilon^2 e^{-\Omega(M)}$$i$$p_i m$$\sqrt{p_i m} \frac{\sqrt{X}}{16}$p i = D 1 ( i $1$ i $p_i = D_1(i) = D_2(i) + \delta_i$$i$$2$ différant de sa moyenne par cette quantité d'additif (car la moyenne et la variance sont plus faibles).

Donc, avec une forte probabilité, le nombre d'échantillons de de chaque distribution est à de sa moyenne; mais leurs probabilités diffèrent par , donc leurs moyennes diffèrent par $i$ δi$\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$$\delta_i$

$$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$$

Donc, avec une probabilité élevée, pour le point , le nombre d'échantillons diffère d'au moins . $i$$\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$$\square$

Pour compléter les croquis, il faudrait montrer plus rigoureusement que, pour assez grand, le nombre d'échantillons de est assez proche de sa moyenne que, lorsque l'algorithme utilise plutôt que , cela ne change rien (ce qui devrait être simple en laissant une certaine marge de manœuvre dans les constantes).$M$$i$$\sqrt{\# samples}$$\sqrt{mean}$

Vous pouvez commencer par essayer de résoudre ce problème pour le cas . Je suis à peu près sûr que des échantillons de seront nécessaires et suffisants, dans ce cas.$n=2$$\Theta(1/\epsilon^2)$

Il est possible que vous trouviez utile d'étudier la conversion entre la distance et la distance (distance de variation totale).$L_2$$L_1$

• On sait que, avec un échantillon, si les distributions sont connues, la distance de variation totale caractérise parfaitement l'avantage avec lequel on peut distinguer de . Ainsi, si la distance de variation totale est grande et que les distributions sont connues, on peut construire un test correct avec une forte probabilité; si la distance de variation totale est petite, on ne peut pas. Je ne sais pas ce que l'on peut dire du cas où la distance de variation totale est grande mais les distributions sont inconnues.$D_1$$D_2$

• Ensuite, vous pouvez regarder les distributions de produits, et . En utilisant la distance de variation totale (distance ), il ne semble pas y avoir de bonnes limites qui relient à . Cependant, lorsque distance , je pense qu'il existe de bonnes estimations de en fonction de . (Malheureusement, je n'arrive pas à trouver une référence spécifique à ces estimations / limites, donc j'espère que je ne m'en souviens pas.) Il existe également des limites connues qui vous permettent d'estimer la distance en fonction de la distance . D n 2 L 1 | | D n 1 - D n 2 | | 1 | | D 1 - D 2 | | 1 L 2 | | D $D_1^n$$D_2^n$$L_1$$||D_1^n - D_2^n||_1$$||D_1 - D_2||_1$$L_2$| | D1-D2| | 2L$||D_1^n - D_2^n||_2$$||D_1 - D_2||_2$$L_1$$L_2$

• Par conséquent, une approche que vous pourriez essayer serait de lier , puis à partir de là, obtenir une liaison sur .| | D n 1 - D n 2 | | $||D_1^n - D_2^n||_2$$||D_1^n - D_2^n||_1$

Je ne sais pas si cela mènera à quelque chose de bien ou non; c'est juste une idée. Les auteurs de l'article que vous citez auront probablement déjà essayé ou envisagé quelque chose comme ça.

Références éventuellement utiles:

• La distribution des produits: à quelle vitesse la dissimilarité augmente-t-elle en fonction du nombre d'échantillons?

• Test d'hypothèse et distance de variation totale par rapport à la divergence de Kullback-Leibler

• Quelle est la relation entre la distance 1 (variation totale) et le test d'hypothèse?

• Sur les limites de probabilité d'erreur dans les tests d'hypothèse bayésienne

• Implications de la distance de variation totale de la limite inférieure sur les tests d'hypothèse

• L'inégalité de Pinsker pour les tests d'hypothèse bayésienne

• Comment exprimer la diminution de l'erreur minimale de type II liée à chaque observation ajoutée?

EDIT: c'est incorrect! Voir la discussion dans les commentaires - je soulignerai la faille ci-dessous.

Je pense que nous pouvons dire que sont requis.$\frac{1}{\epsilon^4}$

Définissez . Soit la distribution uniforme (probabilité de chaque point ) et que diffère de l'uniforme par une quantité additive en chaque point. Vérifiez que la distance est .$n = \Theta\left(\frac{1}{\epsilon^2}\right)$$D_1$$= \Theta(\epsilon^2)$$D_2$$\pm \Theta\left(\epsilon^2\right)$$L_2$$\epsilon$

Nous devons donc distinguer une pièce d'un juste à flancs n à flancs Θ ( ε 2 ) pièce -biased. Je pense que cela devrait être au moins aussi difficile que de dire une 2 pièce juste d'un à flancs 2 à flancs Θ ( ε 2 ) pièce -biased, ce qui nécessiterait Θ ( 1$n$$n$$\Theta(\epsilon^2)$$2$$2$$\Theta(\epsilon^2)$échantillons. Edit:c'est incorrect! La pièce a unbiaisadditif deϵ2, mais elle est biaisée multiplicativement par un facteur constant. Comme le souligne DW, cela signifie qu'un nombre constant d'échantillons par point distingueD1deD2.$\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$$\epsilon^2$$D_1$$D_2$

---

Notez que est aussi loin que nous pouvons pousser cette ligne d'argument. Concrètement, supposons que nous essayions d'augmenternà, disons,$\frac{1}{\epsilon^4}$$n$ . Dans la distribution uniforme, chaque point a une probabilitéϵ3. Mais enD2, nous aurions besoin que chaque point varie de l'uniforme deϵ2,5. Ce n'est pas possible depuisϵ2,5≫ϵ3.$\frac{1}{\epsilon^3}$$\epsilon^3$$D_2$$\epsilon^{2.5}$$\epsilon^{2.5} \gg \epsilon^3$

Plus abstraitement, supposons que nous voulons que chaque point varie de l'uniforme de . Ensuite, le plus que nous pouvons définir n serait $\epsilon^k$$n$ . Pour obtenir unedistanceL2deϵ, nous devons nous assurer que la racine carrée de la somme des distances estϵ, donc$\frac{1}{\epsilon^k}$$L_2$$\epsilon$$\epsilon$, doncϵ k / 2 =ϵdonck=2, et on obtientn=$\sqrt{n(\epsilon^k)^2} = \epsilon$$\epsilon^{k/2} = \epsilon$$k = 2$ .$n = \frac{1}{\epsilon^2}$

De plus, je pense que le même argument dit que, si nous sommes intéressés par la distance avec p > 1 , nous avons besoin de k = $L_p$$p > 1$ , donc nous choisirionsn=1/ϵ$k = \frac{p}{p-1}$ , donc le nombre d'échantillons serait1/ϵ2$n = 1/\epsilon^{\frac{p}{p-1}}$ . Je pense que cela a du sens en tant que borne indépendante den. Il s'approche de l'infini commep→1. Si vous tentiez de distinguer deux distributions àunedistanceL1deϵsans limite surn, je feraisninfiniment grand et répartirais la différence arbitrairement mince, de sorte que vous ne pourriez jamais les distinguer (c'est-à-direqu'aucun nombre fixe d'échantillons ne suffit pour tousn). Il approche également$1 / \epsilon^{2\frac{p}{p-1}}$$n$$p \to 1$$L_1$$\epsilon$$n$$n$$n$ commep→∞; cela a du sens comme limite parce que, pour lanormeL∞, nous pouvons définirn=$\frac{1}{\epsilon^3}$$p \to \infty$$L_{\infty}$ et que chaque point diffère parΘ(ϵ); nous devons échantillonner un point$n = \frac{1}{\epsilon}$$\Theta(\epsilon)$ fois pour être sûr qu'il diffère de l'uniforme, ce qui prendra$\frac{1}{\epsilon^2}$ échantillons.$\frac{1}{\epsilon^3}$