Une question d'apprentissage paritaire

Définissons une classe de fonctions sur un ensemble de bits. Fixons deux distributions qui sont "raisonnablement" différentes l'une de l'autre (si vous le souhaitez, leur distance variationnelle est au moins $n$ $p, q$ $\epsilon$ , ou quelque chose de similaire).

Maintenant, chaque fonction de cette classe est définie par une collection de indices , et est évaluée comme suit: Si la parité des bits sélectionnés est 0, retourne un échantillon aléatoire de , sinon retourne un échantillon aléatoire de $f$ $k$ $S$ $p$ $q$ .

Problème : Supposons que l'on me donne un accès Oracle à certains de cette classe, et bien que je connaisse (ou une autre mesure de distance), je ne connais pas et . $f$ $\epsilon$ $p$ $q$

Y a-t-il des limites sur le nombre d'appels que je dois faire pour PAC-learn ? Vraisemblablement, ma réponse sera en termes de et . $f$ $n, k$ $\epsilon$

Remarque : je n'ai pas spécifié le domaine de sortie. Encore une fois, je suis flexible, mais pour l'instant, disons que et sont définis sur un domaine fini . En général, je serais également intéressé par le cas où ils sont définis sur (par exemple, s'ils sont gaussiens) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Suresh Venkat
source

Je ne suis pas sûr de comprendre le modèle. Que spécifiez-vous dans un appel Oracle? Les exemples sont-ils toujours tirés de la distribution spécifiée par la cible?

— Lev Reyzin

Dans un appel Oracle, vous appelez f () et il renvoie une valeur.

— Suresh Venkat

Donc, selon la fonction cible

f \in F

$f \in F$ ,

est toujours utilisé pour générer des exemples? (Je suppose que vous êtes en train d'apprendre la classe

)

p

$p$

q

$q$

F

$F$

— Lev Reyzin

Oui c'est correct. le problème est d'apprendre lequel (ou d'apprendre le bit de parité utilisé)

— Suresh Venkat

Je ne sais pas comment vous adaptez le modèle PAC à ce modèle. Mais il semble que ce soit suffisant pour pouvoir distinguer

avec la probabilité

et alors vous pouvez obtenir les valeurs

pour

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$ linéairement indépendant

et utiliser l'élimination gaussienne pour trouver

(puisque

est linéaire). distinguer deux gaussiens bien séparés sera facile par exemple.

x

$x$

f

$f$

f

$f$

— Sasho Nikolov

La discussion dans les commentaires ci-dessous indique que j'ai mal compris la question. Ma réponse est basée sur le fait que l'Oracle ne prend aucune entrée et retourne $(x, f(x))$ où ou $x \sim p$ ,fonction . Ce n'est apparemment pas ce qui est demandé. $x \sim q$ $f \in F$

Étant donné que la distribution cible est fixe pour chaque cible , la limite supérieure de l'échantillon PAC s'applique (cela découle du fait que la distribution cible pour cette limite peut même dépendre complètement de ). Par conséquent, $f^* \in F$ $f^*$ exemplesdevraient suffire pour trouver une hypothèse d'erreurwp. Remarque - après avoir vu ces exemples, il faut trouver une hypothèse cohérente à partir de, et cela peut ne pas être traitable.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + Journal (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

D'un autre côté, on peut obtenir une borne inférieure presque identique même pour le cas de , la distribution uniforme, où $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$ exemples sont encore nécessaires (cela peut être légèrement amélioré) .

La distance variationnelle entre et $p$ , ainsi que peut jouer un rôle dans le petit écart entre ces bornes, mais j'en doute. $q$ $k$

— Lev Reyzin
source

Le paramètre d'apprentissage PAC typique a un oracle

qui tire un échantillon

de la distribution

et renvoie

. Ce n'est pas le paramètre décrit dans la question de Suresh ou le billet de blog qui l'a inspiré: bit.ly/YtwdST . Dans les deux cas, l'oracle est la fonction

, et l'apprenant est libre de soumettre n'importe quel élément de l'ensemble d'instances (chaînes de bits de longueur

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). Lev, votre réponse suppose-t-elle un oracle du premier type ou du deuxième type? S'il s'agit du deuxième type, parlons-nous encore de PAC-learning?

— Keki Burjorjee

Je vois. Dans PAC, le "oracle" est généralement considéré comme un bouton rendement

où

. L'Oracle que vous décrivez s'appelle une "requête d'appartenance" à

. Ma réponse ne s'applique qu'à l'ancien. Si vous ne faites que des demandes d'adhésion, comment trouvez-vous des informations sur

utilisant le framework Suresh? Disons

pour plus de simplicité.

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

— Lev Reyzin

Merci pour cette précision. Ainsi, dans le cas décrit par Suresh, l'oracle "requête d'adhésion" fonctionne comme suit (je suppose que vous avez mis cette entité entre guillemets car l'oracle peut renvoyer une valeur réelle, pas seulement un booléen is-a-member / not-a- réponse du membre): si la parité des attributs effectifs est 1, le résultat renvoyé est tiré de la distribution

. Sinon, le résultat est tiré de la distribution

. Il y a une ride supplémentaire. L'oracle se souvient de toutes ses réponses précédentes et les renvoie s'il est interrogé avec la même entrée. En d'autres termes, il est déterministe.

p

$p$

q

$q$

— Keki Burjorjee

Je ne comprends pas. Si l'oracle est simplement une fonction

et que vous l'interrogez en lui donnant

, ne renvoie-

il pas simplement

? Comment

entrent-ils en jeu si l'apprenant génère

lui-même? Je pense que je n'arrive pas à comprendre ce point de base depuis le

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

— début

Pour

, le pseudocode de l'oracle pour le problème avec la "ride" est donné au bas de ce commentaire reddit: bit.ly/XvVMC4 ( ). Je ne peux pas insérer le code car SE n'autorise pas les retours à la ligne dans les commentaires. Pour obtenir la version "sans rides" du problème, supprimez simplement la ligne .

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)

— Keki Burjorjee