Quelle est la règle .632+ en amorçage?

Ici @gung fait référence à la règle .632+. Une recherche rapide dans Google ne permet pas de comprendre aisément ce que cette règle signifie et dans quel but elle est utilisée. Quelqu'un voudrait-il élucider la règle .632+?

Je vais arriver à l'estimateur 0.632, mais le développement sera un peu long:

Supposons que nous voulions prédire avec utilisant la fonction , où peut dépendre de certains paramètres estimés en utilisant les données , par exemple$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

Une estimation naïve de l'erreur de prédiction est où est une fonction de perte, par exemple une perte d'erreur au carré. Ceci est souvent appelé une erreur d’entraînement. Efron et al. appelle le taux d'erreur apparent ou le taux de resubstitution. Ce n'est pas très bon puisque nous utilisons nos données pour nous adapter à . Ceci a pour conséquence que est biaisé. Vous voulez savoir comment votre modèle réussit à prévoir de nouvelles valeurs.

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

Nous utilisons souvent la validation croisée comme un moyen simple d'estimer l'erreur de prédiction extra-échantillon attendue (comment notre modèle gère-t-il les données qui ne figurent pas dans notre ensemble de formation?).

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

Une façon populaire de le faire est de faire validation croisée de. Divisez vos données en groupes (par exemple 10). Pour chaque groupe , adaptez votre modèle aux autres groupes et testez-le sur le ème groupe. Notre erreur de prédiction extra-échantillon validée par recoupement est simplement la moyenne où est une fonction d’index qui indique la partition à laquelle l’observation est allouée et est la valeur prédite de utilisant des données qui ne font pas partie de .K K K - 1 k E r r C V = $K$$K$$k$$K-1$$k$κif-κ(i)(xi)xiκ(i

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

Cet estimateur est approximativement sans biais pour la véritable erreur de prédiction lorsque et a une plus grande variance et est plus cher pour plus informatiquement . Donc, encore une fois, nous voyons le compromis biais-variance en jeu.$K=N$$K$

Au lieu de la validation croisée, nous pourrions utiliser le bootstrap pour estimer l'erreur de prédiction extra-échantillon. Le rééchantillonnage par bootstrap peut être utilisé pour estimer la distribution d'échantillonnage de toute statistique. Si nos données de formation sont , nous pouvons penser à prendre échantillons de démarrage (avec remplacement) à partir de cet ensemble où chaque est un ensemble de échantillons. Nous pouvons maintenant utiliser nos exemples d'amorçage pour estimer l'erreur de prédiction extra-échantillon: où est la valeur prédite à du modèle ajusté à la$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$ ème ensemble de données bootstrap. Malheureusement, ce n'est pas un très bon estimateur car les échantillons bootstrap utilisés pour produire peuvent avoir contenu . L'estimateur bootstrap -one-out offre une amélioration en imitant la validation croisée et est défini comme : où est l'ensemble des index pour les exemples d'amorçage qui ne contiennent pas l'observation etest le nombre de tels échantillons. $f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$résout le problème de surajustement, mais reste biaisé (celui-ci est biaisé vers le haut). Le biais est dû à des observations non distinctes dans les échantillons bootstrap qui résultent d'un échantillonnage avec remplacement. Le nombre moyen d'observations distinctes dans chaque échantillon est d'environ (voir la réponse ci- pour une explication de la raison. Pourquoi, en moyenne, chaque échantillon bootstrap contient-il environ les deux tiers des observations? ). Pour résoudre le problème de biais, Efron et Tibshirani ont proposé l’estimateur 0.632: où$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ est l'estimation naïve de l'erreur de prédiction souvent appelée erreur d'apprentissage. L'idée est de moyenner une estimation biaisée vers le bas et une estimation biaisée vers le haut.

Cependant, si nous avons une fonction de prédiction fortement sur-ajustée (c'est-à-dire ), alors même l'estimateur 0,632 sera biaisé vers le bas. L'estimateur .632+ est conçu pour être un compromis moins biaisé entre et . avec où est le taux d'erreur d'absence d'information, estimé en évaluant le modèle de prédiction sur toutes les combinaisons possibles de cibles et prédicteurs .$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ .

Ici, mesure le taux relatif de surajustement. S'il n'y a pas de surajustement (R = 0, lorsque ), il est égal à l'estimateur 0,632.$R$$Err_{boot(1)} = \overline{err}$

Vous trouverez plus d' informations dans la section 3 du présent ¹ papier. Mais pour résumer, si vous appelez un échantillon de nombres de tirés au hasard et avec remplacement, contient en moyenne environ éléments uniques.$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

Le raisonnement est le suivant. Nous en échantillonnant fois (de manière aléatoire et avec remplacement) à partir de . Considérons un index particulier . $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

Ensuite:

$$P(s_i=m)=1/n$$

et

$$P(s_i\neq m)=1-1/n$$

et ceci est vrai (intuitivement, puisque nous échantillonnons avec remplacement, les probabilités ne dépendent pas de )$\forall 1\leq i \leq n$$i$

Ainsi

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

Vous pouvez également effectuer cette petite simulation pour vérifier empiriquement la qualité de l'approximation (qui dépend de ):$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron et Robert Tibshirani (1997). Améliorations apportées à la validation croisée: La méthode .632+ Bootstrap . Journal de l'American Statistical Association , vol. 92, n ° 438, p. 548-560.

D'après mon expérience, basée principalement sur des simulations, les variantes de bootstrap 0.632 et 0.632+ n'étaient nécessaires qu'en raison de graves problèmes causés par l'utilisation d'une règle de notation incorrecte, à savoir la proportion "classée" correctement. Lorsque vous utilisez des règles de notation appropriées (par exemple, basées sur la déviance ou score de Brier) ou semi-appropriées (par exemple, index = AUROC), le bootstrap standard d'optimisme Efron-Gong fonctionne parfaitement.$c$

Ces réponses sont très utiles. Comme je ne pouvais pas le démontrer en maths, j’ai écrit du code Python qui marche plutôt bien:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)