Comprendre la dérivation du compromis biais-variance

Je lis le chapitre sur le compromis biais-variance des éléments de l'apprentissage statistique et j'ai un doute dans la formule de la page 29. Que les données proviennent d'un modèle tel que où est aléatoire nombre avec la valeur attendue et la variance . Soit la valeur d'erreur attendue du modèle est où est la prédiction de de notre apprenant. Selon le livre, l'erreur est

Y = f (x) + ϵ

$Y = f(x)+\epsilon$

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

Ma question est pourquoi le terme de biais n'est pas 0? développer la formule de l'erreur que je vois

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

comme $\epsilon$ est un nombre aléatoire indépendant $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

Où je me trompe?

— emanuele
source

Réponses:

Vous ne vous trompez pas, mais vous avez fait une erreur en une seule étape depuis $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ . $E[(f(x)-f_k(x))^2]$ est $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$ .

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

Remarque: $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— Greenparker
source

En cas de résultats binaires, existe-t-il une preuve équivalente avec entropie croisée comme mesure d'erreur?

— emanuele

Cela ne fonctionne pas très bien avec une réponse binaire. Voir Ex 7.2 dans la deuxième édition de "The Elements of Statistical Learning".

— Matthew Drury

pourriez-vous expliquer comment vous allez de à ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— Antoine

Quelques étapes supplémentaires du biais - Décomposition de la variance

En effet, la dérivation complète est rarement donnée dans les manuels scolaires car elle implique beaucoup d'algèbre sans intérêt. Voici une dérivation plus complète utilisant la notation du livre "Elements of Statistical Learning" à la page 223

Si nous supposons que et et alors nous pouvons dériver l'expression de l'erreur de prédiction attendue d'un ajustement de régression à une entrée utilisant la perte d'erreur au carré $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

Pour une simplicité de notation, considérons , et rappelons que et $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

Pour le terme nous pouvons utiliser une astuce similaire à celle ci-dessus, en ajoutant et en soustrayant pour obtenir $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B i a s^{2} [\hat{f}] + V a r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

Mettre ensemble

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B i a s^{2} [\hat{f}] + V a r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

Quelques commentaires sur les raisons pour lesquelles $E[\hat f Y] = f E[\hat f]$

Extrait d'Alecos Papadopoulos ici

Rappelons que est le prédicteur que nous avons construit sur la base des points de données afin que nous puissions écrire pour nous en souvenir. $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

D'un autre côté, est la prédiction que nous faisons sur un nouveau point de données en utilisant le modèle construit sur les points de données ci-dessus. Ainsi, l'erreur quadratique moyenne peut être écrite comme $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{F}}_{m} (X^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

Développer l'équation de la section précédente

E [{\hat{F}}_{m} Oui] = E [{\hat{F}}_{m} (F + ϵ)] = E [{\hat{F}}_{m} F + {\hat{F}}_{m} ϵ] = E [{\hat{F}}_{m} F] + E [{\hat{F}}_{m} ϵ]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

La dernière partie de l'équation peut être considérée comme

E [{\hat{F}}_{m} (X^{(m + 1)}) \cdot ϵ^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

Puisque nous faisons les hypothèses suivantes sur le point : $x^{(m+1)}$

Il n'a pas été utilisé lors de la construction de $\hat f_m$
Elle est indépendante de toutes les autres observations $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
Il est indépendant de $\epsilon^{(m+1)}$

Autres sources avec dérivations complètes

— Xavier Bourret Sicotte
source

Pourquoi ? Je ne pense pas et sont indépendants, puisque est essentiellement construit en utilisant .

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— Felipe Pérez

Mais la question est essentiellement la même, pourquoi ? Le caractère aléatoire de vient de l'erreur donc je ne vois pas pourquoi et seraient indépendants, et donc .

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— Felipe Pérez

D'après votre précision, la perspective dans l'échantillon vs hors échantillon est cruciale. C'est tellement? Si nous travaillons uniquement dans l'échantillon et, alors, voyons comme résiduel, le compromis de la variance du biais disparaît?

ϵ

$\epsilon$

— Markowitz

@ FelipePérez pour autant que je sache, le caractère aléatoire de vient de la division du test de train (quels points se sont retrouvés dans l'ensemble de formation et ont donné comme prédicteur entraîné). En d'autres termes, la variance de provient de tous les sous-ensembles possibles d'un ensemble de données fixe donné que nous pouvons prendre comme ensemble d'apprentissage. Comme l'ensemble de données est fixe, il n'y a pas d'aléatoire provenant de et donc et sont indépendants.

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— Alberto Santini

Comprendre la dérivation du compromis biais-variance

Quelques étapes supplémentaires du biais - Décomposition de la variance

Quelques commentaires sur les raisons pour lesquellesE[f^Y]=fE[f^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

Autres sources avec dérivations complètes

Quelques commentaires sur les raisons pour lesquelles $E[\hat f Y] = f E[\hat f]$