Biais d'optimisme - estimations de l'erreur de prédiction

9

Le livre Elements of Statistical Learning (disponible en ligne en PDF) discute du biais d'optimisim (7.21, page 229). Il indique que le biais d'optimisme est la différence entre l'erreur d'apprentissage et l'erreur dans l'échantillon (erreur observée si nous échantillonnons de nouvelles valeurs de résultat à chacun des points d'apprentissage d'origine) (voir ci-dessous).

entrez la description de l'image ici

Ensuite, il indique que ce biais d'optimisme ( ) est égal à la covariance de nos valeurs y estimées et des valeurs y réelles (formule par ci-dessous). J'ai du mal à comprendre pourquoi cette formule indique le biais d'optimisme; naïvement, j'aurais pensé qu'une forte covariance entre réel et prévu ne fait que décrire la précision - pas l'optimisme. Faites-moi savoir si quelqu'un peut aider à la dérivation de la formule ou partager l'intuition. $\omega$ $y$ $y$

entrez la description de l'image ici

error bias validation

— user1885116
source

Très utile, merci! Je pense que l'une des équations a une faute de frappe mineure et devrait être:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Sleepster

8

Commençons par l'intuition.

Il est faux de rien avec l' aide à prédis . En fait, ne pas l'utiliser signifierait que nous jetons des informations précieuses. Cependant, plus nous dépendons des informations contenues dans pour arriver à notre prédiction, plus notre estimateur sera trop optimiste . $y_i$ $\hat{y}_i$ $y_i$

D'un extrême, si est juste , vous aurez parfait dans la prédiction échantillon ( ), mais nous sommes pratiquement sûrs que la prévision hors échantillon va être mauvais. Dans ce cas (il est facile de vérifier par vous - même), les degrés de liberté seront . $\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

À l'autre extrême, si vous utilisez la moyenne de l'échantillon de : pour tous les , alors vos degrés de liberté ne seront que de 1. $y$ $y_i = \hat{y_i} = \bar{y}$ $i$

Consultez ce joli document de Ryan Tibshirani pour plus de détails sur cette intuition

Maintenant une preuve similaire à l'autre réponse, mais avec un peu plus d'explications

N'oubliez pas que, par définition, l'optimisme moyen est:

ω = E_{y} (E r r_{i n} - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= E_{y} (\frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i}) | T)] - \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Utilisez maintenant une fonction de perte quadratique et développez les termes au carré:

= E_{y} (\frac{1}{N} \sum_{je = 1}^{N} E_{{Oui}^{0}} [({Oui}_{je}^{0} - {\hat{y}}_{je})^{2}] - \frac{1}{N} \sum_{je = 1}^{N} (y_{je} - {\hat{y}}_{je})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] + E_{y} E_{Y^{0}} [{\hat{y}}_{i}^{2}] - 2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

utilisez pour remplacer: $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y_{i}}}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Pour terminer, notez que , ce qui donne: $Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{N} \sum_{je = 1}^{N} C o v (y_{je}, {\hat{y}}_{je})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
source

5

Je dois souligner que son nom est orthographié "Ryan Tibshirani" Rob Tibshirani

— robert tibshirani

2

Bienvenue sur notre site, Rob - c'est un privilège de vous avoir ici, ne serait-ce que pour corriger une erreur! Si vous en voyez plus, faites-le nous savoir: et bien sûr, nous serions heureux de toute réponse que vous (ou vos élèves) souhaiteriez publier. Votre travail est largement référencé sur ce site, en particulier ESL et Intro to the Bootstrap.

— whuber

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

7

$\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & = E_{y} [o p] \\ = E_{y} [E r r_{je n} - \bar{e r r}] \\ = E_{y} [E r r_{je n}] - E_{y} [\bar{e r r}] \\ = E_{y} [\frac{1}{N} \sum_{je = 1}^{N} E_{{Oui}^{0}} [L ({Oui}_{je}^{0}, \hat{F} (X_{je}))] - E_{y} [\frac{1}{N} \sum_{je = 1}^{N} L (y_{je}, \hat{F} (X_{je}))] \\ = \frac{1}{N} \sum_{je = 1}^{N} E_{y} E_{{Oui}^{0}} [({Oui}_{je}^{0} - {\hat{y}}_{je})^{2}] - E_{y} [(y_{je} - {\hat{y}}_{je})^{2}] \\ = \frac{1}{N} \sum_{je = 1}^{N} E_{y} E_{{Oui}^{0}} [({Oui}_{je}^{0})^{2}] + E_{y} E_{{Oui}^{0}} [{\hat{y}}_{je}^{2}] - 2 E_{y} E_{{Oui}^{0}} [{Oui}_{je}^{0} {\hat{y}}_{je}] - E_{y} [y_{je}^{2}] - E_{y} [{\hat{y}}_{je}^{2}] + 2 E_{y} [y_{je} {\hat{y}}_{je}] \\ = \frac{1}{N} \sum_{je = 1}^{N} E_{y} [y_{je}^{2}] + E_{y} [{\hat{y}}_{je}^{2}] - 2 E_{y} [y_{je}] E_{y} [{\hat{y}}_{je}] - E_{y} [y_{je}^{2}] - E_{y} [{\hat{y}}_{je}^{2}] + 2 E_{y} [y_{je} {\hat{y}}_{je}] \\ = \frac{2}{N} \sum_{je = 1}^{N} E_{y} [y_{je} {\hat{y}}_{je}] - E_{y} [y_{je}] E_{y} [{\hat{y}}_{je}] \\ = \frac{2}{N} \sum_{je = 1}^{N} E_{y} [y_{je} {\hat{y}}_{je} - y_{je} E_{y} [{\hat{y}}_{je}] - E_{y} [y_{je}] {\hat{y}}_{je} + E_{y} [y_{je}] E_{y} [{\hat{y}}_{je}]] \\ = \frac{2}{N} \sum_{je = 1}^{N} E_{y} [({\hat{y}}_{je} - E_{y} [{\hat{y}}_{je}]) ([y_{je} - E_{y} [y_{je}])] \\ = \frac{2}{N} \sum_{je = 1}^{N} c o v ({\hat{y}}_{je}, y_{je}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— Maciej Lazarewicz
source

1

Les quatre dernières étapes peuvent être simplifiées par cette propriété de covariance:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98