Qu'entend-on par la variance des * fonctions * dans * Introduction à l'apprentissage statistique *?

Sur la p. 34 de Introduction à l'apprentissage statistique : $\newcommand{\Var}{{\rm Var}}$

Bien que la preuve mathématique dépasse le cadre de ce livre, il est possible de montrer que le test attendu MSE, pour une valeur donnée $x_0$ , peut toujours être décomposé en la somme de trois quantités fondamentales: la variance de $\hat{f}(x_0)$ , le biais au carré de $\hat{f}(x_0)$ et la variance des termes d'erreur $\varepsilon$ . C'est,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] La variance fait référence à la variation de $\hat{f}$ si nous l'estimions à l'aide d'un ensemble de données d'entraînement différent.

Question: Étant donné que $\Var\big(\hat{f}(x_0)\big)$ semble indiquer la variance des fonctions , qu'est-ce que cela signifie formellement?

Autrement dit, je connais le concept de la variance d'une variable aléatoire $X$ , mais qu'en est-il de la variance d'un ensemble de fonctions? Peut-on considérer cela comme la simple variance d'une autre variable aléatoire dont les valeurs prennent la forme de fonctions?

Votre correspondance avec @whuber est correcte.

Un algorithme d'apprentissage peut être considéré comme une fonction de niveau supérieur, mappant les ensembles de formation aux fonctions.$\mathcal{A}$

où est l'espace des ensembles d'entraînement possibles. Cela peut être un peu velu conceptuellement, mais fondamentalement, chaque ensemble d'entraînement individuel donne, après avoir utilisé l'algorithme d'apprentissage du modèle, une fonction spécifique qui peut être utilisée pour faire des prédictions étant donné un point de données .$\mathcal{T}$$f$$x$

Si nous considérons l'espace des ensembles d'entraînement comme un espace de probabilité, de sorte qu'il existe une certaine distribution des ensembles de données d'entraînement possibles, alors l'algorithme d'apprentissage du modèle devient une variable aléatoire à valeur de fonction, et nous pouvons penser à des concepts statistiques. En particulier, si nous fixons un point de données spécifique , alors nous obtenons la variable aléatoire à valeur numérique$x_0$

Autrement dit, entraînez d'abord l'algorithme sur , puis évaluez le modèle résultant à . Il s'agit simplement d'une variable aléatoire assez ancienne, mais plutôt ingénieusement construite, sur un espace de probabilité, nous pouvons donc parler de sa variance. Il s'agit de la variation de votre formule par rapport à ISL.$T$$x_0$

Une interprétation visuelle utilisant des kfolds répétés

Pour donner une interprétation visuelle / intuitive à la réponse de @Matthew Drury, considérons l'exemple de jouet suivant.

• Les données sont générées à partir de la courbe sinusoïdale bruyante: "True noise"$f(x) \ +$
• Les données sont réparties entre les échantillons d'apprentissage et de test (75% - 25%)
• Un modèle linéaire (polynomial) est ajusté aux données d'apprentissage:$\hat f(x)$
• Le processus est répété plusieurs fois en utilisant les mêmes données (c.-à-d. Fractionner la formation - tester au hasard en utilisant Sklearm kfold répété)
• Cela génère de nombreux modèles différents, à partir desquels nous calculons la moyenne et la variance à chaque point ainsi que sur tous les points.$x=x_i$

Voir ci-dessous les graphiques résultants pour un modèle polynomial de degré 2 et degré 6. À première vue, il semble que le polynôme supérieur (en rouge) présente une plus grande variance.

Arguant que le graphique rouge a une plus grande variance - expérimentalement

Soit et correspondent respectivement aux graphiques vert et rouge et soit une instance des graphiques, en vert clair et en rouge clair. Soit le nombre de points le long de l' axe et le nombre de graphiques (c'est-à-dire le nombre de simulations). Ici, nous avons et$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Je vois trois scénarios principaux

1. La variance des valeurs prédites à un point spécifique est plus grande c'est-à-dire$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. La variance dans est plus grande pour tous les points dans la plage $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. La variance est plus grande en moyenne (c'est-à-dire qu'elle peut être plus petite pour certains points)

Dans le cas de cet exemple de jouet, les trois scénarios se vérifient sur la plage ce qui justifie l'argument selon lequel l'ajustement polynomial d'ordre supérieur (en rouge) présente une variance plus élevée que le polynôme d'ordre inférieur (en vert).$(0,1)$

Une conclusion ouverte

Ce qui devrait être discuté lorsque les trois scénarios ci-dessus ne sont pas tous valables. Par exemple, que faire si la variance des prédictions rouges est plus élevée en moyenne, mais pas pour tous les points.

Détails des étiquettes

Considérons le point$x_0 = 0.5$

• La barre d'erreur est la plage entre min et max de$\hat f(x_0)$
• La variance est calculée à$x_0$
• Le vrai est la ligne bleue pointillée$f(x)$