Vous associez par erreur deux entités différentes: (1) biais-variance et (2) complexité du modèle.
(1) Le sur-ajustement est mauvais en apprentissage automatique car il est impossible de collecter un échantillon vraiment impartial de la population de données. Le modèle surajusté a pour résultat des paramètres biaisés pour l'échantillon au lieu de les estimer correctement pour l'ensemble de la population. Cela signifie qu'il restera une différence entre les paramètres estimés et les paramètres optimaux , quel que soit le nombre d'époques de formation . & phiv*nϕ^ϕ∗n
e φ|ϕ∗−ϕ^|→eϕ as n→∞ , où est une valeur englobanteeϕ
(2) La complexité du modèle est en termes simplistes le nombre de paramètres dans . Si la complexité du modèle est faible, il restera une erreur de régression quel que soit le nombre d'époques de formation, même lorsque est approximativement égal à . L'exemple le plus simple serait d'apprendre à ajuster une ligne (y = mx + c), où aux données d'une courbe (polynôme quadratique).φ φ φ * φ = { m , c }ϕϕ^ϕ∗ϕ={m,c}
e ME[|y−M(ϕ^)|]→eM as n→∞ , où est une valeur limitante d'erreur d'ajustement de régressioneM
Résumé: Oui, le biais de l'échantillon et la complexité du modèle contribuent à la «qualité» du modèle appris, mais ils ne s'influencent pas directement. Si vous avez des données biaisées, alors, peu importe le nombre correct de paramètres et l’entraînement infini, le modèle appris en dernier comportera une erreur. De même, si vous avez moins de paramètres que le nombre requis, alors, quel que soit l'échantillonnage parfaitement non biaisé et la formation infinie, le modèle appris final comportera une erreur.