J'étudie l'apprentissage automatique et je pense qu'il existe une relation étroite entre le concept de dimension VC et le concept plus classique (statistique) de degrés de liberté.
Quelqu'un peut-il expliquer une telle connexion?
Relation entre la dimension VC et les degrés de liberté
Réponses:
Comme l’a déclaré le professeur Yaser Abu-Mostafa-
Les degrés de liberté sont une abstraction du nombre effectif de paramètres. Le nombre effectif est basé sur le nombre de dichotomies que l' on peut obtenir, plutôt que sur le nombre de paramètres à valeur réelle utilisés. Dans le cas du perceptron bidimensionnel, on peut penser à la pente et à l'ordonnée à l'origine (plus un degré de liberté binaire pour quelle région passe à +1), ou on peut penser à 3 paramètres w_0, w_1, w_2 (bien que les poids puissent être augmentée ou diminuée simultanément sans affecter l'hypothèse qui en résulte). Les degrés de liberté, cependant, sont de 3 parce que nous avons la flexibilité de briser 3 points, non pas à cause d'une façon ou d'une autre de compter le nombre de paramètres.
Je pense que c'est une définition assez non standard des degrés de liberté!
—
kjetil b halvorsen
La dimension VC est très bien expliquée dans cet article dans la section 2.1 et plus loin, avec les lemmes de base et les preuves fournies. Vous pouvez passer par là.