Quelle est la définition exacte de la dimension VC?

J'étudie l'apprentissage automatique à partir des conférences d'Andrew Ng Stanford et je viens de découvrir la théorie des dimensions VC. Selon les conférences et ce que j'ai compris, la définition de la dimension VC peut être donnée comme,

Si vous pouvez trouver un ensemble de points, de sorte qu'il puisse être brisé par le classificateur (c.-à-d. Classer correctement tous les étiquetages possibles) et vous ne pouvez pas trouver un ensemble de points qui peuvent être brisés (c.-à-d. Pour tout ensemble de points, il y a au moins un ordre d'étiquetage pour que le classificateur ne puisse pas séparer tous les points correctement), alors la dimension VC est . $n$ $2^n$ $n+1$ $n+1$ $n$

Le professeur a également pris un exemple et l'a bien expliqué. Lequel est:

Laisser,

$H=\{{set\ of\ linear\ classifiers\ in\ 2\ Dimensions \}}$

Ensuite, 3 points peuvent être correctement classés par avec un hyper plan de séparation comme indiqué dans la figure suivante. $H$

Et c'est pourquoi la dimension VC de est 3. Parce que pour 4 points dans un plan 2D, un classificateur linéaire ne peut pas briser toutes les combinaisons de points. Par exemple, $H$

Pour cet ensemble de points, aucun hyper plan de séparation ne peut être tracé pour classer cet ensemble. La dimension VC est donc 3.

J'ai l'idée jusqu'ici. Mais que se passe-t-il si nous suivons le type de modèle?

Ou le motif où trois points coïncident les uns sur les autres, ici aussi on ne peut pas dessiner d'hyper plan de séparation entre 3 points. Mais ce modèle n'est toujours pas pris en compte dans la définition de la dimension VC. Pourquoi? Le même point est également discuté des conférences que je regarde ici à 16:24 mais le professeur ne mentionne pas la raison exacte derrière cela.

Tout exemple d'explication intuitif sera apprécié. Merci

machine-learning classification vc-theory

— Kaushal28
source

extrait de datascience.stackexchange.com/a/16146/23305

— oW_

La définition de la dimension VC est la suivante: s'il existe un ensemble de n points qui peuvent être brisés par le classificateur et qu'aucun ensemble de n + 1 points ne peut être brisé par le classificateur, alors la dimension VC du classificateur est n.

La définition ne dit pas: si n'importe quel ensemble de n points peut être brisé par le classificateur ...

Si la dimension VC d'un classificateur est 3, il n'a pas à briser tous les arrangements possibles de 3 points.

Si parmi tous les arrangements de 3 points, vous pouvez trouver au moins un tel arrangement qui peut être brisé par le classificateur, et ne peut pas trouver 4 points qui peuvent être brisés, alors la dimension VC est 3.

— Vladislav Gladkikh
source

Ensuite, dans ce cas, nous pouvons obtenir au moins un modèle d'un nombre quelconque de points qui peuvent être classés en ligne droite. Par exemple, pensez à 4 points. Deux points rouges sur le côté gauche et deux points bleus sur le côté droit permettraient de classer, et la dimension VC serait 4. Alors pourquoi cela n'est-il pas envisagé?

— Kaushal28

Classé - oui. Shattered - no

— Vladislav Gladkikh

Alors, quel est le sens de briser un arrangement de points? Je suis vraiment confus ici. Merci

— Kaushal28

Un arrangement de points peut être brisé si un sous-ensemble de cet arrangement peut être isolé et mis dans une classe. Disons que vous voulez tester si un certain arrangement (pas tous les arrangements possibles mais seulement un arrangement particulier) de n points peut être brisé par un certain type de classificateurs. Ensuite, vous testez d'abord si un seul point peut être isolé. Ensuite, si 2 points peuvent être isolés, alors s'il y en a 3, etc., jusqu'à n-1 points de cet arrangement particulier. Voir ici en.wikipedia.org/wiki/Shattered_set

— Vladislav Gladkikh

La figure avec 8 sous-intrigues est une très bonne illustration de ce qui se brise. Ici vous avez 3 points, 2 classes, donc 2 ^ 3 = 8 étiquetages possibles de ces 3 points. Les 8 étiquetages peuvent être effectués et isolés avec une ligne donc cet ensemble peut être brisé par une ligne. La figure à 4 points: elle a des étiquettes qui peuvent être isolées avec une ligne (disons, deux à gauche sont rouges, deux à droite sont bleues) mais a également un étiquetage qui ne peut pas être isolé avec une ligne (comme dans la figure: en haut et bleu inférieur; gauche et droite sont à gauche). Comme il a un étiquetage qui ne peut pas être isolé avec une ligne, cet ensemble n'est pas brisé.

— Vladislav Gladkikh