KNN est-il un algorithme d'apprentissage discriminant?

17

Il semble que KNN soit un algorithme d'apprentissage discriminant, mais je n'arrive pas à trouver de sources en ligne le confirmant.

machine-learning classification k-nearest-neighbour

— jpmuc
source

19

KNN est un algorithme discriminant car il modélise la probabilité conditionnelle d'un échantillon appartenant à une classe donnée. Pour voir cela, il suffit de considérer comment on arrive à la règle de décision des kNN.

Une étiquette de classe correspond à un ensemble de points qui appartiennent à une région dans l'espace de caractéristiques . Si vous tirez des points d'échantillonnage de la distribution de probabilité réelle, , indépendamment, alors la probabilité de tirer un échantillon de cette classe est, $R$ $p(x)$

P = \int_{R} p (x) d x

$P = \int_{R} p(x) dx$

Et si vous avez points? La probabilité que points de ces points tombent dans la région suit la distribution binomiale, $N$ $K$ $N$ $R$

P r o b (K) = (\binom{N}{K}) P^{K} (1 - P)^{N - K}

$Prob(K) = {{N} \choose {K}}P^{K}(1-P)^{N-K}$

Comme cette distribution est fortement culminée, de sorte que la probabilité peut être approximée par sa valeur moyenne . Une approximation supplémentaire est que la distribution de probabilité sur reste approximativement constante, de sorte que l'on peut approximer l'intégrale par, où est le volume total du Région. Sous ces approximations . $N \to \infty$ $\frac{K}{N}$ $R$

P = \int_{R} p (x) d x \approx p (x) V

$P = \int_{R} p(x) dx \approx p(x)V$

V

$V$

p (x) \approx \frac{K}{N V}

$p(x) \approx \frac{K}{NV}$

Maintenant, si nous avions plusieurs classes, nous pourrions répéter la même analyse pour chacune, ce qui nous donnerait, où est le nombre de points de la classe qui appartient à cette région et est le nombre total de points appartenant à la classe . Avis .

p (x | C_{k}) = \frac{K_{k}}{N_{k} V}

$p(x|C_{k}) = \frac{K_{k}}{N_{k}V}$

K_{k}

$K_{k}$

k

$k$

N_{k}

$N_{k}$

C_{k}

$C_k$

\sum_{k} N_{k} = N

$\sum_{k}N_{k}=N$

$P(C_{k}) = \frac{N_{k}}{N}$

P (C_{k} | x) = \frac{p (x | C_{k}) p (C_{k})}{p (x)} = \frac{K_{k}}{K}

$P(C_{k}|x) = \frac{p(x|C_{k})p(C_{k})}{p(x)} = \frac{K_{k}}{K}$

— jpmuc
source

2

La référence ne contient aucune information sur KNN. Est-ce la bonne?

— bayerj

1

Je voulais dire pour souligner ce qui est compris pour un algorithme discriminant par rapport à un génératif.

— jpmuc

5

La réponse de @jpmuc ne semble pas être exacte. Les modèles génératifs modélisent la distribution sous-jacente P (x / Ci) puis utilisent plus tard le théorème de Bayes pour trouver les probabilités postérieures. C'est exactement ce qui a été montré dans cette réponse, puis conclut exactement le contraire. : O

Pour que KNN soit un modèle génératif, nous devons être capables de générer des données synthétiques. Il semble que cela soit possible une fois que nous aurons quelques données de formation initiale. Mais partir de l'absence de données d'entraînement et générer des données synthétiques n'est pas possible. Donc KNN ne correspond pas bien aux modèles génératifs.

On peut soutenir que KNN est un modèle discriminant parce que nous pouvons tracer une frontière discriminante pour la classification, ou nous pouvons calculer le P postérieur (Ci / x). Mais tout cela est également vrai dans le cas des modèles génératifs. Un véritable modèle discriminant ne dit rien sur la distribution sous-jacente. Mais dans le cas de KNN, nous en savons beaucoup sur la distribution sous-jacente, en fait, nous stockons l'ensemble de la formation.

Il semble donc que KNN soit à mi-chemin entre les modèles génératifs et discriminants. C'est probablement pourquoi KNN n'est classé dans aucun des modèles génératifs ou discriminatoires des articles réputés. Appelons-les simplement des modèles non paramétriques.

— Binu Jasim
source

Je ne suis pas d'accord. "Les classificateurs génératifs apprennent un modèle de la probabilité conjointe, p (x, y), des entrées x et de l'étiquette y, et font leurs prédictions en utilisant les règles de Bayes pour calculer p (ylx), puis en choisissant l'étiquette la plus probable y Les classificateurs discriminants modélisent directement le p postérieur (ylx), ou apprennent une correspondance directe des entrées x aux étiquettes de classe ". Voir "Sur les classificateurs discriminants et génératifs: une comparaison de la régression logistique et des Bayes naïfs.

— jpmuc

3

Je suis tombé sur un livre qui dit le contraire ( c'est -à- dire un modèle de classification générative non paramétrique)

Ceci est le lien en ligne: Machine Learning A Probabilistic Perspective par Murphy, Kevin P. (2012)

Voici l'extrait du livre:

— Gürol Canbek
source

Ce doit être une erreur ..

1

Je suis d'accord que kNN est discriminatoire. La raison en est qu'il ne stocke pas explicitement ou n'essaie pas d'apprendre un modèle (probabiliste) qui explique les données (par opposition, par exemple, à Naive Bayes).

La réponse de juampa me confond car, à ma connaissance, un classificateur génératif est celui qui tente d'expliquer comment les données sont générées (par exemple en utilisant un modèle), et cette réponse dit qu'elle est discriminante pour cette raison ...

— Amir
source

1

Un modèle génératif apprend P (Ck, X), vous pouvez donc générer plus de données en utilisant cette distribution conjointe. En revanche, un modèle discriminant apprendrait P (Ck | X). C'est ce que @juampa pointe avec KNN.

— Zhubarb

1

Au moment de la classification, à la fois générative et discriminante finit par utiliser des probabilités conditionnelles pour faire des prédictions. Cependant, les classificateurs génératifs apprennent la probabilité conjointe et selon la règle de Bayes, il calcule le conditionnel, tandis que dans le discriminant, un classificateur calcule directement le conditionnel ou fournit une approximation aussi bonne que possible.

— rapaio