k-NN se généralise dans un sens très restrictif. Il utilise simplement des antérieurs de douceur (ou hypothèse de continuité). Cette hypothèse implique que les modèles qui sont proches dans l'espace d'entités appartiennent très probablement à la même classe. Aucune régularité fonctionnelle dans la distribution des motifs ne peut être récupérée par k-NN.
Ainsi, il nécessite des échantillons d'apprentissage représentatifs, qui peuvent être extrêmement grands, en particulier dans les cas d'espaces de caractéristiques très dimensionnels. Pire, ces échantillons peuvent ne pas être disponibles. Par conséquent, il ne peut pas apprendre les invariants. Si les motifs peuvent être soumis à certaines transformations sans changer d'étiquette et que l'échantillon d'apprentissage ne contient pas de motifs transformés de toutes les manières admissibles, k-NN ne reconnaîtra jamais les motifs transformés qui n'ont pas été présentés pendant la formation. Cela est vrai, par exemple, pour les images décalées ou tournées, si elles ne sont pas représentées sous une forme invariante avant d'exécuter k-NN. k-NN ne peut même pas faire abstraction de caractéristiques non pertinentes.
Un autre exemple quelque peu artificiel suit. Imaginez ce modèle appartenant à différentes classes réparties périodiquement (par exemple, conformément au sinus - s'il est inférieur à 0, alors les modèles appartiennent à une classe, et il est supérieur, alors les modèles appartiennent à une autre classe). L'ensemble d'entraînement est fini. Il sera donc situé dans une région finie. En dehors de cette région, l'erreur de reconnaissance sera de 50%. On peut imaginer la régression logistique avec des fonctions de base périodiques qui fonctionneront beaucoup mieux dans ce cas. D'autres méthodes pourront apprendre d'autres régularités dans les distributions de motifs et bien extrapoler.
Donc, si l'on soupçonne que l'ensemble de données disponible n'est pas représentatif, et qu'une invariance à certaines transformations de motifs devrait être obtenue, alors c'est le cas, dans lequel on devrait aller au-delà de k-NN.