Complexité de calcul k-NN

Quelle est la complexité temporelle de l' algorithme k -NN avec une approche de recherche naïve (pas d'arbre kd ou similaire)?

Je suis intéressé par sa complexité temporelle compte tenu également de l'hyperparamètre k . J'ai trouvé des réponses contradictoires:

1. O (nd + kn), où n est la cardinalité de l'ensemble d'apprentissage et d la dimension de chaque échantillon. [1]

2. O (ndk), où encore n est la cardinalité de l'ensemble d'apprentissage et d la dimension de chaque échantillon. [2]

[1] http://www.csd.uwo.ca/courses/CS9840a/Lecture2_knn.pdf (Pag. 18/20)

[2] http://www.cs.haifa.ac.il/~rita/ml_course/lectures/KNN.pdf (p. 18/31)

En supposant que est fixe (comme le font les deux conférences liées), vos choix algorithmiques détermineront si votre calcul prend O ( n d + k n ) runtime ou O ( n d k ) runtime.$k$$O(nd+kn)$$O(ndk)$

Considérons d'abord un algorithme d'exécution :$O(nd+kn)$

• Initialiser pour toutes les observations i dans l'ensemble d'apprentissage$selected_i = 0$$i$
• Pour chaque ensemble d'entraînement, observation , calculer d i s t i , la distance entre la nouvelle observation et l'observation d'ensemble d'apprentissage$i$$dist_i$$i$
• Pour à k : boucle à travers toutes les observations de l'ensemble d'apprentissage, en sélectionnant l'indice i avec la plus petite valeur d i s t i et pour lequel s e l e c t e d i = 0 . Sélectionnez cette observation en définissant$j=1$$k$$i$$dist_i$$selected_i=0$ .$selected_i=1$
• Renvoie les indices sélectionnés$k$

Chaque calcul de distance nécessite un runtime , donc la deuxième étape nécessite un runtime O ( n d ) . Pour chaque itération de la troisième étape, nous effectuons un travail O ( n ) en parcourant les observations de l'ensemble d'apprentissage, de sorte que l'étape nécessite globalement un travail O ( n k ) . Les première et quatrième étapes ne nécessitent qu'un travail O ( n ) , nous obtenons donc un runtime O ( n d + k n ) .$O(d)$$O(nd)$$O(n)$$O(nk)$$O(n)$$O(nd+kn)$

Considérons maintenant un algorithme d'exécution :$O(ndk)$

• Initialiser pour toutes les observations i dans l'ensemble d'apprentissage$selected_i = 0$$i$
• Pour à k : parcourez toutes les observations de l'ensemble d'apprentissage et calculez la distance d entre l'observation de l'ensemble d'apprentissage sélectionné et la nouvelle observation. Sélectionnez l'indice i avec la plus petite valeur d pour laquelle s e l e c t e d i = 0 . Sélectionnez cette observation en définissant s e l e c t e d i = 1 .$j=1$$k$$d$$i$$d$$selected_i=0$$selected_i=1$
• Renvoie les indices sélectionnés$k$

Pour chaque itération de la deuxième étape, nous calculons la distance entre la nouvelle observation et chaque observation d'ensemble d'apprentissage, nécessitant travail pour une itération et donc O ( n d k ) de travail global.$O(nd)$$O(ndk)$

La différence entre les deux algorithmes est que le premier précalcule et stocke les distances (nécessitant de mémoire supplémentaire), tandis que le second ne le fait pas. Cependant, étant donné que nous stockons déjà l'ensemble de la formation, nécessitant O ( n d ) mémoire, ainsi que le vecteur s e l e c t e d , nécessitant $O(n)$$O(nd)$$selected$stockage ( n ) , le stockage des deux algorithmes est asymptotiquement le même. En conséquence, le meilleur temps d'exécution asymptotique pour k > 1 rend le premier algorithme plus attrayant.$O(n)$$k > 1$

Il est à noter qu'il est possible d'obtenir un runtime utilisant une amélioration algorithmique:$O(nd)$

• Pour chaque observation d'ensemble d'entraînement , calculer d i s t i , la distance entre la nouvelle observation et l'observation d'ensemble d'apprentissage$i$$dist_i$$i$
• Exécutez l' algorithme de sélection rapide pour calculer la plus petite distance dans le temps d'exécution O ( n $k^{th}$$O(n)$
• Renvoie tous les indices non supérieurs à la plus petite distance calculée $k^{th}$

Cette approche tire parti du fait qu'il existe des approches efficaces pour trouver la plus petite valeur dans un tableau non trié.$k^{th}$