L'incorporation linéaire locale (LLE) élimine le besoin d'estimer la distance entre des objets distants et récupère la structure non linéaire globale par ajustements linéaires locaux. Le LLE est avantageux car il n'implique aucun paramètre tel que les taux d'apprentissage ou les critères de convergence. LLE évolue également bien avec la dimensionnalité intrinsèque de . La fonction objective pour LLE est
La matrice de poids éléments pour les objets et sont mis à zéro siY
ζ(Y)=(Y−WY)2=Y⊤(I−W)⊤(I−W)Y
Wwijijjn'est pas le plus proche voisin de , sinon, les poids pour les K-voisins les plus proches de l'objet sont déterminés via un ajustement aux moindres carrés de
où la variable dépendante est un vecteur de uns, est une matrice Gram pour tous les voisins les plus proches de l'objet , et est un vecteur de poids qui suit des contraintes de somme à unité. Soit un semi-fini positif symétrique
iiU=Gβ
UK×1GK×KiβK×1DK×Kmatrice de distance pour toutes les paires des K plus proches voisins de l'objet à dimensions . On peut montrer que est égal à la matrice de distance doublement centrée avec les éléments
Les coefficients de régression sont déterminés numériquement en utilisant
pxiGττlm=−12(d2lm−1K∑ld2lm−1K∑md2lm+∑l∑md2lm).
KβK×1=(τ⊤τ)K×K−1τ⊤UK×1,
et sont vérifiés pour confirmer leur somme à l'unité. Les valeurs de sont intégrées dans la ligne de aux différentes positions de colonne correspondant aux K voisins les plus proches de l'objet , ainsi que les éléments de transposition. Ceci est répété pour chaque ème objet du jeu de données. Il convient de noter que si le nombre de voisins les plus proches est trop faible, alors peut être clairsemé, ce qui rend l'analyse propre difficile. Il a été observé que voisins les plus proches entraînaient
βiWiiKWK=9Wmatrices qui ne contenaient pas de pathologies lors de l'analyse propre. La fonction objectif est minimisée en trouvant les plus petites valeurs propres non nulles de
La forme réduite de est représentée par où a des dimensions basées sur les deux valeurs propres les plus basses de .
(I−W)⊤(I−W)E=ΛDE.
XY=EEn×2Λ