Signification de «erreur de reconstruction» dans PCA et LDA

J'implémente PCA, LDA et Naive Bayes, respectivement pour la compression et la classification (implémentant à la fois un LDA pour la compression et la classification).

J'ai le code écrit et tout fonctionne. Ce que je dois savoir, pour le rapport, c'est quelle est la définition générale de l' erreur de reconstruction .

Je peux trouver beaucoup de mathématiques et les utiliser dans la littérature ... mais ce dont j'ai vraiment besoin, c'est d'une vue plongeante / définition de mots simples, donc je peux l'adapter au rapport.

Pour PCA, vous projetez vos données sur un sous-ensemble de votre espace d'entrée. Fondamentalement, tout tient sur cette image ci-dessus: vous projetez des données sur le sous-espace avec une variance maximale. Lorsque vous reconstruisez vos données à partir de la projection, vous obtenez les points rouges, et l'erreur de reconstruction est la somme des distances du bleu au point rouge: elle correspond en effet à l'erreur que vous avez commise en projetant vos données sur le vert ligne. Il peut bien sûr être généralisé dans toutes les dimensions!

Comme indiqué dans les commentaires, cela ne semble pas aussi simple pour LDA et je ne trouve pas de définition correcte sur Internet. Désolé.

La définition générale de l'erreur de reconstruction serait la distance entre le point de données d'origine et sa projection sur un sous-espace de dimension inférieure (son «estimation»).

Source: Mathématiques de la spécialisation en apprentissage automatique par Imperial College London

Ce que j'utilise habituellement comme mesure de l'erreur de reconstruction (dans le contexte de l'ACP, mais aussi d'autres méthodes) est le coefficient de détermination et l'erreur quadratique moyenne (ou RMSE normalisée). Ces deux sont faciles à calculer et vous donnent une idée rapide de ce que la reconstruction a fait.$R^2$

Calcul

Supposons que soit vos données d'origine et les données compressées.$X$$f$

Le de la variable peut être calculé comme suit:$R^2$$i^{th}$

$R^2_i = 1 - \frac{\sum_{j=1}^n (X_{j,i} - f_{j,i})^2}{\sum_{j=1}^n X_{j,i}^2}$

Puisque pour un ajustement parfait, vous pouvez juger de la reconstruction en fonction de la proximité du à 1,0.$R^2 = 1.0$$R^2$

Le RMSE de la variable peut être calculé comme suit:$i^{th}$

$\text{RMSE}_i = \sqrt{\overline{(X_i - f_i)^2}}$

que vous pouvez également normaliser par une quantité qui vous convient (norme ), je normalise souvent par la valeur moyenne, le NRMSE est donc:$N$

$\text{NRMSE}_i = \frac{\text{RMSE}_i}{N_i} = \sqrt{\frac{\overline{(X_i - f_i)^2}}{\overline{X_i^2}}}$

Calcul

Si vous utilisez Python, vous pouvez les calculer comme suit:

from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error
from math import sqrt
import numpy as np

r2 = r2_score(X, f)
rmse = sqrt(mean_squared_error(X, f))

# RMSE normalised by mean:
nrmse = rmse/sqrt(np.mean(X**2))

où Xsont les données d'origine et fles données compressées.

Visualisation

Dans le cas où il est utile pour vous de faire une analyse de sensibilité, vous pouvez alors juger visuellement comment le ou le RMSE changent lorsque vous changez les paramètres de votre compression. Par exemple, cela peut être pratique dans le contexte de l'ACP lorsque vous souhaitez comparer des reconstructions avec un nombre croissant de composants principaux conservés. Ci-dessous, vous voyez que l'augmentation du nombre de modes permet de vous rapprocher du modèle:$R^2$