RMSE et MAE peuvent-ils avoir la même valeur?

J'implémente la validation croisée et calcule des métriques d'erreur telles que RMSE, , MAE, MSE, etc.$R^2$

RMSE et MAE peuvent-ils avoir la même valeur?

Oui, en théorie. Le cas le plus simple que je peux imaginer est un ensemble de données où toutes les erreurs de prédiction (c'est-à-dire les résidus) sont exactement $\pm$ 1. RMSE et MAE renverront des valeurs identiques de 1. On peut également construire d'autres scénarios, mais aucun ne semble très probable.

EDIT: Merci à @DilipSarwate d'avoir souligné (développé par @ user20160 dans son excellente réponse) que ce résultat est possible si et seulement si les valeurs absolues de toutes les erreurs de prédiction sont identiques. En d' autres termes, la valeur $\pm$ 1 n'a rien de spécial dans mon exemple; tout autre nombre fonctionnerait au lieu de 1.

L'erreur absolue moyenne (MAE) peut être égale à l'erreur quadratique moyenne (MSE) ou à l'erreur quadratique moyenne (RMSE) dans certaines conditions, que je montrerai ci-dessous. Ces conditions sont peu susceptibles de se produire dans la pratique.

Préliminaires

Soit $r_i = |y_i - \hat{y}_i|$désigne la valeur absolue du résidu pour le $i$ ème point de données, et soit $r = [r_i, \dots, r_n]^T$ un vecteur contenant des résidus absolus pour tous les $n$ points de l'ensemble de données. Soit $\vec{1}$ désigne un vecteur $n \times 1$ de l'un, le MAE, le MSE et le RMSE peuvent s'écrire:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Définir le MSE égal au MAE et réorganiser donne:

$$(r - \vec{1})^T r = 0 \tag{2}$$

Le MSE et le MAE sont égaux pour tous les ensembles de données où les résidus absolus résolvent l'équation ci-dessus. Deux solutions évidentes sont: $r = \vec{0}$ (il n'y a pas d'erreur) et $r = \vec{1}$ (les résidus sont tous $\pm 1$ , comme mentionné mkt). Mais, il existe une infinité de solutions.

Nous pouvons interpréter l'équation $(2)$ géométriquement comme suit: Le LHS est le produit scalaire de $r-\vec{1}$ et $r$ . Le produit à point zéro implique l'orthogonalité. Ainsi, le MSE et le MAE sont égaux si la soustraction de 1 de chaque résidu absolu donne un vecteur orthogonal aux résidus absolus d'origine.

De plus, en remplissant le carré, l'équation $(2)$ peut être réécrite comme:

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Cette équation décrit une sphère à $n$ dimensions centrée sur $[\frac{1}{2}, \dots, \frac{1}{2}]^T$avec rayon$\frac{1}{2} \sqrt{n}$ . Le MSE et le MAE sont égaux si et seulement si les résidus absolus se trouvent à la surface de cette hypersphère.

RMSE

Régler le RMSE égal au MAE et réorganiser donne:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

où $I$ est la matrice d'identité. L'ensemble de solutions est l' espace nul de $A$ ; c'est-à-dire l'ensemble de tous les $r$ tels que $A r = \vec{0}$ . Pour trouver l'espace nul, notez que $A$ est une matrice $n \times n$ avec des éléments diagonaux égaux à $n-1$ et tous les autres éléments égaux à $-1$ . L'énoncé $A r = \vec{0}$ correspond au système d'équations:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Ou, réorganiser les choses:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Autrement dit, chaque élément $r_i$ doit être égal à la moyenne des autres éléments. La seule façon de satisfaire à cette exigence est que tous les éléments soient égaux (ce résultat peut également être obtenu en considérant la composition par eigend de $A$ ). Par conséquent, l'ensemble de solutions se compose de tous les vecteurs non négatifs avec des entrées identiques:

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Ainsi, le RMSE et le MAE sont égaux si et seulement si les valeurs absolues des résidus sont égales pour tous les points de données.