RMSE normalisé

J'ai plusieurs séries chronologiques dans un VAR (1) et, comme certaines d'entre elles n'ont pas la même unité de mesure, je voudrais estimer le RMSE en pourcentage. Je sais que cela pourrait se faire de plusieurs manières (voir ci-dessous) mais je ne sais pas précisément quelle est celle qui correspond le mieux à un problème d'évaluation des prévisions. J'espère que vous pourrez m'aider.

Exemples de RMSE normalisé:

R M S E_{1} = \sqrt{\frac{1}{n} \sum_{i} {(\frac{Y_{f o r e c a s t_{i}} - Y_{i}}{Y_{i}})}^{2}} R M S E_{2} = \sqrt{\frac{1}{n} \sum_{i} {(\frac{Y_{f o r e c a s t_{i}} - Y_{i}}{Y_{f o r e c a s t_{i}}})}^{2}} R M S E_{3} = \frac{\sqrt{\frac{1}{n} \sum_{i} {(Y_{f o r e c a s t_{i}} - Y_{i})}^{2}}}{m e a n (Y)}

$RMSE_1 = \sqrt{\frac{1}{n}\sum_i\left(\frac{Y_{forecast_i}-Y_i}{Y_i}\right)^2} \\ RMSE_2 = \sqrt{\frac{1}{n}\sum_i\left(\frac{Y_{forecast_i}-Y_i}{Y_{forecast_i}}\right)^2} \\ RMSE_3 = \frac{\sqrt{\frac{1}{n}\sum_i\left(Y_{forecast_i}-Y_i\right)^2}}{mean(Y)}$

time-series mse rms

Réponses:

Vous avez également d' autres choix couramment utilisés dans de tels cas, par exemple l'erreur absolue relative

RAE = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\text{RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

erreur quadratique relative racine

RRSE = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\text{RRSE} = \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

erreur moyenne absolue en pourcentage

MAPE = \frac{1}{N} \sum_{i = 1}^{N} | \frac{θ_{i} - {\hat{θ}}_{i}}{θ_{i}} |

$\text{MAPE} = \frac{1}{N} \sum^N_{i=1} \left| \frac{\theta_i - \hat{\theta}_i}{\theta_i} \right|$

où est la vraie valeur, est la prévision et est une moyenne de (voir aussi https://www.otexts.org/fpp/2/5 ). $\theta$ $\hat \theta$ $\overline{\theta}$ $\theta$

— Tim
source

lors de la mise en œuvre de RAE ou RRSE, pouvez-vous recommander une manière raisonnable d'éviter inf? J'ai pensé à utiliser meanplutôt que sumet à max le dénominateur avec une epsilonvaleur

— ihadanny

@ihadanny pourquoi voyez-vous des valeurs inf?

— Tim

lorsque sont constants, le dénominateur est 0

θ

$\theta$

— ihadanny

@ihadanny alors la mesure d'erreur n'a pas de sens.

— Tim

Un moyen possible serait de normaliser le RMSE avec l'écart type de : $Y$

$NRMSE = \frac{RMSE}{\sigma(Y)}$

Si cette valeur est supérieure à 1, vous obtiendriez un meilleur modèle en générant simplement une série temporelle aléatoire du même écart moyen et standard . $Y$

— Fabzi
source