Calcul de la probabilité de RMSE

J'ai un modèle pour prédire une trajectoire (x en fonction du temps) avec plusieurs paramètres. Pour le moment, je calcule l'erreur quadratique moyenne (RMSE) entre la trajectoire prédite et la trajectoire enregistrée expérimentalement. Actuellement, je minimise cette différence (le RMSE) en utilisant simplex (fminsearch dans matlab). Bien que cette méthode fonctionne pour donner de bons ajustements, je voudrais comparer plusieurs modèles différents, donc je pense que je dois calculer la probabilité afin de pouvoir utiliser l'estimation du maximum de vraisemblance plutôt que de minimiser le RMSE (puis comparer les modèles en utilisant AIC ou BIC ). Existe-t-il un moyen standard de procéder?

maximum-likelihood curve-fitting

— Jason
source

L'erreur quadratique moyenne et la probabilité sont en fait étroitement liées. Supposons que vous disposez d'un ensemble de données de paires et que vous souhaitez modéliser leur relation à l'aide du modèle . Vous décidez de minimiser l'erreur quadratique $\lbrace x_i, z_i \rbrace$ $f$

\sum_{je} {(F (X_{je}) - z_{je})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Ce choix n'est-il pas totalement arbitraire? Bien sûr, vous voulez pénaliser davantage les estimations qui sont complètement fausses que celles qui sont à peu près correctes. Mais il y a une très bonne raison d'utiliser l'erreur quadratique.

Rappelez-vous la densité gaussienne: oùest la constante de normalisation dont nous ne nous soucions pas pour l'instant. Supposons que vos données ciblessoient distribuées selon une gaussienne. Nous pouvons donc noter la probabilité des données. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{je} \frac{1}{Z} \exp \frac{- (F (X_{je}) - z_{je})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Maintenant, si vous prenez le logarithme de cela ...

Journal L = \sum_{je} \frac{- (F (X_{je}) - z_{je})^{2}}{2 σ^{2}} - Journal Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... il s'avère qu'il est très étroitement lié à la valeur efficace: les seules différences sont des termes constants, une racine carrée et une multiplication.

Pour faire court: minimiser l'erreur quadratique moyenne équivaut à maximiser la vraisemblance logarithmique des données.

— bayerj
source

Merci pour l'explication claire. Donc, si je veux comparer deux modèles (non intégrés) à l'aide de BIC, je peux simplement supprimer les termes sigma ^ 2 et Z (en supposant effectivement qu'ils sont identiques entre les modèles) lors du calcul de la probabilité?

— Jason

σ

$\sigma$

σ

$\sigma$

Journal L = \sum_{je} \frac{(F (X_{je}) - z_{je})^{2}}{2 σ^{2}} - Journal Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

Y a-t-il un signe négatif manquant dans la distribution gaussienne?

— Manoj

La conclusion ne devrait-elle pas être le contraire? La minimisation de la somme des erreurs quadratiques maximise la log-vraisemblance (pour un

σ

$\sigma$ ), et maximise ainsi la probabilité (puisque log est monotone).

— Tim Goodman