RMSE vs coefficient de détermination

J'évalue un modèle physique et je voudrais savoir laquelle des méthodes je dois utiliser ici (entre RMSE et Coefficient de détermination R2)

Le problème est le suivant: j'ai une fonction qui produit des prédictions pour la valeur d'entrée x, $\overline{y_x}= f(x)$ . J'ai également l'observation réelle de cette valeur que j'appelle$y_x$ .

Ma question est de savoir quels sont les avantages et les inconvénients de RMSE ou . J'ai vu les deux être utilisés dans des documents pour le problème sur lequel je travaille.$R^2$

Je les ai utilisés tous les deux et j'ai quelques remarques à faire.

• Rmse est utile car il est simple à expliquer. Tout le monde sait ce que c'est.
• Rmse n'affiche pas de valeurs relatives. Si , vous devez spécifiquement connaître la plage α < y x < β . Si α = 1 , β = 1000 , alors 0,2 est une bonne valeur. Si α = 0 , β = 1 , cela ne semble plus aussi bon.$rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• Conformément à l'approche précédente, rmse est un bon moyen de masquer le fait que les personnes que vous avez interrogées ou que les mesures que vous avez prises sont généralement uniformes (tout le monde a évalué le produit avec 3 étoiles), et vos résultats semblent bons parce que les données vous ont aidé. Si les données étaient un peu aléatoires, vous trouveriez votre modèle en orbite autour de Jupiter.
• Utiliser un coefficient de détermination ajusté, plutôt que le R 2 ordinaire$R^2$
• Le coefficient de détermination est difficile à expliquer. Même les gens du terrain ont besoin d'une astuce de note de bas de page comme \ footnote {Le coefficient de détermination ajusté est la proportion de variabilité dans un ensemble de données qui peut être expliquée par le modèle statistique. Cette valeur montre à quel point les résultats futurs peuvent être prédits par le modèle. $R^2$ peut prendre 0 comme minimum et 1 comme maximum.}
• Le coefficient de détermination est cependant très précis pour dire dans quelle mesure votre modèle explique un phénomène. si , quelles que soient les valeurs y x , votre modèle est mauvais. Je crois que le point de coupure pour un bon modèle commence à 0,6, et si vous avez quelque chose autour de 0,7-0,8, votre modèle est très bon.$R^2=0.2$$y_x$
• Pour récapituler, dit qu'avec votre modèle, vous pouvez expliquer 70% de ce qui se passe dans les données réelles. Le reste, 30%, est quelque chose que vous ne savez pas et que vous ne pouvez pas expliquer. C'est probablement parce qu'il y a des facteurs de confusion ou que vous avez fait des erreurs dans la construction du modèle.$R^2=0.7$
• En informatique, presque tout le monde utilise rmse. Les sciences sociales utilisent plus souvent.$R^2$
• Si vous n'avez pas besoin de justifier les paramètres de votre modèle, utilisez simplement rmse. Cependant, si vous devez insérer, supprimer ou modifier vos paramètres lors de la construction de votre modèle, vous devez utiliser pour montrer que ces paramètres peuvent mieux expliquer les données.$R^2$
• Si vous utilisez , codez dans la langue R. Il a des bibliothèques, et vous lui donnez simplement les données pour avoir tous les résultats.$R^2$

Pour un informaticien en herbe, il était passionnant d'écrire sur les statistiques. Votre sincèrement.

Peu importe la mesure d'erreur que vous donnez, pensez à donner votre vecteur de résultat complet dans une annexe. Les personnes qui aiment comparer avec votre méthode mais préfèrent une autre mesure d'erreur peuvent dériver une telle valeur de votre table.

:$R^2$

• Ne reflète pas les erreurs systématiques. Imaginez que vous mesuriez des diamètres au lieu de rayons d'objets circulaires. Vous avez une surestimation attendue de 100%, mais vous pouvez atteindre un proche de 1.$R^2$

• En désaccord avec les commentaires précédents selon lesquels est difficile à comprendre. Plus la valeur est élevée, plus votre modèle est précis, mais il peut inclure des erreurs systématiques.$R^2$

• Peut être exprimé par la formule facile à comprendre où vous construisez le rapport de la somme des résidus au carré et divisez par la moyenne:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• devrait être exprimé dans sa version plus avancée de $R^2_{adj.}$

$RMSE$

• Vous ne pouvez atteindre un faible qu'en ayant à la fois une haute précision (les valeurs aberrantes simples mais importantes punissent fortement) et aucune erreur systématique. Donc, en quelque sorte, un faible $RMSE$$RMSE$$R^2$

• $rel. RMSE$$rel. RMSE$

Comme d'autres personnes l'ont mentionné, le choix peut dépendre de votre domaine et de l'état de l'art. Existe-t-il également une méthode largement acceptée pour comparer? Utilisez la même mesure qu'eux et vous pourrez lier directement les avantages de vos méthodes facilement dans la discussion.

$R^2$

J'utiliserais ce qui suit comme un guide très général pour comprendre la différence entre les deux mesures:

Le RMSE vous donne une idée de la distance (ou de la distance) entre vos valeurs prédites et les données réelles que vous essayez de modéliser. Ceci est utile dans une variété d' applications où vous souhaitez comprendre l'exactitude et la précision des prédictions de votre modèle (par exemple, la modélisation de la hauteur de l'arbre).

Avantages

1. Il est relativement facile à comprendre et à communiquer car les valeurs déclarées sont dans les mêmes unités que la variable dépendante modélisée.

Les inconvénients

1. Il est sensible aux grosses erreurs (pénalise davantage les grosses erreurs de prédiction que les petites erreurs de prédiction).

$R^2$ ) est utile lorsque vous essayez de comprendre dans quelle mesure vos variables indépendantes sélectionnées expliquent la variabilité de vos variables dépendantes. Ceci est utile lorsque vous essayez d'expliquer quels facteurs peuvent être à l'origine du processus d'intérêt sous-jacent (par exemple, les variables climatiques et les conditions du sol liées à la hauteur des arbres).

Avantages

1. Donne une idée globale de l'adéquation des variables sélectionnées avec les données.

Les inconvénients

1. $R^2$$R^2$

Bien sûr, ce qui précède dépendra de la taille de l'échantillon et du plan d'échantillonnage, et d'une compréhension générale que la corrélation n'implique pas de causalité.

Il existe également MAE, Mean Absolute Error. Contrairement à RMSE, il n'est pas trop sensible aux grandes erreurs. D'après ce que j'ai lu, certains champs préfèrent RMSE, d'autres MAE. J'aime utiliser les deux.

En fait, pour que les statisticiens connaissent le meilleur ajustement du modèle, alors le RMSE est très important pour ces personnes dans sa recherche robuste.Si le RMSE est très proche de zéro, alors le modèle est le mieux adapté.

Le coefficient de détermination est bon pour d'autres scientifiques comme l'agriculture et d'autres domaines. Il s'agit d'une valeur comprise entre 0 et 1. Si elle est 1, 100% des valeurs correspondent aux ensembles de données observés. Si c'est 0, alors les données sont complètement hétérogènes. Dr.SK.Khadar Babu, Université VIT, Vellore, Tamil Nadu, Inde.

Si un certain nombre est ajouté à chaque élément de l'un des vecteurs, RMSE change. Idem si tous les éléments d'un ou des deux vecteurs sont multipliés par un nombre. Le code R suit;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

En fin de compte, la différence est simplement la standardisation car les deux conduisent au choix du même modèle, car RMSE fois le nombre d'observations est dans le numérateur ou R au carré, et le dénominateur de ce dernier est constant dans tous les modèles (il suffit de tracer une mesure par rapport à la autre pour 10 modèles différents).