La valeur R au carré est-elle appropriée pour comparer des modèles?

J'essaie d'identifier le meilleur modèle pour prédire les prix des automobiles, en utilisant les prix et les fonctionnalités disponibles sur les sites de petites annonces automobiles.

Pour cela, j'ai utilisé quelques modèles de la bibliothèque scikit-learn et des modèles de réseaux neuronaux de pybrain et de neurolab. L'approche que j'ai utilisée jusqu'à présent consiste à exécuter une quantité fixe de données à travers certains modèles (algorithmes d'apprentissage automatique) et à comparer les valeurs $R^2$ qui ont été calculées avec le module de métriques scikit-learn.

Est - $R^2$ une bonne méthode pour comparer les performances des différents modèles?
Bien que j'aie obtenu des résultats tout à fait acceptables pour des modèles tels que le filet élastique et les forêts aléatoires, j'ai obtenu de très faibles valeurs $R^2$ pour les modèles de réseau neuronal, donc $R^2$ une méthode appropriée pour évaluer les réseaux neuronaux (ou les méthodes non linéaires)?

— Manik
source

La réponse courte est non . Cela pourrait vous aider à lire ma réponse ici: Évaluation et comparaison de modèles pour sélectionner le meilleur modèle , qui est assez étroitement lié à votre question. Une solution candidate est décrite ici . Pour une compréhension plus générale, vous pouvez essayer de lire certains des fils du site classés sous la balise de sélection de modèle .

— gung - Réintégrer Monica

@gung Merci! puis-je demander quelle serait une mesure appropriée de la qualité de l'ajustement pour la régression à l'aide de réseaux de neurones?

— Manik

Je pense que la partie cruciale à considérer pour répondre à votre question est

J'essaie d'identifier le meilleur modèle pour prédire les prix des automobiles

car cette déclaration implique quelque chose sur la raison pour laquelle vous souhaitez utiliser le modèle. Le choix et l'évaluation du modèle doivent être basés sur ce que vous voulez réaliser avec vos valeurs ajustées.

Tout d' abord, permet de récapituler ce que fait $R^2$ : Il calcule une mesure réduite en fonction de la fonction de perte quadratique, que je suis sûr que vous êtes déjà au courant. Pour voir cela, définir résiduel pour votre i-ème observation et la valeur correspondante équipée . En utilisant la notation pratique , $e_i = y_i - \hat{y}_i$ $y_i$ $\hat{y}_i$ $SSR := \sum_{i=1}^Ne_i^2$ ,est simplement défini comme. $SST:=\sum_{i=1}^N(y_i - \bar{y})^2$ $R^2$ $R^2 = 1 - SSR/SST$

Deuxièmement, voyons ce que l'utilisation de pour le choix / l'évaluation du modèle signifie $R^2$ . Supposons que nous choisissions parmi un ensemble de prédictions qui ont été générées à l'aide d'un modèle , où est la collection de modèles à l'étude (dans votre exemple, cette collection contiendrait des réseaux de neurones, des forêts aléatoires, des filets élastiques, ...). Étant donné que reste constant entre tous les modèles, si minimiser , vous choisissez exactement le modèle qui minimise . En d'autres termes, vous choisirez $\bar{Y}_M$ $M:M \in \mathcal{M}$ $\mathcal{M}$ $SST$ $R^2$ $SSR$ qui produit la perte d'erreur quadratique minimale! $M \in \mathcal{M}$

Troisièmement, considérons pourquoi $R^2$ ou de manière équivalente, pourrait être intéressant pour le choix du modèle . Traditionnellement, la perte carrée ( norme ) est utilisée pour trois raisons: (1) Elle est plus facile à calculer que les écarts les moins absolus (LAD, la norme ) car aucune valeur absolue n'apparaît dans le calcul, (2) elle punit l'ajustement des valeurs qui sont bien plus éloignées de la valeur réelle que LAD (dans un sens carré plutôt que absolu) et garantit ainsi que nous avons des valeurs aberrantes moins extrêmes, (3) il est symétrique : surestimer ou sous-estimer le prix d'une voiture est considéré comme tout aussi mauvais. $SSR$ $L^2$ $L^1$

Quatrièmement (et dernier), voyons si c'est ce dont vous avez besoin pour vos prévisions. Le point qui pourrait être le plus intéressant ici est (3) du dernier paragraphe. Supposons que vous vouliez adopter une position neutre et que vous n'êtes ni acheteur ni vendeur d'une voiture. Ensuite, peut avoir un sens: vous êtes impartial et vous souhaitez punir les écarts de surévaluation ou de sous-évaluation exactement de la même manière. Il en va de même si vous souhaitez simplement modéliser la relation entre les quantités sans vouloir prédire des valeurs non observées. Supposons maintenant que vous travaillez pour un consommateur / acheteur avec un budget serré: dans cette situation, vous voudrez peut-être punir la surestimation du prix dans un sens quadratique, mais la sous-estimation dans un sens , où $R^2$ $L^p$ . Pour , vous punissez dans un sens de déviation absolue. Cela peut être considéré comme reflétant les objectifs et les intentions de l'acheteur, et biaiser l'estimation vers le bas pourrait l'intéresser. Inversement, vous pourriez inverser la pensée si vous modélisez les prévisions de prix pour le vendeur. Il va sans dire que toute norme pourrait être choisie pour refléter les préférences du modélisateur / de l'agent que vous modélisez. Vous pouvez également punirentièrement endehors de lanorme et utiliser une perte constante, exponentielle ou logarithmique d'un côté et une perte différente de l'autre. $1 \leqslant p <2$ $p=1$ $L^p$ $L^p$

En résumé, le choix / l'évaluation du modèle ne peut pas être considéré indépendamment de l'objectif du modèle.

— Jeremias K
source