Avec la validation croisée k-fold, faites-vous la moyenne de tous les modèles

Lors de la validation croisée de k-fold, je comprends que vous obtenez les mesures de précision en pointant tous les plis sauf un sur ce pli et faites des prédictions, puis répétez ce processus fois. Vous pouvez ensuite exécuter des métriques d'exactitude sur toutes vos instances (précision, rappel,% correctement classées), qui devraient être les mêmes que si vous les avez calculées à chaque fois et ensuite faire la moyenne du résultat (corrigez-moi si je me trompe).$k$

Le résultat final que vous souhaitez est un modèle final.

Faites-vous la moyenne des modèles obtenus pour faire votre ensemble de prédictions pour finir avec le modèle qui a les métriques de précision obtenues par la méthode ci-dessus?$k$

$k$

Les résultats d'une expérience de validation croisée pourraient vous dire que les machines à vecteurs de support surpassent Naive Bayes sur vos données, ou que les hyper-paramètres du classificateur doivent être définis sur c pour cet ensemble de données particulier. Armé de ces connaissances, vous formez ensuite un classifieur «production» avec TOUTES les données disponibles et l'appliquez à votre problème.

Dans de nombreux cas, on ne sait même pas comment procéder pour calculer la moyenne de plusieurs modèles. Par exemple, quelle est la moyenne de trois arbres de décision ou classificateurs de voisin le plus proche?

Il est important de garder à l'esprit que les résultats de la validation croisée sont des estimations et non des garanties, et ces estimations sont plus valables si le classificateur de production est formé avec une qualité (et une quantité) de données similaires. Il y a eu pas mal de travail sur l'élaboration de façons d'utiliser ces estimations pour effectuer l'inférence; c'est-à-dire, d'une manière statistiquement solide, que la méthode A est généralement supérieure à la méthode B sur ces données.