Bonne littérature sur la validation croisée

10

Quelqu'un connaît-il un bon livre / une bonne page Web pour commencer à apprendre les techniques de validation croisée?

references  cross-validation 
— MarkDollar
source

Réponses:

5

Si la validation croisée doit être utilisée pour la sélection de modèle / caractéristique, il convient de garder à l'esprit qu'il est possible de sur-ajuster la statistique de validation croisée et de se retrouver avec un modèle qui fonctionne mal et la statistique de validation croisée optimisée. peut être une estimation de performance très optimiste. Les effets de cela peuvent être étonnamment importants. Voir Ambroise et McLachlan pour un exemple de cela dans un paramètre de sélection de fonction et Cawley et Talbot pour un exemple dans un paramètre de sélection de modèle.

— Dikran Marsupial
source
Il est bon de le mentionner, mais il convient de dire que ce sont des exemples d'utilisation abusive ou de confiance excessive de CV, et non quelques inconvénients de la méthode elle-même.
1
en effet, cependant, c'est une manière dont il est très souvent mal utilisé - il est donc important d'être conscient lors de l'apprentissage de la validation croisée! Plus de validation croisée est souvent une bonne solution, c'est-à-dire une validation croisée imbriquée, ou, comme Stone le dit, une validation «double croix». Le problème affecte à peu près n'importe quelle fonction ou critère de sélection de modèle optimisé pour obtenir un modèle; la validation croisée n'a rien de spécial en ce sens.
— Dikran Marsupial
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.