Quelle est la différence entre l'amorçage et la validation croisée?

J'avais l'habitude d'appliquer la validation croisée K-fold pour une évaluation robuste de mes modèles d'apprentissage automatique. Mais je suis également conscient de l'existence de la méthode d'amorçage à cet effet. Cependant, je ne vois pas la principale différence entre eux en termes d'estimation des performances.

Pour autant que je vois, le bootstrap produit également un certain nombre de sous-ensembles de formation aléatoire + test (quoique d'une manière différente) alors quel est l'intérêt, l'avantage d'utiliser cette méthode par rapport à CV? La seule chose que je pouvais comprendre en cas de bootstrap, on pouvait produire artificiellement un nombre pratiquement arbitraire de tels sous-ensembles alors que pour CV le nombre d'instances est une sorte de limite pour cela. Mais cet aspect semble être très peu gênant.

La validation croisée et le bootstrap sont des méthodes de rééchantillonnage .

• bootstrap rééchantillonne avec remplacement (et produit généralement de nouveaux ensembles de données "de substitution" avec le même nombre de cas que l'ensemble de données d'origine). En raison du dessin avec remplacement, un ensemble de données amorcé peut contenir plusieurs instances des mêmes cas d'origine et peut complètement omettre d'autres cas d'origine.

• $k$$n$$x = \frac{n}{k}$$k = n$

• Comme son nom l' indique, la validation croisée a pour principal objectif de mesurer les performances (généralisation) d'un modèle. En revanche, le bootstrap est principalement utilisé pour établir des fonctions de distribution empirique pour une large gamme de statistiques (répandue comme allant, par exemple, de la variation de la moyenne à la variation des modèles dans les modèles d'ensemble ensachés).

• L'analogue de sortie de la procédure bootstrag est appelé jackknifing (et est en fait plus ancien que le bootstrapping).

• L'analogue bootstrap pour les estimations de validation croisée de l'erreur de généralisation est appelé estimation hors bootstrap (car les cas de test sont ceux qui ont été exclus de l'ensemble d'apprentissage rééchantillonné bootstrap).

[Validation croisée vs validation hors bootstrap] Cependant, je ne vois pas la principale différence entre eux en termes d'estimation des performances.

$k$

Il existe un certain nombre de tentatives pour réduire le biais oob (.632-bootstrap, .632 + -bootstrap) mais leur amélioration réelle dépend de la situation actuelle.

Littérature:

• $^th$
• Kim, J.-H. Estimation du taux d'erreur de classification: validation croisée répétée, maintien répété et bootstrap, Computational Statistics & Data Analysis, 53, 3735 - 3745 (2009). DOI: 10.1016 / j.csda.2009.04.009
• Beleites, C .; Baumgartner, R .; Bowman, C.; Somorjai, R .; Steiner, G .; Salzer, R. & Sowa, MG Réduction de la variance dans l'estimation de l'erreur de classification à l'aide d'ensembles de données clairsemés, Chemom Intell Lab Syst, 79, 91 - 100 (2005).

La seule chose que je pouvais comprendre en cas de bootstrap, on pouvait produire artificiellement un nombre pratiquement arbitraire de tels sous-ensembles alors que pour CV le nombre d'instances est une sorte de limite pour cela.

$n$$k$

• Combinaisons CV sans remplacement (pour k <n qui sont bien plus que les possibilités généralement évaluées) vs.$\binom{n}{k}$$k$
• bootstrap / oob combinaisons avec remplacement (qui sont encore beaucoup plus que les modèles de substitution 100 ou 1000, qui sont généralement évalués)$\binom{2 n - 1}{n}$

Le bootstrap est tout test ou métrique qui repose sur un échantillonnage aléatoire avec remplacement.C'est une méthode qui aide dans de nombreuses situations comme la validation des performances d'un modèle prédictif, les méthodes d'ensemble, l'estimation du biais et de la variance du paramètre d'un modèle, etc. effectuer un échantillonnage avec remplacement de l'ensemble de données d'origine et en même temps supposer que les points de données qui n'ont pas été choisis sont l'ensemble de données de test. Nous pouvons répéter cette procédure plusieurs fois et calculer le score moyen comme estimation de la performance de notre modèle. De plus, le Bootstrapping est lié aux méthodes de formation d'ensemble, car nous pouvons construire un modèle en utilisant chaque ensemble de données de bootstrap et «empiler» ces modèles dans un ensemble en utilisant le vote majoritaire (pour la classification) ou en calculant la moyenne (pour les prédictions numériques) pour tous les ces modèles comme résultat final.

La validation croisée est une procédure pour valider les performances d'un modèle, et elle se fait en divisant les données d'apprentissage en k parties. Nous supposons que les parties k-1 sont l'ensemble de formation et utilisons l'autre partie est notre ensemble de test. Nous pouvons répéter que k fois diffèrent chaque fois une partie différente des données. Enfin, nous prenons la moyenne des scores k comme estimation de nos performances. La validation croisée peut souffrir de biais ou de variance. En augmentant le nombre de divisions, la variance augmentera également et le biais diminuera. En revanche, si nous diminuons le nombre de scissions, le biais augmentera et la variance diminuera.

En résumé, la validation croisée fractionne l'ensemble de données disponible pour créer plusieurs ensembles de données et la méthode d'amorçage utilise l'ensemble de données d'origine pour créer plusieurs ensembles de données après rééchantillonnage avec remplacement. L'amorçage n'est pas aussi solide que la validation croisée lorsqu'il est utilisé pour la validation de modèle. Le bootstrap consiste davantage à construire des modèles d'ensemble ou simplement à estimer des paramètres.

La validation croisée est une technique qui vise à voir dans quelle mesure votre modèle se généralise sur des données qui n'ont pas été entraînées. Cela n'affecte pas les résultats de votre algorithme, il les évalue simplement .

Le bootstrap est une méthode Ensemble qui agrège les sorties de plusieurs modèles, tels que les arbres de décision, afin de produire une sortie moyenne . Techniquement parlant, il réduit la variance d'un algorithme de classification basé sur un seul modèle, car il fait la moyenne des sorties sur les sorties de plusieurs variantes de la même structure de modèle (avec des paramètres différents). Il modifie donc les performances de l'algorithme de classification, il ne l'évalue pas.

En d'autres termes : la validation croisée évalue la façon dont un algorithme se généralise, tandis que le bootstrapping aide réellement l'algorithme à mieux se généraliser.

Vous pouvez réellement utiliser la validation croisée sur un modèle amorcé pour voir à quel point il se généralise.

• Validation croisée: fournir des estimations de l'erreur de test.
• Bootstrap: fournit l'erreur standard des estimations.