Pourquoi l'élimination en arrière est-elle justifiée lors d'une régression multiple?

N'entraîne-t-il pas un sur-ajustement? Mes résultats seraient-ils plus fiables si j'ajoutais une procédure de jack-knife ou de bootstrap dans le cadre de l'analyse?

— sim
source

Qui a dit que c'était justifié? Bien sûr, cela devrait conduire à un sur-ajustement.

— gung - Réintègre Monica

Il est en fait suggéré dans de nombreux livres (toujours?), Par exemple amazon.com/Statistics-Explained-Introductory-Guide-Scientists/… . J'ai pensé le même problème moi-même. Je pense que j'ai au moins 3-4 livres de statistiques qui ne traitent pas du tout du problème du sur-ajustement, lors de l'introduction de la régression multiple.

— mmh

Honnêtement, si un livre de statistiques d'introduction ne parle pas de sur-ajustement et de sur-tests, je lirais un livre différent.

— Matthew Drury

L'élimination en arrière (et la sélection en avant) a toujours tendance à sur-ajuster si la validation croisée avec omission (par exemple PRESS) est utilisée comme critère de sélection des caractéristiques.

— Dikran Marsupial

@mmh pas tout à fait introductif, mais je recommande fortement de lire le chapitre 4 des stratégies de modélisation de la régression de Frank Harrell (eh bien, ce n'est pas seulement le chapitre 4 qui mérite d'être lu, mais cette partie est particulièrement pertinente pour cette discussion).

— Glen_b -Reinstate Monica

Je pense que construire un modèle et le tester sont des choses différentes. L'élimination vers l'arrière fait partie de la construction du modèle. Le couteau Jack et le bootstrap sont plus utilisés pour le tester.

Vous pouvez certainement avoir des estimations plus fiables avec le bootstrap et le couteau jack que la simple élimination vers l'arrière. Mais si vous voulez vraiment tester le sur-ajustement, le test ultime est un échantillon fractionné, entraînez-vous sur certains, testez sur d'autres. Leave-one-out est trop instable / peu fiable à cet effet: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html

Je pense qu'au moins 10% des sujets doivent être absents pour obtenir des estimations plus stables de la robustesse du modèle. Et si vous avez 20 sujets, 2 sujets sont encore très peu nombreux. Mais alors la question devient de savoir si vous avez un échantillon suffisamment grand pour construire un modèle qui peut être appliqué au reste de la population.

J'espère que cela a répondu à votre question au moins en partie.

— Dorian P
source

Donc, on pourrait simplement utiliser la validation croisée avec (ou )?

k < n

$k < n$

k << n

$k << n$

— mmh

Une introduction à l'apprentissage statistique discute des différentes approches du rééchantillonnage (ensembles de validation, validation croisée avec différents nombres de groupes, amorçage) dans le chapitre 5, et sélection du modèle dans le chapitre 6.

— EdM