Comment fonctionne la «régression pas à pas»?

J'ai utilisé le code R suivant pour s'adapter à un modèle probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Je veux savoir ce que fait stepwiseet backward/forwardfait exactement et comment sélectionner les variables?

Principe de sélection pas à pas

1. Vous ajustez un modèle avec toutes les variables que vous souhaitez. C'est votre meilleur modèle actuel.
2. Vous supprimez une variable (ou en ajoutez une, parmi les variables non utilisées dans le meilleur modèle actuel), et pour chacune, vous ajustez le nouveau modèle, et vous les comparez avec chacune au-dessus et avec l'original, selon BIC (ou tout autre critère, comme l' AIC ). Vous obtenez un autre "meilleur modèle actuel".

Vous répétez 2. jusqu'à ce qu'il n'y ait pas de réduction de BIC. Vous avez seulement un minimum local de BIC, ce qui signifie que vous ne pouvez pas obtenir le meilleur modèle parmi tous les choix possibles de sous-ensembles de variables. Mais de toute façon, ils sont généralement trop nombreux, c'est donc un moyen d'optimiser un peu, sans trop de travail.

Voir aussi Régression pas à pas et sélection de modèles sur Wikipédia.

La régression pas à pas correspond essentiellement au modèle de régression en ajoutant / supprimant des covariables une à la fois en fonction d'un critère spécifié (dans votre exemple ci-dessus, le critère serait basé sur le BIC).

En spécifiant vers l'avant, vous Rdites que vous souhaitez commencer avec le modèle le plus simple (c'est-à-dire une covariable), puis ajouter une covariable une à la fois en ne conservant que celles qui entraînent une amélioration des modèles BIC.

En indiquant en arrière, vous Rdites que vous voulez commencer avec le modèle complet (c'est-à-dire le modèle avec toutes les covariables), puis supprimer les covariables, une à la fois, ce qui entraîne une amélioration du BIC.

La régression pas à pas peut être une procédure statistique très dangereuse car ce n'est pas une procédure de sélection de modèle optimale. La méthode peut conduire à une très mauvaise sélection de modèles car elle ne vous protège pas contre des problèmes tels que les comparaisons multiples.