Quels sont les avantages de la régression pas à pas?

11

J'expérimente la régression pas à pas pour des raisons de diversité dans mon approche du problème. Donc, j'ai 2 questions:

Quels sont les avantages de la régression pas à pas? Quelles sont ses forces spécifiques?
Que pensez-vous de l'approche hybride, où vous utilisez la régression pas à pas pour sélectionner les fonctionnalités, puis appliquez une régression régulière en prenant toutes les fonctionnalités sélectionnées ensemble?

regression feature-selection stepwise-regression

— Baron Yugovich
source

15

Le principal avantage de la régression pas à pas est qu'elle est efficace sur le plan des calculs. Cependant, ses performances sont généralement pires que les méthodes alternatives. Le problème est que c'est trop gourmand. En faisant une sélection difficile sur le régresseur suivant et en «gelant» le poids, il fait des choix qui sont localement optimaux à chaque étape, mais sous-optimaux en général. Et, il ne peut pas revenir en arrière pour réviser ses choix passés.

Pour autant que je sache, la régression pas à pas est généralement tombée en disgrâce par rapport à la régression régularisée (LASSO), qui tend à produire de meilleures solutions. $l_1$

Tibshirani (1996) . Régression retrait et de la sélection via le lasso

LASSO pénalise la norme des poids, ce qui induit une faible densité dans la solution (de nombreux poids sont forcés à zéro). Ceci effectue la sélection des variables (les variables «pertinentes» peuvent avoir des poids non nuls). Le degré de rareté est contrôlé par le terme de pénalité et une procédure doit être utilisée pour le sélectionner (la validation croisée est un choix courant). LASSO demande plus de calculs que la régression pas à pas, mais il existe un certain nombre d'algorithmes efficaces. Quelques exemples sont la régression au moindre angle ( LARS ) et une approche basée sur la descente de coordonnées . $l_1$

Une approche similaire à ce que vous avez suggéré dans (2) est appelée recherche de correspondance orthogonale. C'est une généralisation de la poursuite d'appariement, qui est le nom de la régression pas à pas dans la littérature sur le traitement du signal.

Pati et al. (1993) . Recherche d'appariement orthogonal: approximation de la fonction récursive avec applications à la décomposition en ondelettes

À chaque itération, le meilleur meilleur régresseur suivant est ajouté à l'ensemble actif. Ensuite, les poids de tous les régresseurs de l'ensemble actif sont recalculés. En raison de l'étape de repondération, cette approche est moins gourmande (et a de meilleures performances) que la poursuite d'appariement régulière / la régression pas à pas. Mais, il utilise toujours une heuristique de recherche gourmande.

Toutes ces approches (régression pas à pas, LASSO et poursuite de l'appariement orthogonal) peuvent être considérées comme des approximations du problème suivant:

min_{w} ‖ y - X w ‖_{2}^{2} s.t. ‖ w ‖_{0} \leq c

$\underset{w}{\min} \| y - X w \|_2^2 \quad \text{s.t. } \|w\|_0 \le c$

Dans un contexte de régression, les colonnes de correspondent aux variables indépendantes et à la variable dépendante. Dans le traitement du signal, les colonnes de correspondent aux fonctions de base et est un signal à approximer. Le but est de trouver un ensemble clairsemé de poids qui donne la meilleure approximation (moindres carrés) de . La norme compte simplement le nombre d'entrées non nulles dans . Malheureusement, ce problème est NP-difficile, donc des algorithmes d'approximation doivent être utilisés dans la pratique. La régression pas à pas et la recherche de correspondance orthogonale tentent de résoudre le problème en utilisant une stratégie de recherche gourmande. LASSO reformule le problème en utilisant un relâchement de la $X$ $y$ $X$ $y$ $w$ $y$ $l_0$ $w$ $l_0$ norme à la norme . Ici, le problème d'optimisation devient convexe (et donc traitable). Et, bien que le problème ne soit plus identique, la solution est similaire. Si je me souviens bien, il a été prouvé que LASSO et la recherche de correspondance orthogonale récupèrent la solution exacte dans certaines conditions. $l_1$

— user20160
source

8

La sélection pas à pas n'est généralement pas une bonne idée. Pour comprendre pourquoi, il peut vous être utile de lire ma réponse ici: Algorithmes de sélection automatique de modèle .

En ce qui concerne les avantages, à l'époque où la recherche dans toutes les combinaisons possibles de fonctionnalités était trop exigeante en termes de calcul pour les ordinateurs, la sélection par étapes permettait de gagner du temps et était maniable. Cependant, notez que les problèmes abordés dans ma réponse liée ci-dessus s'appliquent tout autant à la régression du «meilleur sous-ensemble», donc pas à pas ne produit pas une bonne solution, juste une mauvaise solution plus rapidement.

Votre idée d'une approche hybride serait bien, tant que le deuxième modèle (avec les fonctionnalités sélectionnées) a été monté sur un nouvel ensemble de données .

— gung - Réintégrer Monica
source

En ce qui concerne ce que le PO a appelé une "approche hybride" (je ne sais pas trop pourquoi il est hybride), vous voulez dire que c'est bien dans le sens où les estimations des coefficients du modèle sur les seconds nouveaux ensembles de données devraient être fines (bien que biaisées et problématiques sur le données originales), tant que le nouvel ensemble de données est suffisamment grand? Ce serait bien sûr potentiellement un mauvais modèle, car il a été mal sélectionné dans le premier ensemble de données, simplement ses coefficients seraient estimés dans un ensemble de données moins problématique.

— Björn

De plus, il est souvent impossible de parcourir toutes les combinaisons possibles, car le nombre de variables différentes sur lesquelles nous avons des données augmente encore plus rapidement que la puissance de calcul, et les gens ont de plus en plus d'idées sur ce qu'il faut inclure dans leurs modèles.

— Stephan Kolassa

La lecture de ce fil continue de ne pas être utile.

— Mox

2

Je viens de faire une recherche google pour ce qui est la régression pas à pas. Je ne suis pas sûr de bien le comprendre, mais voici ma première pensée

C'est gourmand donc il ne peut pas produire la bonne solution comme le fait Lasso. Je préfère le lasso
C'est simple, facile à utiliser, facile à coder
Après avoir utilisé la régression pas à pas, vous vous retrouvez déjà avec un modèle formé qui utilise les fonctionnalités sélectionnées, vous n'avez donc pas besoin d'utiliser une autre étape de régression comme vous l'avez mentionné comme approche hybride

— Imbécile en colère
source