Sélection des fonctionnalités à l'aide de l'apprentissage en profondeur?

Je veux calculer l'importance de chaque fonction d'entrée en utilisant un modèle profond.

Mais je n'ai trouvé qu'un seul article sur la sélection des fonctionnalités à l'aide de l'apprentissage en profondeur - la sélection des fonctionnalités approfondies . Ils insèrent une couche de nœuds connectés directement à chaque entité, avant la première couche cachée.

J'ai entendu dire que le réseau de croyances profondes (DBN) peut également être utilisé pour ce genre de travail. Mais je pense que DBN ne fournit que des abstractions (grappes) de fonctionnalités comme PCA, donc bien qu'il puisse réduire la dimension efficacement, je me demande s'il est possible de calculer l'importance (poids) de chaque fonctionnalité.

Est-il possible de calculer l'importance des fonctionnalités avec DBN? Et existe-t-il d'autres méthodes connues pour la sélection des fonctionnalités à l'aide de l'apprentissage en profondeur?

Une approche que vous pouvez adopter pour presque tous les modèles de prédiction consiste à former d'abord votre modèle et à trouver sa précision, puis pour une entrée, ajoutez-y du bruit et vérifiez à nouveau la précision. Répétez cette opération pour chaque entrée et observez comment le bruit aggrave les prévisions. Si une entrée est importante, l'incertitude supplémentaire due au bruit sera préjudiciable.

N'oubliez pas de régler la variance du bruit pour qu'elle soit proportionnelle à la variance de l'entrée en question.

Bien sûr, le bruit est aléatoire et vous ne voulez pas qu'une entrée apparaisse sans importance en raison d'effets aléatoires. Si vous avez peu d'exemples de formation, envisagez de calculer à plusieurs reprises le changement de précision pour chaque exemple de formation avec un nouveau bruit ajouté à chaque fois.

En réponse aux commentaires:

Cette analyse peut également être effectuée en supprimant entièrement une variable, mais cela présente certains inconvénients par rapport à l'ajout de bruit.

• Supposons que l'une de vos entrées soit constante, elle agit comme un terme de biais, elle a donc un rôle à jouer dans la prédiction mais n'ajoute aucune information. Si vous supprimiez complètement cette entrée, la prédiction deviendrait moins précise, car les perceptrons obtiennent le mauvais biais. Cela donne l'impression que l'entrée est importante pour la prédiction même si elle n'ajoute aucune information. L'ajout de bruit ne causera pas ce problème. Ce premier point n'est pas un problème si vous avez normalisé toutes les entrées pour avoir une moyenne nulle.

• Si deux entrées sont corrélées, les informations sur une entrée donnent des informations sur l'autre. Un modèle peut être bien formé si vous n'utilisez qu'une seule des entrées corrélées, vous voulez donc que l'analyse révèle qu'une seule entrée n'est pas utile. Si vous venez de supprimer l'une des entrées, alors, comme le premier point soulevé, la précision de la prédiction diminuerait beaucoup, ce qui indique qu'elle est importante. Cependant, l'ajout de bruit ne causera pas ce problème.

Peut-être consultez ce document: https://arxiv.org/pdf/1712.08645.pdf

Ils utilisent l'abandon pour classer les fonctionnalités.

... Dans ce travail, nous utilisons le concept d'abandon sur la couche d'entités en entrée et optimisons le taux d'abandon en fonction des objets correspondant. Étant donné que chaque entité est supprimée stochastiquement, notre méthode crée un effet similaire à l'ensachage des entités (Ho, 1995) et parvient à mieux classer les entités corrélées que les autres méthodes sans ensachage telles que LASSO. Nous comparons notre méthode à Random Forest (RF), LASSO, ElasticNet, Marginal ranking et plusieurs techniques pour dériver de l'importance dans DNN telles que Deep Feature Selection et diverses heuristiques ...

Jetez un œil à cet article: https://medium.com/@a.mirzaei69/how-to-use-deep-learning-for-feature-selection-python-keras-24a68bef1e33

et ce document: https://arxiv.org/pdf/1903.07045.pdf

Ils présentent un bon schéma pour appliquer des modèles profonds pour la sélection des fonctionnalités.