Mesures de la séparabilité des classes dans les problèmes de classification

11

Un exemple d'une bonne mesure de la séparabilité des classes chez les apprenants discriminants linéaires est le rapport discriminant linéaire de Fisher. Existe-t-il d'autres mesures utiles pour déterminer si les ensembles de fonctionnalités offrent une bonne séparation des classes entre les variables cibles? En particulier, je suis intéressé à trouver de bons attributs d'entrée multivariés pour maximiser la séparation des classes cibles et il serait bien d'avoir une mesure non linéaire / non paramétrique pour déterminer rapidement s'ils offrent une bonne séparabilité.

— tapoter
source

J'ai lu que l'expansion de Karhunen Loeve permet d'utiliser les informations de classe pour l'extraction des fonctionnalités. De plus, il existe des extensions à l'ACP, comme l'utilisation de la moyenne pondérée des matrices de covariance de classe au lieu d'une matrice globale. Outre ces informations, je suis également intéressé par les réponses possibles à votre question.

— Zoran

1

Les mesures d'importance variable (VIM) des forêts aléatoires pourraient être ce que vous recherchez. Un bref aperçu de deux d'entre eux est donné dans un article Aperçu de la méthodologie de la forêt aléatoire et des conseils pratiques en mettant l'accent sur la biologie computationnelle et la bioinformatique par Boulesteix et al.

L'idée du Gini VIM est que vous obtenez des statistiques sur la fréquence à laquelle une forêt aléatoire a utilisé un certain attribut comme critère de fractionnement. Les fonctionnalités informatives sont choisies plus souvent ici.

La permutation VIM est basée sur l'idée que les estimations d'erreur du classificateur RF sont comparées entre

l'ensemble de données d'origine et
un ensemble de données artificiel où les valeurs pour UN attribut ont été permutées.

La différence d'estimation d'erreur qui en résulte sera importante pour les fonctionnalités importantes.

Pour autant que je m'en souvienne, les VIM peuvent également être utilisés pour découvrir les dépendances entre les fonctionnalités.

— Damian
source

0

Trouver un ensemble de fonctionnalités optimal peut être assez coûteux en calcul. Les principales catégories de solutions disponibles peuvent être regroupées en deux ensembles: soit se lier à un classifieur spécifique (Wrappers), soit un simple classement des fonctionnalités en fonction de certains critères (méthodes de filtrage).

En fonction de vos besoins (rapide / non paramétrique / non linéaire), vous avez probablement besoin de candidats issus des méthodes de filtrage. Il existe quelques exemples de ceux décrits dans la littérature . Par exemple, le gain d'informations - qui évalue la valeur d'un attribut en mesurant le gain d'informations par rapport à la classe; ou Corrélation qui évalue la valeur d'un attribut en fonction de la corrélation entre l'attribut et la classe.

Les méthodes d'encapsulation sont liées à un classificateur et peuvent aboutir à un meilleur ensemble de fonctionnalités pour le classificateur d'intérêt. En raison de leur nature (formation / test complet à chaque itération), ils ne peuvent pas être considérés comme rapides ou non paramétriques, mais ils peuvent gérer des relations non linéaires de fonctionnalités (votre 3ème exigence). Un exemple serait l'élimination récursive des fonctionnalités qui est basée sur les SVM, donc vise à maximiser la marge entre les classes et peut gérer les relations non linéaires des fonctionnalités (en utilisant un noyau non linéaire).

— iliasfl
source