L'importance des fonctionnalités avec scikit-learn Random Forest montre un écart-type très élevé

J'utilise scikit-learn Random Forest Classifier et je veux tracer l'importance des fonctionnalités, comme dans cet exemple .

Cependant, mon résultat est complètement différent, dans le sens où l'écart-type de l'importance des fonctionnalités est presque toujours plus important que l'importance des fonctionnalités elle-même (voir l'image jointe).

Est-il possible d'avoir un tel comportement ou est-ce que je fais des erreurs en le traçant?

Mon code est le suivant:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

Vous utilisez RandomForest avec le nombre d'arbres par défaut, qui est de 10. Pour environ 30 fonctionnalités, c'est trop peu. L'écart type est donc important. Essayez au moins 100 ou même 1000 arbres, comme

clf = RandomForestClassifier(n_estimators=1000)

Pour une analyse plus précise, vous pouvez également vérifier l'ampleur de la corrélation entre vos fonctionnalités.

Votre résultat n'est pas si étrange. Comme l' indique lanenok , vous devez dans un premier temps augmenter le nombre d'arbres afin de vous assurer d'obtenir un résultat «statistique» concernant les importances des fonctionnalités.

Cependant, comme cet article de Genuer et al. (2010) montre que vous pouvez réellement utiliser les écarts-types pour éliminer les fonctionnalités. Pour citer: " Nous pouvons voir que l'écart-type des variables réelles est important par rapport à celui des variables bruyantes, qui est proche de zéro. "

Essayez clf = RandomForestClassifier(max_features=None). Le max_featuresparamètre par défaut 'auto'est équivalent à sqrt(n_features). max_featuresest décrit comme «le nombre de fonctionnalités à prendre en compte lors de la recherche de la meilleure répartition». Le fait de ne regarder qu’un petit nombre de caractéristiques à un moment quelconque de l’arbre de décision signifie que l’importance d’une seule caractéristique peut varier considérablement d’un arbre à l’autre. Donc, ne regardez pas un sous-ensemble aléatoire, regardez simplement toutes les fonctionnalités à chaque niveau de l'arborescence.

Une raison courante à cela est que les paramètres que vous avez fournis (ou par défaut) RandomForestClassifierne sont pas adaptés à votre ensemble de données.

Une façon courante de résoudre ce problème consiste à rechercher l'espace hyperparamétrique en utilisant, par exemple GridSearchCV:

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_gridvoici les permutations des paramètres que vous souhaitez rechercher, et make_scorer(accuracy_score)la mesure que vous souhaitez optimiser.

Notez que cela accuracy_scoreconvient aux ensembles symétriques, mais pas aux ensembles asymétriques. Choisissez une métrique appropriée pour votre objectif particulier.

Il peut y avoir plusieurs raisons. Le nombre d'arbres et la profondeur peuvent changer vos résultats. Si votre modèle ne fonctionne pas bien après avoir sélectionné les paramètres (validation croisée, etc.), c'est probablement parce que vos fonctionnalités ne sont pas très prédictives, donc elles sont choisies presque "au hasard", ce qui conduit à des écarts-types élevés d'arbre en arbre. Mais il existe d'autres possibilités, par exemple, il se pourrait également que vos fonctionnalités soient fortement corrélées. Un peu plus d'informations seraient utiles.