Comment supprimer systématiquement les variables colinéaires en Python? [fermé]

Jusqu'à présent, j'ai supprimé les variables colinéaires dans le cadre du processus de préparation des données en examinant les tableaux de corrélation et en éliminant les variables qui dépassent un certain seuil. Existe-t-il une façon plus acceptée de procéder? De plus, je suis conscient que seule la corrélation entre 2 variables à la fois n'est pas idéale, des mesures comme VIF prennent en compte la corrélation potentielle entre plusieurs variables. Comment procéder pour choisir systématiquement des combinaisons de variables qui ne présentent pas de multicolinéarité?

J'ai mes données dans un cadre de données pandas et j'utilise les modèles de sklearn.

Merci SpanishBoy - C'est un bon morceau de code. @ilanman: Cela vérifie les valeurs VIF, puis supprime les variables dont le VIF est supérieur à 5. Par "performances", je pense qu'il veut dire temps d'exécution. Le code ci-dessus m'a pris environ 3 heures pour fonctionner sur environ 300 variables, 5000 lignes.

Soit dit en passant, je l'ai modifié pour supprimer certaines boucles supplémentaires. De plus, je l'ai rendu un peu plus propre et retourne la trame de données avec des variables réduites. Cette version a réduit de moitié mon temps d'exécution! Mon code est ci-dessous - j'espère que ça aide.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=5.0):
    variables = list(range(X.shape[1]))
    dropped = True
    while dropped:
        dropped = False
        vif = [variance_inflation_factor(X.iloc[:, variables].values, ix)
               for ix in range(X.iloc[:, variables].shape[1])]

        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X.iloc[:, variables].columns[maxloc] +
                  '\' at index: ' + str(maxloc))
            del variables[maxloc]
            dropped = True

    print('Remaining variables:')
    print(X.columns[variables])
    return X.iloc[:, variables]

Vous pouvez essayer d'utiliser le code ci-dessous:

from statsmodels.stats.outliers_influence import variance_inflation_factor

def calculate_vif_(X):

    '''X - pandas dataframe'''
    thresh = 5.0
    variables = range(X.shape[1])

    for i in np.arange(0, len(variables)):
        vif = [variance_inflation_factor(X[variables].values, ix) for ix in range(X[variables].shape[1])]
        print(vif)
        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X[variables].columns[maxloc] + '\' at index: ' + str(maxloc))
            del variables[maxloc]

    print('Remaining variables:')
    print(X.columns[variables])
    return X

Cela fonctionne, mais je n'aime pas les performances de cette approche

J'ai essayé la réponse de SpanishBoy et trouvé des erreurs de serval lors de son exécution pour une trame de données. Voici une solution déboguée.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=100):
cols = X.columns
variables = np.arange(X.shape[1])
dropped=True
while dropped:
    dropped=False
    c = X[cols[variables]].values
    vif = [variance_inflation_factor(c, ix) for ix in np.arange(c.shape[1])]

    maxloc = vif.index(max(vif))
    if max(vif) > thresh:
        print('dropping \'' + X[cols[variables]].columns[maxloc] + '\' at index: ' + str(maxloc))
        variables = np.delete(variables, maxloc)
        dropped=True

print('Remaining variables:')
print(X.columns[variables])
return X[cols[variables]]

Je n'ai également eu aucun problème de performance, mais je ne l'ai pas testé de manière approfondie.