Comment filtrer les lignes dans les pandas par regex

Je voudrais filtrer proprement un dataframe à l'aide de regex sur l'une des colonnes.

Pour un exemple artificiel:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

Je veux filtrer les lignes sur celles qui commencent par futiliser une expression régulière. Commencez par:

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Ce n'est pas très utile. Cependant, cela me donnera mon index booléen:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

Donc je pourrais alors faire ma restriction en:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Cela me fait mettre artificiellement un groupe dans l'expression régulière, et cela ne semble peut-être pas la voie à suivre. Y a-t-il une meilleure manière de faire cela?

Utilisez contient à la place:

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Il existe déjà une fonction de gestion des chaînes Series.str.startswith(). Tu devrais essayer foo[foo.b.str.startswith('f')].

Résultat:

    a   b
1   2   foo
2   3   fat

Je pense à ce que vous attendez.

Vous pouvez également utiliser contient avec l'option regex. Par exemple:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Résultat:

    a   b
1   2   foo

na=False est d'éviter les erreurs en cas de valeurs nan, nulles, etc.

Recherche sur plusieurs colonnes avec dataframe:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

C'est peut-être un peu tard, mais c'est maintenant plus facile à faire dans Pandas. Vous pouvez appeler match with as_indexer=Truepour obtenir des résultats booléens. Ceci est documenté (avec la différence entre matchet contains) ici .

Merci pour l'excellente réponse @ user3136169, voici un exemple de la façon dont cela pourrait être fait en supprimant également les valeurs NoneType.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Vous pouvez également ajouter regex en tant qu'arg:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Ecrire une fonction booléenne qui vérifie l'expression régulière et utilise apply sur la colonne

foo[foo['b'].apply(regex_function)]

Utilisation de la str tranche

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat