Comment puis-je filtrer les lignes lors du chargement dans la fonction Pandas read_csv?

Comment puis-je filtrer les lignes d'un CSV à charger en mémoire à l'aide de pandas? Cela semble être une option dans laquelle on devrait trouver read_csv. Est-ce que je manque quelque chose?

Exemple: nous avons un CSV avec une colonne d'horodatage et nous aimerions charger uniquement les lignes qui ont un horodatage supérieur à une constante donnée.

Il n'y a pas d'option pour filtrer les lignes avant que le fichier CSV ne soit chargé dans un objet pandas.

Vous pouvez soit charger le fichier puis filtrer en utilisant df[df['field'] > constant], ou si vous avez un fichier très volumineux et que vous craignez que la mémoire soit épuisée, utilisez un itérateur et appliquez le filtre lorsque vous concaténez des morceaux de votre fichier, par exemple:

import pandas as pd
iter_csv = pd.read_csv('file.csv', iterator=True, chunksize=1000)
df = pd.concat([chunk[chunk['field'] > constant] for chunk in iter_csv])

Vous pouvez faire varier le chunksizeen fonction de votre mémoire disponible. Voir ici pour plus de détails.

Je n'ai pas trouvé de moyen simple de le faire dans le contexte de read_csv. Cependant, read_csvrenvoie un DataFrame, qui peut être filtré en sélectionnant des lignes par vecteur booléen df[bool_vec]:

filtered = df[(df['timestamp'] > targettime)]

Il s'agit de sélectionner toutes les lignes dans df (en supposant que df est un DataFrame, tel que le résultat d'un read_csvappel, qui contient au moins une colonne datetime timestamp) pour lequel les valeurs de la timestampcolonne sont supérieures à la valeur de targettime. Question similaire .

Si la plage filtrée est contiguë (comme c'est généralement le cas avec les filtres d'horodatage), la solution la plus rapide consiste à coder en dur la plage de lignes. Combinez simplement skiprows=range(1, start_row)avec des nrows=end_rowparamètres. Ensuite, l'importation prend quelques secondes alors que la solution acceptée prendrait quelques minutes. Quelques expériences avec l'initiale start_rowne sont pas un coût énorme étant donné les économies sur les temps d'importation. Notez que nous avons conservé la ligne d'en-tête en utilisant range(1,..).

Vous pouvez spécifier le nrowsparamètre.

import pandas as pd df = pd.read_csv('file.csv', nrows=100)

Ce code fonctionne bien dans la version 0.20.3.

Si vous êtes sous Linux, vous pouvez utiliser grep.

# to import either on Python2 or Python3
import pandas as pd
from time import time # not needed just for timing
try:
    from StringIO import StringIO
except ImportError:
    from io import StringIO


def zgrep_data(f, string):
    '''grep multiple items f is filepath, string is what you are filtering for'''

    grep = 'grep' # change to zgrep for gzipped files
    print('{} for {} from {}'.format(grep,string,f))
    start_time = time()
    if string == '':
        out = subprocess.check_output([grep, string, f])
        grep_data = StringIO(out)
        data = pd.read_csv(grep_data, sep=',', header=0)

    else:
        # read only the first row to get the columns. May need to change depending on 
        # how the data is stored
        columns = pd.read_csv(f, sep=',', nrows=1, header=None).values.tolist()[0]    

        out = subprocess.check_output([grep, string, f])
        grep_data = StringIO(out)

        data = pd.read_csv(grep_data, sep=',', names=columns, header=None)

    print('{} finished for {} - {} seconds'.format(grep,f,time()-start_time))
    return data