Comment ignorer la première ligne de données lors du traitement des données CSV?

Je demande à Python d'imprimer le nombre minimum d'une colonne de données CSV, mais la ligne du haut est le numéro de la colonne, et je ne veux pas que Python prenne en compte la ligne du haut. Comment puis-je m'assurer que Python ignore la première ligne?

Voici le code pour l'instant:

import csv

with open('all16.csv', 'rb') as inf:
    incsv = csv.reader(inf)
    column = 1                
    datatype = float          
    data = (datatype(column) for row in incsv)   
    least_value = min(data)

print least_value

Pourriez-vous également expliquer ce que vous faites, pas seulement donner le code? Je suis très très nouveau sur Python et je voudrais m'assurer de tout comprendre.

Vous pouvez utiliser une instance de la classe csvdu module Snifferpour déduire le format d'un fichier CSV et détecter si une ligne d'en-tête est présente avec la next()fonction intégrée pour sauter la première ligne uniquement lorsque cela est nécessaire:

import csv

with open('all16.csv', 'r', newline='') as file:
    has_header = csv.Sniffer().has_header(file.read(1024))
    file.seek(0)  # Rewind.
    reader = csv.reader(file)
    if has_header:
        next(reader)  # Skip header row.
    column = 1
    datatype = float
    data = (datatype(row[column]) for row in reader)
    least_value = min(data)

print(least_value)

Puisque datatypeet columnsont codés en dur dans votre exemple, il serait légèrement plus rapide de traiter rowcomme ceci:

    data = (float(row[1]) for row in reader)

Remarque: le code ci-dessus est pour Python 3.x. Pour Python 2.x, utilisez la ligne suivante pour ouvrir le fichier au lieu de ce qui est affiché:

with open('all16.csv', 'rb') as file:

Pour sauter la première ligne, appelez simplement:

next(inf)

Les fichiers en Python sont des itérateurs sur des lignes.

Dans un cas d'utilisation similaire, j'ai dû sauter des lignes ennuyeuses avant la ligne avec mes noms de colonnes réels. Cette solution a bien fonctionné. Lisez d'abord le fichier, puis passez la liste à csv.DictReader.

with open('all16.csv') as tmp:
    # Skip first line (if any)
    next(tmp, None)

    # {line_num: row}
    data = dict(enumerate(csv.DictReader(tmp)))

Emprunté au livre de recettes python ,
un code de modèle plus concis pourrait ressembler à ceci:

import csv
with open('stocks.csv') as f:
    f_csv = csv.reader(f) 
    headers = next(f_csv) 
    for row in f_csv:
        # Process row ...

Vous utiliseriez normalement next(incsv)ce qui avance l'itérateur d'une ligne, vous ignorez donc l'en-tête. L'autre (disons que vous vouliez sauter 30 lignes) serait:

from itertools import islice
for row in islice(incsv, 30, None):
    # process

utilisez csv.DictReader au lieu de csv.Reader. Si le paramètre fieldnames est omis, les valeurs de la première ligne du fichier csv seront utilisées comme noms de champ. vous pourrez alors accéder aux valeurs de champ en utilisant la ligne ["1"] etc

Le nouveau paquet «pandas» pourrait être plus pertinent que «csv». Le code ci-dessous lira un fichier CSV, interprétant par défaut la première ligne comme en-tête de colonne et trouvera le minimum entre les colonnes.

import pandas as pd

data = pd.read_csv('all16.csv')
data.min()

Eh bien, ma mini bibliothèque de wrapper ferait également l'affaire.

>>> import pyexcel as pe
>>> data = pe.load('all16.csv', name_columns_by_row=0)
>>> min(data.column[1])

En attendant, si vous savez quel est l'index de colonne d'en-tête un, par exemple "Colonne 1", vous pouvez le faire à la place:

>>> min(data.column["Column 1"])

Pour moi, le moyen le plus simple est d'utiliser la gamme.

import csv

with open('files/filename.csv') as I:
    reader = csv.reader(I)
    fulllist = list(reader)

# Starting with data skipping header
for item in range(1, len(fulllist)): 
    # Print each row using "item" as the index value
    print (fulllist[item])  

Parce que cela est lié à quelque chose que je faisais, je vais partager ici.

Que faire si nous ne savons pas s'il y a un en-tête et que vous n'avez pas non plus envie d'importer du sniffer et d'autres choses?

Si votre tâche est basique, comme l'impression ou l'ajout à une liste ou un tableau, vous pouvez simplement utiliser une instruction if:

# Let's say there's 4 columns
with open('file.csv') as csvfile:
     csvreader = csv.reader(csvfile)
# read first line
     first_line = next(csvreader)
# My headers were just text. You can use any suitable conditional here
     if len(first_line) == 4:
          array.append(first_line)
# Now we'll just iterate over everything else as usual:
     for row in csvreader:
          array.append(row)

La documentation du module CSV Python 3 fournit cet exemple:

with open('example.csv', newline='') as csvfile:
    dialect = csv.Sniffer().sniff(csvfile.read(1024))
    csvfile.seek(0)
    reader = csv.reader(csvfile, dialect)
    # ... process CSV file contents here ...

Le Snifferessaiera de détecter automatiquement de nombreuses choses sur le fichier CSV. Vous devez appeler explicitement sa has_header()méthode pour déterminer si le fichier a une ligne d'en-tête. Si tel est le cas, ignorez la première ligne lors de l'itération des lignes CSV. Vous pouvez le faire comme ceci:

if sniffer.has_header():
    for header_row in reader:
        break
for data_row in reader:
    # do something with the row

J'utiliserais tail pour me débarrasser de la première ligne indésirable:

tail -n +2 $INFIL | whatever_script.py 

ajoutez simplement [1:]

exemple ci-dessous:

data = pd.read_csv("/Users/xyz/Desktop/xyxData/xyz.csv", sep=',', header=None)**[1:]**

cela fonctionne pour moi dans iPython

Python 3.X

Poignées UTF8 BOM + HEADER

C'était assez frustrant que le csvmodule ne puisse pas facilement obtenir l'en-tête, il y a aussi un bogue avec la nomenclature UTF-8 (premier caractère du fichier). Cela fonctionne pour moi en utilisant uniquement le csvmodule:

import csv

def read_csv(self, csv_path, delimiter):
    with open(csv_path, newline='', encoding='utf-8') as f:
        # https://bugs.python.org/issue7185
        # Remove UTF8 BOM.
        txt = f.read()[1:]

    # Remove header line.
    header = txt.splitlines()[:1]
    lines = txt.splitlines()[1:]

    # Convert to list.
    csv_rows = list(csv.reader(lines, delimiter=delimiter))

    for row in csv_rows:
        value = row[INDEX_HERE]

Je convertirais csvreader en liste, puis ferais apparaître le premier élément

import csv        

with open(fileName, 'r') as csvfile:
        csvreader = csv.reader(csvfile)
        data = list(csvreader)               # Convert to list
        data.pop(0)                          # Removes the first row

        for row in data:
            print(row)

Python 2.x

csvreader.next()

Renvoie la ligne suivante de l'objet itérable du lecteur sous forme de liste, analysée en fonction du dialecte actuel.

csv_data = csv.reader(open('sample.csv'))
csv_data.next() # skip first row
for row in csv_data:
    print(row) # should print second row

Python 3.x

csvreader.__next__()

Renvoie la ligne suivante de l'objet itérable du lecteur sous la forme d'une liste (si l'objet a été renvoyé par reader ()) ou d'un dict (s'il s'agit d'une instance de DictReader), analysée en fonction du dialecte actuel. Habituellement, vous devriez appeler cela comme suivant (lecteur).

csv_data = csv.reader(open('sample.csv'))
csv_data.__next__() # skip first row
for row in csv_data:
    print(row) # should print second row