Convertir la colonne Pandas contenant NaNs en dtype `int`

J'ai lu les données d'un fichier .csv dans une trame de données Pandas comme ci-dessous. Pour l'une des colonnes, à savoir id, je veux spécifier le type de colonne comme int. Le problème est que la idsérie a des valeurs manquantes / vides.

Lorsque j'essaie de convertir la idcolonne en entier lors de la lecture du .csv, j'obtiens:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

Alternativement, j'ai essayé de convertir le type de colonne après avoir lu comme ci-dessous, mais cette fois j'obtiens:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

Comment puis-je résoudre ce problème?

Le manque de représentant NaN dans les colonnes entières est un "gotcha" pandas .

La solution de contournement habituelle consiste simplement à utiliser des flottants.

Dans la version 0.24. + Pandas a acquis la possibilité de contenir des dtypes entiers avec des valeurs manquantes.

Type de données Nullable Integer .

Les pandas peuvent représenter des données entières avec des valeurs éventuellement manquantes en utilisant arrays.IntegerArray. Il s'agit d'une extension de types implémentée dans les pandas. Ce n'est pas le dtype par défaut pour les entiers et ne sera pas déduit; vous devez explicitement passer le dtype dans array()ou Series:

arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)

0      1
1      2
2    NaN
dtype: Int64

Pour convertir la colonne en entiers Nullable, utilisez:

df['myCol'] = df['myCol'].astype('Int64')

Mon cas d'utilisation est la fusion des données avant de les charger dans une table DB:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

Supprimez les NaN, convertissez en int, convertissez en str, puis réinsérez les NAN.

Ce n'est pas joli mais ça fait le boulot!

Il est désormais possible de créer une colonne pandas contenant NaNs comme dtype int, puisqu'elle est désormais officiellement ajoutée sur pandas 0.24.0

notes de publication de pandas 0.24.x Citation: " Pandas a acquis la possibilité de contenir des dtypes entiers avec des valeurs manquantes

Si vous souhaitez absolument combiner des entiers et des NaN dans une colonne, vous pouvez utiliser le type de données 'objet':

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

Cela remplacera NaNs par un entier (peu importe lequel), convertira en int, convertira en objet et enfin réinsérera NaNs.

Si vous pouvez modifier vos données stockées, utilisez une valeur sentinelle pour les données manquantes id. Un cas d'utilisation courant, inféré par le nom de la colonne, étant idun entier, strictement supérieur à zéro, vous pouvez l'utiliser 0comme valeur sentinelle afin de pouvoir écrire

if row['id']:
   regular_process(row)
else:
   special_process(row)

Vous pouvez utiliser .dropna()si c'est OK pour supprimer les lignes avec les valeurs NaN.

df = df.dropna(subset=['id'])

Vous pouvez également utiliser .fillna()et .astype()pour remplacer le NaN par des valeurs et les convertir en int.

J'ai rencontré ce problème lors du traitement d'un fichier CSV avec de grands entiers, alors que certains d'entre eux manquaient (NaN). Utiliser float comme type n'était pas une option, car je risquais de perdre la précision.

Ma solution était d' utiliser str comme type intermédiaire . Ensuite, vous pouvez convertir la chaîne en int comme vous le souhaitez plus tard dans le code. J'ai remplacé NaN par 0, mais vous pouvez choisir n'importe quelle valeur.

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

Pour l'illustration, voici un exemple de la façon dont les flotteurs peuvent perdre la précision:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

Et le résultat est:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

La plupart des solutions présentées ici vous indiquent comment utiliser un entier d'espace réservé pour représenter des valeurs nulles. Cette approche n'est pas utile si vous n'êtes pas sûr que l'entier n'apparaîtra pas dans vos données source. Ma méthode avec formatera les flottants sans leurs valeurs décimales et convertira les valeurs nulles en None. Le résultat est un type de données d'objet qui ressemblera à un champ entier avec des valeurs nulles lorsqu'il est chargé dans un CSV.

keep_df[col] = keep_df[col].apply(lambda x: None if pandas.isnull(x) else '{0:.0f}'.format(pandas.to_numeric(x)))

J'ai rencontré ce problème en travaillant avec pyspark. Comme il s'agit d'un frontend python pour le code exécuté sur un jvm, il nécessite la sécurité de type et l'utilisation de float au lieu de int n'est pas une option. J'ai contourné le problème en enveloppant les pandas pd.read_csvdans une fonction qui remplira les colonnes définies par l'utilisateur avec des valeurs de remplissage définies par l'utilisateur avant de les convertir au type requis. Voici ce que j'ai fini par utiliser:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

import pandas as pd

df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])

Supprimez d'abord les lignes contenant NaN. Ensuite, effectuez une conversion entière sur les lignes restantes. Enfin, insérez à nouveau les lignes supprimées. J'espère que ça fonctionnera

En supposant que votre DateColumn formatée 3312018.0 doit être convertie en 31/03/2018 sous forme de chaîne. Et, certains enregistrements sont manquants ou 0.

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))