Remplacement des valeurs vides (espace blanc) par NaN dans les pandas

Je veux trouver toutes les valeurs dans un dataframe Pandas qui contiennent des espaces (n'importe quel montant arbitraire) et remplacer ces valeurs par NaNs.

Des idées sur la façon dont cela peut être amélioré?

Fondamentalement, je veux tourner ceci:

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux     

Dans ceci:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

J'ai réussi à le faire avec le code ci-dessous, mais c'est moche. Ce n'est pas Pythonic et je suis sûr que ce n'est pas non plus l'utilisation la plus efficace des pandas. Je boucle sur chaque colonne et effectue un remplacement booléen par rapport à un masque de colonne généré en appliquant une fonction qui effectue une recherche regex de chaque valeur, correspondant sur un espace blanc.

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

Il pourrait être optimisé un peu en itérant uniquement dans les champs qui pourraient contenir des chaînes vides:

if df[i].dtype == np.dtype('object')

Mais ce n'est pas vraiment une amélioration

Et enfin, ce code définit les chaînes cibles sur None, ce qui fonctionne avec les fonctions de Pandas comme fillna(), mais ce serait bien pour l'exhaustivité si je pouvais réellement insérer un NaNdirectement au lieu de None.

Je pense que df.replace()fait le travail, depuis pandas 0.13 :

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))

Produit:

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

Comme Temak l'a souligné, utilisez-le df.replace(r'^\s+$', np.nan, regex=True)si vos données valides contiennent des espaces blancs.

Si vous souhaitez remplacer une chaîne vide et des enregistrements avec uniquement des espaces, la bonne réponse est !:

df = df.replace(r'^\s*$', np.nan, regex=True)

La réponse acceptée

df.replace(r'\s+', np.nan, regex=True)

Ne remplace pas une chaîne vide !, vous pouvez essayer vous-même avec l'exemple donné légèrement mis à jour:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

Notez également que «fo o» n'est pas remplacé par Nan, bien qu'il contienne un espace. Notez en outre, qu'un simple:

df.replace(r'', np.NaN)

Ne fonctionne pas non plus - essayez-le.

Que diriez-vous:

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

La applymapfonction applique une fonction à chaque cellule du dataframe.

Je vais faire ceci:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

ou

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

Vous pouvez supprimer tout str, puis remplacer str vide par np.nan.

La plus simple de toutes les solutions:

df = df.replace(r'^\s+$', np.nan, regex=True)

Si vous exportez les données du fichier CSV, cela peut être aussi simple que ceci:

df = pd.read_csv(file_csv, na_values=' ')

Cela créera la trame de données et remplacera les valeurs vides comme Na

Pour une solution très rapide et simple où vous vérifiez l'égalité par rapport à une valeur unique, vous pouvez utiliser la maskméthode.

df.mask(df == ' ')

Ce sont tous proches de la bonne réponse, mais je ne dirais pas que tout résoudra le problème tout en restant plus lisible pour les autres lisant votre code. Je dirais que cette réponse est une combinaison de la réponse de BrenBarn et du commentaire de tuomasttik sous cette réponse . La réponse de isspaceBrenBarn utilise intégré, mais ne prend pas en charge la suppression des chaînes vides, comme OP l'a demandé, et j'aurais tendance à attribuer cela comme le cas d'utilisation standard du remplacement des chaînes par null.

Je l'ai réécrit avec .apply, donc vous pouvez l'appeler sur un pd.Seriesou pd.DataFrame.

Python 3:

Pour remplacer des chaînes vides ou des chaînes entièrement d'espaces:

df = df.apply(lambda x: np.nan if isinstance(x, str) and (x.isspace() or not x) else x)

Pour remplacer des chaînes entièrement d'espaces:

df = df.apply(lambda x: np.nan if isinstance(x, str) and x.isspace() else x)

Pour l'utiliser dans Python 2, vous devrez le remplacer strpar basestring.

Python 2:

Pour remplacer des chaînes vides ou des chaînes entièrement d'espaces:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and (x.isspace() or not x) else x)

Pour remplacer des chaînes entièrement d'espaces:

df = df.apply(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

Cela a fonctionné pour moi. Lorsque j'importe mon fichier csv, j'ai ajouté na_values ​​= ''. Les espaces ne sont pas inclus dans les valeurs NaN par défaut.

df = pd.read_csv (chemin du fichier, na_values ​​= '')

vous pouvez également utiliser un filtre pour le faire.

df = PD.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '])
    df[df=='']='nan'
    df=df.astype(float)

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

Ce n'est pas une solution élégante, mais ce qui semble fonctionner, c'est d'enregistrer sur XLSX, puis de le réimporter. Les autres solutions sur cette page n'ont pas fonctionné pour moi, je ne sais pas pourquoi.

data.to_excel(filepath, index=False)
data = pd.read_excel(filepath)