Remplacement de Pandas ou Numpy Nan par un None à utiliser avec MysqlDB

J'essaye d'écrire un dataframe Pandas (ou je peux utiliser un tableau numpy) dans une base de données mysql en utilisant MysqlDB. MysqlDB ne semble pas comprendre «nan» et ma base de données renvoie une erreur disant que nan n'est pas dans la liste des champs. J'ai besoin de trouver un moyen de convertir le «nan» en NoneType.

Des idées?

@bogatron a raison, vous pouvez utiliser where, il convient de noter que vous pouvez le faire nativement dans les pandas:

df1 = df.where(pd.notnull(df), None)

Remarque: cela change le dtype de toutes les colonnes en object.

Exemple:

In [1]: df = pd.DataFrame([1, np.nan])

In [2]: df
Out[2]: 
    0
0   1
1 NaN

In [3]: df1 = df.where(pd.notnull(df), None)

In [4]: df1
Out[4]: 
      0
0     1
1  None

Remarque: ce que vous ne pouvez pas refondre les DataFrames dtypepour autoriser tous les types de types de données, en utilisant astype, puis la fillnaméthode DataFrame :

df1 = df.astype(object).replace(np.nan, 'None')

Malheureusement, ni cela, ni l'utilisation replace, ne fonctionne avec Nonevoir ce problème (fermé) .

En passant, il convient de noter que pour la plupart des cas d'utilisation, vous n'avez pas besoin de remplacer NaN par None, voir cette question sur la différence entre NaN et None dans les pandas .

Cependant, dans ce cas précis, il semble que vous le fassiez (du moins au moment de cette réponse).

df = df.replace({np.nan: None})

Le mérite revient à ce gars ici sur ce problème Github .

Vous pouvez remplacer nanpar Nonedans votre tableau numpy:

>>> x = np.array([1, np.nan, 3])
>>> y = np.where(np.isnan(x), None, x)
>>> print y
[1.0 None 3.0]
>>> print type(y[1])
<type 'NoneType'>

Après avoir trébuché, cela a fonctionné pour moi:

df = df.astype(object).where(pd.notnull(df),None)

Juste un ajout à la réponse de @Andy Hayden:

Puisqu'il DataFrame.masks'agit du jumeau opposé de DataFrame.where, ils ont exactement la même signature mais avec une signification opposée:

• DataFrame.whereest utile pour remplacer des valeurs où la condition est False .
• DataFrame.maskest utilisé pour le remplacement des valeurs où la condition est True .

Donc, dans cette question, l'utilisation df.mask(df.isna(), other=None, inplace=True)pourrait être plus intuitive.

Autre ajout: soyez prudent lors du remplacement des multiples et de la conversion du type de colonne d' objet en flottant . Si vous voulez être certain que votre None's ne reviendra pas à np.NaN' s appliquez @ andy-hayden's suggestion avec using pd.where. Illustration de la façon dont le remplacement peut toujours tourner mal:

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: df = pd.DataFrame({"a": [1, np.NAN, np.inf]})

In [4]: df
Out[4]:
     a
0  1.0
1  NaN
2  inf

In [5]: df.replace({np.NAN: None})
Out[5]:
      a
0     1
1  None
2   inf

In [6]: df.replace({np.NAN: None, np.inf: None})
Out[6]:
     a
0  1.0
1  NaN
2  NaN

In [7]: df.where((pd.notnull(df)), None).replace({np.inf: None})
Out[7]:
     a
0  1.0
1  NaN
2  NaN

Assez vieux, mais je suis tombé sur le même problème. Essayez de faire ceci:

df['col_replaced'] = df['col_with_npnans'].apply(lambda x: None if np.isnan(x) else x)